The Changing Geometry of Grammar: Dimensionality and Neighborhood Reorganization across Transformer Layers

داخل العقول الرقمية للنماذج اللغوية الحديثة، لا تستقر الكلمات ساكنة. فعندما يقرأ الحاسوب جملة ما، فإنه يحول كل كلمة إلى قائمة طويلة من الأرقام، نقطة تطفو في فضاء شاسع وغير مرئي ذي مئات الأبعاد. هذه النقاط ليست مبعثرة عشوائياً؛ بل تتكتل معاً، مشكلةً صفائح رقيقة ومنحنية داخل ذلك الفراغ عالي الأبعاد. يسمي العلماء هذه الصفائح "متشعبات" (manifolds)، ويخبرنا سمك الصفيحة قصة عن مقدار المعلومات التي تحملها الكلمة. فإذا كانت الكلمة حرة في التغير في اتجاهات عديدة، تكون الصفيحة سميكة ومعقدة. وإذا كانت الكلمة مقيدة بشدة بجيرانها، تصبح الصفيحة رقيقة وبسيطة. هذا الضغط للمعلومات هو وسيلة جوهرية تفهم بها هذه النماذج العالم، ولكن حتى الآن، كافح الباحثون لرؤية كيف أن الدور المحدد الذي تؤديه الكلمة في الجملة — سواء كانت اسماً ثقيلاً مثل "قطة" أو أداة ربط خفيفة مثل "الـ" التعريف — يشكل هذه الهندسة.

وضع فريق من الباحثين نصب أعينهم رسم هذه الخريطة الخفية، متسائلين عما إذا كان الدور النحوي للكلمة يحدد المسار الذي تسلكه عبر طبقات الشبكة العصبية. لقد ركزوا على التمييز بين كلمات الفئة المفتوحة، التي تحمل معانٍ غنية مثل الأسماء والأفعال، وكلمات الفئة المغلقة، التي تؤدي غرضاً هيكلياً مثل حروف الجر والضمائر. ومن خلال تغذية أربعة أنواع مختلفة من النماذج اللغوية بآلاف الجمل، تتبعوا كيف يتغير شكل البيانات طبقة تلو أخرى. ووجدوا أن هذين النوعين من الكلمات لا يسلكان المسار نفسه. فكلمات الفئة المغلقة تتوسع في مساحة أوسع وأكثر تعقيداً في المراحل المبكرة من العملية، لتنكمش بعد ذلك وتعود إلى شكل ضيق وبسيط في وقت أقرب بكما لو فعلت نظيراتها من الكلمات ذات المحتوى الغني. يشير هذا إلى أن النموذج يقوم أولاً بمد وتوسيع هذه الكلمات الهيكلية ليفهم كيفية ارتباطها بالأجزاء الأخرى من الجملة، وبمجرد إتمام هذا الارتباط، يقوم بطيها مرة أخرى، بعد أن استخلص كل المعلومات العلاقاتية اللازمة.

اكتشف الباحثون أن هذا الطي الهندسي ليس مجرد تقلب عشوائي، بل هو إعادة تنظيم دقيقة للمحيط حول كل كلمة. فبينما تتحرك الكلمة بعمق أكبر داخل الشبكة، يتغير جيرانها الأقرب في الفضاء الرياضي. وبالنسبة للكلمات الهيكلية، يحدث هذا التغيير بسرعة وحسم. فكلمة مثل "الـ" قد تبدأ رحلتها محاطة بأدوات تعريف أخرى، ولكن مع معالجة الشبكة للجملة، تنفصل عن تلك المجموعة وتقترب من الاسم المحدد الذي تعدله. ويتوافق هذا التحول في الجيران تماماً مع اللحظة التي يصبح فيها التمثيل الداخلي للكلمة أبسط وأكثر انضغاطاً. وفي المقابل، تحافظ كلمات المحتوى مثل "فيل" أو "يركض" على هندسة أكثر تعقيداً وانفتاحاً لفترة أطول، مما يعكس الحاجة المستمرة لدمج معانيها المحددة مع السياق المتطور للجملة.

كما كشفت الدراسة أن بنية النموذج تلعب دوراً عميقاً. فالنماذج التي تقرأ الجمل في كلا الاتجاهين في آن واحد، مثل "المشفرات" (encoders)، تحسم هذه الروابط الهيكلية مبكراً، مما يؤدي إلى حدوث التغيرات الهندسية في الطبقات الوسطى. أما النماذج التي تقرأ حصرياً من اليسار إلى اليمين، مثل "المفككات" (decoders)، فتسلك مساراً مختلفاً، حيث تحدث هذه التحولات الهندسية في مراحل لاحقة مع تراكم السياق. ورغم هذه الاختلافات المعمارية، ظل الاكتشاف الجوهري قائماً: المسار الذي تسلكه الكلمة عبر الشبكة هو انعكاس مباشر لوظيفتها النحوية. وقد أثبت الباحثون ذلك من خلال إظهار أن الحاسوب يمكنه النظر فقط إلى شكل نقاط البيانات — سمكها وكيفية تحول جيرانها — وتخمين ما إذا كانت الكلمة كلمة وظيفية أم كلمة محتوى، أو حتى تحديد نوعها النحوي بدقة، دون أن يرى الكلمة نفسها أبداً.

يشير هذا العمل إلى أن قواعد الجملة ليست مجرد مجموعة من القواعد يتبعها النموذج، بل هي واقع مادي داخل بنيته الرياضية. فالنموذج لا يخزن مجرد معنى الكلمة؛ بل يعيد تشكيل المساحة حول تلك الكلمة مادياً لحل لغز كيفية ملاءمتها للجملة. وفي اللحظة التي تجد فيها الكلمة الهيكلية شريكها في الجملة، يطوي النموذج الأبعاد الإضافية التي احتاج لاستكشافها، تاركاً وراءه تمثيلاً مدمجاً وفعالاً. الأمر كما لو أن النموذج يبني سقالة مؤقتة لتمسك الجملة معاً، وبمجرد أن يصبح الهيكل آمناً، يزيل السقالة، تاركاً فقط الشكل الجوهري للمعنى. يوفر هذا الرقص الهندسي من التمدد والانكماش نافذة جديدة على كيفية فهم الذكاء الاصطناعي للتوازن الدقيق بين الكلمات التي تحمل المعنى والكلمات التي تمسك بكل ذلك معاً.