Probing Minimalist Phase Structure in LLMs: What Universal Dependencies Cannot Represent

ملخص تقني: استقصاء البنية الطورية التقليلية في النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة
أثبت الاستقصاء الهيكلي (Structural probing) أن النماذج اللغوية الكبيرة (LLMs) تشفر البنية النحوية في تمثيلاتها الخفية، وعادة ما يتم تدريبها لاستعادة مسافات التبعية العالمية (Universal Dependencies - UD). ومع ذلك، فإن UD هو نظام وسم (annotation scheme) وليس قواعد توليدية؛ فهو يفتقر إلى التجريدات النحوية الشكلية مثل حدود الطور (phase boundaries) (من البرنامج التقليلي - Minimalist Program) أو التماسك داخل الطور (phase-internal cohesion). وبناءً على ذلك، لا يمكن للاستقصاء القائم على UD وحده تحديد ما إذا كانت النماذج اللغوية تشفر هذه الخصائص الهيكلية الأعمق. فإذا اكتشف المستقصي فرقاً بين الحالات، فمن غير الواضح ما إذا كان هذا يعكس التجريد النحوي المستهدف أم مجرد إعادة ترميز لمسافات UD أو الخصائص السطحية. تعالج هذه الورقة السؤال المفتوح حول ما إذا كانت النماذج اللغوية الكبيرة تشفر تجريدات نحوية شكلية تتجاوز نطاق الاستقصاء القائم على الوسم.

المنهجية
صمم المؤلفون تجربة استقصاء باستخدام محفزات حركة أدوات الاستفهام (wh-movement) حيث يتم جعل مسافة شجرة UD بين أزواج الكلمات المستقصاة ثابتة عبر الحالات عن طريق التصميم. وهذا يضمن أن أي تأثير غير صفري يكتشفه المستقصي يعكس معلومات هيكلية لا تلتقطها UD.

1. بناء المحفزات:
   تم إنشاء ثلاث حالات لكل عنصر، مرتبة حسب عدد حدود الطور (MP phase boundaries) التي يعبرها عنصر الـ wh:

• الجملة الصغرى المجردة (Bare Small Clause): (مثل: What did she see him eat?) – 0 من الطور الإضافي.
• المصدرية (Infinitival): (مثل: What did she expect him to eat?) – طور إضافي واحد (vP).
• النهائية (Finite): (مثل: What did she think he ate?) – طوران إضافيان (vP و CP).

يتم قياس زوجين من المستقصى:

• عبر الجملة (wh–embedded subject): يختبر "تدرج عدد الطور" (العمق الهيكلي).
• داخل الجملة (embedded subject–embedded verb): يختبر "التماسك داخل الطور". ومن الأهمية بمكان أن مسافة UD لهذا الزوج هي بالضبط 1 حافة (nsubj) في جميع الحالات الثلاث.

2. بروتوكول الاستقصاء:

• يتم تدريب مستقصيات خطية (Linear probes) على بنك أشجار الويب الإنجليزي للتبعية العالمية (UD-EWT) لربط الحالات الخفية بالفضاء الإقليدي.
• يتم تقييم هذه المستقصيات المدربة على محفزات حركة الـ wh دون ملاءمة (fitting) إضافية.
• يتم تقدير أحجام التأثير ($\beta$) عبر انحدار المربعات الصغرى العادية (OLS) بمقارنة الحالات النهائية والتحت-مصدرية مع الحالة المجردة كمرجع.
• تقرير الطبقة الكلاسيكية (Canonical-Layer Reporting): لتجنب الاختيار الانتهازي للطبقات (وهي مشكلة شائعة حيث تبلغ التباينات المختلفة ذروتها عند طبقات مختلفة)، حدد المؤلفون "طبقة كلاسيكية" واحدة ($L^*$) لكل نموذج بناءً على الطبقة التي تعظم التباين الأكثر موثوقية ($\beta_{fin}$). ويتم تقديم جميع التباينات الأخرى عند هذه الطبقة الثابتة.

3. التحقق السببي:
   يتم إجراء تجربة رقعة التنشيط (activation patching). يتم نقل تمثيل التيار المتبقي (residual-stream) للفاعل المدمج من مصدر "تحت-مصدري" إلى هدف "مجرد". إذا كان التمثيل يشفر معلومات نوع الجملة سببياً، فيجب أن يؤدي ذلك إلى تغيير مسافة المستقصي في الاتجاه المتوقع.

4. النماذج:
   تقيم الدراسة 13 نموذجاً من نوع (decoder-only) من أربع عائلات: Gemma-3، Llama-3، Mistral، وQwen.

النتائج الرئيسية

1. تدرج عدد الطور (عبر الجملة):
   عبر 12 من أصل 13 نموذجاً، يتبع مسافة المستقصي بين عنصر الـ wh والفاعل المدمج التدرج المتوقع: $\beta_{fin} > \beta_{inf} > 0$. يشير هذا إلى أن تمثيلات النماذج تعكس الزيادة في عدد حدود الطور التي تم عبورها، رغم أن مسافات UD تظل ثابتة.

2. عدم تماثل الإشارة (داخل الجملة):
   في زوج (الفاعل المدمج–الفعل) (حيث مسافة UD متطابقة)، لوحظ عدم تماثل إشارة قوي بنسبة 13/13:

• الحالة النهائية: $\beta < 0$ (التمثيلات أقرب من المرجع).
• الحالة تحت-المصدرية: $\beta > 0$ (التمثيلات أبعد من المرجع).

يتعارض هذا النمط مع التفسيرات البديلة:

• مسافة UD: تتوقع $\beta \approx 0$ (المسافة ثابتة).
• المسافة الخطية: تتوقع $\beta_{inf} > 0$ ولكن $\beta_{fin} \approx 0$ (النهائية والمجردة متجاورتان؛ بينما تحت-المصدرية تفصلها كلمة 'to').
• التعقيد الرتيب (Monotone complexity): تتوقع $\beta_{fin} > \beta_{inf} > 0$ (هيكل أكثر = مسافة أكبر).

إن قيمة $\beta_{fin}$ السالبة المرصودة تتنبأ بها تحديداً الخاصية التماسكية داخل الطور (phase-internal cohesion)، وهي تجريد من البرنامج التقليلي (MP) حيث يتم نطق العناصر داخل نفس الطور المكتمل (Finite CP) كوحدة متماسكة، مما يجعلها أقرب تمثيلياً.

3. التأييد السببي:
   نجحت رقعة التنشيط عند موضع الفاعل المدمج في تغيير مسافات المستقصي في الاتجاه المتوقع لـ 12 من أصل 13 نموذجاً. وهذا يؤكد أن التمثيلات التي حددها المستقصي نشطة سببياً في حسابات النموذج، مما يعالج الشكوك حول ما إذا كانت المستقصيات تستعيد تمثيلات يستخدمها النموذج فعلياً أم لا.

المساهمات الرئيسية

1. استقصاء مسافة UD الثابتة: أثبت المؤلفون طريقة لاستقصاء البنية النحوية حيث يتم التحكم بصرامة في مسافات UD، مما يضمن أن التأثيرات المكتشفة تعكس بنية تتجاوز UD.
2. تقرير الطبقة الكلاسيكية: قدموا معياراً أكثر صرامة للتقرير يربط جميع التباينات بطبقة واحدة، مما يزيل درجة الحرية ويكشف عن التباين (مثل فشل Qwen-3-4B) الذي قد يخفيه التقرير القائم على ذروة كل تباين.
3. الدليل السببي: من خلال رقعة التنشيط، قدموا دليلاً مباشراً على أن تمثيلات بنية الطور نشطة حسابياً، وليست مجرد علاقات ارتباطية.

الأهمية والادعاءات
تدعي الورقة أن التدريب التوزيعي المسبق يستحث تمثيلات متوافقة مع التجريدات النحوية الشكلية (تحديداً حدود الطور والتماسك داخل الطور) التي لا يمكن رؤيتها عبر وسم UD. يعمل عدم تماثل الإشارة (13/13) على الزوج داخل الجملة كإثبات وجود أن النماذج اللغوية تشفر معلومات هيكلية لا يمكن الوصول إليها عبر الاستقصاء القياسي.

يخلص المؤلفون إلى أن المستقصيات القائمة على UD توفر حداً أدنى للترميز النحوي، وليس حداً أقصى. تشير النتائج إلى أن النماذج اللغوية قد تمتلك تمثيلاً نحوياً أغنى مما تلتقطه تسميات التبعية القياسية، مدفوعة بالانتظامات الإحصائية لبيانات التدريب بدلاً من التعليمات القواعدية الصريحة.

القصور
تقتصر الدراسة على اللغة الإنجليزية وفئات أفعال محددة. ويشير المؤلفون إلى أن تدرج عدد الطور هو تدرج اتجاهي (يتنبأ بالترتيب وليس بنسب المقدار) وأن تأثيرات القياس ضمن عائلات النماذج متباينة. أما الادعاء السببي فهو متحفظ، حيث يقتصر على تأثير تمثيل الفاعل المدمج على مسافات المستقصي بشكل عام، بدلاً من إثبات آليات محددة لعدم تماثل الإشارة.