Differences in Typological Alignment in Language Models' Treatment of Differential Argument Marking

ملخص تقني: الاختلافات في التوافق النمطي في معالجة النماذج اللغوية للتمييز التفاضلي للمدخلات

بيان المشكلة
تشير الأبحاث الحديثة إلى أن النماذج اللغوية (LMs) المدربة على مجموعات بيانات اصطناعية يمكن أن تظهر تفضيلات نمطية تشبه التنظيمات العابرة للغات، لا سيما في المجالات البنيوية مثل ترتيب الكلمات. ومع ذلك، لا يزال من غير الواضح ما إذا كانت هذه النزعات تمتد إلى الأنظمة التي تعتمد فيها السلامة النحوية على عوامل دلالية بدلاً من التكوينات البنيوية البحتة. تبحث هذه الورقة في هذه الفجوة باستخدام التمييز التفاضلي للمدخلات (DAM)، وهي ظاهرة لغوية حيث تتلقى المدخلات علامات صرفية بناءً على خصائص دلالية مثل الحيوية (animacy)، والتعريف (definiteness)، والضميرية (pronominality). وتحديداً، يتساءل المؤلفون عما إذا كانت النماذج اللغوية المدربة باستخدام أهداف التنبؤ بالرمز التالي القياسية تطور انحيازات نمطية في الـ DAM تتماشى مع اللغات البشرية، وإذا كان الأمر كذلك، فهل تنبع هذه الانحيازات من نفس المصادر الأساسية للنزعات النمطية البشرية.

المنهجية
يستخدم المؤلفون نموذجاً تجريبياً لمجموعة بيانات اصطناعية باستخدام نماذج GPT-2-small المدربة من الصفر.

• بناء المجموعة (Corpus Construction): بدءاً من مجموعة فرعية من مجموعة OpenSubtitles (الإنجليزية)، يستخرج المؤلفون حوالي 21 مليون جملة من نوع (SVO). ويقومون بتوسيم المدخلات بخصائص دلالية (الحيوية، التعريف، الضميرية) باستخدام مصنفات قائمة على BERT.
• حقن القواعد (Rule Injection): يقومون ببناء 18 مجموعة بيانات اصطناعية متميزة عن طريق حقن قواعد DAM في النص الإنجليزي. هذه القواعد مُعلمة وفق أربعة أبعاد:
  1. المحفز الدلالي: الحيوية، أو التعريف، أو الضميرية.
  2. تعقيد التبعية: محلية (يعتمد التوسيم على خاصية مدخل واحدة) مقابل عالمية (يعتمد التوسيم على البروز النسبي للفاعل والمفعول به).
  3. اتجاه التمييز: طبيعي (يستهدف التوسيم المدخلات غير النمطية دلالياً/الأقل تكراراً) مقابل عكسي (يستهدف التوسيم المدخلات النمطية).
  4. هدف المدخل: استهداف المفعول به (توسيم المريض) مقابل استهداف الفاعل (توسيم الفاعل).
• التقييم: يتم تقييم النماذج بناءً على إتقان القاعدة باستخدام الأزواج الدنيا (minimal pairs). لكل حالة، يتم توليد 1,000 زوج جملة محجوزة، حيث تتبع جملة واحدة قاعدة DAM المحقونة بينما تخالفها الأخرى. يُقاس الأداء بنسبة المرات التي يخصص فيها النموذج احتمالية (negative log-likelihood - NLL) أقل للجملة الصحيحة نحوياً.
• التحليلات الإضافية: تتضمن الدراسة اختبارات لدقة وضع العلامة، والتحري الدلالي (للتأكد من عدم فقدان المعلومات الدلالية)، ومهام تشخيص BLiMP (للتأكد من أن حقن DAM لا يؤدي إلى تدهور التعلم النحوي العام).

النتائج الرئيسية
تكشف التجارب عن تفكك بين بُعدين نمطيين رئيسيين لـ DAM:

1. اتجاه التمييز (توافق قوي): تعيد النماذج إنتاج التفضيل النمطي البشري للتمييز الطبيعي بشكل موثوق. عبر جميع المحفزات الدلالية وأنواع التبعية، تعلمت النماذج القواعد الطبيعية (حيث يستهدف التوسيم الصريح المدخلات غير النمطية) بشكل أفضل بكثير من القواعد العكسية.

   • متوسط أفضل دقة للقواعد الطبيعية: ~85%.
   • متوسط أفضل دقة للقواعد العكسية: ~68%.
   • يستمر هذا التفوق حتى عند التحكم في تردد المدخلات، مما يشير إلى أنه مدفوع بديناميكيات القابلية للتعلم وليس مجرد التعرض.

2. تفضيل المدخلات (توافق ضعيف/لا يوجد توافق): لا تعيد النماذج إنتاج التفضيل البشوي القوي لأنظمة استهداف المفعول به. في حين أظهرت قواعد استهداف المفعول به ميزة طفيفة في المتوسط على قواعد استهداف الفاعل (~79% مقابل ~74%)، إلا أن هذا الفرق أصغر بكثير من تأثير التمييز وهو أقل دلالة إحصائياً.

   • تم تعلم القواعد المحلية بنجاح أكبر من القواعد العالمية (~77% مقابل ~59%)، مما يعكس انحيازاً نحو محلية المعلومات.
   • كانت فجوة الأداء بين المتغيرات الطبيعية والعكسية لقواعد استهداف المفعول به أصغر منها لقواعد استهداف الفاعل، مما يشير إلى أن النماذج تشفر الخصائص الدلالية للفاعل بشكل أكثر قوة.

3. النتائج الإضافية:

   • وضع العلامة: حققت النماذج دقة تقترب من السقف في وضع العلامات بشكل صحيح، مما يشير إلى أن فشل إتقان القاعدة ليس ناتجاً عن عدم القدرة على تحديد موقع العلامة في السلسلة النصية.
   • التحري الدلالي: أكدت المجسات الخطية أن النماذج تحتفظ بالمعلومات الدلالية (الحيوية، التعريف، الضميرية) لكل من الفاعل والمفعول به، مما ينفي تدهور الدلالة كسبب للاختلاف في الأداء.
   • BLiMP: لم يؤدِ حقن DAM إلى إضعاف قدرة النماذج على تعلم الظواهر النحوية الأخرى بشكل ملحوظ.

الأهمية والادعاءات
تجادل الورقة بأن التفكك الملاحظ يوفر دليلاً بشأن المصادر المتميزة لعدم التماثل النمطي:

• التمييز كقابلية للتعلم: يشير التوافق القوي مع التمييز الطبيعي إلى أن هذا الميل النمطي يمكن أن ينشأ من الانتظامات التوزيعية والقدرة الشكلية على التعلم. فالأنظمة ذات التمييز الطبيعي تقلل من عدم اليقين في التنبؤ (surprisal) من خلال توفير إشارات محلية صريحة للتهيئات الأقل تكراراً، مما يتوافق مع الانحيازات الاستقرائية للنماذج ذات التنبؤ الذاتي (autoregressive) المحسنة للتنبؤ بالرمز التالي.
• تفضيل المدخلات كدافع خطابي: يشير عدم وجود تفضيل قوي للمفعول به في النماذج إلى أن هذا التباين النمطي يعتمد على عوامل لا تلتقطها تدريبات التنبؤ بالرمز التالي القياسية، مثل البنية الخطابية، والبروز الموضوعي، والضغوط التواصلية (مثل ميل المفعول به لاتخاذ أدوار خطابية غير نمطية مثل "الموضوعية/Topicality").
• الخلاصة: تعكس التوجهات النمطية المتميزة ضغوطاً أساسية مختلفة. فبعضها، مثل اتجاه التمييز، متاح للنماذج اللغوية من خلال التعلم الإحصائي المحلي، بينما قد يتطلب البعض الآخر، مثل تفضيل المدخلات، ضغوطاً تفاعلية أو تاريخية (diachronic) لا تحاكيها أهداف التدريب القياسية.

القصور
يشير المؤلفون إلى عدة قيود: استخدام بنية واحدة صغيرة (GPT-2-small)، والاعتماد على اللغة الإنجليزية (وهي لغة SVO حيث يكون وسم الحالة أقل أهمية من اللغات ذات ترتيب الكلمات المرن)، وتبسيط عملية تشغيل محفزات DAM (التعامل معها كخصائص ثنائية مستقلة بدلاً من خصائل متفاعلة وحساسة للخطاب). بالإضافة إلى ذلك، لم يتم التحكم تجريبياً بشكل كامل في تردد الحالات المميزة مقابل غير المميزة، رغم أن المؤلفين يجادلون بأن التردد وحده لا يفسر عدم التماثل الملحوظ.