Language Models Can Resolve Reference Compositionally, But It's Not Their Native Strength: The Case of the Personal Relation Task

ملخص تقني: النماذج اللغوية يمكنها حل المراجع تركيبياً، لكن هذا ليس قوتها الأصلية

بيان المشكلة
تتناول الورقة سؤالاً جوهرياً في تقييم النماذج اللغوية الكبيرة (LLMs): هل تكتسب هذه النماذج حقاً قدرات تركيبية لتفسير اللغة الطبيعية، أم أن مخرجاتها ناتجة أساساً عن مطابقة أنماط متطورة؟ بينما تركز الاختبارات المعيارية الحالية غالباً على إما ترجمة اللغة الطبيعية إلى تمثيلات رسمية (مهام دلالية - Intensional) أو رسم الخرائط من الأوصاف إلى مراجع ملموسة (مهام خارجية - Extensional)، فإن دراسات قليلة تقارن صراحة بين هذين الجانبين من المعنى ضمن إطار عمل موحد. يرى المؤلفون أن الافتقار إلى التجذر المرجعي (referential grounding) في تدريب النماذج اللغوية الكبيرة قد يكون مكوناً مفقوداً حاسماً في محاكاة الفهم اللغوي الشبيه بالبشر، مما يستلزم منهجية للتمييز بين قدرة النموذج على حساب "المعنى" (الصيغة الهيكلية) مقابل قدرته على حل "المرجع" (الكيان المحدد).

المنهجية
قام المؤلفون بتكييف "مهمة العلاقة الشخصية" (PRT) (Paperno, 2022) لتقييم كل من النماذج اللغوية الكبيرة والمشاركين البشر. تتضمن المهمة "كوناً" مضبوطاً من ستة أشخاص مرتبطين بأربعة أنواع من العلاقات: صديق، عدو، والد، وطفل. يُعرض على المشاركين عبارات اسمية معقدة (مثل: "صديق والد أمبر") ويُطلب منهم أداء أحد مهمتين:

1. المهمة الخارجية (Extensional Task): تحديد الشخص المحدد (المرجع) الذي تشير إليه العبارة ضمن الكون المقدم.
2. المهمة الدلالية (Intensional Task): توليد صيغة وظيفية متداخلة تمثل معنى العبارة (مثل: friend(parent(amber))).

قام التصميم التجريبي بالتلاعب بأربعة متغيرات رئيسية:

• النهج: خارجي (Extensional) مقابل دلالي (Intensional).
• التمثيل: الإنجليزية (باستخدام أسماء وعلاقات قياسية) مقابل التجريدي (ربط الأسماء والعلاقات بمتغيرات عشوائية، مثل: Amber $\to$ h و friend $\to$ x). يعمل الشرط التجريدي كعنصر تحكم لتقليل تأثير تلوث بيانات التدريب المسبق ويزيد من صعوبة المهمة الدلالية عبر منع التلاعب السطحي بالنصوص.
• التفرع (Branching): التفرع الأيسر (باستخدام الملكية 's، مثل: "Amber's parent's friend") مقابل التفرع الأيمن (عبارات جر، مثل: "the friend of the parent of Amber").
• التعقيد: عدد العلاقات مضافاً إليها واحد (تم اختبار المستويات 3، 4، 5، و6 للنماذج اللغوية الكبيرة؛ واقتصرت على المستوى 3 للبشر بسبب قيود الميزانية).

قيمت الدراسة خمسة نماذج لغوية كبيرة، بما في ذلك النماذج القياسية المضبوطة بالتعليمات ونماذج الاستدلال الكبيرة (LRMs)، باستخدام هيكل مطالبة (prompt) معياري مكون من أربعة أجزاء (مقدمة، مجموعة بيانات، مثال محلول، وسؤال الاختبار). جُمعت البيانات البشرية من 32 مشاركاً عبر منصة Prolific. تم تحليل الأداء باستخدام النماذج الخطية المعممة المختلطة (GLMMs) لتقييم آثار مجموعة المشاركين، ونهج المهمة، والتمثيل، والتعقيد.

المساهمات الرئيسية

• إطار منهجي: تقدم الورقة منهجية موحدة لتقييم التفسير التركيبي الدلالي والخارجي، مما يسمح بالمقارنة المباشرة بين هاتين القدرتين الدلاليتين المتميزتين.
• بيانات مقارنة: توفر بيانات أداء بشري على نفس المهام تحت ظروف قابلة للمقارنة القصوى مع النماذج اللغوية الكبيرة، مما يسد الفجوة حيث تُقيم القدرات التركيبية غالباً دون وجود خطوط أساس بشرية صريحة.
• التقييم التجريبي: تقدم الدراسة تقييماً إحصائياً لعدة نماذج لغوية كبيرة، وتسلط الضوء على التباين في نقاط القوة بين النماذج والمشاركين البشر، وتستقصي تحديداً تأثير البنى المعززة بالاستدلال.

النتائج
تكشف الدراسة عن تباعد جوهري في ملفات الأداء بين البشر والنماذج اللغوية الكبيرة:

• نقاط القوة المتضادة: أدى البشر بشكل أفضل بكثير في المهام الخارجية (82.8% دقة) مقارنة بالمهام الدلالية (71.1%). وعلى العكس من ذلك، أدت النماذج اللغوية الكبيرة بشكل أفضل في المهام الدلالية (95.0%) مقارنة بالمهام الخارجية (79.8%).
• تأثيرات التمثيل: وجد كلا الطرفين أن التمثيلات الإنجليزية أسهل من التجريدية. ومع ذلك، كان فجوة الصعوبة أكثر وضوحاً للنماذج اللغوية الكبيرة في شرط "الخارجي التجريدي" (66.1% دقة)، والذي يتطلب التنقل في "الكون" ورسم خرائط للرموز العشوائية، بينما كانت المهمة "الدلالية الإنجليزية" (95% دقة) هي الأسهل للنماذج اللغوية الكبيرة، حيث تشبه مهمة الترجمة أو إعادة الترتيب النحوي.
• التعقيد والاستدلال: تدهور أداء النماذج اللغوية الكبيرة مع زيادة التعقيد. ومع ذلك، حافظت النماذج المعززة بالاستدلال (LRMs) على فجوة أداء أكثر استقراراً بين المهام الخارجية والدلالية عبر مستويات التعقيد مقارنة بالنماذج القياسية، مما يشير إلى أن قدرات الاستدلال يمكن أن تخفف، وإن لم تمنع، الضعف في حل المراجع.
• التفرع: على عكس دراسات الشبكات العصبية المتكررة السابقة، لم تظهر النماذج اللغوية الحديثة القائمة على بنية "Transformer" انحيازاً نظامياً كبيراً بين هياكل التفرع الأيسر والأيمن.

الأهمية والادعاءات
يزعم المؤلفون أن نتائجهم تدعم فكرة أن نقص التجذر المرجعي في تدريب النماذج اللغوية الكبيرة هو عجز حاسم في تحقيق فهم لغوي شبيه بالبشر. تشير النتيات إلى أن النماذج اللغبية الكبيرة تتفوق في "ترجمة" اللغة الطبيعية إلى هياكل رسمية (المهام الدلالية) لأن هدف التدريب الخاص بها يركز على التنبؤ بالشكل السطحي والأنماط النحوية. في المقابل، يتفوق البشر، الذين يستخدمون لغتهم في سياق تفاعل واقعي، في تحديد المراجع الملموسة (المهام الخارجية) لكنهم يواجهون صعوبة عند إجبارهم على صياغة الصيغ الهيكلية الأساسية بشكل صريح.

تفترض الورقة أنه بينما يمكن للنماذج اللغوية الكبيرة تحقيق دقة عالية في المهام التركيبية، فإنها تفعل ذلك من خلال عملية مختلفة عن البشر—أي عبر استغلال قدرات الترجمة بدلاً من التجذر المرجعي الحقيقي. ويخلص المؤلفون إلى أن المرجع العشوائي لا يزال يمثل تحدياً ملحوظاً حتى بالنسبة للنماذج الرائدة، مما يعزز الحجج القائلة بأن التجذر المرجعي هو مكون مفقود مهم يجب دمجه في أنظمة الذكاء الاصطناعي. وتعتبر الدراسة متواضعة في ادعاءاتها، مشيرة إلى أن الإعداد التجريبي اصطناعي نوعاً ما وأن هناك حاجة لأعمال مستقبلية لمقارنة النماذج الأساسية المضبوطة بالتعليمات مع النماذج المعززة بالاستدلال بشكل أوسع.