Evaluating Adjective-Noun Compositionality in LLMs: Functional vs Representational Perspectives

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "تقييم التركيبية في علاقة الصفة والاسم في النماذج اللغوية الكبيرة: من منظورات وظيفية وتمثيلية."

1. بيان المشكلة

تتناول الورقة فجوة حرجة في فهم التركيبية (Compositionality) في النماذج اللغوية الكبيرة (LLMs). تُعد التركيبية — وهي القدرة على توليد معانٍ معقدة من أجزاء أبسط — حجر الزاوطة في المعالجة اللغوية البشرية. وبينما تتمتع النماذج اللغوية الكبيرة بأداء عالٍ، لا يزال من غير الواضح ما إذا كانت تمتلك قدرات تركيبية حقيقية أم أنها تعتمد مجرد اعتماد على الارتباطات الإحصائية.

قيمت الأبحاث الحالية التركيبية من خلال نموذجين متميزين ونادراً ما تمت مقارنتهما:

1. التقييم الوظيفي (Functional Evaluation): تقييم أداء المهام (مثل الدقة في الاختبارات المعيارية).
2. التقييم التمثيلي (Representational Evaluation): سبر أغوار الحالات الداخلية للنموذج للكشف عن البنى التركيبية.

يفترض المؤلفون أن هذين النموذجين قد يؤديان إلى استنتاجات متباينة. وتحديداً، يبحثون فيما إذا كانت النماذج اللغوية الكبيرة تشفر المعلومات التركيبية داخلياً بشكل موثوق حتى عندما تفشل في إظهارها سلوكياً في المهام الوظيفية، وما إذا كان التوسع (Scaling) أو الضبط الدقيق للتعليمات (Instruction Tuning) يحسن القدرات التركيبية باستمرار.

2. المنهجية

تستخدم الدراسة إطار عمل تجريبي موحداً يركز على تركيبية الصفة والاسم (Adjective-Noun Compositionality)، وهو مجال لغوي شفاف. ينقسم التقييم إلى إعدادين متكاملين:

أ. التقيים الوظيفي (أداء المهمة)

يقيم المؤلفون أربع عائلات من النماذج (LLaMA-2, CodeLlama, Qwen2.5-Coder, Gemma2) عبر ثلاثة متغيرات: النموذج الأساسي (Base)، والنموذج المضبوط للتعليمات (IT)، والنموذج الموسع (Scaled - عدد أكبر من المعلمات). ويختبرون الأداء في ثلاث مهام محددة مستمدة من النظرية اللغوية:

1. الاستبدالية (مجموعة بيانات AddOne): تختبر ما إذا كان استبدال الاسم بعبارة (صفة-اسم) يحافظ على الاستلزام (على سبيل المثال: The runner set a new record $\models$ The runner set a record).
2. المنهجية (مجموعة بيانات PLANE): تختبر ما إذا كان بإمكان النماذج إعادة دمج العلاقات الدلالية المعروفة لاستنتاج علاقات جديدة (على سبيل المثال: إذا كان red car $\models$ car و car $\models$ vehicle، فهل red car $\models$ red vehicle؟).
3. التعميم المفرط (مجموعة بيانات COMPCOMB - جديدة): تختبر ما إذا كانت النماذج تتجنب استنتاج عضوية النوع بناءً فقط على تداخل السلاسل النصية السطحية. فهي تميز بين العبارات التركيبية (مثل trenchcoat $\models$ coat) والمركبات الخارجية (مثل turncoat $\not\models$ coat).

المقاييس: درجة F1 الموزونة لـ AddOne/PLANE؛ والدقة (Accuracy) لـ COMPCOMB.

ب. التقييم التمثيلي (الحالات الداخلية)

يجري المؤلفون تحليلاً لسبر الطبقات (Layer-wise Probing Analysis) لتحديد ما إذا كانت الإشارات التركيبية موجودة داخل حالات النموذج الخفية، بغض النظر عن السلوك المخرَج.

• الطريقة: يتم استخراج الحالات الخفية من كل طبقة خامسة من طبقات المحول (Transformer).
• AddOne/PLANE: يتم تدريب مصنف خطي على تمثيلات الطبقات للتنبؤ بتسميات الاستلزام.
• COMPCOMB: يتم حساب تشابه جيب التمام (Cosine similarity) بين تضمينات الرموز (Token embeddings) لتقييم ما إذا كان النموذج يميز داخلياً بين الأزواج التركيبية وغير التركيبية (أي هل متجه trenchcoat أقرب إلى coat من قرب turncoat إلى coat؟).

3. النتائج الرئيسية

التباين بين الوظيفة والتمثيل

النتيجة الأكثر أهمية هي وجود تباين صارخ بين أداء المهمة والتمثيلات الداخلية:

• الأداء الوظيفي: أداء المهمة غير متسق وغالباً ما يتدهور مع التوسع أو الضبط الدقيق للتعليمات.
  • AddOne & COMPCOMB: غالباً ما ينخفض الأداء مع زيادة حجم النماذج أو ضبطها للتعليمات.
  • PLANE: يظل الأداء مستقراً نسبياً ولكنه لا يظهر تحسناً مستمراً مع التوسع.
• الإشارات التمثيلية: في المقابل، تشفر التمثيلات الداخلية المعلومات التركيبية باستمرار عبر جميع متغيرات النماذج.
  • تعمل المسابير الخطية ومقاييس التشابه فوق مستوى الصدفة بشكل ملحوظ عبر جميع الطبقات.
  • تبلغ قوة الإشارة ذروتها عادةً في الطبقات المتوسطة.
  • والأهم من ذلك، تظل هذه الإشارات التمثيلية مستقرة عبر النماذج الأساسية، والمضبوطة للتعليمات، والموسعة، حتى عندما ينخفض الأداء الوظيفي.

نتائج محددة حسب المهمة

• الاستبدالية: تشفر النماذج علاقة الاستلزام داخلياً بشكل موثوق، لكنها تفشل في إخراج حكم الاستلزام الصحيح في المهام الوظيفية، خاصة بعد الضبط الدقيق للتعليمات.
• المنهجية: تظهر التمثيلات الداخلية بنية نظامية قوية، ومع ذلك تكافح النماذج لتطبيقها بشكل منهجي في مهمة PLANE.
• التعميم المفرط: تميز النماذج داخلياً بين المركبات التركيبية والخارجية (تشابه عالٍ للأزواج الصالحة، ومنخفض للأزواج غير الصالحة)، ومع ذلك تفشل غالباً في اختيار الخيار الصحيح في المهمة الوظيفية COMPCOMB.

4. المساهمات الرئيسية

1. إطار عمل مقارن موحد: تعد هذه الورقة الأولى التي تقارن مباشرة بين التقييمات الوظيفية والتمثيلية للتركيبية على نفس النماذج والمهام، مما يكشف عن انفصال منهجي.
2. مجموعة بيانات جديدة (COMPCOMB): تقديم مجموعة بيانات مبتكرة مصممة خصيصاً لاختبار المتانة ضد التعميم المفرط في عبارات الصفة والاسم، والتمييز بين المركبات التركيبية والخارجية.
3. دليل على "الكفاءة الخفية": تقدم الدراسة دليلاً تجريبياً على أن النماذج اللغوية الكبيرة تمتلك معرفة تركيبية قوية داخلياً (في تمثيلاتها) حتى عندما تفشل في التعبير عنها سلوكياً. يشير هذا إلى أن ضعف أداء المهمة قد ينبع من مشكلات في فك التشفير (Decoding) أو المحاذاة (Alignment) بدلاً من نقص الفهم التركيبي.
4. نقد التوسع/الضبط: تتحدى النتائج الافتراض بأن التوسع في المعلمات أو الضبط الدقيق للتعليمات يحسن الاستدلال التركيبي بشكل موحد؛ ففي بعض الحالات، قد تعيق هذه العمليات الأداء التركيبي الوظيفي.

5. الأهمية والآثار المترتبة

• استراتيجية التقييم: تجادل الورقة بأن الاعتماد فقط على الاختبارات المعيارية على مستوى المهمة (الوظيفي) أو فقط على السبر (التمثيلي) يوفر صورة غير كاملة. إن اتباع نهج التقييم المقارن ضروري لفهم قدرات النموذج بشكل كامل.
• قابلية تفسير النماذج: تشير النتائج إلى أن النماذج اللغوية الكبيرة ليست مجرد "ببغاوات عشوائية" تفتقر إلى البنية الداخلية؛ بل هي تشفر قواعد دلالية معقدة تكون أحياناً غير قابلة للوصول من خلال طبقة المخرجات.
• السلامة والموثوقية: بالنسبة للتطبيقات الحرجة للسلامة، فإن فهم أن النموذج "يعرف" المنطق الصحيح داخلياً ولكنه يفشل في إخراجه هو أمر بالغ الأهمية. يسلط هذا الضوء على الحاجة إلى تقنيات محاذاة أفضل يمكنها جسر الفجوة بين الكفاءة التمثيلية الداخلية والمخرجات السلوكية الخارجية.
• الاتجاهات المستقبلية: يقترح المؤلفون أن العمل المستقبلي يجب أن يستكشف التدخلات السببية (مثل "رقع التنشيط" - Activation Patching) لتحديد ما إذا كان يمكن "فتح" هذه التمثيلات الداخلية لتحسين الأداء الوظيفي، وتوسيع هذا الإطار المقارن ليشمل مجالات لغوية أخرى.

في الختام، توضح الورقة أن النماذج اللغوية الكبيرة كفؤة تركيبياً داخلياً ولكنها غير متسقة وظيفياً، مما يحث مجتمع معالجة اللغات الطبيعية (NLP) على اعتماد طرق تقييم أكثر شمولية تأخذ في الاعتبار التباين بين ما "تعرفه" النماذج وما "تقوله".