Evaluating Ill-Defined Tasks in Large Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "تقييم المهام غير محددة المعالم في النماذج اللغوية الكبيرة" المقدمة في ورشة عمل "لا أصدق أنها ليست أفضل" (I Can't Believe It's Not Better) ضمن مؤتمر ICLR 2026.

1. بيان المشكلة

تتناول الورقة فجوة حرجة في تقييم النماذج اللغوية الكبيرة (LLMs): تقييم المهام غير محددة المعالم (ill-defined tasks). بخلاف المهام محددة المعالم جيداً (مثل المسائل الرياضية أو توليد الكود البرمجي ذي المخرجات الصحيحة الوحيدة)، تتميز المهام غير محددة المعالم بأهداف غامضة، وقيود مفتوحة، ومعايير نجاح ذاتية. ومن الأمثلة على ذلك: اتباع التعليمات المعقدة (CIF) وتحويل اللغة الطبيعية إلى مخططات تسلسل Mermaid (NL2Mermaid).

يرى المؤلفون أن معايير التقييم الحالية والمقاييس تفشل في تقديم إشارات موثوقة أو تشخيصية لهذه المهام بسبب ثلاثة مصادر رئيسية للفشل:

1. محدودية البيانات: تفتقر الاختبارات المرجعية (benchmarks) إلى التغطية الواقعية وتنوع القيود، مما يؤدي غالباً إلى الإفراط في التخصيص (overfitting) على تنسيقات معينة من الاختبارات بدلاً من القدرة العامة.
2. انهيار المقاييس: غالباً ما تدمج مقاييس التقييم أبعاداً تشخيصية متعددة في درجة واحدة، مما يخلط بين أوضاع الفشل المتميزة (على سبيل المثال، الخلط بين خطأ في التنسيق وفشل منطقي).
3. عدم استقرار "النموذج اللغوي كحكم" (LLMaJ): إن الاعتماد على النماذج اللغوية للحكم على نماذج لغوية أخرى يُدخل تبايناً كبيراً، وتحيزاً، وحساسية تجاه صياغة المطالبات (prompts)، مما يجعل الدرجات غير مستقرة وغير قابلة لإعادة الإنتاج.

2. المنهجية

يستخدم المؤلفون منهج دراسة الحالة لتحليل الإخفاقات الهيكلية لممارسات التقييم الحالية. حيث يفحصون مهمتين متميزتين غير محددتي المعالم:

أ. اتباع التعليمات المعقدة (CIF)

يحلل المؤلفون العديد من الاختبارات المرجعية الشهيرة (IFEval, ComplexBench, FollowBench, MT-Bench, HELM, StructFlow) لتحديد أوجه قصورها:

• IFEval: تعرضت للنقد لاعتمادها على قيود غير طبيعية قائمة على القواعد (مثل "تجنب حرف 'i'") والتي تسمح باستراتيجيات متدهورة (مثل إخراج رموز ثابتة) لتحقيق درجات غير ضئيلة دون فهم الدلالات (semantics).
• ComplexBench & FollowBench: تعرضتا للنقد لاستخدما تقييماً هجيناً (قواعد + LLMaJ) حيث يضيف مكون LLMaJ عشوائية (تباين في الدرجات يصل إلى 2% مع اختلاف البذور/seeds) وتحيزاً في الترجمة (تباين بنسبة 2-4% بين النسختين الإنجليزية والصينية).
• تحليل الحساسية: توضح الورقة أن درجات CIF حساسة للغاية للتغيرات السطحية في المطالبات. فعلى سبيل المثال، أدت إعادة صياغة مطالبات IFEval إلى انخفاض الدرجات بنسبة تصل إلى 61.8%، مما يشير إلى أن المقاييس تقيس متانة المطالبة (prompt robustness) بدلاً من قدرة حقيقية على اتباع التعليمات.

ب. تحويل اللغة الطبيعية إلى مخططات تسلسل Mermaid (NL2Mermaid)

تركز دراسة الحالة هذه على توليد مخططات التسلسل من النص. قام المؤلفون بما يلي:

• تفكيك التقييم: بدلاً من درجة إجمالية واحدة، قاموا بتقييم المخرجات عبر أربعة معايير متميزة: الصيغة (Syntax)، المنطق (Logic)، الاكتمال (Completeness)، وتتبع الخطأ/الحالة (Error/Status Tracking).
• إعداد الحكام المتعددين: استخدموا حَكَمين مستقلين من النماذج اللغوية (DeepSeek-V3 و GPT-OSS-120B) للتخفيف من تحيز الحكم الواحد.
• اختبار التدخل: طبقوا التعلم داخل السياق (in-context learning) وتعديلات المطالبات على نماذج محددة (Llama 3.1-8B و Granite 3.3-8B) لمراقبة كيفية تأثير التغييرات على معايير محددة مقابل الدرجة الإجمالية.

3. المساهمات الرئيسية

1. تشخيص عيوب التقييم: تحدد الورقة بشكل منهجي أن الاختبارات المرجعية الحالية تخلط بين أوضاع فشل متميزة، مما يجعل الدرجات الإجمالية "غير مستقرة، وغير تشخيصية، ويصعب العمل بها".
2. إثبات التقييم المفكك: من خلال دراسة حالة NL2Mermaid، يثبت المؤلفون أن التقييم المفكك يكشف عن رؤى قابلة للتنفيذ تخفيها الدرجات الإجمالية.
   • مثال: أدت تعديلات المطالبات إلى تحسين درجة المنطق لنموذج Llama 3.1-8B من 67.71 إلى 80.58، ولكن الدرجة الإجمالية الإجمالية انخفضت. وهذا يشير إلى وجود مقايضة (تحسن المنطق على حساب الاكتمال)، وهو فارق دقيق ضاع في المقياس الواحد.
3. كشف تباين LLMaJ: تقيس الدراسة عدم استقرار الحكام من النماذج اللغوية، وتظهر أن الدرجات يمكن أن تختلف بشكل كبير بناءً على البذور العشوائية، واختيار النموذج، وصياغة المطالبات، مما يقوض موثوقية الاختبارات المرجعية الحالية.
4. مقترح مبادئ التصميم: يقترح المؤلفون إطاراً للتقييم القوي للمهام غير محددة المعالم، بالانتقال من التقييم "الأسود" (black box) نحو مسارات تقييم شفافة وتشخيصية.

4. النتائج والمكتشفات

• الإفراط في التخصيص للاختبارات المرجعية: النماذج المدربة على مجموعات بيانات مشابهة لعينات الاختبار المرجعي (مثل Tulu3 على بيانات تشبه IFEval) تؤدي بشكل جيد في الاختبار المرجعي ولكنها تفشل في أنواع القيود الجديدة، مما يشير إلى نقص في القدرة على التعميم.
• الاستراتيجيات المتدهورة: في IFEval، حقق نموذج أساسي تافه يتجاهل المحتوى الدلالي درجة قدرها 17.55، وهي تقارب تقريباً درجة GPT-2 (19.72)، مما يثبت أن القيود الشكلية يمكن تلبيتها دون اتباع حقيقي للتعليمات.
• فخ "الدرجة الإجمالية": في مهمة NL2Mermaid، أخفى الاعتماد على درجة واحدة مدمجة التحسينات المحددة. سمحت المقاييس المفككة للباحثين بتحديد أن منطق النموذج قد تحسن حتى لو انخفضت درجته الإجمالية بسبب مقايضة في بُعد آخر.
• عدم اتساق الحكام: يؤدي استخدام LLMaJ دون معايرة صارمة إلى درجات غير قابلة لإعادة الإنتاج، مما يجعل من الصعب عزو الفشل إلى قدرات النموذج مقابل ضجيج الحَكَم.

5. الأهمية والتوصيات

تجادل الورقة بأن ممارسات التقييم الحالية للمهام غير محددة المعالم غير كافية لتوجيه تطوير النماذج. ولمعالجة ذلك، يقترح المؤلفون مجموعة تقييم تشخيصية وفق المبادئ التالية:

1. التحديد الواضح للنطاق: يجب أن تحدد الاختبارات المرجعية بوضوح الجوانب التي يتم قياسها من السلوك (مثل الامتثال للقيود مقابل الكفاية الدلالية) واستبعاد الجوانب الأخرى لمنع خلط المقاييس.
2. التباين الواقعي: يجب أن تتضمن البيانات إعادة صياغة، وإعادة ترتيب، واضطرابات لتقليل الإفراط في التخصيما وكشف سلوكيات النماذج الهشة.
3. بنية التقييم الهجينة:
   • استخدام الفحوصات القائمة على القواعد للخصائص القابلة للتقرير (الصيغة، التنسيق، الطول).
   • استخدام LLMaJ فقط للأبعاد الذاتية (المنطق، النبرة، الاكتمال)، ولكن ضمن معايير محددة النطاق بدقة.
   • هذا الفصل يعزل ضجيج الحَكَم عن أخطاء النموذج الحقيقية.
4. الشفافية والمعايرة: يجب على الباحثين الإبلاغ عن الاتفاق بين الحكام، وقوالب المطالبات الدقيقة، وإصدارات نماذج الحكام، والمعلمات الفائقة (درجة الحرارة، البذرة) لضمان قابلية إعادة الإنتاج.

الخلاصة: تخلص الورقة إلى أنه بينما يمكن للاختبارات المرجعية الحالية ترتيب النماذج، إلا أنها تفشل كأدوات تشخيصية. يجب أن تعطي تصميمات التقييم المستقبلية الأولوية للمتانة، والقابلية للتفسير، وتحليل أوضاع الفشل لفهم وتحسين قدرات النماذج اللغوية الكبيرة حقاً في السيناريوهات المعقدة والواقعية.