Extending Minimal Pairs with Ordinal Surprisal Curves and Entropy Across Applied Domains

إليك ملخص تقني مفصل لورقة البحث بعنوان "توسيع الأزواج الدنيا باستخدام منحنيات المفاجأة الترتيبية والاعتلاج عبر المجالات التطبيقية" للباحث أندرو كاتز.

1. بيان المشكلة

تواجه نماذج اللغات الكبيرة (LLMs) في نماذج التقييم الحالية ثلاث عقبات رئيسية:

1. الاعتماد على توليد النصوص: يتطلب الاستدلال القياسي توليد نصوص، وهو أمر مكلف حاسوبياً وقد يؤدي إلى استحضار "تبريرات لاحقة" (استنتاجات تبدو منطقية ولكنها غير دقيقة) بدلاً من عكس الحالة الداخلية الحقيقية للنموذج.
2. القيود الثنائية: تقتصر تقييمات "الأزواج الدنيا" الحالية (مقارنة احتمالات الجمل النحوية مقابل غير النحوية) بشكل كبير على أحكام النحو الثنائية. وهي تفشل في التقاط درجات الثقة أو عدم اليقين في المهام التطبيقية الأكثر تعقيداً.
3. الافتقار إلى قياس عدم اليقين: غالباً ما تكون المخرجات الثنائية أو الثقة اللفظية (سؤال النموذج "ما مدى تأكدك؟") غير معايرة بشكل جيد. يمكن أن تكون الثقة اللفظية مضللة، كما أن المخرجات الثنائية تتجاهل المعلومات المتعلقة بتوزيع عدم اليقين لدى النموذج.

تقترح الورقة طريقة لسبر تمثيلات نماذج اللغات الكبيرة مباشرة دون توليد نصوص، والانتقال من التصنيف الثنائي للنحو إلى التصنيف والتقييم الترتيبي عبر مجالات تطبيقية متنوعة.

2. المنهجية: إطار تقييم قائم على المفاجأة (Surprisal)

الابتكار الجوهري هو توسيع نموذج الأزواج الدنيا من الخيارات الثنائية إلى المقاييس الترتيبية (مثل 1–5 أو 1–9) واستخدام الاعتلاج (Entropy) لقياس عدم اليقين.

أ. الصيغة الجوهرية

بدلاً من مطالبة النموذج بتوليد إجابة، يقيس الإطار المفاجأة (اللوغاريتم السالب للاحتمال، $S = -\log P$) التي يخصصها النموذج لرموز (tokens) محددة تمثل نقاطاً مختلفة على مقياس التقييم.

• منحنى المفاجأة: بالنسبة لسياق معين $c$ ومجموعة من التكملات البديلة $A = \{a_1, ..., a_n\}$ (على سبيل المثال، الأرقام من 1 إلى 9)، يتم حساب مفاجأة النموذج لكل رمز.
• الاستجابة المفضلة: الرمز الذي يحقق أدنى مفاجأة ($a^* = \arg\min S(a_i|c)$) يمثل استجابة النموذج الأكثر "طبيعية" أو توقعاً.
• قياس عدم اليقين (الاعتلاج): من خلال إعادة تطبيع احتمالات مجموعة البدائل المقيدة، يحسب الإطار الاعتلاج ($H$).
  • الاعتلاج المنخفض: يشير التوزيع المدبب (المنحنى الحاد) إلى ثقة عالية.
  • الاعتلاج المرتفع: يشير التوزيع المسطح (المنحنى المستوي) إلى غموض أو عدم يقين حقيقي.

ب. التصميم التجريبي

استخدم المؤلفون تصميماً عاملياً يغير:

• عوامل النموذج: أحجام وبنيات مختلفة (تحديداً عائلة Qwen2.5: 3B، 7B، 14B، و14B-Instruct).
• عوامل السياق: بدون سياق، تعريف أدنى، ومعلومات خلفية شاملة.
• عوامل المهمة: أربعة مجالات متميزة (SETS، الاستدلال السببي، اللغة المجازية، الترميز الاستنباطي).
• عوامل المقياس: ثنائي (صواب/خطأ) مقابل ترتيبي (1–5، 1–9) وصياغات المرتكزات المختلفة.

3. المساهمات الرئيسية

1. توسيع النموذج: توسيع الأزواج الدنيا من النحو الثنائي إلى التصنيف والتقييم ذي المقياس الترتيبي، مما يسمح بقياس مستويات الثقة وعدم اليقين.
2. الاعتلاج كإشارة: إثبات أن الاعتلاج عبر مجموعة التكملات يمكنه التمييز بين الغموض الحقيقي للمهمة (اعتلاج مرتفع) والأخطاء الواثقة (اعتلاج منخفض).
3. التعميم عبر المجالات: التحقق من صحة الإطار عبر أربعة مجالات تطبيقية متنوعة:
   • تصنيف SETS: تقييم الكيانات بناءً على أبعاد اجتماعية-إيكولوجية-تكنولوجية.
   • الاستدلال السببي: تحديد العبارات السببية مقابل غير السببية (ثنائية وترتيبية).
   • اللغة المجازية: اكتشاف الاستعارة مقابل المعنى الحرفي.
   • الترميز الاستنباطي: تطبيق رموز نوعية على استجابات الاستطلاع.
4. الكفاءة: تتطلب هذه الطريقة تمريرة أمامية واحدة فقط لقراءة الاحتمالات (logits) لمجموعة صغيرة من الرموز، مما يوفر تسريعاً حاسوبياً كبيراً مقارنة بتوليد النصوص.

4. النتائج الرئيسية

أُجريت التجارب بشكل أساسي باستخدام عائلة نماذج Qwen2.5.

• حجم النموذج والدقة: بشكل عام، تفوقت النماذج الأكبر (14B) على النماذج الأصغر (3B، 7B) في الدقة والاتساق مع الدرجات المتوقعة.
  • مهمة SETS: حققت نماذج 14B أدنى متوسط خطأ مطلق (MAE ~1.43)، بينما عانت نماذج 3B (MAE ~2.95).
  • المهمة السببية: حقق نموذج 14B-Instruct دقة بنسبة ~77% في التصنيف الثنائي وحوالي ~89% في دقة الاتجاه الترتبي.
• الحساسية للسياق:
  • ساعد توفير السياق النماذج الأصغر بشكل كبير (على سبيل المثال، قفزت دقة الاستدلال السببي لنموذج 3B من 44.7% إلى 68.0% مع السياق الكامل).
  • كانت النماذج الأكبر أقل حساسية للسياق في كثير من الأحيان، حيث أدت أحياناً إلى أداء أفضل مع عدم وجود سياق أو مع تعريفات دنيا، مما يشير إلى أن تمثيلاتها الداخلية كانت قوية بالفعل.
• منحنيات المفاجأة والغموض:
  • أنتجت الحالات الواضحة منحنيات رتيبة ومدببة ذات اعتلاج منخفض.
  • أنتجت الحالات الغامضة (مثل العبارات الارتباطية مثل "الطلاب الذين يدرسون أكثر يحصلون على درجات أفضل") منحنيات مكافئة مسطحة ذات اعتلاج مرتفع، مما حدد الصعوبة بشكل صحيح.
• تأثيرات الضبط التعليمي (Instruction Tuning): في مهمة اللغة المجازية، تفوق نموذج 14B Base (تمييز بنسبة 95%) على نموذج 14B-Instruct (66.7%). يشير هذا إلى أن الضبط التعليمي قد يُدخل تحيزات في الاستجابة تشوه توزيعات المفاجأة الخام، مما يجعل النماذج الأساسية (Base) أفضل محتملاً لسبر التمثيلات الضمنية.
• حساسية الرموز (Tokenization): سلطت الدراسة الضوء على أن منافسة الشكل السطحي (مثل المسافات البادئة، أو حالة الأحرف) تؤثر على احتمالات الرموز، مما يستلزم تصميماً دقيقاً للمطالبات (prompts).

5. الأهمية والآثار المترتبة

• الوصول إلى المعرفة الضمنية: يوفر الإطار نافذة على توزيعات الاحتمالات المتعلمة والتمثيلات الضمنية للنموذج دون الاعتماد على قدرة النموذج على صياغة الاستدلال (والذي يمكن أن يكون وهماً أو تبريراً لاحقاً).
• الذكاء الاصطناعي المدرك لعدم اليقين: من خلال استخدام الاعتلاج كمقياس موثوق للثقة، توفر هذه الطريقة وسيلة لتمييز العناصر الغامضة للمراجعة البشرية في أنظمة الإنسان في الحلقة (human-in-the-loop)، وهو مطلب حاسم للتطبيقات عالية الخطورة.
• الكفاءة: تقدم بديلاً منخفض التكلفة حاسوبياً للتقييم القائم على التوليد، مما يجعل التقييم واسع النطاق أمراً ممكناً.
• الرؤية النظرية: تشير النتائج إلى تشابه محتمل مع نظرية العمليتين (Dual-Process Theory)، حيث يصل تقييم المفاجأة إلى استجابات "النظام 1" (الحدسية، الارتكاسية)، بينما يصل الاستدلال بسلاسل التفكير إلى معالجة "النظام 2" (المتأنية).

6. القيود والعمل المستقبلي

• قيود الرموز: تقتصر الطريقة حالياً على التكملات المكونة من رمز واحد لضمان قياس نظيف، مما يحد من تعقيد الاستجابات.
• المعايرة: بينما يرتبط الاعتلاج بالغموض، فإن العلاقة بين الاعتلاج والدقة الفعلية ليست معايرة تماماً عبر جميع النماذج والمجالات.
• الوصول إلى واجهة برمجة التطبيقات (API): تتطلب الطة الوصول إلى احتمالات الرموز (logits) على مستوى الرمز، والتي غالباً ما تكون مقيدة في النماذج المملوكة التي تعمل عبر API فقط.
• فجوة المقارنة: تشير الورقة إلى نقص في المقارنة المباشرة بين التقييم القائم على المفاجة والتصنيف القياسي القائم على المطالبات لنفس المهام، وهو أمر ذو أولوية للبحوث المستقبلية.

في الختام، تنجح الورقة في إثبات أن منحنيات المفاجة الترتيبية والاعتلاج توفر إطاراً قوياً، فعالاً، وقابلاً للتفسير لتقييم نماذج اللغات الكبيرة عبر مهام تطبيقية متنوعة، مما يقدم نهجاً مكملاً للتقييم التقليدي القائم على التوليد.