ملخص تقني: قياس جودة الاستدلال في النماذج اللغوية الكبيرة: إطار سلوكي متعدد الأبعاد

1. بيان المشكلة

تعتمد ممارسات التقييم الحالية للنماذج اللغوية الكبيرة (LLMs) بشكل أساسي على صحة الإجابة النهائية. هذا النهج الاختزالي يفشل في استيعاب الطبيعة متعددة الأبعاد لجودة الاستدلال، والتي أثبتت العلوم المعرفية منذ زمن طويل أنها لا تتطلب فقط استنتاجات دقيقة، بل تتطلب أيضاً سلاسل استدلال متماسكة، واستقراراً تحت التغيرات السياقية، وتخصيصاً فعالاً للموارد.

تجادل الورقة بأن اختزال هذه الخصائص في درجة دقة واحدة يؤدي إلى فقدان معلومات حيوية لعمليات النشر، لا سيما في المجالات عالية المخاطر (مثل الطب أو القانون) حيث تخضع عملية الاستدلال للتدقيق. تفشل الاختبارات المرجعية الحالية غالباً في التمييز بين الاستدلال الحقيقي والتعرف على الأنماط، كما أن دراسات المتانة أو الأمانة الحالية تبحث عادةً في أبعاد معزولة فقط، مما يترك نقاط الضعف المركبة دون اكتشاف. علاوة على ذلك، تشير الأعمال التجريبية الأخيرة إلى أن النماذج اللغية الكبيرة يمكنها توليد سلاسل استدلال تبدو منطقية ولكنها منفصلة سببياً عن إجاباتها النهائية، أو إنتاج مخرجات غير متسقة تحت مدخلات متكافئة دلالياً.

2. المنهجية

2.1 الإطار النظري

يقترح المؤلفون إطاراً سلوكياً موحداً يعمل على تشغيل ستة أبعاد قائمة على أسس نظرية مستمدة من العلوم المعرفية:

1. الصحة (CQ): الدقة المعرفية (إنتاج استنتاجات تطابق الحقيقة الأرضية).
2. الاتساق (CS): الثبات العقلاني (استقرار المخرجات عبر عمليات تشغيل مستقلة).
3. المتانة (RS): الاستقرار تحت الاضطرابات التي تحافظ على المعنى (مثل استبدال المرادفات، إعادة الترتيب النحوي، وإعادة الصياغة).
4. التماسك المنطقي (LS): استيفاء القيود في سلاسل الاستدلال (غياب التناقضات بين خطوات الاستدلال المتتالية).
5. الكفاءة (ES): المقايضة بين الصحة والتكلفة الحسابية (استخدام الرموز/Tokens)، استناداً إلى مبدأ العقلانية المحدودة.
6. الاستقرار (SS): التشابه الدلالي لآثار الاستدلال عبر عمليات التشغيل العشوائية، وهو متميز عن اتساق المخرجات.

2.2 تعريفات المقاييس

يستخدم الإطار مسار عمل مستقلاً عن النموذج ولا يتطلب الوصول إلى أوزان النموذج الداخلية:

• الصحة (CQ): تُحسب عبر مطابقة متعددة الاستراتيجيات (المطابقة التامة، مطابقة الجزء الفرعي، والاستخراج الرقمي) مقابل الحقيقة الأرضية.
• الاتساق (CS): يُقاس بمعدل الاتفاق الزوجي لـ $K=3$ من الاستجابات المستقلة المولدة عند درجة حرارة $0.7$.
• المتانة (RS): تُحسب حصرياً على الحالات الصحيحة أصلاً لمنع الحصول على درجات مرتفطة بشكل تافه للنماذج الخاطئة باستمرار. وهي تقيس الاحتفاظ بالصحة تحت $P=3$ من الاضطرابات القائمة على القواعد.
• التماسك المنطقي (LS): يتم تقييمه باستخدام مشفر تقاطع (cross-encoder) من نوع DeBERTa-v3-small (مُدرب بدقة على MNLI) للكشف عن التناقضات بين خطوات الاستدلال المتتالية. تُمنح الاستجابات ذات الجملة الواحدة درجة مثالية بالتعريف.
• الكفاءة (ES): تُعرف بأنها المتوسط التوافقي للصحة ونسبة الرموز المعيارية ($1 - \text{نسبة الرموز}$).
• الاستقرار (SS): يُقاس عبر مقياس BERTScore F1 للتشابه الدلالي لآثار الاستدلال عبر $K=3$ من عمليات التشغيل.

2.3 التجميع والإعداد التجريبي

• التجميع: يتم تجميع درجات الأبعاد عبر متوسط مرجح ($Q_w$). توفر الورقة سبعة مخططات تهيئة مسبقة (مثل أولوية السلامة، القانون/الامتثال، الأجهزة الطرفية/إنترنت الأشياء) لدعم اختيار النماذج بناءً على السياق.
• النماذج: تم تقييم سبعة نماذج لغوية كبيرة، تتراوح من النماذج ذات الواجهة البرمجية المغلقة (GPT-4o-mini, Claude-Haiku-4.5, DeepSeek-V3, Gemini-2.5-Flash) إلى النماذج مفتوحة الأوزان المحلية (LLaMA-3-70B, Qwen2.5-1.5B, Phi-2).
• مجموعات البيانات: 975 عنصراً عبر أربعة اختبارات مرجعية:
  • GSM8K: مسائل لفظية حسابية.
  • MMLU: 225 عنصراً من 9 موضوعات استدلال (المنطق، الرياضيات، الفيزياء، إلخ).
  • StrategyQA: استدلال المنطق العام متعدد الخطوات الضمنية.
  • مجموعة بيانات اصطناعية: 250 عنصراً تم بناؤه لاختبار المتانة والاتساق، بما في ذلك التناقضات المنطقية العدائية.

3. النتائج الرئيسية

3.1 التوصيف متعدد الأبعاد

• انقلابات التصنيف: تظهر النماذج ذات الدرجات الإجمالية المتشابهة ملفات تعريفية متباينة بشكل ملحوظ. على سبيل المثال، يمتلك DeepSeek-V3 و Gemini-2.5-Flash درجات متوازنة متشابهة ولكن ملفات تعريفية متباعدة. والأهم من ذلك، يحتل DeepSeek-V3 المركز الثاني تحت تصنيف "أولوية الدقة"، لكنه يهبط إلى المركز الخامس تحت وزن "القانون/الامتثال" بسبب انخفاض التماسك المنطقي (LS) والاتساق (CS).
• تعامد الأبعاد:
  • الصحة مقابل التماسك المنطقي: الارتباط ضئيل ($r = -0.172$)، مما يؤكد أن الإجابات الصحيحة يمكن أن تنشأ عن آثار استدلال غير متماسكة.
  • الاتساق مقابل الاستقرار: بينما كان اتساق المخرجات (CS) منخفضاً بشكل موحد عبر النماذج (0.37–0.45) بسبب التوليد العشوائي، ظل استقرار أثر الاستدلال (SS) مرتفعاً (0.82–0.92). يشير هذا الانفصال إلى أن النماذج قد تختلف في إجاباتها النهائية ولكنها تحافظ على محتوى دلالي مستقر في عمليات استدلالها.
• سلوك النماذج الصغيرة: تظهر النماذج الصغيرة المنشورة محلياً (مثل Phi-2 و Qwen2.5-1.5B) ملفات تعريفية غير تافهة. يحقق Phi-2 تماسكاً منطقياً عالياً (0.869) واستقراراً (0.828) رغم انخفاض الصحة (0.495)، مما يشير إلى أن التماسك والاستقرار مستقلان عن الصحة حتى في المقاييس الأصغر.

3.2 الصلاحية التمييزية

يؤكد تحليل 15 زوجاً من الأبعاد عبر 28 ملاحظة (7 نماذج × 4 مجموعات بيانات) أن الأبعاد تلتقط إشارات غير متكررة إلى حد كبير:

• 11 زوجاً أظهرت فصلاً تمييزياً مقبولاً ($|r| < 0.50$).
• الارتباطات الهيكلية: يُقر بوجود ارتباطات عالية بين الصحة-المتانة ($r=0.783$) والصحة-الكفاءة ($r=0.787$) كأمر تعريفي (حيث تُحسب المتانة RS فقط على الحالات الصحيحة؛ وتتضمن الكفاءة ES الصحة CQ). عند التحكم في الصحة CQ، تتضاءل هذه الارتباطات، مما يؤكد تميز البناء.
• الاستقلالية: أزواج مثل التماسك المنطقي-الكفاءة ($r=0.040$) والاتساق-المتانة ($r=-0.091$) مستقلة إحصائياً.

4. المساهمات الرئيسية

1. إطار نظري: إطار سلوكي مكون من ستة أبعاد يعمل على تشغيل مبادئ العلوم المعرفية (العقلانية المحدودة، استيفاء القيود، الثبات العقلاني) إلى خصائص قابلة للقياس في النماذج اللغوية الكبيرة.
2. الاستقلال التجريبي: تقديم دليل يؤكد أن أبعاد الاستدلال مستقلة إلى حد كبير، وأن الارتباطات الهيكلية مفسرة بتصميم المقاييس وليس بتداخل البناء.
3. الاختيار الواعي بالنشر: أول عرض منهجي لكيفية كشف الملفات التعريفية متعددة الأبعاد عن انقلابات تصنيف جوهرية عبر سيناريوهات النشر المختلفة (مثل القانون/الامتثال مقابل الدقة) والتي لا يمكن للتقييم أحادي المعيار اكتشافها.
4. مسار عمل قابل لإعادة الإنتاج: مسار تقييم مستقل عن النموذج وقابل للتطبيق على أي نموذج لغوي كبير دون الحاجة للوصول إلى الأوزان أو الحالات الداخلية.

5. الأهمية والآثار المترتبة

تضع الورقة الإطار ليس مجرد أداة للتصنيف، بل كأداة تشخيصية ما قبل النشر. تكمن أهميته الأساسية في إعادة صياغة كيفية تقييم جودة الاستدلال:

• الدقة غير كافية: الاعتماد فقط على الصحة يمكن أن يكون مضللاً بشكل فعال في المجالات عالية المخاطر. قد يكون النموذج دقيقاً ولكنه يفتقر إلى التماسك المنطقي أو الاتساق المطلوب للتدقيق والامتثال.
• التشخيص المستهدف: يسمح تعامد الأبعاد بالتشخيص الدقيق للفشل. على سبيل المثال، النموذج الذي يعاني من انخفاض في الصحة مع تماسك عالٍ قد يحتاج إلى تعزيز معرفي، بينما النموذج الذي يسجل درجات منخفضة في كليهما يتطلب تدريباً على اتساق سلسلة التفكير.
• الصلة بالسياق: يتيح الإطار للممارسين تجاوز لوحات الصدارة العامة من خلال اختيار النماذج بناءً على قيود نشر محددة (مثل إعطاء الأولوية للكفاءة لأجهزة إنترنت الأشياء أو المتانة للتطبيقات القانونية).

يخلص المؤلفون إلى أنه بينما يوفر الإطار أساساً لتشخيص سلوك الاستدلال، يجب أن يركز العمل المستقبلي على التحقق من الصحة الخاص بكل مجال وتوسيع المقاييس لتقييم الأمانة السببية وصحة الحجة الشاملة بما يتجاى الكشف عن التناقض المحلي.