Masked by Consensus: Disentangling Privileged Knowledge in LLM Correctness

1. بيان المشكلة والسياق

السؤال المركزي لهذا المقال هو ما إذا كانت النماذج اللغوية الكبيرة (LLMs) تمتلك معرفة مميزة (Privileged Knowledge) فيما يتعلق بصحة استجاباتها. بعبارة أخرى، هل تحتوي الحالات الداخلية للنموذج على إشارات محددة تشير إلى ما إذا كانت استجابته ستكون صحيحة، وهي إشارات قد تكون غير متاحة لمراقب خارجي (نموذج آخر)؟

• السياق النظري: مستوحى من المفهوم الفلسفي لـ "الامتياز المعرفي" (Epistemic Privilege)، حيث يمتلك الوكيل وصولاً خاصاً إلى حالاته الداخلية.
• الوضع الراهن المتناقض:
  • تشير بعض الدراسات إلى أن النماذج اللغوية الكبيرة يمكنها التنبؤ بصحة استجاباتها عبر "المجسات الخطية" (Linear Probes) على حالاتها الخفية.
  • تتحدى أعمال حديثة أخرى (Chi et al., Seo et al., Xiao et al.) هذه الفكرة، مشيرة إلى أن المجسات تكتشف فقط أنماط الاسترجاع أو السمات العامة للسؤال، وأن النماذج الخارجية يمكنها التنبؤ بالصحة بنفس كفاءة النموذج نفسه.
• فرضية المقال: إن الاستنتاجات السابقة التي تنفي وجود معرفة مميزة قد تكون سابقة لأوانها بسبب عامل مربك حاسم: الإجماع بين النماذج (Inter-model consensus). إذا اتفقت النماذج غالباً على صحة استجابة ما، فيمكن لنموذج خارجي استخدام أنماط الصحة الخاصة به كبديل للتنبؤ بصحة النموذج المستهدف، مما يؤدي إلى حجب وجود أو غياب الإشارات الداخلية الفريدة.

2. المنهجية

يقترح المؤلفون إطاراً تجريبياً صارماً لعزل الإشارات الداخلية الفريدة للنماذج.

أ. تعريف المعرفة المميزة

يتم تفكيك الحالة الخفية $h$ للنموذج إلى مكونين كامنين:

1. $z_{public}$: السمات المتأصلة في السؤال (المجال، أنواع الكيانات) والتي يمكن لأي نموذج الوصول إليها.
2. $z_{private}$: الحالات الداخلية الخاصة بالنموذج (نجاح استرجاع الذاكرة، الثقة في الاستدلال). هذا المكون يشكل "المعرفة المميزة".

ب. تهيئة المجس (Probe Configuration)

لاختبار وجود $z_{private}$، قام المؤلفون بتدريب مصنفات (مجسات) للتنبؤ بالصحة ($y \in \{0, 1\}$) للاستجابة:

• المجس الذاتي (Self-Probe): يتم تدريبه على التمثيلات الداخلية للنموذج المستهدف ($M_{target}$) للتنبؤ بصحة استجابته الخاصة.
• المجس الخارجي (External-Probe): يتم تدريبه على تمثيلات نموذج مختلف ($M_{source}$) للتنبؤ بصحة النموذج المستهدف.
  • المجس المتقاطع (Cross-Model): يستخدم نموذجاً لغوياً كبيراً بحجم مماثل.
  • نموذج التضمين (Embedding-Model): يستخدم نموذج تضمين.

ج. المقياس: "فجوة الامتياز" (The Premium Gap)

تُعرف فجوة الامتياز بأنها ميزة الأداء (مقاسة بـ AUC) لـ المجس الذاتي مقارنة بـ أفضل مجس خارجي.

• إذا كانت الفجوة صفراً، فهذا يشير إلى أن الصحة قابلة للتنبؤ بالكامل عبر السمات العامة ($z_{public}$).
• إذا كانت الفجوة موجبة ومعنوية، فهذا يشير إلى وجود معرفة مميزة ($z_{private}$).

د. الابتكار الرئيسي: مجموعات عدم الاتفاق (Disagreement Subsets)

لإزالة تحيز الإجماع، لا يختبر المؤلفون على كامل مجموعة البيانات العشوائية، بل يركزون على مجموعات عدم الاتفاق.

• التعريف: مجموعة من الأسئلة التي تنتج فيها النماذج (الهدف والمصدر) تسميات صحة متضاربة (أحدهما صحيح والآخر خاطئ).
• السبب: في هذه الحالات، لا يمكن للنموذج الخارجي استخدام أنماط الصحة الخاصة به كبديل للنموذج المستهدف. إذا ظل المجس الذاتي يتفوق على المجس الخارجي في هذه المجموعة، فهذا دليل مباشر على وجود معرفة مميزة.

هـ. التهيئة التجريبية

• النماذج: ثلاثة نماذج لغوية كبيرة ذات أحجام متقاربة (Qwen-2.5-7B, Llama-3.1-8B, Gemma-2-9B) ونموذج أكبر (Qwen-3-32B) لقابلية التوسع.
• البيانات: خمس مجموعات بيانات تغطي مجالين:
  • المعرفة الواقعية: Mintaka, TriviaQA, HotPotQA.
  • الاستدلال الرياضي: GSM1K, MATH.
• الطريقة: مجسات خطية (انحدار لوجستي) ومجسات غير خطية (MLP) على الحالات الخفية (كل طبقة خامسة + الطبقة الأخيرة).

3. النتائج الرئيسية

أ. غياب فجوة الامتياز في مجموعات البيانات القياسية

على مجموعات الاختبار الكاملة (العشوائية)، يؤكد المؤلفون أن فجوة الامتياز صفرية أو ضئيلة.

• المجسات الخارجية (خاصة تلك القائمة على Gemma) تعادل أو تتفوق على المجسات الداخلية.
• يُفسر ذلك بمعدل عالٍ من الاتفاق بين النماذج (~80% للحقائق، ~75% للرياضيات)، مما يسمح للمجسات الخارجية باستغلال أنماط الصحة المشتركة.

ب. ظهور المعرفة المميزة المرتبطة بالمجال

عند التقييم على مجموعات عدم الاتفاق، تتباين النتائج جذرياً اعتماداً على المجال:

1. المعرفة الواقعية (TriviaQA, Mintaka, HotPotQA):

   • تظهر فجوة امتياز ذات دلالة إحصائية (حوالي 5%).
   • المجسات الذاتية تتفوق بشكل منهجي على المجسات الخارجية.
   • الاستنتاج: تمتلك النماذج معرفة مميزة فيما يتعلق بصحة استجاباتها الواقعية، وهي غير متاحة للمراقبين الخارجيين.

2. الاستدلال الرياضي (MATH, GSM1K):

   • لا تُلاحظ أي فجوة امتياز، حتى في مجموعات عدم الاتفاق.
   • المجسات الخارجية تعادل أو تتفوق على المجسات الداخلية.
   • الاستنتاج: لا تعتمد الصحة في الاستدلال الرياضي على إشارات داخلية مميزة، بل على السمات الهيكلية للسؤال المتاحة لجميع النماذج.

ج. التوطين الزمني (التحليل حسب الطبقات)

يحلل المؤلفون العمق الذي تظهر فيه هذه الإشارات في الشبكة:

• الواقع (Factual): تكون فجوة الامتياز قريبة من الصفر في الطبقات المبكرة وتنمو تدريجياً من الطبقات الوسطى (حوالي الطبقة 10-15) إلى الطبقات العميقة. يشير هذا إلى أن المعرفة المميزة مرتبطة بـ استرجاع الذاكرة الذي يتراكم أثناء عملية التمرير الأمامي (forward pass).
• الرياضيات (Mathematical): لا يُلاحظ أي اتجاه ثابت؛ حيث تظل الفجوة صفراً أو سالبة عند جميع الأعماق.

د. تحليل مصادر الإشارة (تجربة "الكلمات فقط")

من خلال إزالة بناء الجملة والاحتفاظ فقط بالكيانات المسماة والأسماء:

• يظل التنبؤ بالصحة للمهام الواقعية والرياضية قوياً، مما يشير إلى أن الألفة مع المفاهيم هي عامل رئيسي.
• بالنسبة لـ GSM1K، ينخفض الأداء إلى مستوى الصدفة، مما يشير إلى أن الصحة الرياضية تعتمد على البنية الحسابية للمشكلة، وليس على الرموز السطحية.

4. المساهمات الرئيسية

1. تحديد عامل مربك رئيسي: إثبات أن الإجماع بين النماذج يحجب الوجود المحتمل للمعرفة المميزة في التقييمات القياسية.
2. منهجية عدم الاتفاق: تقديم التقييم على مجموعات عدم الاتفاق كطريقة معيارية لعزل الإشارات الداخلية الفريدة للنماذج.
3. عدم التماثل بين المجالات: إثبات أن المعرفة المميزة ليست خاصية عالمية للنماذج اللغوية الكبيرة ولكنها مرتبطة بالمجال: فهي موجودة لاسترجاع الحقائق ولكنها غائبة عن الاستدلال الرياضي المعقد.
4. التوطين الهيكلي: رسم خريطة للظهور التدريجي لهذه الإشارات في الطبقات الوسطى والعميقة للنماذج في المهام الواقعية.

5. الأهمية والآثار المترتبة

• التوفيق بين الأعمال السابقة: يحل هذا المقال النزاع بين الدراسات التي تدعي أن النماذج اللغوية الكبيرة "تعرف" ما إذا كانت على صواب وتلك التي تقول العكس. الحقيقة أكثر دقة: لديها وصول مميز لصحة الحقائق، ولكن ليس للاستدلال.
• كشف الهلوسة (Hallucination Detection): تشير النتائج إلى أن تنشيطات النموذج الخاصة قد تحتوي على إشارات لكشف الخطأ (الهلوسة) التي لا تستطيع الأدوات الخارجية "الصندوق الأسود" رؤيتها، خاصة في مهام المعرفة.
• حدود الاستبطان (Introspection): قدرة النموذج على التقييم الذاتي تعتمد على طبيعة المهمة. بالنسبة لمهام الاستدلال، لا يوفر التقييم الذاتي عبر الإشارات الداخلية أي ميزة على التحليل الخارجي.
• المستقبل: يفتح الباب أمام تجارب التدخل (activation steering) للتلاعب بإشارات الصحة هذه وتحسين موثوقية النماذج.

باخت-صار، يثبت المقال أن النماذج اللغوية الكبيرة تمتلك نوعاً من "الوعي" بصحة استجاباتها، لكن هذه القدرة محجوبة بالإجماع في التقييمات القياسية ومقتصرة على مهام الذاكرة الواقعية، ولا تمتد إلى الاستدلال المنطقي المعقد.