ملخص تقني: التحقق من صحة المعتقدات المستخلصة من النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة

يتم نشر النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في المجالات عالية المخاطر، مثل التشخيص الطبي، حيث يتطلب اتخاذ القرار تكوين معتقدات احتمالية حول نتائج غير معروفة. وبينما يمكن للباحثين حث هذه النماذج عبر "التحفيز" (prompting) لإخراج احتمالات لفظية (مثل: "احتمال وجود المرض X هو 80%")، إلا أنه لا يزال من غير الواضح ما إذا كانت هذه المخرجات تعكس معتقدات داخلية متماسكة تقود بالفعل قرارات النموذج. قد يصدر النموذج احتمالاً لفظياً منفصلاً عن عملية اتخاذ القرار لديه، وهو ما قد يعود إلى آثار الضبط الدقيق (finetuning artifacts) أو تحسين التفضيلات (preference optimization) الذي يشوه الاحتمالات اللفظية دون تغيير منطق اتخاذ القرار الأساسي. تركز الأعمال الحالية على المعايرة (دقة الاحتمالات المبلغ عنها) ولكنها لا تعالج ما إذا كانت المعتقدات المبلغ عنها هي "الإحصائيات الكافية" (sufficient statistics) التي تحكم أفعال النموذج. التحدي الجوهري يكمكمن في التحقق، بطريقة "الصندوق الأسود" (black-box)، مما إذا كانت المعتقدات المستخلصة تمثل تفسيراً ذا معنى لقرارات النموذج دون وضع افتراضات قوية حول دالة المنفعة الخاصة به أو الحاجة إلى الوصول إلى التمثيلات الداخلية.

المنهجية

يقترح المؤلفون إطار عمل نظري لاتخاذ القرار لاختبار الاتساق بين المعتقدات المستخلصة والقرارات الملحوظة. يعمل هذا الإطار تحت افتراض أن صانع القرار هو "عقلاني تقريباً"، ويتم صياغته كـ معظم للمنفعة المضطربة (perturbed utility maximizer). هذا النوع من الوكلاء يعظم المنفعة المتوقعة مع مراعاة منظم شديد التحدب (مثل الإنتروبيا)، مما يسمح باختيارات عشوائية ومكونات منفعة غير مرصودة، وهو ما يعد أكثر عمومية من تعظيم المنفعة المتوقعة الصارم.

يعتمد إطار العمل على شرطين قابلين للاختبار تجريبياً مستمدين من هذه الصياغة:

1. الاستقلال الشرطي (كفاية المعتقد):

   • الفرضية: إذا كانت أفعال الوكيل مدفوعة فقط بمعتقده الذاتي $P_S(\theta|x)$، فإن التكييف بناءً على هذا المعتقد يجب أن يجعل الفعل $A$ مستقلاً عن النتيجة الحقيقية $\theta$. صياغياً: $A \perp \theta \mid P_S(\theta|x)$.
   • الاختبار: يختبر المؤلفون فرضية العدم $I(A; \theta \mid p) = 0$ باستخدام اختبار المعلومات المتبادلة الشرطية (CMI) غير معلمي يعتمد على خوارزمية k-الأقرب للجيران (k-Nearest Neighbors). بالإضافة إلى ذلك، يقيسون التحسن التنبؤي للنتيجة الحقيقية عند إضافة الفعل $A$ إلى نموذج يشترط بالفعل المعتقد المستخلص $p$. إذا قدم الفعل قوة تنبؤية إضافية كبيرة، فإن المعتقد ليس إحصائية كافية.

2. الرتابة الدورية (المعتقدات الموجهة للفعل):

   • الفرضية: بالنسبة لمعظم المنفعة المضطربة، يجب أن تكون الخريطة من المعتقدات المستخلصة إلى احتمالات الاختيار رتيبة دورياً (cyclically monotone) بالنسبة لمؤشر المنفعة المتوقعة. في حالات الحالة الثنائية، يعني هذا أنه مع زيادة الاحتمال المستخلص للحالة الإيجابية، يجب أن تزداد احتمالية اختيار الأفعال الأكثر قيمة في تلك الحالة بشكل رتيب.
   • الاختبار: يقوم المؤلفون بتقسيم الاحتمالات المستخلصة إلى فئات (bins) وتقدير حصص الاختيار داخل كل فئة. يصيغون برنامجاً خطياً ذا هامش مُوقع (SignedLP) لإيجال متجه فرق المنفعة $d$ الذي يحقق الرتابة الصارمة عبر الفئات. يشير الإحصائي الموجب $\hat{\gamma}$ إلى الرتابة الصارمة، بينما تشير القيمة السالبة إلى حدوث انتهاك.

تم تطبيق إطار العمل على أربع مهام تشخيص طبي (أمراض القلب الهيكلية، السكري، الحمى لدى الأطفال، وبكاء الرضع) باستخدام مجموعات بيانات من سجلات واقعية وشبكات بايزية (Bayesian networks) بناها خبراء. تقيم الدراسة عدة عائلات من النماذج اللغوية الكبيرة (متغيرات GPT-5، وDeepSeek-R1، وLlama-4) عبر استخلاص المعتقدات والقرارات في نوافذ سياقية منفصلة لتجنب التلوث (contamination).

المساهمات الرئيسية

• إطار عمل رسمي للتحقق من الصندوق الأسود: يقدم البحث أول شروط نظرية لاتخاذ القرار لاختبار ما إذا كانت معتقدات النماذج اللغوية الكبيرة المستخلصة متسقة مع أفعالها. والأهم من ذلك، أن هذه الاختبارات محايدة تجاه دالة المنفعة للوكيل، حيث تعتمد فقط على هيكل تعظيم المنفعة المضطربة.
• الشروط الضرورية والكافية: يثبت المؤلفون (التقرير رقم 5) أن الاستقلال الشرطي والرتابة الدورية هما معاً شرطان ضروريان وكافيان لكي يتم تبرير توزيع معتقدات وأفعال مرصودة بواسطة معظم منفعة مضطربة تحمل المعتقد المستخلص كاحتمال ذاتي حقيقي.
• بروتوكول التحقق التجريبي: يحول البحث هذه الشروط النظرية إلى اختبارات إحصائية عملية (CMI وSignedLP) يمكن تطبيقها على أي نموذج لغوي كبير (Black-box).
• التمييز بين أنواع الاتساق: يميز العمل بين الاتساق النظري لاتخاذ القرار (المعتقدات التي توجه الأفعال) والاتساق الاحتمالي (الالتزام بقوانين مثل قانون الاحتمال المتوقع المتكرر - LIE)، موضحاً أنهما خاصيتان مختلفتان.

النتائج

• عدم كفاية مثالية: عبر جميع النماذج ومجموعات البيانات، رفض اختبار الاستقلال الشرطي فرضية العدم. المعتقدات المستخلصة ليست إحصائيات كافية؛ إذ تحتوي أفعال النماذج على معلومات متبقية عن النتيجة الحقيقية لا يستوعبها احتمالها اللفظي. هذا يشير إلى أن النماذج "تعرف أكثر مما تقول" أو أن المعلومات ذات الصلة بالقرار لا يتم نقلها بالكامل في المعتقد المستخلص.
• الرتابة تتحقق (غالباً): أظهر اختبار الرتابة الدورية أنه بالنسبة لمعظم تركيبات النماذج والبيانات، فإن العلاقة بين المعتقدات المستخلصة والأفعال هي علاقة رتيبة. وتحديداً، أظهر 9 من أصل 16 تركيباً رتابة صارمة (هامش موجب $\hat{\gamma}$)، وواحد فقط (Fever–Llama) أظهر انتهاكاً. وهذا يشير إلى أنه رغم عدم كون المعتقدات كافية تماماً، إلا أنها توجه القرارات في الاتجاه الصحيح بشكل عام.
• تباين النماذج والمجالات:
  • النماذج الأقوى: تظهر النماذج الأقوى (مثل DeepSeek-R1 وGPT-High) أقل التباينات بين المعتقدات والأفعال، مما يشير إلى أنها أقرب ملاحظياً إلى وكلاء يمتلكون معتقدات متسقة.
  • تأثير المجال: أظهرت مجموعة بيانات السكري أضعف رتابة، حيث لم يظهر أي نموذج هامشاً موجباً صارماً.
• المعايرة لا تعالج مشكلة الكفاية: أدى تطبيق المعايرة المتساوية (isotonic calibration) على المعتقدات المستخلصة إلى تحسين المعايرة الهامشية، لكنه لم يستعد الاستقلال الشرطي، مما يؤكد أن فشل الكفاية هو فشل بنيوي وليس مجرد مسألة معايرة.
• الاتساق الداخلي: كشفت الاختبارات باستخدام قانون الاحتمال المتوقع المتكرر (LIE) أن الاتساق الاحتمالي (الالتزام بالقواعد الاحتمالية) لا يتوافق بالضرورة مع الاتساق النظري لاتخاذ القرار. فالنماذج التي أدت أداءً جيداً في اختبارات اتساق القرار لم تؤدِ بالضرورة أداءً جيداً في اختبارات الاتساق الاحتمالي.

الأهمية والادعاءات

يدعي البحث أن الاحتمالات المستخلصة من النماذج اللغوية الكبيرة هي ملخصات معلوماتية سلوكية ولكنها غير كاملة للمعلومات ذات الصلة بالقرار. ويجادل المؤلفون بأنه بينما لا تعمل النماذج كما لو كانت تمتلك معتقدات متسقة تماماً (كما هو واضح من فشل الكفاية)، فإن هذه التباينات صغيرة نسبياً في النماذج الحديثة المتطورة.

تكمن أهمية هذا العمل في توفير طريقة مبدئية للتحقق من الصندوق الأسود للتأكد مما إذا كان ثقة النموذج اللفظية هي تفسير جدير بالثقة لقراراته. وهذا أمر بالغ الأهمية للسلامة والشفافية في البيئات عالية المخونة مثل الطب. ويؤكد المؤلفون أن اختباراتهم لا تثبت أن النموذج يمتلك "معتقداً حقاً" بالمعنى الفلسفي، بل تثبت أن النموذج لا يمكن تمييزه ملاحظياً عن وكيل عقلاني يحمل ذلك المعتقد. وبناءً على ذلك، يخلص البحث إلى وجوب التحقق تجريبياً من المعتقدات المستخلصة بدلاً من افتراض أنها تمثل معتقدات النموذج بأمانة، مما يوفر أداة تشخيصية للمطورين لفهم أوجه القصور (مثل التمييز بين مشكلات الثقة المفرطة أو مشكلات إدراك التكلفة في الوكلاء الطبيين).