Epistemic Observability in Language Models

إليك ملخص تقني مفصل لورقة البحث "القدرة على الملاحظة الإبستيمية في النماذج اللغوية" (Epistemic Observability in Language Models) للكاتب توني ميسون (مارس 2026).

1. بيان المشكلة: فجوة القدرة على الملاحظة الإبستيمية

تتناول الورقة فشلاً حرجاً في نشر النماذج اللغوية الكبيرة (LLMs) في الأنظمة عالية المخاطر (الطب، القانون، التمويل): وهو عدم قدرة المشرفين على التمييز بين المعرفة المستندة إلى حقائق وبين التلفيق المقنع بناءً على المخرجات النصية وحدها.

• النتيجة الجوهرية: يوضح المؤلفون وجود "انعكاس في التقرير الذاتي" حيث تظهر النماذج أعلى مستويات الثقة تحديداً عندما تكون في حالة تلفيق للحقائق. عبر أربع عائلات من النماذج (OLMo-3, Llama-3.1, Qwen3, Mistral)، يرتبط الثقة المبلغ عنها ذاتياً عكسياً مع الدقة، مما ينتج عنه درجات المساحة تحت المنحنى (AUC) تتراواح بين 0.28 و0.36 (حيث 0.5 تمثل التخمين العشوائي).
• السبب الجذري: هذه ليست فجوة في القدرة (أي أن النماذج يمكنها معرفة الحقيقة) بل هي فجوة ملاحظة. الواجهة القياسية القائمة على النص فقط تصدر فقط السلسلة الخطية النهائية، متجاهلةً الآثار الحسابية الداخلية (أنماط الانتباه، الإنتروبيا، اللوغاريتمات/logits) التي تميز التوليد المستند إلى حقائق عن التلفيق الواثق.
• النتيجة: تحت الملاحظة النصية فقط، لا يمكن للمشرف التحقق بشكل موثوق من الأمانة الإبستيمية، بغض النظر عن حجم النموذج، أو الضبط التوجيهي (instruction tuning)، أو تدريب التعلم المعزز من التغذية الراجعة البشرية (RLHF).

2. المنهجية والإطار الرسمي

تستخدم الورقة منهجية هجينة تجمع بين براهين الاستحالة الرسمية (باستخدام TLA+ و Lean) والتقييم التجريبي عبر بنيات متعددة.

أ. نتائج الاستحالة الرسمية

يثبت المؤلفون أن الأمانة الإبستيمية غير قابلة للتحقيق تحت "نموذج الملاحظة النصية فقط" (حيث لا يرى المشرف سوى سلسلة المخرجات $r$).

1. استحالة التمثيل (النظرية 1):
   • الفرضية: سياسة $\pi$ تشترط فقط على الاستعلام $q$.
   • البرهان: إذا كان الاستعلام قابلاً للإجابة في الحالة العالمية (A) وغير قابل للإجابة في الحالة العالمية (B)، فإن سياسة واحدة لا يمكنها تحقيق الأمانة الإبستيمية (الإجابة بشكل صحيح في A، والامتناع في B) لأن السياسة لا يمكنها التمييز بين الحالات العالمية دون معلومات خارجية. المخرج النصي غير كافٍ لتشفير الحالة الإبستيمية الضرورية.
2. استحالة التعلم (النظرية 2):
   • الفرضية: يحاول مشرف محدود (مقيد بميزانية تكلفة/وقت $B$) تدريب سياسة مستندة إلى حقائق عبر RLHF.
   • البرهان: إذا تجاوزت تكلفة التحقق من التلفيق الميزانية المتاحة، فإن ملاحظة المشرف ستكون متطابقة لكل من الاستجابات الصادقة والمزيفة. وبناءً عليه، تكون إشارة المكافأة متطابقة، ولا يمكن لخوارزمية التعلم أن تتقارب نحو سياسة تميز بين الحالتين.
3. تراكم القضاة (التمهيدية 3 والنتيجة 4):
   • إن تراكم عدة قضاة يعتمدون على النصوص لا يحل المشكلة. بما أن كل قاضٍ يعمل على المخرج النصي للطبقة السابقة، فإن المحتوى المعلوماتي يتناقص رتيباً. لا يوجد عدد نهائي من القضاة الذين يعتمدون على النص فقط يمكنهم كسر حالة عدم التمييز بين التلفيقات المقنعة.

ب. الحل المقترح: واجهة التنسور (The Tensor Interface)

للخروج من حالة الاستحالة، يقترح المؤلفون تصدير النواتج الحسابية الثانوية المتولدة أثناء الاستدلال والتي ترتبط هيكلياً بالصحة ولكن يصعب التلاعب بها عبر التدريب النصي.

• الإشارة الرئيسية: إنتروبيا كل رمز (Per-token Entropy) (إنتروبيا توزيع الاحتمالات للرمز التالي).
• المنطق: تحت أهداف التدريب القياسية (تقليل خسارة الرمز التالي)، تعتبر الإنتروبيا نتاجاً ثانوياً لعدم اليقين الداخلي للنموذج. وبينما يمكن للنموذج تعلم قول "أنا غير متأكد" (نصياً)، فإنه لا يمكنه بسهولة توليد رموز ذات إنتروبيا منخفضة (ثقة عالية) للمحتوى المزيف دون تغيير الحوسبة الأساسية التي تحدد الصحة.

ج. تصميم التقييم التجريبي

• مجموعة البيانات: 200 استعلام متوازن (100 حقيقة معلومة، 100 محفزات للتلفيق/غير معروفة).
• النماذج: تم الاختبار على OLMo-3, Llama-3.1, Qwen3, و Mistral (بالإضافة إلى التحقق عبر API لخمسة نماذج أخرى).
• استراتيجيات القضاة:
  1. بدون قاضٍ: الدقة المرجعية.
  2. الموجه نصياً: يستخدم الإشارات السلوكية (مثل طول الاستجابة، لغة التحوط).
  3. الموجه بالتنسور: يستخدم إنتروبيا كل رمز لتصنيف المخرجات للتحقق منها.
  4. المركب: يجمع بين الإنتروبيا والبحث المحدود (مثل التحقق من وجود الاستشهادات).
• المقياس: سطح تكلفة التحقق (الدقة مقابل ميزانية التحقق: 10%، 20%، 30%).

3. المساهمات الرئيسية

1. نظريات الاستحالة الرسمية: تثبت الورقة أن الأمانة الإبستيمية غير قابلة للتعرف تحت الملاحظة النصية فقط. وتثبت أنه لا يمكن لأي قدر من التوسع أو الضبط التوجيهي التغلب على نقص قناة الملاحظة للحالة الداخلية.
2. واجهة التنسور: تصميم معماري عملي يصدر التلغرافية الداخلية (وتحديداً إنتروبيا كل رمز والاحتمالات اللوغاريتمية) جنباً إلى جنب مع النص. يوفر هذا "قناة تحقق" متعامدة مع قناة التوليد.
3. السطح التجريبي للتكلفة: رسم خرائط لاستثمار التحقق مقابل دقة الكشف. ويحدد بدقة مقدار الدقة المكتسبة بالانتقال من التصنيف النصي إلى التصنيف الموجه بالتنسور عند مستويات ميزانية مختلفة.
4. ثلاثة مبادئ معمارية للهروب:
   • خارجية الحالة (State Exteriority): يجب أن يشترط النظام على حالات عالمية خارجية يمكن التحقق منها (مثل الوثائق المسترجعة)، وليس فقط على الاستعلام.
   • **استقلالية التحقق (Verification Independence): يجب أن تأتي إشارات التحقق من قناة منفصلة عن مكافأة أداء المهمة (على سبيل المثال، الإنتروبيا لا يتم تحسينها عبر RLHF من أجل "المساعدة").
   • ربط المصدر (Provenance Binding): يجب أن تكون الادعاءات مرتبطة هيكلياً بمصادر يمكن التحقق منها (مثل الإشارات إلى وثائق محددة) بدلاً من مجرد نصوص.

4. النتائج الرئيسية

• انعكاس التقرير الذاتي: النماذج تكون أكثر ثقة عندما تكذب. تبلغ درجة AUC للثقة المبلغ عنها ذاتياً 0.28–0.36.
• تفوق التنسور:
  • تحقق إنتروبيا كل رمز مساحة تحت المنحنى (AUC) مجمعة قدرها 0.757، وهي تتفوق بشكل كبير على النماذج النصية (التي تصل ذروتها عند حوالي 0.70).
  • التعميم: إشارة الإنتروبيا تتعمم عبر البنيات المختلفة (معامل Spearman $\rho = 0.762$)، مما يشير إلى أنها خاصية معمارية وليست نتاج عملية تدريب.
• أداء سطح التكلفة:
  • عند ميزانية تحقق بنسبة 30%، يحقق التحقق الموجه بالتنسور دقة 91.8%، مقارنة بـ 87.6% للتحقق الموجه نصياً (القائم على الطول).
  • يصل القاضي المركب (الإنتروبيا + البحث في الاستشهادات) إلى دقة 91.8% عند ميزانية 30%.
  • يتفوق التحقق الموجه بالتنسور باستمرار على النماذج النصية بمقدار 2.5 إلى 3.9 نقطة مئوية عبر جميع مستويات الميزانية.
• أنماط الفشل: تحدد الورقة أن الإنتروبيا تنعكس بالنسبة لـ الاستشهادات (يتم توليد الاستشهات المزيفة بثقة عالية/إنتروبيا منخفضة). وهذا يستلزم نهجاً تركيبياً حيث تتعامل الإشارات المختلفة مع أنماط الفشل المختلفة.

5. الأهمية والآثار المترتبة

• تحول في النموذج الفكري: تجادل الورقة بأن "مشكلة التلفيق" ليست نقصاً في قدرة النموذج بل هي فشل في الحوكمة والواجهة. الواجهات البرمجية (APIs) الحالية التي تخفي الحالات الداخلية (الاحتمالات اللوغاريتمية، الإنتروبيا) تجعل التحقق الإبستيمي مستحيلاً لأطراف خارجية.
• تحذير للحوكمة: هناك اتجاه نحو الغموض في الواجهات البرمجية للنماذج (إخفاء الاحتمالات اللوغاريتمية). يحذر المؤلفون من أنه إذا حجب المزودون إشارات التنسور، فإنهم يحتكرون القدرة على التحقق الإبستيمي، مما يجعل التدقيق الخارجي مستحيلاً.
• إرشادات عملية: يجب على بناة الأنظمة عدم الاعتماد على الاستدلالات النصية (الطول، لغة التحوط) للأمان. بدلاً من ذلك، يجب عليهم:
  1. المطالبة بالوصول إلى إشارات التنسور (الإنتروبيا) من مزودي النماذج.
  2. تنفيذ التحقق التركيبي (استخدام الإنتروبيا لعدم اليقين العام والبحث الخارجي للحقائق المحددة مثل الاستشهادات).
  3. معايرة ميزانيات التحقق بناءً على "سطح التكلفة" لمطابقة ملف المخاطر الخاص بتطبيقهم (على سبيل المثال، الطب مقابل الكتابة الإبداعية).

الخلاصة: الأمانة الإبستيمية هي مشكلة قدرة على الملاحظة، وليست مشكلة قدرة. من خلال تصدير النواتج الحسابية الثانوية مثل إنتروبيا كل رمز، يمكن الهروب من "استحالة" التحقق من أمانة النماذج اللغوية الكبيرة، مما يسمح بالنشر الموثوق في الأنظمة الحرجة.