Descriptive versus Regulatory Uncertainty in Bounded Predictive Systems

ملخص تقني: عدم اليقين الوصفي مقابل عدم اليقين التنظيمي في الأنظمة التنبؤية المحدودة

بيان المشكلة
تتناول الورقة البحثية قصوراً معرفياً وسلامة جوهرياً في النماذج اللغوية الكبيرة (LLMs) الحالية: وهو العجز عن التمييز بين المعرفة الحقيقية وبين الهلوسة الواثقة. وبينما يركز الخطاب الحالي على قدرة النموذج، يرى المؤلفون أن هناك تمييزاً أكثر أهمية بين الأنظمة التي تمتلك "عدم يقين معلوماتي" والأنظمة التي يكون فيها عدم اليقين مجرد "أثر ركيزة".

تتمثل المشكلة الجوهرية في الفصل الديناميكي الحراري (Thermodynamic Decoupling). ففي أنظمة الحوسبة الفيزيائية، تفرض مبدأ لانداور (Landauer's principle) أن العمليات غير العكسية للبتات (bits) تترتب عليها تكلفة طاقة دنيا ($k_B T \ln 2$). ومع ذلك، في النماذج اللغوية الكبيرة الحالية، تظل هذه التكلفة الديناميكية الحرارية ثابتة بغض النظر عن الجودة الإبستيمية (المعرفية) للمخرجات. وسواء قام النموذج بتوليد اشتقاق قائم على سببية أو هلوسة واثقة، فإن الطاقة المبددة بواسطة الأجهزة (مثل وحدة معالجة الرسومات A100) تظل متطابقة. وبناءً على ذلك، فإن عدم اليقين في النظام (المقاس بإنتروبيا شانون) هو "وصفي" (خاصية إحصائية لتوزيع المخرجات) وليس "تنظيمياً" (إشارة تشارك في دالة التكلفة الفيزيائية لمعاقبة الخطأ).

الإطار النظري
صاغ المؤلفون هذا التمييز من خلال مفهومين:

1. الفصل الديناميكي الحراري: يكون النظام مفصولاً ديناميكياً حرارياً إذا كان إنتروبيا شانون للمخرجات ($H_{out}$) والدقة السببية ($\alpha$) مستقلين إحصائياً، بشرط حالة الركيزة الفيزيائية. وفي مثل هذه الأنظمة، لا تتناسب تكلفة الطاقة لكل عملية مع الخطأ الإبستيمي ($\partial E_{cost}/\partial \epsilon = 0$).
2. نظرية فصل السوفت ماكس (The Softmax Decoupling Theorem): يثبت المؤلفون أنه في نموذج "ترانسفورمر" (transformer) بأوزان ثابتة ودرجة حرارة استدلال ثابتة، فإن إنتروبيا شانون على مستوى الرمز (token) هي دالة حتمية للأوزان، ودرجة الحرارة، والسياق. وهي مستقلة بنيوياً عما إذا كان السياق يتطلب استرجاعاً ضمن التوزيع (in-distribution retrieval) أو تعميماً سببياً خارج التوزيع (out-of-distribution causal generalization). وخلافاً للأنظمة الديناميكية الحرارية الفيزيائية حيث تؤدي درجة الحرارة إلى عواقب طاقية، فإن "درجة الحرارة الحسابية" ($\tau$) في نماذج الترانسفورمر هي معلمة فائقة (hyperparameter) مفصولة.

المنهجية
لاختبار فرضية الفصل الديناميكي الحراري تجريبياً، أجرى المؤلفون تجربة لقياس إنتروبيا شانون على مستوى الرمز ودقة المهام عبر ثلاثة نماذج Llama (بأحجام 3B و8B و70B بارامتر) تغطي رتبتين من الحجم.

• مجموعة المهام: تم إنشاء مجموعة مهام مكونة من 18 مهمة موزعة على ثلاث فئات تزداد فيها المتطلبات السببية:
  • مهام كبلر (Kepler Tasks): استرجاع العلاقات الفيزيائية الراسخة (استرجاع الأنماط).
  • مهام نيوتن (Newton Tasks): تطبيق العمليات السببية على تكوينات بارامترية جديدة (الاشتقاق السببي).
  • مهام نيوتن خارج التوزيع (Newton OOD Tasks): الاشتقاق تحت أنظمة بارامترية مصممة لتكون خارج أي تغطية محتملة لبيانات التدريب (تحول جذري في التوزيع).
• النماذج: llama3.2:3b و Llama-3.1-8B-Instruct و Llama-3.1-70B-Instruct.
• القياس:
  • الإنتروبيا: استُخرجت من احتمالات الرموز (logprobs) عند درجة حرارة استدلال منخفضة ($\tau = 0.1$) لتقليل ضجيج العينات العشوائية.
  • الدقة: تم تقييمها عبر التقييم البشري مقابل الحقيقة الأرضية (ground truth) المثبتة رياضياً. تُمنح الاستجابة درجة 1 فقط إذا وصلت إلى النتيجة الصحيحة من خلال اشتقاق صالح؛ أما السرديات المقنعة ذات النتائج الخاطئة فتُمنح درجة 0.
• التحليل الإحصائي: استُخدمت اختبارات "ويلش t-test" لمقارنة الإنتروبيا والدقة عبر الفئات لكل نموذج.

النتائج الرئيسية
تقدم النتائج التجريبية دليلاً قوياً على الفصل الديناميكي الحراري:

1. ثبات الإنتروبيا (Entropy Flatness): كانت إنتروبيا شانون على مستوى الرمز ثابتة إحصائياً عبر جميع فئات المهام الثلاث لجميع النماذج الثلاثة.
   • كانت نطاقات الإنتروبيا داخل النموذج ضئيلة جداً (0.011–0.028 نات)، وهي أقل بكثير من عتبة الثبات المحددة مسبقاً (0.10 نات).
   • كانت جميع قيم p-values للمقارنات بين الإنتروبيا غير دالة إحصائياً ($p \ge 0.568$).
2. تباين الدقة: في المقابل، تباينت دقة المهام بشكل جذري (من 0% إلى 100%) اعتماداً على فئة المهمة وحجم النموذج.
   • حقق نموذج 70B دقة بنسبة 100% في مهام كبلر، و67% في مهام نيوتن، لكنه حقق 17% فقط في مهام نيوتن خارج التوزيع (OOD).
   • رغم هذا التباين الهائل في الصحة، ظلت الإنتروبيا ثابتة.
3. الثبات عبر المقاييس (Scale Invariance): هذا الفصل هو خاصية بنيوية، وليس خاصية للنماذج الصغيرة فقط. فبينما عملت النماذج الأكبر عند إنتروبيا أساسية أقل (يقين أعلى)، استمر "ثبات" الإنتروبيا عبر مستويات الصعوبة عبر جميع المقاييس. فقد وصلت جميع النماذج إلى نفس مستوى الدقة المنخفض (17%) في مهام OOD دون أي زيادة مقابلة في عدم اليقين.

الأهمية والادعاءات
تدعي الورقة أن النماذج اللغوية الكبيرة الحالية تمتلك خللاً هيكلياً في السلامة: يمكنها أن تكون "في أقصى درجات اليقين وفي أقصى درجات الخطأ في آن واحد".

• الآثار المترتبة على السلامة: نظراً لأن الإنتروبيا مفصولة عن الدقة، فلا يمكن لإنتروبيا شانون على مستوى الرمز أن تعمل كإشارة ثقة موثوقة لمرشحات السلامة. فالأنظمة التي تعتمد على الإنتروبيا لتمييز المخرات غير الموثوقة هي "عمياء وظيفياً" عن التمييز بين المعرفة والتلفيق.
• القصور البنيوي: هذا ليس مشكلة معايرة يمكن حلها بالتصحيح اللاحق، أو الضبط الدقيق، أو التوسع. إنه نتيجة أساسية للاستدلال ذي الأوزان الثابتة حيث تكون الركيزة الديناميكية الحرارية غير مبالية بالخطأ الإبستيمي.
• الاتجاه المستقبلي: يقترح المؤلفون أن تحقيق "عدم اليقين التنظيمي" يتطلب الربط الديناميكي الحراري، حيث تتناسب تكلفة الطاقة لكل عملية مع خطئها الإبستيمي. ويقترحون أن البنى العصبية (neuromorphic architectures) ذات وحدات التكلفة الجوهرية (حيث تدفع أخطاء التنبؤ تحديثات الأوزان في الوقت الفعلي مع تكاليف طاقة تعتمد على الخطأ) يمكن أن تسد هذه الفجوة، مما يجعل التلفيق مكلفاً فيزيائياً ويجعل الحالة الأرضية للنظام متوافقة مع الفهم.

تخلص الورقة إلى أن التأسيس الإبستيمي الحقيقي يتطلب ربطاً سببياً بين حالة الركيزة الديناميكية الحرارية وتكلفة معالجة المعلومات—وهي خاصية غائبة حالياً عن جميع النماذج اللغوية الكبيرة المستخدمة.