Precision, Physics, and Confabulation: Softmax Temperature as an Analog of Dopaminergic Precision-Weighting in LLM Hallucination

ملخص تقني: الدقة، الفيزياء، والتلفيق

بيان المشكلة
كثيراً ما تنتج النماذج اللغوية الكبيرة (LLMs) "هلوسات"—وهي حقائق مختلقة تُعرض بنفس النبرة السلسة والواثقة التي تُعرض بها الإجابات الصحيحة. تماثل هذه الظاهرة ميزة جوهرية في الذهان كما هو موصوف في الطب النفسي الحسابي: الوزن غير الطبيعي للدقة (aberrant precision-weighting). وفقاً لمبدأ الطاقة الحرة وأطر الترميز التنبؤي، يُعد الإدراك عملية استدلال بايزي (Bayesian inference) حيث يجمع الدماغ بين المعتقدات المسبقة (priors) والأدلة الحسية، مع وزن كل منهما بناءً على دقتهما (مقلوب التباين). ويُنظر إلى الذهان على أنه ينشأ عندما يخصص الدوبامين دقة مفرطة للمعتقدات المسبقة أو للضجيج بالنسبة للأدلة الحسية، مما يؤدي إلى استدلالات واثقة ولكن خاطئة (الهلوسة).

بينما تعتبر الآلية الرياضية لهذين المجالين متطابقة—حيث أن درجة حرارة السوفتماكس (softmax temperature - $T$) في النماذج اللغوية الكبيرة هي مقلوب معامل الدقة (precision) في الاستدلال البايزي—إلا أنه لا يوجد عمل سابق اختبر مباشرة ما إذا كان التلاعب بـ $T$ في النماذج اللغوية الكبيرة يعيد إنتاج السمات النوعية لوزن الدقة غير الطبيعي المتوقع في الطب النفسي الحسابي. وتحديداً، هل تؤدي درجة الحرارة المنخفضة (دقة عالية) إلى توليد تلفيقات واثقة وغير مستندة إلى أدلة، بينما تؤدي درجة الحرارة العالية (دقة منخفضة) إلى أخطاء أكثر صدقاً وتحفظاً؟

المنهجية
أجرى المؤلف دراسة استطلاعية باستخدام نموذج LLaMA 3.2 (3B) على مجموعة ثابتة مكونة من 25 سؤالاً طبياً و5,025 وثيقة مستمدة من دراسات MedRAG سابقة. صُممت التجربة للتلاعب بمتغيرين:

1. الحالة (Condition): حالة "الأساس" (Base) (غير المستندة إلى أدلة) والتي تعتمد فقط على المعتقدات المسبقة البارامترية، وحالة "RAG" (التوليد المعزز بالاسترجاع) حيث تم ربط النموذج بأدلة مسترجعة (تعمل كحد "الأدلة الحسية").
2. درجة الحرارة ($T$): تم اختبار ثلاث درجات حرارة لأخذ العينات: $T=0.0$ (شبه حتمي/دقة عالية)، $T=0.7$ (قياسي/متوسط)، و $T=1.3$ (منتشر/دقة منخفضة).

قيمت الدراسة 150 تركيبة إجمالية ($3 \text{ درجات حرارة} \times 2 \text{ حالة} \times 25 \text{ سؤالاً}$).

• الدقة: تم قياسها باستخدام معيار الكلمة المفتاحية الذهبية مع فترات ثقة بنسبة 95% وفقاً لـ Wilson score.
• بصمة الثقة (التحفظ/Hedging): بالنسبة للإجابات غير الصحيحة، قام المؤلف بحصر تكرارات معجم لفظي مكون من 15 كلمة للتحفظ (مثل: "قد"، "ربما"، "يشير إلى"، "غير مؤكد").
• التحليل الإحصائي: استُخدمت اختبارات Mann-Whitney U غير المعلمية لمقارنة عدد كلمات التحفظ بين مجموعات درجات الحرارة لكل من الإجابات الصحيحة والخاطئة.

المساهمات الرئيسية

1. التناظر الرسمي: يربط البحث صراحة بين وزن الدقة الدوباميني في الطب النفسي الحسابي، ودرجة الحرارة العكسية في الميكانيكا الإحصائية، ومعامل درجة حرارة السوفتماكس في النماذج اللغوية الكبيرة، مؤسساً أن $precision \propto 1/T$.
2. الفرضية الإجرائية: ترجم هذا التناظر الرياضي إلى فرضية قابلة للاختبار: وهي أن درجة الحرارة المنخفضة يجب أن تسبب "تلفيقاً واثقاً" (تحفظ منخفض في الإجابات الخاطئة)، وهو تأثير ينبغي تخفيفه عن طريق الربط بالاسترجاع (RAG).
3. التقرير الصادق للبيانات الاستطلاعية: يميز المؤلف بين التناظر الرياضي الدقيق والادعاء البيولوجي، مع تقديم النتائج مع التحفظات المناسبة فيما يتعلق بالقوة الإحصائية وحجم العينة.

النتائج

• H1 (RAG يزيل الحساسية لدرجة الحرارة): في حالة الأساس (غير المستندة إلى أدلة)، تباينت الدقة بشكل غير رتيب عبر درجات الحرارة (0.72 عند $T=0.0$، 0.64 عند $T=0.7$، 0.68 عند $T=1.3$)، رغم تداخل فترات الثقة بشكل كبير. في المقابل، كانت دقة RAG (المستندة إلى أدلة) ثابتة تماماً عند 1.000 عبر جميع درجات الحرارة. وهذا يدعم التنبؤ النظري بأن الأدلة عالية الدقة (الاسترجاع) تتجاوز تأثير إعداد دقة المعتقدات المسبقة.
• H2 (بصمة التلفيق الواثق): في حالة الأساس، احتوت الإجابات الخاطئة عند $T=0.0$ على كلمات تحفظ أقل بكثير (المتوسط = 0.14) مقارنة بالإجابات الخاطئة عند $T=0.7/1.3$ (المتوسط = 0.89). يمثل هذا زيادة بمقدار ستة أضعاف في التحفظ عند درجات الحرارة الأعلى. ومع ذلك، نظراً لصغر حجم العينة للإجابات الخاطئة عند $T=0.0$ ($n=7$)، فإن هذا الفرق لم يصل إلى الدلالة الإحصائية ($p=0.16$).
• H3 (ضبط النوعية): عند تطبيق نفس التحليل على الإجابات الصحيحة، لم يتم العثور على علاقة بين درجة الحرارة والتحفظ ($p=0.90$). يشير هذا الفصل إلى أن التأثير خاص بتوليد الأخطاء (الهلوسة) وليس تحولاً أسلوبياً عاماً في مخرجات النموذج.

الأهمية والادعاءات
خلص البحث إلى أنه على الرغم من أن الدراسة الاستطلاعية تفتقر إلى القوة الإحصائية الكافية لتأكيد حساب الدقة المفربة رسمياً، إلا أن الأنماط الملحوظة متسقة نوعياً مع النظرية.

• التناظر الرياضي بين درجة حرارة السوفتماكس والدقة الدوبامينية هو تناظر دقيق.
• النمط النوعي المتوقع من النظرية (تلفيق واثق عند درجة حرارة منخفضة، وعدم يقين صادق عند درجة حرارة عالية) ظهر تحديداً في الإجابات الخاطئة وكان غائباً في الإجابات الصحيحة.
• نتائج RAG توفر برهاناً قوياً على أن الربط يعمل كحد دليل عالي الدقة، مما يستقر الدقة بغض النظر عن إعدادات الدقة الداخلية للنموذج.

يصرح المؤلف صراحة بأنه لا يدعي أن النماذج اللغوية الكبيرة تمتلك دوبامين بيولوجياً أو تطبق الاستدلال البايزي آلياً. بدلاً من ذلك، يقترح أن الرياضيات المشتركة تقدم إطاراً دقيقاً وقابلاً للاختبار لفهم الهلوسة. القيمة الأساسية لهذا العمل هي تحديد تنبؤات محددة وقابلة للتفنيد، وتسليط الضوء على الحاجة إلى دراسات أكبر ذات قوة إحصائية كافية للتمييز بين "تجاوز دقة الدليل لدقة المعتقد المسبق" وبين مجرد تأثيرات السقف (ceiling effects) في اختبارات RAG.