Enhancing Hallucination Detection through Noise Injection

إليك ملخص تقني مفصل لورقة البحث بعنوان "تعزيز كشف الهلوسة من خلال حقن الضجيج" (Enhancing Hallucination Detection Through Noise Injection)، المنشورة كبحث مؤتمر في ICLR 2026.

1. بيان المشكلة

غالبًا ما تولد النماذج اللغوية الكبيرة (LLMs) استجابات تبدو منطقية ولكنها غير صحيحة، وهي ظاهرة تُعرف باسم الهلوسة (Hallucination). ويعد كشف هذه الهلوسات أثناء الاستدلال أمرًا بالغ الأهمية للنشر الآمن.

• القيود الحالية: تعتمد طرق الكشف الحالية بشكل أساسي على اللايقين الأليتوريكي (aleatoric uncertainty) (اللايقين الناتج عن البيانات). فهي تولد عينات متعددة عبر السحب من توزيع التوكين (token distribution) الخاص بالنموذج (على سبيل المثال، عبر أخذ عينات درجة الحرارة/temperature sampling) وتقيس التشتت (الاعتلاج/entropy) للإجابات.
• الفجوة: هذا النهج دون المستوى الأمثل لأنه يلتقط فقط اللايقين المتأصل في توزيع البيانات، متجاهلاً اللايقين الإبستيمي (epistemic uncertainty) (اللايقين الخاص بالنموذج). ينشأ اللايقين الإبستيمي من بيانات التدريب المحدودة للنموذج ويمثل نقص معرفة النموذج بالإجابة الصحيحة. تفشل الطرق الحالية في التمييز بين نموذج "غير متأكد" بسبب غموض البيانات ونموذج "غير متأكد" لأنه لا يعرف الحقيقة فعليًا.

2. المنهجية

يقترح المؤلفون نهجًا خاليًا من التدريب يعتمد على حقن الضجيج لتقريب إطار عمل بايزي (Bayesian framework) يلتقط كلاً من اللايقين الأليتوريكي والإبستيمي في آن واحد.

المفهوم الجوهري: التوزيع البديل البايزي (Bayesian Surrogate Distribution)

بدلاً من معاملة النموذج اللغوي الكبير كطقم ثابت من الأوزان، يقرب المؤلفون توزيعًا فوق النماذج المحتملة، $q(\omega)$، ممركزًا حول الأوزان المدربة مسبقًا.

• اللايقين الإبستيمي: يتم التقاطه عبر تشويش معاملات النموذج (تحديدًا تنشيطات الوحدات المخفية) لمحاكاة أخذ عينات من نماذج مختلفة محتملة.
• اللايقين الأليتوريكي: يتم التقاطه عبر أخذ عينات التوكين القياسي (sampling) أثناء التوليد (temperature sampling).

التنفيذ التقني: حقن الضجيج

بدلاً من إعادة تدريب النموذج أو استخدام الاستدلال التبايني المكلف حاسوبيًا، يقوم المؤلفون بحقن الضجيج مباشرة في تنشيطات الطبقات متعددة الطبقات (MLP) لطبقات المحول (transformer layers) أثناء عملية التمرير الأمامي (forward pass).

• الآلية: بالنسبة لمجموعة فرعية مختارة من الطبقات (عادةً الطبقات العليا)، يتم تشويش التنشيطات المخفية $h_l$:
  $$\hat{h}_l = h_l + \epsilon$$
  حيث أن $\epsilon \sim U(0, \alpha)$ هو ضجيج منتظم (uniform noise).
• التكافؤ: تشويش حدود الانحياز (bias terms) في الـ MLP يكافئ رياضيًا تشويش الأوزان. يسمح حقن الضجيج في التنشيطات بـ أخذ العينات المتوازي (parallel sampling): حيث يمكن أخذ عينات من عدة "نماذج" (بواقعات ضجيج مختلفة) في تمرير أمامي واحد، مما يقلل التكلفة الحسابية بشكل كبير مقارنة بتشغيل عمليات تمرير أمامي منفصلة لكل نموذج مشوش.
• الخوارزمية (أخذ العينات المعزز بالضجيج):
  1. أخذ عينة من الضجيج $\epsilon$ من توزيع منتظم.
  2. حقن $\epsilon$ في تنشيطات الـ MLP للطبقات المختارة طوال عملية توليد التسلسل.
  3. أخذ عينات من التوكينات من التوزيع المعدل بدرجة الحرارة $p(y_t | y_{<t}, x, \hat{\omega})$.
  4. التكرار $K$ من المرات لتوليد مجموعة من الاستجابات $Y$.
  5. حساب مقياس لايقين (مثل اعتلاج الإجابة/Answer Entropy) عبر الاستجابات $K$. يشير الاعتلاج العالي إلى وجود هلوسة.

3. المساهمات الرئيسية

1. الرؤية النظرية: تثبت الورقة أن الكشف الفعال عن الهلوسة يتطلب التقاط كلاً من اللايقين الأليتوريكي (البيانات) والإبستيمي (النموذج). وتوضح أن هذين المصدرين من اللايقين متكاملان (ارتباط بيرسون 0.58)، مما يعني أن أحدهما لا يفسر الآخر بالكامل.
2. خوارزمية مبتكرة: طريقة بسيطة خالية من التدريب تقوم بحقن الضجيج في التنشيطات المخفية المتوسطة لتقريب التوزيع البعدي البايزي لمعلمات النموذج.
3. الكفاءة: تمكن هذه الطريقة من أخذ عينات من عدة "نماذج" في تمرير أمامي واحد عبر حقن الضجيج المجمع (batched noise injection)، مما يجعلها قابلة للتنفيذ حاسوبيًا للنماذج اللغوية الكبيرة واسعة النطاق.
4. القدرة على التعميم: النهج مستقل عن النموذج (model-agnostic) ويعمل عبر بنيات مختلفة (Llama, Mistral, Gemma, Phi) ومجموعات بيانات متنوعة (Math, Commonsense, Factual QA).

4. النتائج التجريبية

قيم المؤلفون طريقتهم على مجموعات بيانات متنوعة (GSM8K, CSQA, TriviaQA) ونماذج مختلفة (تتراوح من 2 مليار إلى 13 مليار معلمة).

• تحسين الأداء:
  • تحسن AUROC: أدى حقن الضجيج باستمرار إلى تحسين درجة المساحة تحت منحنى خصائص تشغيل المستقبِل (AUROC) لكشف الهلوسة.
    • مثال (GSM8K, Llama-2-7B): ارتفع AUROC من 71.56 (أخذ العينات القياسي) إلى 76.14 (المعزز بالضجيج).
    • مثال (CSQA, Llama-3.2-3B): ارتفع AUROC من 70.72 إلى 72.83.
  • المتانة: ظل التحسن قائمًا عبر مقاييس لايقين مختلفة (Answer Entropy, Semantic Entropy, Lexical Similarity, EigenScore) ومع مستويات مختلفة من شدة الضجيج.
• دراسات الاستئصال (Ablation Studies):
  • اختيار الطبقة: كان حقن الضجيج في الطبقات العليا (20–32 في Llama-2-7B) هو الأكثر فعالية، رغم أن حقنه في جميع الطبقات أدى أيضًا إلى تحسين الأداء.
  • حجم العينة: تحسن الأداء مع زيادة عدد العينات ($K=1$ إلى $20$)، ولكن حقن الضجيج قدم دفعة كبيرة حتى عند أعداد العينات المنخفضة.
  • درجة الحرارة مقابل الضجيج: الوصول إلى درجة حرارة عالية (أليتوريكي) بمفردها أدى إلى بلوغ مرحلة الثبات (plateau). إضافة الضجيج (إبستيمي) كسر مرحلة الثبات هذه، مما يؤكد الطبيعة التكاملية لكلا النوعين من اللايقين.
• الحفاظ على الدقة: من الأهمية بمكان أن الطريقة حسنت الكشف دون تقليل دقة توليد النموذج (المقاسة بدقة الإجابة عبر التصويت بالأغلبية).

5. الأهمية والأثر

• النشر الآمن: توفر هذه الطة أداة عملية ومنخفضة التكلفة للمطورين لكشف الهلوسات في الوقت الفعلي أثناء الاستدلال دون الحاجة إلى بيانات تدريب إضافية أو نماذج مساعدة.
• التقريب البايزي: تقدم حلاً قابلاً للتوسع لمشكلة "الاستدلال البايزي للنماذج اللغوية الكبيرة"، والتي كانت تاريخيًا غير قابلة للتنفيذ حاسوبيًا بسبب مليارات المعلمات.
• تحول في النموذج الفكري: ينقل هذا العمل التركيز من اللايقين القائم على البيانات فقط (أخذ عينات التوكين) إلى اللايقين القائم على النموذج (تشويش التمثيلات)، مما يشير إلى أن الهلوسات مرتبطة جوهريًا بعدم استقرار النموذج تحت تأثير تشويش المعلمات.
• التكامل: تشير النتائج إلى أن أنظمة كشف الهلوسة المستقبلية يجب أن تجمع بين اضطرابات المدخلات (أليتوريكي) واضطرابات النموذج (إبستيمي) لتحقيق أقصى قدر من المتانة.

باخت-صار، تجادل الورقة بأن الهلوسات ليست مجرد نتيجة لغموض البيانات، بل هي أيضًا نتيجة لجهل النموذج. ومن خلال حقن الضجيج لمحاكاة عدم اليقين في النموذج، تعزز الطريقة المقترحة بشكل كبير القدرة على اكتشاف متى يكون النموذج اللغوي الكبير في حالة "تخمين" بدلاً من حالة "معرفة".