Do Hallucination Neurons Generalize? Evidence from Cross-Domain Transfer in LLMs

إليك ملخص تقني مفصل للورقة البحثية بعنوان "هل تعمم عصبونات الهلوسة؟ أدلة من النقل عبر المجالات في النماذج اللغوية الكبيرة (LLMs)" للباحثين سنهيت فادي وبوجيث فادي.

1. بيان المشكلة

حدد بحث حديث في التفسير الآلي (تحديداً Gao et al., 2025) مجموعة متفرقة من "عصبونات الهلوسة" (H-neurons)، والتي تشكل أقل من 0.1% من عصبونات الشبكة التغذية الأمامية (FFN)، وتتنبأ بشكل موثوق بمتى ستهلوس النماذج اللغوية الكبيرة (LLMs). تم تحديد هذه العصبونات باستخدام مقياس تقدير المساهمة من خلال السمات على مستوى الرمز (CETT) في مهام الإجابة على الأسئلة (QA) ذات المعرفة العامة.

الفجوة الحرجة التي تعالجها هذه الورقة هي القدرة على التعميم عبر المجالات. بينما أظهرت الأعمال السابقة أن عصبونات الهلوسة تتعمم على حالات جديدة ضمن نفس المجال، لا يزال من غير المعروف ما إذا كان المصنف المدرب على عصبونات الهلوسة من مجال معرفي واحد (مثل الأسئلة والأجوبة العامة) يمكنه اكتشاف الهلوسة في مجالات مختلفة تماماً (مثل القانون، أو التمويل، أو البرمجة). يبحث المؤلفون فيما إذا كانت الهلوسة آلية عصبية عالمية أم مجموعة من المسارات الخاصة بكل مجال.

2. المنهجية

الإعداد التجريبي

• النماذج: قيمت الدراسة 5 نماذج مفتوحة الأوزان مضبوطة التعليمات تتراوح أحجامها بين 3 إلى 8 مليارات معلمة:
  • Qwen2.5-3B, Nemotron-Mini-4B, Phi-3.5-mini, Mistral-7B, Llama-3.1-8B.
• المجالات: تم اختيار ستة مجالات معرفية متميزة لتمثيل أنواع مختلفة من الاستدلال:
  1. الأسئلة والأجوبة العامة: TriviaQA (استرجاع الحقائق).
  2. القانون: CaseHOLD (تحديد الأحكام القانونية).
  3. التمويل: FinancialPhraseBank (تحليل المشاعر).
  4. العلوم: ARC-Challenge (الاستدلال العلمي للمدارس).
  5. الاستدلال الأخلاقي: ETHICS (الحكم الأخلاقي الشائع).
  6. البرمجة: Devign (اكتشاف الثغرات).
• البيانات: تم أخذ عينة قدرها 1,000 سؤال لكل مجال. تم اختبار استراتيجيتين للتحفيز (Prompting): التحفيز المباشر و سلسلة الأفكـار (CoT).

تحديد وتصنيف عصبونات الهلوسة (H-Neuron)

1. استخراج الميزات: لكل مدخل، استخرج المؤلفون درجات CETT لجميع عصبونات FFN عبر جميع الطبقات. تُحسب درجة Cett للعصبون $j$ في الطبقة $\ell$ كالتالي:
   $$CETT_j^{(\ell)} = a_j^{(\ell)} \cdot \|w_j^{(\ell)}\|^2$$
   حيث $a$ هي قيمة التنشيط اللاحقة و $w$ هو متجه وزن الإسقاط السفلي.
2. التوسيم (Labeling): تم توسيم المدخلات بأنها "هلوسة" أو "غير هلوسة" بناءً على المطابقة التامة أو مطابقة السلاسل النصية المعيارية مقابل الحقيقة الأرضية (Ground Truth).
3. تدريب المصنف: تم تدريب مصنف انحدار لوجستي ذو تنظيم L1 على ميزات تنشيط العصبونات من مجال مصدر للتنبؤ بتوسيمات الهلوسة. يضمن تنظيم L1 التفرع (Sparsity)، حيث يختار فقط العصبونات الأكثر قدرة على التنبؤ (عصبونات الهلوسة).
4. بروتوكول النقل عبر المجالات: تم إنشاء مصفوفة نقل $6 \times 6$ لكل نموذج. تم تقييم كل مصنف تم تدريبه على المجال $i$ على كل مجال $j$ (بما في ذلك المجال $i$ نفسه).
   • المقياس: المساحة تحت منحنى خصائص التشغيل المستقبلي (AUROC).
   • فجوة النقل ($\Delta$): عُرّفت بأنها الفرق بين متوسط AUROC داخل المجال ومتوسط AUROC عبر المجالات.

اختبارات المتانة

• البوتستراب (Bootstrap): 1,000 إعادة عينة لضمان فترات ثقة بنسبة 95%.
• اختبار التبديل (Permutation Testing): 10,000 تكرار لاختبار الفرضية الصفرية بأن فجوة النقل تساوي صفراً.
• الاستقرار: أكد تحليل البذور المتعددة وجود اتفاق متوسط (تشابه جارديك $\approx 0.47$) في مجموعات العصبونات المختارة.

3. المساهمات الرئيسية

1. أول تحليل منهجي عبر المجالات: توفر الورقة أول تقييم شامل لنقل عصبونات الهلوسة عبر 6 مجالات متميزة و5 نماذج، مما أنتج 180 زوجاً من (تدريب-اختبار) للمجالات.
2. أدلة على خصوصية المجال: أثبتت الورقة أن عصبونات الهلوسة لا تتعمم عبر المجالات، مما يتحدى الافتراض بوجود "بصمة هلوسة" عالمية.
3. رؤى ميكانيكية: حددت الدراسة أنماطاً معينة من النقل الجزئي (مثل النقل بين القانون والعلوم) والنقل المتضاد (الأداء تحت مستوى الصدفة)، مما يشير إلى أن الهلوسة تنشأ من مسارات عصبية مشروطة بالمجال بدلاً من كونها آلية واحدة.

4. النتائج الرئيسية

النتيجة الأساسية: فجوة النقل

• الأداء داخل المجال: حققت المصنفات التي تم تدريبها واختبارها على نفس المجال متوسط AUROC قدره 0.783.
• الأداء عبر المجالات: عند النقل إلى مجال مختلف، انخفض الأداء بشكل كبير إلى متوسط AUROC قدره 0.563.
• فجوة النقل ($\Delta$): بلغت نسبة التدهور 0.220 ($p < 0.001$)، وهو انخفاض كبير إحصائياً وعملياً (فقدان بنسبة 28% تقريباً في القدرة التمييزية).
• الاتساق: كان هذا الفارق ثابتاً عبر جميع النماذج الخمسة المختبرة، بغض النظر عن عدد المعلمات (من 3B إلى 8B).

الأنماط الخاصة بالمجالات

• جسر القانون-العلوم: كان هناك استثناء ملحوظ في النقل بين مجالي القانون والعلوم. حققت المصنفات المدربة على أحدهما أداءً جيداً نسبياً على الآخر (AUROC $\approx 0.70$)، مما يشير إلى وجود ركائز عصبية مشتركة للاستدلال المنطقي المهيكل.
• البرمجة كحالة شاذة: أظهر اكتشاف الثغرات في البرمجة أكثر المسارات العصبية تميزاً. المصنفات المدربة على البرمجة قدمت أداءً يقارب الصدفة العشوائية (AUROC $\approx 0.51$) في جميع المجالات الأخرى، والعكس صحيح.
• النقل تحت مستوى الصدفة: أدت عدة عمليات نقل إلى AUROC أقل من 0.5 (مثلاً: من البرمجة $\to$ إلى التفكير الأخلاقي في نموذج Nemotron-4B سجلت AUROC 0.210). يشير هذا إلى التضاد (Anti-correlation): العصبونات التي تتنبأ بالهلوسة في مجال ما، تنبأت بالإجابات الصحيحة في مجال آخر، مما يعني وجود دوائر عصبية متضاربة.

تأثيرات سلسلة الأفكار (CoT)

• غيّر أسلوب التحفيز (CoT) مجموعة عصبونات الهلوسة المحددة بشكل كبير (تغيير عدد العصبونات بما يصل إلى +100 أو -76).
• بينما حسّن CoT أحياناً الكشف داخل المجال، إلا أنه لم يلغِ فجوة النقل عبر المجالات. تتضمن آلية الهلوسة تحت CoT إعادة تنظيم الإشارات عبر مجموعات سكانية مختلفة من العصبونات بدلاً من مجرد كبحها.

تحليل حجم النموذج

• لم تزد خصوصية المجال أو تنقص بشكل رتيب مع حجم النموذج (من 3B إلى 8B). تباينت فجوة النقل بشكل غير خطي عبر النماذج، مما يشير إلى أن البنية وتكوين بيانات التدريب يلعبان دوراً أكبر من مجرد عدد المعلمات الخام في هذا النطاق.

التدخل السببي (تغيير مقياس التنشيط)

• حاول المؤلفون تعديل الهلوسة عن طريق تغيير مقياس تنشيط عصبونات الهلوسة المحددة.
• النتيجة: لم يتم العث ප تأثير سببي ملموس. لم يؤدِ تغيير مقياس عصبونات الهلوسة إلى زيادة أو نقصان معدلات الهلوسة بشكل موثوق، مما يشير إلى أن هذه العصبونات هي علامات تشخيصية وليست روافع سببية كافية عند هذا المستوى من الندرة (أقل من 0.1%).

5. الأهمية والآثار المترتبة

• دحض الكواشف العالمية: تفند الدراسة الافتراض الضمني بأن كاشف الهلوسة المدرب على معايير عامة (مثل TriviaQA) يمكن نشره عالمياً.
• متطلبات النشر: يجب على الممارسين بناء بنية تحتية للكشف خاصة بكل مجال. لا يمكن لكاشف واحد تغطية تطبيقات القانون، والطب، والتمويل، والبرمجة في آن واحد.
• استراتيجية التدخل: يجب أن يكون محاولة كبح الهلوسة عبر استهداف عصبونات الهلوسة موجهاً للمجال. كبح العصبونات المحددة في الأسئلة والأجوبة العامة قد يؤدي دون قصد إلى زيادة الهلوسة في مجالات أخرى (بسبب الإشارات المتضادة الملاحظة).
• التحول النظري: يجب النظر إلى الهلوسة ليس كـ "خطأ" واحد بآلية عالمية، بل كعائلة من العمليات المشروطة بالمجال الناجمة عن فشل دوائر استدلال معينة أو مسارات استرجاع المعرفة.

الخاتة

تخلص الورقة إلى أن الهلوسة في النماذج اللغوية الكبيرة هي عملية متباينة ميكانيكياً. "إشارة الهلوسة" ليست سمة عالمية، بل هي متشابكة بعمق مع مجال المعرفة المحدد ونوع الاستدلال الذي تتم معالجته. يجب أن يركز العمل المستقبلي على المعايرة الخاصة بكل مجال واستقصاء ما إذا كانت النماذج الأكبر (70B+) تطور تمثيلات أكثر عالمية أم أن هذه الخصوصية المجالية ستستمر في التوسع.