🤖 AI

Neural Diversity Regularizes Hallucinations in Language Models

تقدم هذه الورقة البحثية مفهوم "التنوع العصبي" كمحور قياس ثالث للنماذج اللغوية، مقترحةً طريقة ND-LoRA لتقليل الهلوسة بنسبة تصل إلى 25.6% من خلال التمثيلات المتوازية غير المترابطة وتنظيم "Barlow Twins"، مع وضع حدود رسمية تربط بين انخفاض الارتباط العصبي وارتفاع الموثوقية.

المؤلفون الأصليون: Kushal Chakrabarti, Nirmal Balachundhar

نُشر 2026-08-06

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kushal Chakrabarti, Nirmal Balachundhar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز صعب، ولكن بدلاً من سؤال شخص واحد فقط، تسأل فريقاً كاملاً. إذا فكر الجميع في الفريق بنفس الطريقة تماماً، فقد يرتكبون جميعاً نفس الخطأ السخيف ويعطونك الإجابة الخاطئة معاً. هذه هي المشكلة الجوهرية في "نماذج اللغة" الحديثة — تلك البرامج الحاسوبية فائقة الذكاء التي تكتب القصص، وتجيب على الأسئلة، وتدردش معنا. ورغم أن هذه البرامج تزداد ضخامة وذكاءً، إلا أنها لا تزال تخطئ أحياناً وتختلق أشياء، وهو خلل يُسمى "الهلوسة". فقد تذكر بثقة حقيقة مزيفة أو تخترع قصة لم تحدث قط.

ولإصلاح ذلك، يحاول العلماء عادةً جعل النماذج أكبر أو تغذيتها بمزيد من البيانات، مثل محاولة حل لغز عبر شراء صندوق أكبر. لكن هذه الورقة البحثية تقترح نهجاً مختلفاً: بدلاً من جعل الفريق أكبر، اجعل أعضاء الفريق مختلفين. لقد استعار المؤلفون فكرة من عالم التمويل تُسمى "التنويع". فتماماً كما لا يضع المستثمر كل أمواله في سهم واحد لأنه إذا فشل هذا السهم، فسيخسر كل شيء، بل يوزع أمواله على أسهم عديدة ومختلفة؛ فإذا انهار سهم واحد، قد تظل الأسهم الأخرى مستقرة، مما يحافظ على سلامة المحفظة الاستثمارية. تسأل الورقة: هل يمكننا فعل الشيء نفسه مع الأدمغة الحاسوبية؟ إذا أجبرنا الأجزاء المختلفة من النموذج على التفكير بطرق مختلفة قليلاً وغير مترابطة، فهل يمكننا منعها من ارتكاب نفس الخطأ في الوقت ذاته؟

هذا هو بالضبط ما سعى الباحثون لاختباره. إنهم يقترحون طريقة جديدة تسمى "التنوع العصبي" (Neural Diversity)، والتي تعمل كـ "مدرب تنوع" لدماغ الكمبيوتر. فبدلاً من ترك المسارات الداخلية للنموذج تنهار لتفكر بنفس الطريقة، فإنهم يجبرون هذه المسارات على البقاء متميزة ومستقلة. لقد بنوا أداة تسمى "ND-LoRA" للقيام بذلك. فكر في الأمر كأنك تعطي نموذجاً حاسوبياً واحداً أربعة "قبعات" مختلفة ليرتديها في آن واحد. تمثل كل قبعة طريقة مختلفة قليلاً لمعالجة نفس الجملة، ثم يقوم النموذج بدمج الإجابات من جميع القبعات الأربع.

النتائج واعدة للغاية. فمن خلال استخدام نهج "القبعات الأربع" هذا واستخدام خدعة رياضية خاصة لمنع القبعات من أن تصبح متشابهة جداً، وجد الباحثون أن بإمكانهم تقليل عدد الحقائق المختلقة بنسبة تصل إلى 25.6% في اختبارات محددة، مع تحسن متوسط قدره 14.6%. حدث هذا دون الحاجة لجعل نموذج الكمبيوتر أكبر أو تدريبه على المزيد من البيانات. في الواقع، لم يكلف الأمر سوى قدر ضئيل جداً من قوة الحوسبة الإضافية — حوالي 0.008% من وقت التدريب، وبسرعة تبلغ 1.1 مرة فقط عند التشغيل.

ومع ذلك، اكتشفت الورقة أيضاً تحولاً مفاجئاً: التنوع الزائد ليس دائماً أفضل. الأمر يشبه الجوقة الموسيقية؛ إذا غنى الجميع نوتة مختلفة، فسيتحول الأمر إلى ضجيج. وإذا غنى الجميع نفس النوتة تماماً، فسيكون الأمر مملاً ومعرضاً للأخطاء. هناك "نقطة مثالية" حيث تكون الأصوات مختلفة بما يكفي لكشف الأخطاء، ومتشابهة بما يكفي للاتفاق على الحقيقة. وجد الباحثون أن هذه النقطة المثالية تتغير بناءً على ما يفعله الكمبيوتر. فبالنسبة للمهام التي تتضمن سرد القصص الإبداعية أو التحقق من الحقائق، كان وجود أصوات "مختلفة" أكثر (تحديداً 4 إلى 8 مسارات متوازية) هو الأفضل. ولكن بالنسبة لمهام الذاكرة البسيطة، مثل استرجاع اسم معين، كان وجود صوت واحد هو الأكثر موثوقية في الواقع.

ويؤكد المؤلفون أن رياضياتهم تثبت أن هذا يجب أن ينجح، وأن تجاربهم على نموذج صغير أظهرت أنه ينجح بالفعل، لكن هذا حل محدد لنوع معين من الأخطاء. إنهم يجادلون بأن الهلوسة غالباً ما تنتج عن وقوع الأجزاء الداخلية للنموذج في حلقة مفرغة من الأفكار المتشابهة والخاطئة، وليس مجرد نقص في المعرفة. ومن خلال كسر تلك الحلقة عبر التنوع، يمكنهم جعل النموذج أكثر موثوقية دون الحاجة لبناء كمبيوتر خارق ضخم ومكلف. إنه أسلوب ذكي ومنخفض التكلفة لجعل الذكاء الاصطناعي أقل عرضة للكذب، مما يثبت أن أفضل طريقة للحصول على إجابة أفضل هي طرح بضعة أسئلة مختلفة في وقت واحد.

ملخص تقني: التنوع العصبي ينظم الهلوسة في النماذج اللغوية

بيان المشكلة

على الرغم من توسيع نطاق المعلمات (parameters)، والحوسبة، والبيانات، لا تزال النماذج اللغوية (LMs) تعاني من مشكلة الهلوسة المستمرة. وتتفاقم أزمة الموثوقية هذه بشكل خاص في النماذج اللغوية الصغيرة (SLMs)، التي تحظى باهتمام متزايد لتطبيقات الحافة (edge) والتطبيقات الوكيلية (agentic)، ولكنها تمتلك تمثيلات مضغوطة تجعلها عرضة لتوليد محتوى غير صحيح واقعيًا أو غير متسق.

تركز استراتيجيات التخفيف الحالية بشكل كبير على تحسين الأداء المتوسط (تحسينات العزم الأول) بدلاً من التحكم في مخاطر الذيل (tail risk). تهدف تقنيات مثل التعلم المعزز من التغذية الراجعة البشرية (RLHF)، والتوليد المعزز بالاسترجاع (RAG)، وفك التشفير التبايني (contrastive decoding) إلى تحسين متوسط السلامة أو التجذر الواقعي. ومع ذلك، تفتقر هذه الأساليب إلى الضمانات الرسمية فيما يتعلق باحتمالية حدوث حالات الفشل الكارثي (الهلوسة). علاوة على ذلك، غالبًا ما تعاني طرق التوسع المتوازي الحالية من "الانهيار التمثيلي" (representational collapse)، حيث تتقارب المسارات المتوازية نحو تمثيلات متشابهة، مما يفشل في تحقيق مكاسب الموثوقية. تفترض الورقة أن الهلوسة الناجمة عن أخطاء تمثيلية مترابطة، وليس نقص المعرفة، تشكل مشكلة موثوقية من العزم الثاني يمكن معالجتها من خلال تنويع نظرية المحفظة (portfolio-theoretic diversification).

المنهجية

الإطار النظري: نظرية المحفظة للهلوسة

يعيد المؤلفون صياغة احتمالية الهلوسة كمسألة موثوقية من العزم الثاني محكومة بالتباين التمثيلي (representational covariance). وبالاستناد إلى نظرية المحفظة لماركويتز (1952)، يقترحون أن التمثيلات المتوازية غير المترابطة ("التنوع العصبي") يمكن أن تقلل من الحد العلوي لذيل احتمالية الهلوسة.

نموذج الإشارة والضجيج: يفترض النموذج وجود $P$ من مسارات الحوسبة المتوازية التي تعالج نفس المدخلات. ينتج كل مسار تمثيلاً خفيًا $Z_i = z^* + \epsilon_i$ ، حيث $\epsilon_i$ هو الضجيج.
مؤشر التنوع العصبي ( $D$ ): يقيس مؤشر يعتمد على جيب التمام (cosine-based index) التنوع عبر المسارات. $D=0$ يعني التعامد التام، بينما $D=1$ يعني الانهيار الكامل.
الحدود النظرية:
- النظرية 1: تثبت أن احتمالية الهلوسة $P(H_\delta)$ مقيدة بدالة للتنوع العصبي $D$ وعدد المسارات $P$ . وتحديدًا، مع عدم الارتباط التام، تتدرج $P(H_\delta)$ كـ $O(1/P)$ .
- النظرية 2: توضح سلوك التدرج غير الرتيب. فبينما يقلل زيادة $P$ من الهلوسة في البداية، فإن التوازي المفرط يمكن أن يؤدي إلى زيادة الارتباط (بسبب قيود المحسن/optimizer)، مما يتسبب في تدهور الموثوقية. وينتج عن ذلك منحنى على شكل حرف U حيث يوجد $P^*$ مثالي لمهمة معينة.

ND-LoRA: التكيف منخفض الرتبة للتنوع العصبي

لتشغيل هذه النظرية، قدم المؤلفون بنية ND-LoRA، وهي بنية فعالة في استخدام المعلمات تجمع بين محولات LoRA المتوازية مع تنظيم إلغاء الارتباط الصريح.

البنية: يستخدم النموذج $P$ $P$ من المسارات المتوازية. يستخدم كل مسار:
- محولات LoRA خاصة بكل مسار: تُطبق عند كل طبقة لتعديل التمثيل.
- رموز البادئة القابلة للتعلم (Learnable Prefix Tokens): 48 رمزًا يتم إدراجها قبل تسلسل المدخلات.
- مجمع متعدد المسارات (Multi-Stream Aggregator): آلية متعلمة لدمج مخرجات المسارات بأوزان ديناميكية، مما يمنع انهيار الانتباه (attention collapse).
التنظيم: يتضمن هدف التدريب تنظيم Barlow Twins ( $L_{BT}$ ) المطبق على أزواج من المسارات عند طبقة تصميم محددة. وهذا يجبر مصفوفة الارتباط المتبادل للميزات البيضاء (whitened features) بين المسارات على الاقتراب من مصفوفة الوحدة، مما يقلل صراحةً من التكرار التمثيلي.
كفاءة التكلفة: يظل النموذج الأساسي (backbone) مجمدًا؛ ويتم تدريب المحولات المتوازية والمجمع فقط. وهذا يترتب عليه تكلفة ضئيلة في ما قبل التدريب (+0.008% من استمرار ما قبل التدريب) وزيادة طفيفة في زمن انتقال الاستدلال (1.1×).

المساهمات الرئيسية

الربط النظري: توفر الورقة أول إطار رسمي لحدود ذيل احتمالية الهلوسة في النماذج اللغوية المجمعة (ensembled LMs). لقد أثبتوا أن التنوع العصبي يقلل من هذه الحدود، وأثبتوا وجود مستوى توازي مثالي ( $P^*$ ) يقلل الهلوسة، مما يفسر 94.3% من تباين الموثوقية عبر التكوينات في إعدادهم.
البرهان البنائي (ND-LoRA): أثبت المؤلفون الجدوى التجريبية من خلال تقليل الهلوسة بنسبة تصل إلى 25.6% (14.6% في المتوسط) في نموذج لغوي صغير (Qwen2.5-0.5B) دون تدهور القدرات العامة. ويتم تحقيق ذلك بتكلفة حوسبة إضافية تقترب من الصفر.
التحليل الآلي: من خلال عمليات الاستبعاد (ablations) والتدخلات السببية، أثبتت الورقة أن التنوع العصبي هو العامل الوسيط.
- السببية: يؤدي إفساد التنوع اصطناعيًا إلى انخفاضات ذات دلالة إحصائية في الدقة ( $p < 0.001$ ).
- التآزر: تعمل محولات LoRA وتنظيم Barlow Twins بشكل تآزري؛ فلا يكفي أي منهما بمفرده لتحقيق أقصى قدر من المكاسب.
- الاعتماد على المهمة: تتطلب المهام المختلفة مستويات مختلفة من التنوع الأمثل. المهام التي تركز على الهلوسة تستفيد من تنوع أعلى، بينما مهام استرجاع المعرفة غالبًا ما تصل لذروتها عند $P=1$ .

النتائج التجريبية

أُجري التقييم على Qwen2.5-0.5B المدرب على 20 مليون رمز من مجموعة بيانات The Pile، وتم التقييم عبر 12 مهمة.

تقليل الهلوسة: حقق ND-LoRA تحسينات كبيرة في معايير الهلوسة مقارنة بالنماذج المرجعية المتطابقة في المعلمات:
- HaluEval (التلخيص): تحسن نسبي قدره +25.6% ( $P^*=4$ ).
- HaluEval (الأسئلة والأجوبة): تحسن نسبي قدره +23.4% ( $P^*=4$ ).
- TruthfulQA (MC2): تحسن نسبي قدره +9.5% ( $P^*=2$ ).
- MemoTrap v2: تحسن نسبي قدره +8.8% ( $P^*=8$ ).
الحفاظ على القدرات: تم الحفاظ على القدرات العامة (مقاسة بـ NQ، وWinogrande، وWikitext BPB) أو تحسينها قليلاً، مما يشير إلى عدم وجود "ضريبة معرفية" (knowledge tax).
المقارنة مع النماذج المرجعية: تفوق ND-LoRA على تدخلات وقت الاستدلال (Context-Aware Decoding، وActivation Decoding)، وعلى تنظيم عدم الاتفاق أثناء التدريب، محققًا متوسط تقليل للهلوسة قدره +14.6% مقارنة بـ +4.1% لأفضل طريقة تالية.
الملاءمة النظرية: طابقت العلاقة التجريبية بين التنوع العصبي والموثوقية التنبؤ النظري بمعامل تحديد $R^2$ قدره 0.943.

الأهمية والادعاءات

تدعي الورقة تقديم تحول في النموذج لمعالجة موثوقية النماذج اللغوية من خلال إعادة صياغة الهلوسة كـ مشكلة عزم ثاني (التباين والارتباط) بدلاً من كونها مشكلة عزم أول (متوسط الدقة).

الاستقلال عن التوسع: يتيح التنوع العصبي مكاسب الموثوقية دون التوسع الهائل في المعلمات أو البيانات. فهو يتحكم في احتمالية الذيل من خلال هيكل التباين والارتباط بدلاً من السعة.
كفاءة التكلفة: يحقق هذا النهج تحسينات جوهرية في الموثوقية بتكلفة إضافية تقتر في الصفر في مرحلة ما قبل التدريب، ومع زيادة طفيفة قدرها 1.1× في زمن انتقال الاستدلال، مما يجعله مناسبًا للنشر في البيئات الحساسة للوقت والآمنة.
الأمثلية الخاصة بالمهمة: تسلط الورقة الضوء على أن الموثوقية ليست خاصية أحادية النوع؛ فالمهام المختلفة تتطلب درجات مختلفة من التنوع العصبي. وهذا يشير إلى الانتقال من قوانين التوسع "التي تناسب الجميع" إلى تصميم معماري مبني على خصائص المهمة.

يخلص المؤلفون إلى أنه على الرغم من أن عرضهم تم على نموذج صغير، إلا أن الإطار النظري والتكاليف المنخفضة يشيران إلى أن التنوع العصبي هو آلية قابلة للتوسع وعملية لتحسين موثوقية النماذج اللغوية في المجالات عالية المخاطر.