💬 NLP

Probabilistic distances-based hallucination detection in LLMs with RAG

تقترح هذه الورقة طريقة غير خاضعة للإشراف وفعالة للكشف عن الهلوسة في أنظمة التوليد المعزز بالاسترجاع (RAG)، والتي تستفيد من المسافات الاحتمالية بين تضمينات رموز المطالبة والاستجابة لتحقيق أداء يضاهي أحدث ما توصل إليه العلم دون الحاجة إلى تدريب خاص بالمهمة.

المؤلفون الأصليون: Rodion Oblovatny, Alexandra Kuleshova, Konstantin Polev, Alexey Zaytsev

نُشر 2026-02-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Rodion Oblovatny, Alexandra Kuleshova, Konstantin Polev, Alexey Zaytsev

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "كشف الهلوسة في النماذج اللغوية الكبيرة ذات التوليد المعزز بالاسترجاع (RAG) بناءً على المسافات الاحتمالية" باستخدام لغة بسيطة وتشبيهات إبداعية.

الصورة الكبيرة: مشكلة "الكاذب الواثق"

تخيل أن لديك أمين مكتبة ذكي جداً ومطلع (وهو النموذج اللغوي الكبير - LLM). تسأله سؤالاً، فيذهب إلى رفوف مكتبته (نظام RAG أو "السياق المسترجع") ليجد الإجابة.

عادةً ما يكون أمين المكتبة رائعاً. لكن أحياناً، يصبح مبدعاً أكثر من اللازم؛ فقد يخلط بين كتابين، أو يخترع حقيقة تبدو منطقية ولكنها ليست موجودة في الكتب، أو يصرح بثقة بشيء يتعارض مع النص الذي قرأه للتو. هذا ما يسمى بـ الهلوسة (Hallucination).

في المجالات عالية الخطورة مثل القانون أو الطب، تكون الكذبة الواثقة خطيرة. نحن بحاجة إلى طريقة للإمساك بأمين المكتبة قبل أن يسلمك الإجابة الخاطئة.

الطريقة القديمة مقابل الطريقة الجديدة

الطريقة القديمة (نهج "مدقق الحقائق"):
تحاول معظم الطرق الحالية كشف الأكاذيب عبر الطلب من أمين المكتبة الإجابة على نفس السؤال خمس مرات مختلفة. إذا كانت الإجابات مختلفة، فهو بالتأكيد يكذب.

المشكلة: هذه الطريقة بطيئة، مكلفة، وأحياناً يكون أمين المكتبة مخطئاً بشكل مستمر. الأمر يشبه أن تطلب من كاذب أن يكرر نفس الكذبة خمس مرات؛ إذا كان بارعاً في ذلك، فستظل مخدوعاً به.

الطريقة الجديدة (نهج "اختبار الشعور" أو الـ Vibe Check):
تقترح هذه الورقة البحثية طريقة جديدة وذكية. بدلاً من الطلب من أمين المكتبة تكرار نفسه، ينظر المؤلفون إلى عملية التفكير الداخلية للذكاء الاصطناعي.

إنهم يعاملون النشاط الذهني الداخلي للذكاء الاصطناعي (المسمى الحالات الخفية - hidden states) كأنه مساحة فيزيائية.

المطالبة (السؤال): تخيل أن السؤال هو لون طلاء محدد (مثل: "الأزرق").
السياق (كتب المكتبة): تخيل أن الكتب هي دلو من الطلاء "الأزرق".
الإجابة:
- إذا كانت الإجابة صادقة، فإن "الطلاء" الداخلي للذكاء الاصطناعي الخاص بالإجابة يجب أن يشبه كثيراً الطلاء "الأزرق" القادم من الكتب. إنهما في نفس الحي.
- إذا كانت الإجابة هلوسة، فإن "الطلاء" الداخلي للذكاء الاصطناعي للإجابة سيبدو فجأة وكأنه "أحمر" أو "أخضر"، رغم أن الكتب كانت "زرقاء". لقد انحرف الذكاء الاصطناعي إلى جزء مختلف من محل الطلاء.

الفكرة الجوهرية: قياس "الانحراف"

يستخدم المؤلفون أداة رياضية تسمى التباين المتوسط الأقصى (Maximum Mean Discrepancy - MMD). فكر في هذا كأنه مسطرة فائقة الدقة تقيس المسافة بين مجموعتين من ألوان الطلاء.

الإعداد: يأخذون الطلاء "الأزرق" من السؤال/الكتب، و"الطلاء" من الإجابة.
القياس: يقيسون مدى بُعد هاتين المجموعتين عن بعضهما البعض داخل عقل الذكاء الاصطناائي.
الحكم:
- مسافة صغيرة: الإجابة تطابق السياق. من المرجح أنها حقيقية.
- مسافة كبيرة: الإجابة تنحرف بعيداً عن السياق. من المرجح أنها هلوسة.

السر الخفي: "Wild Bootstrap" و "Head Selection"

تقدم الورقة البحثية خدعتين خاصتين لجعل هذه المسطرة أكثر دقة:

1. الـ "Wild Bootstrap" (اختبار الإجهاد)
قياس المسافة ليس مثالياً دائماً؛ فأحياناً قد يبدو الطلاء مختلفاً لمجرد وجود ضوضاء عشوائية. للتأكد، استخدم المؤلفون تقنية تسمى Wild Bootstrap.

التشبيه: تخيل أنك تختبر سلامة جسر. أنت لا تقف عليه مرة واحدة فقط، بل تهزه، وتقفز عليه، وتحاكي الرياح والأمطار (هذا هو الـ "bootstrap").
في الورقة البحثية، يقومون بـ "هز" البيانات رياضياً ليروا ما إذا كانت المسافة بين السؤال والإجابة هي مسافة حقيقية وهامة أم أنها مجرد صدفة. هذا يعطيهم "القيمة الاحتمالية" (p-value)، وهي في الأساس درجة ثقة: "نحن متأكدون بنسبة 99% أن هذه الإجابة كذبة".

2. "Head Selection" (اختيار أفضل الجواسيس)
تحتوي نماذج الذكاء الاصطناعي الحديثة على آلاف "الأعصاب" الداخلية (تسمى رؤوس الانتباه - attention heads). بعضها جيد في القواعد، وبعضها في الحقائق، وبعضها في الهراء.

التشبيه: تخيل غرفة مليئة بـ 1000 جاسوس. إذا سألتهم جميعاً عن تقرير حول جريمة، فستحصل على الكثير من الضجيج. لكن إذا وجدت أفضل 6 جواسيس في كشف الأكاذب، فستكون تقاريرهم أكثر وضوحاً.
اكتشف المؤلفون أي "رؤوس" (جواسيس) محددة هي الأفضل في كشف الفرق بين الحقيقة والأكاذب، وهم يستمعون فقط إلى تلك الرؤوس. هذا يجعل عملية الكشف أكثر حدة ودقة.

لماذا يعد هذا أمراً بالغ الأهمية؟

إنه سريع: لا يحتاج الذكاء الاصطناٍ لإنشاء الإجابات عدة مرات. إنه يتحقق من الإجابة مرة واحدة أثناء تكوينها.
إنه "غير خاضع للإشراف" (Unsupervised): لا تحتاج إلى قاعدة بيانات ضخمة من "الأكاذب المعروفة" لتدريبه. لأن الطريقة تعتمد على بنية عقل الذكاء الاصطناعي (كيف تنحرف الإجابة عن السؤال)، فإنها تعمل حتى لو لم ترَ هلوسة من قبل. إنه مثل جهاز كشف الكذب يعرف كيف يبدو "الحديث الطبيعي"، لذا يكتشف فوراً عندما يبدأ شخص ما بالهذيان.
إنه ينتقل بفعالية: أظهر المؤلفون أنه إذا دربوا هذا النظام على لغز منطقي (NLI)، فإنه يعمل بشكل رائع أيضاً في كشف الأكاذب في النصوص الطبية أو القانونية. إنه كاشف أكاذب عالمي.

الملخص

تقدم هذه الورقة البحثية طريقة جديدة لكشف هلوسات الذكاء الاصطناعي من خلال قياس المسافة بين ما يقرأه الذكاء الاصطناعي وما يفكر فيه.

الحقيقة = أفكار الذكاء الاصطناعي تظل قريبة من النص.
الأكاذب = أفكار الذكاء الاصطناعي تنحرف بعيداً.

من خلال استخدام مسطرة رياضية (MMD)، واختبار إجهاد (Wild Bootstrap)، والاستماع إلى أفضل المستشعرات الداخلية (Head Selection)، أنشأوا نظاماً سريعاً، دقيقاً، ولا يحتاج لتعلم شكل الكذبة مسبقاً. إنه "اختبار شعور" للذكاء الاصطناعي يعمل حقاً.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "الاعتماد على المسافات الاحتمالية للكشف عن الهلوسة في النماذج اللغوية الكبيرة مع التوليد المعزز بالاسترجاع (RAG)" من قبل روديون أوبلوفاتي وآخرون.

1. بيان المشكلة

تعاني النماذج اللغوية الكبيرة (LLMs) بشكل متكرر من الهلوسة، حيث تولد محتوى غير صحيح واقعيًا أو غير متسق مع السياق المقدم. وتعد هذه المشكلة حرجة بشكل خاص في أنظمة التوليد المعزز بالاسترجاع (RAG)، حيث يُتوقع من النماذج أن تجعل إجاباتها مرتكزة على الوثائق المسترجعة.

قصور الطرق الحالية: تفشل طرق الكشف الحالية غالبًا في بيئات RAG لأنها:
- تحلل التوليدات بشكل منعزل دون مراعاة العلاقة بالسياق.
- تعتمد على الاتساق (مما يتطلب توليدات متعددة، وهو أمر مكلف حاسوبيًا) أو احتمالات الرموز (Token Probabilities) التي تعاني مع التبعيات المعقدة.
- تغفل المعلومات الدلالية الغنية المشفرة في الحالات الخفية (Hidden States) للمحول (Transformer)، وتركز بدلاً من ذلك على خرائط الانتباه أو الميزات السطحية.
- تتطلب غالبًا بيانات هلوسة مصنفة، مما يحد من قابليتها للتطبيق في المجالات الجديدة.

2. المنهجية

يقترح المؤلفون نهجًا داخليًا للنموذج وغير مُشرف (Unsupervised)، يكتشف الهلوسة عن طريق قياس التباعد الإحصائي بين توزيعات الحالات الخفية لـ المطالبة (السياق) و الاستجابة.

الفرضية الجوهرية

تظهر الاستجابات المهلوسة انحرافًا منهجيًا في الفضاء الكامن للنموذج مقارنة بالاستجابات المرتكزة على الحقائق. وتحديدًا، ستكون تضمينات الحالات الخفية للاستجابة المهلوسة بعيدة إحصائيًا عن تضمينات المطالبة مقارنة بالاستجابة المرتكزة واقعيًا.

الإطار التقني

استخراج الحالة الخفية:
- بدلًا من استخدام التضمينات القياسية لكل طبقة، تستخرج الطريقة الحالات الخفية من رؤوس انتباه (Attention Heads) محددة.
- يفترض المؤلفون أن "إشارات الأمانة" (Faithfulness signals) تكون أكثر تميزًا على مستوى الرأس وتصبح "ضبابية" عند تجميعها على مستوى الطبقة.
المسافة الاحتمالية (MMD):
- المقياس الأساسي هو التباعد المتوسط الأقصى (Maximum Mean Discrepancy - MMD)، وهو إحصاء غير معلمي يستخدم لقياس المسافة بين توزيعين احتماليين في فضاء هيلبرت لإعادة الإنتاج (RKHS).
- يتم حساب مربع MMD بين مجموعة تضمينات رموز المطالبة ( $P$ ) وتضمينات رموز الاستجابة ( $R$ ).
- يُستخدم نواة لابلاس (Laplacian kernel) مع معيار $L_1$ -norm.
بوتستراب بري (Wild Bootstrap) لاختبار المعنوية:
- لضمان إمكانية مقارنة الدرجة عبر التسلسلات ذات الأطوال المختلفة وصلاحيتها في الإعدادات غير التقاربية، يتم تحويل قيمة MMD الخام إلى قيمة احتمالية (p-value).
- يستخدم المؤلفون Wild Bootstrap (تحديدًا مع أوزان ذات اعتماد ذاتي من الدرجة الأولى) لتقريب التوزيع الصفري لإحصاء MMD.
- لماذا Wild Bootstrap؟ بخلاف خلط الملصقات (Label Shuffling)، يحافظ Wild Bootstrap على التبعية التسلسلية والارتباطات المحلية المتأصلة في تضمينات رموز النص (النحو والدلالة).
- تُعرف درجة الهلوسة النهائية بأنها $1 - \text{p-value}$ . تشير الدرجة الأعلى إلى احتمال أعلى للهلوسة.
اختيار الرؤوس (Head Selection):
- تختار خوارزمية المجموعة الفرعية المثلى من رؤوس الانتباه ( $N_{opt} \le 6$ ) بناءً على مجموعة بيانات اختبارية. يتم ترتيب الرؤوس حسب "قدرة الفصل" (الفرق في الدرجات بين العينات المهلوسة والمرتكزة على الحقائق).
التحويل غير المُشرف (الارتباط بـ NLI):
- تستفيد الطريقة من التشابه بين كشف الهلوسة و الاستدلال اللغوي الطبيعي (NLI). في NLI، يوجد تناقض إذا احتوت الفرضية على معلومات غائبة عن المقدمة أو مناقضة لها.
- يوضح المؤلفون أن الرؤوس المختارة على مجموعات بيانات NLI (مثل SNLI) يمكن نقلها إلى مهام كشف الهلوسة دون الحاجة لبيانات هلوسة مصنفة، مما يتيح كاشفًا غير مُشرف بالكامل.

3. المساهمات الرئيسية

مقياس مبتكر: تقديم المسافات الاحتمالية (MMD) بين توزيعات الحالات الخفية للمطالبة والاستجابة كمؤشر للهلوسة.
نهج داخلي للنموذج: طريقة لا تتطلب قواعد معرفية خارجية، أو نماذج مساعدة، أو توليدات متعددة.
دقة مستوى الرأس: إثبات أن اختيار رؤوس انتباه محددة يعطي نتائج فائقة مقارنة بالتجميع على مستوى الطبقة.
قابلية التحويل غير المُشرفة: النجاح في نقل آلية الكشف من مهام NLI إلى كشف هلوسة RAG، مما يسمح بالعمل في ظل ندرة بيانات الهلوسة المصنفة.
إطار إحصائي قوي: استخدام Wild Bootstrap لتوليد درجات معيارية وثابتة الطول (قيم p-value) بدلاً من الاعتماد على الإحصاءات الخام.

4. النتائج التجريبية

تم تقييم الطريقة على أربع مجموعات بيانات (RAGTruth, CoQA, SQuAD, XSum) باستخدام ثلاثة نماذج لغوية كبيرة (Mistral-7B, LLaMA-2-7B, LLaMA-2-13B).

الأداء: حققت طريقة MMD المقترحة نتائج تضاهي أو تتفوق على أحدث ما توصل إليه العلم (SOTA) في معظم الاختبارات.
- تفوقت بشكل خاص على LLaMA-2-13B، حيث حققت درجات ROC-AUC بلغت 0.94 على SQuAD و 0.93 على XSum.
- تفوقت على الطرق القائمة على الاتساق (مثل EigenScore و Semantic Entropy) والطرق القائمة على عدم اليقين (مثل Perplexity و Max Entropy).
دراسات الاستئصال (Ablation Studies):
- ضرورة البوتستراب: النسخة التي استخدمت البوتستراب تفوقت باستمرار على إحصاء MMD "الخام"، مما وفر درجات أكثر استقرارًا ومعيارية.
- الرأس مقابل الطبقة: تفوقت التضمينات على مستوى الرأس بشكل كبير على تضمينات مستوى الطبقة (على سبيل المثال، +0.2 في ROC-AUC على SQuad لنموذج LLaMA-2-7B)، مما يؤكد أن تجميع الطبقات يضعف إشارات الواقعية.
- نوع البوتستراب: أدى Wild bootstrap مع أوزان AR(1) (التي تأخذ في الاعتبار الارتباط الذاتي) إلى أداء أفضل من خلط الملصقات أو أوزان i.i.d.
- قابلية التحويل: حافظت الطريقة على أداء عالٍ عندما تم اختيار الرؤوس باستخدام مجموعة بيانات SNLI وتطبيقها على كشف الهلوسة، مما يثبت فائدتها في الظروف محدودة الموارد/غير المُشرفة.

5. الأهمية والخاتمة

تقدم هذه الورقة نهجًا هندسيًا بسيطًا وقويًا لكشف الهلوسة. من خلال معاملة الهلوسة كنوع من التباعد الإحصائي في الفضاء الكامن، يتجنب المؤلفون الحاجة إلى التحقق الخارجي المعقد أو أخذ عينات متعددة ومكلفة من التوليد.

الآثار الرئيسية:

الكفاءة: الطريقة فعالة حاسوبيًا لأنها تتطلب تمريرة أمامية واحدة فقط ولا تحتاج إلى إعادة تدريب أو نماذج خارجية.
القابلية للتوسع: تعمل بشكل ممتاز مع النماذج الأكبر (13B+)، مما يشير إلى أنه مع نمو النماذج، تصبح تمثيلاتها الكامنة لـ "الواقعية" أكثر تميزًا وقابلية للكشف عبر MMD.
العمومية: يشير الارتباط القوي مع مهام NLI إلى وجود رابط أساسي بين التناقض المنطقي والهلوسة، مما يسمح بنشر الطريقة في المجالات التي تندر فيها بيانات الهلوسة المصنفة.

يؤسس هذا العمل لفكرة أن تحليل المسافة الإحصائية بين توزيعات المطالبة والاستجابة يعد إشارة داخلية للنموذج عالية الفعالية للكشف عن الهلوسة في أنظمة RAG.