💬 NLP

Hallucination Detection in LLMs with Topological Divergence on Attention Graphs

تقدم الورقة البحثية TOHA، وهو كاشف للهلوسة قائم على الطوبولوجيا لأنظمة التوليد المعزز بالاسترجاع (RAG)، والذي يحدد المخرجات غير الصحيحة واقعياً من خلال قياس التباعد الطوبولوجي بين رسوم الانتباه البيانية للمطالبة والاستجابة، محققاً أداءً هو الأفضل في فئته بأقل قدر من البيانات والموارد الحسابية.

المؤلفون الأصليون: Alexandra Bazarova, Aleksandr Yugay, Andrey Shulga, Alina Ermilova, Andrei Volodichev, Konstantin Polev, Julia Belikova, Rauf Parchiev, Dmitry Simakov, Maxim Savchenko, Andrey Savchenko, Serguei Baran

نُشر 2026-05-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Alexandra Bazarova, Aleksandr Yugay, Andrey Shulga, Alina Ermilova, Andrei Volodichev, Konstantin Polev, Julia Belikova, Rauf Parchiev, Dmitry Simakov, Maxim Savchenko, Andrey Savchenko, Serguei Barannikov, Alexey Zaytsev

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج لغة كبير (LLM) كأنه راوٍ موهوب للغاية ولكنه مغرور أحياناً. عندما تسأله سؤالاً، فهو لا "يفكر" في الكلمات فحسب؛ بل ينظر إلى شبكة ضخمة وغير مرئية من الروابط بين كل كلمة رآها في حياته وكل كلمة على وشك قولها. هذه الشبكة تسمى خريطة الانتباه (Attention Map).

تقدم الورقة البحثية أداة جديدة تسمى TOHA (مكتشف الهلوسة القائم على الطوبولوجيا) للإمساك بهذا الراوي عندما يبدأ في اختلاق الأمور (الهلوسة). وإليك كيف يعمل، مشروحاً ببساطة:

1. شبكة الراوي (رسم بياني للانتباه)

تخيل خريطة الانتباه للنموذج كأنها خريطة مدينة.

المطالبة (سؤالك): هي المباني الموجودة على الجانب الأيسب من الخريطة.
الاستجابة (الإجابة): هي المباني الجديدة التي يتم بناؤها على الجانب الأيمن.
الخطوط: توضح الخطوط التي تربط بين المباني مدى قوة "نظر" النموذج إلى كلمة معينة أثناء كتابة كلمة أخرى. إذا كان النموذج يقول الحقيقة، فيجب أن تكون المباني الجديدة (الإجابة) مرتبطة بقوة بالمباني القديمة (الحقائق في سؤالك).

2. مشكلة "الهلوسة"

عندما يهلوس النموذج، يبدأ في بناء هياكل جديدة لا ترتبط جيداً بالمدينة الأصلية. الأمر يشبه قيام النموذج برسم جسر لمبنى غير موجود في سؤالك.

الإجابة الصادقة: المباني الجديدة مرتبطة بالمباني القديمة عبر جسور قوية وقصيرة.
الإجابة المهلوسة: المباني الجديدة تطفو في الهواء، أو مرتبطة بجسور طويلة جداً أو ضعيفة أو غير موجودة أصلاً.

3. محقق TOHA (التباعد الطوبولوجي)

TOHA هو محقق يقيس شكل هذه الروابط. وهو يستخدم مفهوماً رياضياً يسمى "التباعد الطوبولوجي".

التشبيه: تخيل أن لديك كومة من الأحجار (الكلمات في سؤالك) وأنت تحاول بناء كومة جديدة من الأحجار (الإجابة) بجانبها تماماً.
- إذا كنت تبني نسخة وفية، فستستخدم حبالاً قصيرة لربط الأحجار الجديدة بالأحجار القديمة. إجمالي طول الحبل المطلوب سيكون قصيراً.
- إذا كنت تختلق الأمور، فستكون أحجارك الجديدة بعيدة أو طافية. لربطها بالكومة القديمة، ستحتاج إلى حبال طويلة ومكلفة جداً.
الدرجة: يحسب TOHA إجمالي طول هذه "الحبال" (رياضياً، هو طول "الغابة الشجرية الدنيا" - Minimal Spanning Forest).
- إجمالي طول حبل قصير = الإجابة متجذرة في الحقائق (درجة هلوسة منخفضة).
- إجمالي طول حبل طويل = الإجابة تبتعد عن الحقائق (درجة هلوسة عالية).

4. "العيون الخاصة" (رؤوس مدركة للهلوسة)

تمتلك نماذج اللغة الكبيرة العديد من "الرؤوس" (أجزاء مختلفة من الدماغ تنظر إلى النص). اكتشفت الورقة البحثية أن ليست كل الرؤوس بارعة بالتساوي في كشف الأكاذيب.

بعض الرؤوس تعمل مثل آلات النسخ. تميل إلى النظر إلى أول كلمة في الجملة إذا ارتبكت.
وجد الباحثون أن "رؤوساً" محددة تظهر باستمرار طول حبل طويل (تباعد عالٍ) كلما كذب النموذج، بغض النظر عن الموضوع.
لا يفحص TOHA الدماغ بأكمله؛ بل يسأل هذه "العيون الخاصة" القليلة عن رأيها فقط. إذا قالوا: "مهلاً، هذه الروابط طويلة جداً"، يقوم TOHA بوضع علامة تحذير على الهلوسة.

5. لماذا يعد هذا أمراً هاماً

لا يحتاج لتدريب إضافي: على عكس الطرق الأخرى التي تحتاج لآلاف الأمثلة من "الأكاذيب" لتعلم كيفية كشفها، فإن TOHA "خالٍ من التدريب". فهو ينظر فقط إلى رياضيات الروابط في الوقت الفعلي.
سريع جداً: الطرق الأخرى غالباً ما تطلب من النموذج سرد القصة 10 أو 20 مرة لترى ما إذا كانت الإجابات متطابقة (مثل سؤال الشاهد عن تفاصيل قصته عدة مرات). أما TOHA فيحتاج فقط للنظر في القصة مرة واحدة. إنه أسرع من هذه الطرق البطيئة بما يصل إلى 70 مرة.
يعمل في كل مكان: اختبر الباحثون قدرته على نماذج مختلفة (مثل Llama و Mistral) وفي مهام متنوعة (الإجابة على الأسئلة، تلخيص الأخبار). لقد عمل باستمرار وبكفاءة، حتى عندما كان النموذج يتحدث عن مواضيع مختلفة تماماً.

ملخص

TOHA يشبه مفتش مراقبة الجودة لقصص الذكاء الاصطناعي. بدلاً من قراءة القصة للتحقق من الحقائق، فإنه ينظر إلى المخطط الهندسي (خريطة الانتباه). إذا أظهر المخطط أن الأجزاء الجديدة من القصة تطفو بعيداً عن الحقائق الأصلية، يرفع TOHA علامة حمراء. وهو يفعل ذلك بسرعة، وبتكلفة منخفضة، ودون الحاجة لحفظ قاموس من الأكاذيب.

ملخص تقني: TOHA – كشف الهلوسة القائم على الطوبولوجيا في رسوم الانتباه البيانية

بيان المشكلة

لا تزال النماذج اللغوية الكبيرة (LLMs)، لا سيالما عند نشرها في سيناريوهات التوليد المعزز بالاسترجاع (RAG)، عرضة لـ "الهلوسة" — أي توليد محتوى غير صحيح واقعيًا أو سياقيًا. ورغم وجود طرق كشف حالية، إلا أنها تواجه قيودًا عملية كبيرة: فالأساليب الخاضعة للإشراف تتطلب مجموعات بيانات مصنفة نادرة؛ والأساليب القائمة على الاتساق (مثل توليد عينات متعددة) تترتب عليها تكاليف حوسبة عالية؛ ومقاييس عدم اليقين (مثل الارتياب/Perplexity) غالبًا ما تفشل في التقاط عدم اليقين الحقيقي للنموذج أو الفروق الدقيقة في حالته الداخلية. هناك حاجة إلى آلية كشف فعالة في استهلاك البيانات، وخفيفة حوسبيًا، وقادرة على الاستفاء من الخصائص الهيكلية الداخلية للنماذج اللغوية الكبيرة دون الحاجة إلى إعادة تدريب مكثفة.

المنهجية

يقدم البحث TOHA (كاشف الهلوسة القائم على الطوبولوجيا)، وهو إطار عمل خالٍ من التدريب مصمم لكشف الهلوسة من خلال تحليل البنية الطوبولوجية لخرائط الانتباه داخل النماذج اللغوية الكبيرة.

1. رسوم الانتباه البيانية كأجسام طوبولوجية

تعيد الطريقة صياغة آلية الانتباه الذاتي لنماذج فك التشفير (decoder-only) كرسوم بيانية كاملة وموزونة $G$ . في هذا الرسم البياني:

العقد (Nodes): تمثل الرموز (tokens)، وتُقسم إلى رموز المطالبة (Prompt tokens - $P$ ) ورموز الاستجابة (Response tokens - $R$ ).
الحواف (Edges): تُوزن بـ $1 - w_{ij}$ ، حيث $w_{ij}$ هو درجة الانتباه من الرمز $i$ إلى الرمز $j$ ، مما يمثل مسافات زائفة.
يتم التعامل مع الرسم البياني الفرعي للمطالبة كبنية مرجعية، بينما يمثل الرسم البياني الفرعي للاستجابة المحتوى المولد.

2. مقياس MTop-DivG(R, P)

جوهر TOHA هو MTop-DivG(R, P)، وهو تعديل لتباعد الطوبولوجيا المتشعبة (Manifold Topology Divergence - MTop-Div) لإعدادات الرسوم البيانية.

الحساب: تقوم الطريقة بتصفير أوزان الحواف بين رموز المطالبة ( $P$ ) لعزل العلاقة الهيكلية بين المطالبة والاستجابة. ثم تحسب الـ 0-th order homology barcode للرسم البياني المعدل الناتج.
التعريف: درجة التباعد هي مجموع أطوال الفترات في الـ 0-th barcode ( $B_0$ ).
التفسير الهندسي: تساوي هذه الدرجة طول الغابة الشجرية الدنيا الممتدة (Minimal Spanning Forest - MSF) التي تربط رموز الاستجابة ( $R$ ) برموز المطالبة ( $P$ ).
التفسير المعلوماتي: تعمل الدرجة كوسيط لـ "الجدة" (novelty) في الاستجابة بالنسبة للمطالبة. يشير التباعد الأعلى إلى أن رموز الاستجابة أقل ترابطًا بإحكام مع بنية المطالبة، مما يوحي بإدخال معلومات جديدة، قد تكون هلوسة.

3. رؤوس الانتباه الواعية بالهلوسة (Hallucination-Aware Heads)

من النتائج الحاسمة في البحث أن ليست كل رؤوس الانتباه تساهم بالتساوي في كشف الهلوسة.

من خلال تحليل قيم التباعد عبر الطبقات والرؤوس المختلفة، حدد المؤلفون مجموعة فرعية محددة من "الرؤوس الواعية بالهلوسة".
تحقق هذه الرؤوس باستمرار درجات تباعد أعلى للعينات المهلوسة مقارنة بالعينات المستندة إلى الواقع عبر مجموعات بيانات متنوعة (مثل MS MARCO، وCoQA، وSQuAD).
ومن المثير للاهتمام أن هذه الرؤوس المحددة غالبًا ما تظهر "سلوك النسخ" (الاهتمام بقوة بالرمز الأول عندما تغيب التكرارات السابقة)، وهو ما يتوافق مع نتائج التفسير الآلي (mechanistic interpretability).

4. خوارزمية TOHA

تعمل الخوارزمية في مرحلتين:

اختيار الرؤوس (مرحلة الاستقصاء - Probe Phase): باستخدام مجموعة صغيرة من بيانات الاستقصاء المصنفة (مهلوسة مقابل مستندة للواقع)، تصنف الطريقة رؤوس الانتباه بناءً على قدرتها على الفصل بين الفئتين (مقاسة بـ $\Delta_{ij}$ ). تختار الطريقة أفضل $N_{opt}$ من الرؤوس (بحد أقصى 10) التي تعظم المساحة تحت منحنى خصائص التشغيل المستلم (AUROC).
التنبؤ: بالنسبة لعينة الاختبار، تكون درجة الهلوسة النهائية هي متوسط قيمة MTop-DivG(R, P) المحسوبة فقط عبر الرؤوس المختارة $N_{opt}$ .

المساهمات الرئيسية

إطار عمل TOHA: كاشف هلوسة قائم على الطوبولوجيا وخالٍ من التدريب، يستفيد من الخصائص الهيكلية لرسوم الانتباه البيانية. يعمل بشكل أسرع بكثير من الطرق المماثلة في الجودة ويتطلب حداً أدنى من البيانات المصنفة.
MTop-DivG(R, P): مقياس مبتكر يعدل تباعد الطوبولوجيا المتشعبة لتطبيقه على رسوم الانتباه البيانية. يقيس التباين الطوبولوجي بين المطالبة والاستجابة، مما يلتقط بفعالية "جدة" الاستجابة في سيناريوهات RAG.
اكتشاف الرؤوس الواعية بالهلوسة: تحديد مجموعة فرعية صغيرة ومتسقة من رؤوس الانتباه التي تميز الهلوسة بشكل موثوق عبر مجموعات البيانات. يتيح هذا الاكتشاف كشفًا قويًا باستخدام حوالي 10 رؤوس فقط، مما يضمن القابلية للنقل عبر المجالات.
الكفاءة والأداء: يحقق المنهج نتائج تضاهي أو تتفوق على أحدث الأساليب (state-of-the-art) في عدة اختبارات مع كونه فعالاً حوسبيًا (أسرع بحوالي 70 مرة من طريقة SelfCheckGPT التي تتطلب توليدات متعددة).

النتائج التجريبية

قيم المؤلفون TOHA على خمس مجموعات بيانات (MS MARCO، CNN/DM، CoQA، SQuAD، XSum) باستخدام خمسة نماذج لغوية مفتوحة المصدر (LLaMA-2-7B/13B، LLaMA-3.1-8B، Mistral-7B، Qwen2.5-7B).

الأداء: تفوق TOHA باستمرار على النماذج القائمة على عدم اليقين (Perplexity، Max Entropy) وطابق أو تجاوز الأساليب القائمة على الاتساق (SelfCheckGPT، Semantic Entropy) والأساليب القائمة على الحالة الداخلية (ReDEEP، HaloScope).
- شملت التحسينات الملحوظة زيادة قدرها +11.7% في MS MARCO (لنموذج Mistral-7B) و+21.6% في CoQA (لنموذج LLaMA-2-7B) مقارنة بالنماذج المرجعية القوية.
- في مجموعة بيانات HotpotQA متعددة الخطوات، أظهر TOHA أداءً فائقًا، مما يؤكد فعاليته في سيناريوهات الاستعلام المعقدة والواقعية.
الكفاءة: يعتبر TOHA أسرع بحوالي 7 مرات من SelfCheckGPT مع عملية توليد واحدة، وأسرع بأكثر من 70 مرة عندما يتطلب SelfCheckGPT عمليات توليد متعددة (10-20). زمن تشغيله يقارب مقاييس الإنتروبيا خفيفة الوزن.
المتانة: أظهر المنهج قدرة قوية على النقل؛ حيث ظل الأداء على مجموعات البيانات المنقولة (مثل التدريب على MS MARCO والاختبار على XSum) ضمن الانحرافات المعيارية لأداء المنهج على البيانات الأصلية.
كفاءة البيانات: يتطلب المنهج مجموعة استقصاء صغيرة فقط (50 عينة كحد أدنى) لاختيار الرؤوس المثلى، وبعد ذلك يعمل دون مزيد من التدريب.

الأهمية والادعاءات

يدعي البحث أن تحليل البنية الطوبولوجية لمصفوفات الانتباه يوفر مؤشرًا قويًا وفعالًا للموثوقية الواقعية في النماذج اللغوية الكبيرة. تكمن أهمية TOHA في قدرته على:

سد الفجوة بين تحليل البيانات الطوبولوجي (TDA) النظري وبين الكشف العملي عن الهلوسة.
التغلب على ندرة البيانات من خلال طلب حد أدنى من البيانات المصنفة للمعايرة، على عكس المصنفات الخاضعة للإشراف.
تقليل العبء الحوسبي عبر تجنب توليد عينات متعددة، مما يجعله مناسبًا للتطبيقات في الوقت الفعلي أو التطبيقات ذات الموارد المحدودة.
تقديم قابلية التفسير من خلال ربط إشارات الهلوسة برؤوس انتباه محددة "واعية بالهلوسة"، مما يقدم رؤى حول الأصول الميكانيكية للهلوسة (تحديدًا ارتباطها بسلوك النسخ).

يخلص المؤلفون إلى أن TOHA يقدم حلاً عمليًا وقابلاً للتوسع لضمان سلامة وموثوقية النماذج اللغوية الكبيرة في المجالات الحساسة، لا سيما داخل أنظمة RAG حيث تكون الدقة الواقعية أمراً بالغ الأهمية. وهم يقرون بالقيود المتعلقة بالتبعية للنماذج (الرؤوس المحددة قد تختلف باختلاف البنية) والقيد الحالي على الوسائط النصية فقط.