A Geometric Taxonomy of Hallucinations in LLMs

إليك ملخص تقني مفصل لورقة البحث "تصنيف هندسي للهلوسات في النماذج اللغوية الكبيرة" (A Geometric Taxonomy of Hallucinations in LLMs) للباحث خافيير مارين.

1. بيان المشكلة

غالباً ما يُستخدم مصطلح "الهلوسة" (Hallucination) في النماذج اللغوية الكبيرة (LLMs) كمصطلح شامل لمختلف أنماط الفشل، ومع ذلك فإن هذه الإخفاقات لها جذور وعواقب متباينة. تجادل الورقة بأن طرق التقييم الحالية تفشل في التمييز بين:

1. تجاهل السياق (عدم الأمانة/Unfaithfulness).
2. اختلاق كيانات غير موجودة (الترهات/Confabulation).
3. تقديم تفاصيل خاطئة ضمن أطر مفاهيمية صحيحة (الخطأ الواقعي/Factual error).

علاوة على ذلك، فإن المعايلات (Benchmarks) الحالية غالباً ما تدمج هذه الأنواع معاً أو تعتمد على "الاستلزام السطحي" (التحقق مما إذا كان النص يتبع منطقياً)، وهو ما يفشل في اكتشاف التزييف الدلالي العميق. يقترح المؤلفون أن أنماط الفشل المتميزة هذه تمتلك بصمات هندسية فريدة في فضاء التضمين ($S^{d-1}$)، مما يسمح بوضع تصنيف قائم على الهندسة المتجهية بدلاً من مجرد التحليل اللغوي.

2. المنهجية: تصنيف هندسي

تقدم الورقة تصنيفاً لثلاثة أنواع من الهلوسة وتقترح مقياسين للكشف يعتمدان على هندسة تضمينات الجمل (تحديداً باستخدام التمثيلات المعيرة بـ $L_2$).

الأنواع الثلاثة للهلوسة

• النوع الأول (عدم الأمانة - Unfaithfulness): يتجاهل النموذج السياق المقدم ($c$) ويولد من الذاكرة البارامترية. تظل الاستجابة ($r$) قريبة زاويّاً من الاستعلام ($q$) بدلاً من الانتقال نحو السياق.
• النوع الثاني (الترهات - Confabulation): يخترع النموذج كيانات أو آليات أو مفاهيم غير موجودة. ينحرف إزاحة الاستجابة عن "متعدد (manifold) الإجابة المحتملة" في اتجاهات يمكن اكتشافها هندسياً.
• النوع الثالث (الخطأ الواقعي - Factual Error): يقدم النموذج تفاصيل خاطئة ضمن إطار مفاهيمي صحيح (مثل: الموضوع صحيح، لكن التاريخ خطأ). تكون الاستجابة منطقية دلالياً وتشغل نفس منطقة فضاء التضمين التي تشغلها الاستجابة الصحيحة، مما يجعلها غير قابلة للتمييز هندسياً عن الحقيقة.

مقاييس الكشف

1. مؤشر التجذر الدلالي (SGI) للنوع الأول:

   • الصيغة: $SGI(r; q, c) = \frac{\theta(r, q)}{\theta(r, c)}$
   • المنطق: يقيس نسبة المسافات الجيوديسية على الكرة (Hypersphere). الاستجابة المتجذرة تتحرك نحو السياخ ($\theta(r, c) < \theta(r, q)$)، مما يعطي $SGI > 1$. أما الاستجابات غير الأمينة فتظل قريبة من الاستعلام، مما يعطي $SGI \leq 1$.
   • الميزة: يستخدم المسافة الزاوية (التي تحقق متباينة المثلث) بدلاً من تشابه جيب التمام الخام.

2. مؤشر التجذر الاتجاهي ($\Gamma$) للنوع الثاني:

   • الصيغة: $\Gamma(q, r; R) = \hat{\delta}(q, r)^\top \hat{\mu}$
   • المنطق: يحسب متجه الإزاحة $\delta = \hat{\phi}(r) - \hat{\phi}(q)$. ويقارن اتجاه هذه الإزاحة مقابل "اتجاه تجذري" متعلم ($\hat{\mu}$) مستمد من مجموعة مرجعية من الأزواج المتحقق منها.
   • الآلية: تشير القيم العالية إلى التوافق مع اتجاه الحقيقة المتعلم؛ بينما تشير القيم المنخفضة/السلبية إلى إزاحة شاذة تميز الترهات.
   • الكفاءة: يتطلب استدعاءً واحداً للتضمين وعملية ضرب نقطي واحدة فقط ($O(d)$).

3. المساهمات الرئيسية

• التصنيف الهندسي: أول إطار عمل يصنف الهلوسات بناءً على بصماتها الهندسية المحددة في فضاء التضمين، ويميز بين سلوكيات تجاهل السياق، واختلاق الكيانات، والخطأ في التفاصيل.
• خوارزميات كشف مبتكرة: تقديم SGI و $\Gamma$، اللذين يعملان دون الحاجة إلى معرفة داخلية للنموذج (White-box)، أو توليدات متعددة، أو الوصول إلى الوثائق المصدرية. يعتمدان فقط على هندسة استدعاء تضمين واحد.
• رؤية نظرية حول النوع الثالث: تجادل الورقة بأن أخطاء النوع الثالث غير مرئية هندسياً بطبيعتها لأن التمثيلات التوزيعية تشفر التواجد المشترك (Co-occurrence) وليس شروط الحقيقة.
• تحليل المعايلات (Benchmarks): تحليل دقيق لسبب تقديم بعض المعايلات (مثل TruthfulQA) لإشارات مضللة بسبب الارتباطات الأسلوبية بدلاً من الدقة الواقعية.

4. النتائج التجريبية

كشف النوع الأول (SGI)

• مجموعة البيانات: HaluEval QA ($n=10,000$).
• الأداء: يميز SGI باستمرار بين الاستجابات المتجذرة وغير الأمينة عبر خمس بنيات تضمين مختلفة.
  • متوسط SGI للاستجابات المتجذرة: 1.180 ($>1$).
  • متوسط SGI للاستجابات غير الأمينة: 0.910 ($\leq 1$).
  • AUROC: يتراوح بين 0.776 و 0.824.
• النتيجة: الاستجابات المتجذرة تتحرك بشكل موثوق نحو متجه السياق على الكرة.

كشف النوع الثاني ($\Gamma$)

• الترهات المصاغة بشرياً: في مجموعة بيانات مكونة من 142 ترهة مكتوبة بشرياً (مالية، طبية، قانونية)، حقق $\Gamma$ درجة AUROC بلغت 0.958.
  • المقارنة: تفوق بشكل كبير على خط الأساس NLI CrossEncoder (الذي حقق AUROC 0.611).
  • السبب: يفشل NLI لأن الترهات تكون متماسكة تركيبياً ومتوافقة مع الاستلزام؛ فقط الإزاحة الهندسية هي التي تكتشف الانحراف الدلالي.
• المعايلات الخارجية:
  • ExpertQA (المجال الخبير): حقق $\Gamma$ درجة AUROC بلغت 0.695، متفوقاً على NLI بفارق $\Delta = 0.243$. أما NLI فقد كان أداؤه عند مستوى الصدفة (0.452).
  • FELM: كشف متواضع (AUROC 0.648).
  • WikiBio: فشل (AUROC 0.581) لأن معايير التصنيف فيه تدمج بين أخطاء النوع الثاني والنوع الثالث (باعتبار أي تفصيل خاطئ "رئيسياً" بغض النظر عن المسافة الدلالية).
• المحلية النطاقية (Domain Locality): الكشف يعتمد بشدة على المجال. بينما تظهر الترهات المصاغة بشرياً هندسة مستقلة عن المجال، تظهر المعايلات المولدة بواسطة LLM (مثل HaluEval) اتجاهات تجذر شبه متعامدة بين المجالات (مثل الحوار مقابل الأسئلة والأجوبة)، مما يؤدي إلى انهيار الكشف عبر المجالات إلى مستوى الصدفة ($\approx 0.50$).

حدود النوع الثالث (TruthfulQA)

• المفارقة: حقق مصنف الانحدار اللوجستي (LR) على التضمينات الخام درجة AUROC بلغت 0.731 على TruthfulQA، مما يبدو مناقضاً لفرضية أن النوع الثالث غير قابل للكشف.
• الحل: تم تتبع الإشارة إلى ارتباط أسلوبي في التصنيف (Stylistic annotation confound).
  • الإجابات الصادقة كانت أطول وتستخدم أسلوب التحوط؛ بينما الإجابات الخاطئة كانت أقصر وتقريرية.
  • الإجابات الأطول تراكم محتوى دلالياً متعامداً مع الاستعلام، مما يخلق إزاحات متجهة أكبر استغلها نموذج LR.
  • الدليل الحاسم: عند استخدام طريقة $\Gamma$ الهندسية (التي لا يمكنها نشر الإشارات الأسلوبية)، انخفض الأداء إلى AUROC 0.535 (غير ذي دلالة إحصائية).
  • انعكاس جيب التمام (Cosine Inversion): كانت الإجابات الخاطئة هندسياً أقرب إلى الاستعلامات من الإجابات الصادقة (AUROC 0.365)، وهو عكس ما يجب أن يراه كاشف الخطأ الواقعي.

5. الأهمية والخاتمة

• القيد النظري: تثبت الورقة أن أخطاء النوع الثالث الواقعية غير قابلة للكشف نظرياً عبر الطرق الهندسية لأنها لا تترك بصمة هندسية متميزة عن الإجابات الصحيحة. النجاح الظاهري في كشفها هو نتاج أسلوب الكتابة أو تحيز التصنيف.
• الفائدة العملية: توفر الطرق المقترحة (SGI و $\Gamma$) كشفاً فعالاً (Black-box) للنوعين الأول والثاني من الهلوسات، متفوقة على نماذج NLI الحالية في المجالات المتخصصة حيث يفشل الاستلزام السطحي.
• نقد المعايلات: تسلط الدراسة الضوء على أن العديد من المعايلات الحالية (مثل TruthfulQA و WikiBio) معيبة لاختبار الكشف الهندسي لأنها تدمج أنواعاً مختلفة من الفشل أو تعتمد على إشارات أسلوبية بدلاً من الحقيقة الدلالية.
• الاتجاه المستقبلي: تشير الورقة إلى أن أنظمة الكشف يجب أن تُصمم لتناسب النظام الهندسي المحدد للبيانات (على سبيل المثال، التمييز بين "الترهات الحقيقية" و"نواتج توليد LLM") وتُقر بأن أخطاء النوع الثالث تتطلب طرق تحقق غير هندسية (مثل استرجاع المعرفة الخارجية).

باختصار، يقدم مارين إطاراً هندسياً صارماً لا يحسن فقط كشف أنواع معينة من الهلوسات، بل يحدد أيضاً الحدود النظرية لما يمكن للهندسة التضمينية وما لا يمكنها كشفه في النماذج اللغوية الكبيرة.