💬 NLP

Detecting LLM Hallucinations via Embedding Cluster Geometry: A Three-Type Taxonomy with Measurable Signatures

تقترح هذه الورقة تصنيفاً هندسياً لـ "هلوسات" النماذج اللغوية الكبيرة إلى ثلاثة أنواع متميزة بناءً على هياكل عناقيد تضمين الرموز (token embedding cluster structures)، وتتحقق من هذا الإطار عبر 11 نموذجاً من نماذج المحولات (transformer models) باستخدام ثلاثة إحصاءات قابلة للقياس (الاقتران القطبي، وتماسك العنقود، وتدرج المعلومات الشعاعي) لتحديد ملفات تعريف الهشاشة المعتمدة على البنية الهندسية.

المؤلفون الأصليون: Matic Korun

نُشر 2026-02-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Matic Korun

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة سحرية ضخمة، حيث كل كتاب كتبه أمين مكتبة واثق جداً وسريع جداً (الذكاء الاصطناعي). أحياناً، قد يختلق هذا الأمين قصصاً تبدو مثالية ولكنها كاذبة تماماً. وهذا ما يسمى بـ "الهلوسة" (Hallucination).

معظم الناس يحاولون الإمساك بهذه الأكاذيب عن طريق قراءة القصة النهائية والتحقق مما إذا كانت منطقية. لكن هذه الورقة البحثية تقترح فكرة مختلفة: بدلاً من قراءة القصة، دعونا ننظر إلى خريطة دماغ أمين المكتبة أثناء تفكيره.

يقترح المؤلف، ماتيك كورون، أنه عندما يرتبك أمين المكتبة، فإن دماغه لا يصبح "فارغاً" فحسب، بل تتعثر أفكاره في أنماط غريبة ومحددة على الخريطة. ومن خلال قياس شكل هذه الأنماط، يمكننا التنبؤ بنوع الكذبة القادمة بدقة قبل حتى أن تُكتب.

إليك تفصيل لأنواع "فشل خريطة الدماغ" الثلاثة، باستخدام تشبيهات بسيطة:

الأنواع الثلاثة للهلوسة

تخيل أن دماغ أمين المكتبة عبارة عن مدينة ذات أحياء متميزة (عناقيد/Clusters) لمواضيع مختلفة، مثل "الحيوانات"، أو "الطبخ"، أو "التاريخ".

1. "المتجول الغامض" (النوع 1: الانجراف نحو المركز - Center-Drift)

ماذا يحدث: يُطلب من أمين المكتبة الإجابة على سؤال لا يفهمه حقاً. وبدلاً من الذهما إلى حي محدد، فإنه يتسكع في ساحة المدينة (مركز الخريطة).
النتيجة: يعطيك إجابة آمنة، عامة، وتبدو واثقة ولكنها لا تقول شيئاً مفيداً.
- مثال: "ما هي عاصمة بلد 'زوغ'؟" -> "إنها مدينة مهمة جداً بها الكثير من الناس." (حقيقة، ولكنها عديمة الفائدة).
العلامة المميزة: الفكرة ضعيفة وتقبع في منتصف الخرائط تماماً، بعيداً عن أي حي محدد.

2. "البئر الخاطئ الواثق" (النوع 2: التقارب في البئر الخاطئ - Wrong-Well Convergence)

ماذا يحدث: أمين المكتبة مركز جداً! إنه يندفع مباشرة نحو حي معين، لكنه الحي الخاطئ. إنه واثق جداً في هذا الحي لدرجة أنه لن يستمع إليك.
النتيجة: يقدم لك كذبة مفصلة، محددة، ومقنعة.
- مثال: "من اخترع المصباح الكهربائي؟" -> "توماس إديسون اخترع المصباح الكهربائي في عام 1805." (واثق، ومفصل، لكن التاريخ خاطئ).
العلامة المميزة: الفكرة عميقة داخل أحد الأحياء، لكنه الحي الخاطئ بالنسبة للسؤال.

3. "التائه في البرية" (النوع 3: فجوة التغطية - Coverage Gap)

ماذا يحدث: يُسأل أمين المكتبة عن شيء غريب جداً أو جديد لدرجة أنه لا يوجد حي على الخريطة لهذا الشيء. إنه يقف في وسط صحراء لا تمر بها أي طرق.
النتيجة: يبدأ بالهذيان، أو اختلاق الهراء، أو التنقل بين مواضيع عشوائية.
- مثال: "ما هو لون صوت يوم الثلاثاء؟" -> "إنه بنفسجي صاخب بطعم الكهرباء."
العلامة المميزة: الفكرة تطفو في مساحة فارغة، بعيداً عن أي حي، دون اتجاه واضح.

أدوات "المسطرة" الثلاثة

لإثبات نجاح ذلك، صنع المؤلف ثلاث مساطر خاصة لقياس خريطة دماغ أمين المكتبة. وقد اختبروا هذه المساطر على 11 نموذجاً مختلفاً للذكاء الاصطناعي (مثل BERT و GPT-2، إلخ).

مسطرة "الجانب المقابل" (اقتران القطبية، $\alpha$ ):
- التشبيه: في مكتبة جيدة، يجب أن تكون الكلمات ذات المعاني المتضادة (مثل "ساخن" و"بارد") في نفس الحي ولكن على جانبين متقابلين من الغرفة.
- النتيجة: كل نموذج ذكاء اصطناعي اجتاز هذا الاختبار. أدمغتهم تنظم المتضادات بشكل صحيح طبيعياً. هذه قاعدة عالمية لكيفية تفكير هذه النماذج.
مسطرة "تماسك الحي" (تماسك العنقود، $\beta$ ):
- التشبيه: هل الكلمات الموجودة في الحي تلتصق ببعضها البعض فعلياً؟ أم أن الحي مجرد فوضى عشوائية؟
- النتيجة: كل نموذج ذكاء اصطناعي اجتاز هذا أيضاً. الأحياء حقيقية ومتماسكة. فالذكاء الاصطناعي يعرف أن "تفاحة" و"موزة" ينتميان معاً، وأن "سيارة" و"دراجة" ينتميان معاً.
مسطرة "المسافة من الوطن" (التدرج الشعاعي، $\lambda_r$ ):
- التشبيه: هذا يقيس ما إذا كانت أفكار أمين المكتبة تصبح "أثقل" أو "أخف" كلما ابتعد عن المركز. عادةً، الكلمات النادرة والمعقدة تكون بعيدة عند الحافة، والكلمات الشائعة تكون قريبة من المركز.
- النتيجة: 9 من أصل 11 نموذجاً أظهرت نمطاً واضحاً هنا.
- الخلل: فشل نموذجان (ALBERT و MiniLM) في هذا الاختبار. لماذا؟
  - ALBERT كان "مضغوطاً" للغاية. لقد حاول حشر مكتبة ضخمة في خزانة صغيرة جداً، مما أدى إلى ضغط كل شيء.
  - MiniLM كان "مقطراً" (تم تدريبه ليكون أصغر). لقد قام بتسطيح الخريطة لدرجة أن "المسافة" من المركز لم تعد تهم.
- الدرس المستفاد: هذان النموذجان أكثر عرضة لارتكاب خطأ "المتجول الغامض" (النوع 1) لأن نظام تحذير "المسافة" لديهما معطل.

لماذا هذا مهم؟

عادةً، نحاول الإمساك بأكاذيب الذكاء الاصطناعي بعد وقوعها. لكن هذه الورقة تقول: "يمكننا رؤية الكذبة وهي قادمة من خلال النظر إلى شكل الفكرة."

إذا كانت الفكرة قريبة جداً من المركز، فهي كذبة غامضة.
إذا كانت الفكرة عميقة جداً في الحي الخاطئ، فهي كذبة واثقة.
إذا كانت الفكرة في الصحراء الفارغة، فهي كذبة هراء.

من خلال فهم "هندسة" دماغ الذكاء الاصطناعي، يمكننا بناء شبكات أمان أفضل. يمكننا إخبار نموذج ذكاء اصطناعي صغير ومضغوط (مثل MiniLM) بأن يكون حذراً للغاية عندما يكون غير متأكد، لأننا نعلم أن خريطة دماغه ضبابية بعض الشيء.

باخت-اختصار: لقد رسم المؤلف خريطة لعقل الذكاء الاصطناعي ووجد أن للأكاذيب شكلاً محدداً. وإذا استطعنا قياس هذا الشكل، يمكننا إيقاف الأكاذيب قبل أن تُنطق حتى.

إليك ملخص تقني مفصل لورقة البحث بعنوان "كشف هلوسات النماذج اللغوية الكبيرة عبر هندسة تجمعات التضمين: تصنيف ثلاثي الأنواع مع بصمات قابلة للقياس" للباحث ماتيك كورون.

1. بيان المشكلة

تنتج النماذج اللغوية الكبيرة (LLMs) بشكل متكرر نصوصاً بليغة ولكنها غير صحيحة واقعياً (الهلوسة). تعتمد طرق الكشف الحالية بشكل أساسي على مستوى المخرجات (مثل التحقق من الاتساق الذاتي، أو معايرة الاحتمالات "logit calibration"، أو تعزيز الاسترجاع). تشترك هذه النهج في قيد جوهري: فهي تحلل نتيجة التوليد بدلاً من البنية الهندسية داخل فضاء التضمين (embedding space) الذي أنتج الخطأ.

تفترض الورقة أن أنواع الهلوسة المختلفة تقابل إخفاقات هندسية متميزة في فضاء تضمين الرموز (tokens). الهدف هو الانتقال من "كشف ما إذا كان النموذج يهلوِس" إلى "توصيف نمط الإخفاق الهندسي المحدد" لتمكين الكشف الأكثر استهدافاً.

2. المنهجية

أ. البيانات والنماذج

تحلل الدراسة فضاءات التضمين الساكنة لـ 11 نموذجاً من نماذج المحولات (Transformers) تغطي نموذجين (المشفر Encoder والمفكك Decoder) وسبع عائلات معمارية:

المشفرات (Encoders): BERT، RoBERTa، ELECTRA، DeBERTa، ALBERT، MiniLM، DistilBERT.
المفككات (Decoders): GPT-2 (الصغير والمتوسط).
الأبعاد: تتراوح من 128 إلى 1024.

ب. مسار التحليل الهندسي

استخراج التجمعات (Cluster Extraction): قام المؤلفون بتصفية المفردات للاحتفاظ فقط برموز الكلمات الكاملة وطبقوا خوارزمية MiniBatchKMeans (بعدد $k=40$ ) لتحديد التجمعات الدلالية.
تحليل القطبية (Polarity Analysis): استقصوا "مفارقة المتضادات" (حيث تشترك المتضادات مثل حار/بارد في نفس التجمعات) عبر استخراج محاور القطبية الأساسية باستخدام تحليل المكونات الرئيسية (PCA) على متجهات الفرق داخل التجمعات.
مقياس المعلومات: بدلاً من الإنتروبيا، استخدموا المعلومات الذاتية ( $I(\tau) = -\log_2 f(\tau)$ ) لقياس المحتوى المعلوماتي للرموز بناءً على تكرارها في المتن (corpus).

ج. تصنيف الهلوسة ثلاثي الأنواع

حدد المؤلفون ثلاثة أنواع متميزة من الهلوسة بناءً على العلاقة بين تضمين الرمز وبنية التجمع:

النوع	الاسم	الآلية	البصمة الهندسية الملحوظة
النوع 1	الانجراف نحو المركز (Center-Drift)	ضعف السياق يؤدي إلى انهيار التوليد نحو مركز التضمين (الرموز العامة عالية التكرار).	عضوية منخفضة في التجمع؛ معيار (norm) منخفض للتضمين؛ تكرار عالٍ للرمز.
النوع 2	التقارب نحو البئر الخاطئ (Wrong-Well Convergence)	سياق قوي يوجه النموذج إلى تجمع محدد، ولكنه التجمع الخاطئ (متسق محلياً ولكن غير صحيح سياقياً).	عضوية عالية في التجمع المحلي؛ انقطاعات في المسار (قفزات مفاجئة بين التجمعات).
النوع 3	فجوة التغطية (Coverage Gap)	الاستعلام يتطلب تركيبات دلالية غائبة عن التدريب، مما يؤدي إلى الهبوط في مناطق نادرة تفتقر لبنية التجمعات.	عضوية ضعيفة عبر جميع التجمعات؛ تباين عالٍ في التشابه المحلي.

د. الإحصاءات الهندسية القابلة للقياس

للتحقق من متطلبات هذا التصنيف، تم حساب ثلاثة إحصاءات:

$\alpha$ (اقتران القطبية): يقيس قوة محاور قطبية المتضادات داخل التجمعات.
$\beta$ (تماسك التجمع): يقيس ما إذا كانت التجمعات أكثر تماسكاً من الضجيج الخلفي (التشابه مع مركزها مقابل التجمعات الأخرى).
$\lambda_r$ (تدرج المعلومات الشعاعي): يحدد العلاقة غير الخطية بين معيار التضمين (المسافة من الأصل) والمحتوى المعلوماتي (المعلومات الذاتية).

3. النتائج الرئيسية

أ. عالمية المتطلبات الهندسية الأولية

القطبية ( $\alpha$ ): عالمية عبر جميع النماذج الـ 11 ( $\alpha > 0.5$ ). تشكل أزواج المتضادات باستمرار سمات هيكلية مهيمنة داخل التجمعات.
التماسك ( $\beta$ ): عالمي عبر جميع النماذج الـ 11 ( $\beta > 0$ ). التجمعات حقيقية ومتميزة إحصائياً عن الضجيج الخلفي.
التدرج الشعاعي ( $\lambda_r$ ): مهم في 9 من أصل 11 نموذجاً ( $p < 0.05$ ). يشير هذا إلى أن المحتوى المعلوماتي يختلف بشكل منهجي مع المسافة من الأصل (المعيار).

ب. الشذوذ المعماري والتفسيرات

فشل نموذجان في إظهار تدرج شعاعي معنوي ( $\lambda_r$ )، وتوفر الورقة تفسيرات معمارية:

ALBERT (التضمينات العاملية): يستخدم عنق زجاجة بـ 128 بُعداً. المساحة قريبة من السعة القصوى (استغلال 82%)، حيث تُضغط الرموز في نطاق شعاعي ضيق (تباين منخفض في المعيار). التدرج الشعاعي موجود ولكنه محجوب بسبب التباين العالي.
MiniLM (التقطير): أدى التقطير المكثف إلى حدوث الايزوتروبية (Isotropy) (توزيع منتظم). بينما تم الحفاظ على البنية الزاوية (القطبية)، فقد تم تسطيح أو عكس البنية الشعاعية ( $\lambda_r$ أصبح موجباً)، مما جعل الكلمات النادرة تظهر بمعايير (norms) أقل.

ج. الاختلافات بين المشفر (Encoder) والمفكك (Decoder)

GPT-2 (المفكك): يظهر $\lambda_r$ سالباً معنوياً مشابهاً للمشفرات ولكن بمقدار أصغر بمرتبة عشرية واحدة. يشير هذا إلى تدرج معلومات شعاعي أضعف، وهو ما يتفق مع هدف التنبؤ بالرمز التالي الذي يوزع المعلومات بشكل أكثر انتظاماً.
تغير الإشارة: بينما يعد وجود التدرج عالمياً تقريباً، فإن إشارته تختلف. معظم النماذج تظهر $\lambda_r$ سالباً (مقعر لأسفل)، لكن DeBERTa و RoBERTa-large يظهران $\lambda_r$ موجباً (محدب لأعلى)، مما يشير إلى تنظيم يعتمد على المعمارية في العلاقة بين المعيار والمعلومات.

4. بنية الكشف المقترحة

تقترح الورقة نظام كشف متعدد المستويات بزيادة في التكلفة الحسابية:

المستوى 1 (النوع 1): الفحص بحثاً عن عضوية منخفضة في التجمع ومعيار (norm) منخفض للتضمين.
المستوى 2 (النوع 2): مراقبة انقطاعات المسار (القفزات المفاجئة بين التجمعات) في تسلسل التوليد.
المستوى 3 (النوع 3): تحليل الكثافة المحلية عبر مسافات أقرب جار (k-nearest-neighbor) لتحديد فجوات التغطية.

المعايرة: يجب أن تكون العتبات خاصة بكل نموذج (مثلاً باستخدام المئويات) نظراً للاختلافات في توزيعات المعيار وعضوية التجمعات بين المعماريات.

5. الأهمية والمساهمات

تصنيف جديد: وضع تصنيفاً هندسياً للهلوسات (الانجراف نحو المركز، التقارب نحو البئر الخاطئ، فجوة التغطية) وهو تصنيف متميز تشغيلياً وقابل للاختبار باستخدام أدوات قياسية (k-means، تشابه جيب التمام).
الإحصاءات التشخيصية: تقديم والتحقق من ثلاثة تشخيصات هندسية جديدة ( $\alpha, \beta, \lambda_r$ ) عبر 11 نموذجاً متنوعاً.
الربط بين المعمارية والهشاشة: إثبات أنه بينما تعتبر الخصائص الهندسية (مثل القطبية) عالمية، فإن بصماتها الكمية تعتمد على المعمارية.
- التنبؤ: يُتوقع أن تكون النماذج ذات التضمينات المضغوطة (ALBERT) أو التقطير المتساوي المناحي (MiniLM) أكثر عرضة لهلوسات النوع 1 (الانجراف نحو المركز) لأن إشارات التحذير الشعاعية فيها متدهورة، رغم أن قدرات الكشف الزاوية تظل سليمة.
تحول في النموذج: الانتقال من تحليل المخرجات اللاحق (post-hoc) إلى التحليل الهيكلي الهندسي القبلي (pre-hoc) للهلوسة، مما يوفر مساراً لكشف الهلوسات "الواثقة ولكن الخاطئة" (النوع 2) و"العامة" (النوع 1) قبل ظهورها كأخطاء واقعية.

6. الحدود (Limitations)

التحليل يعتمد على التضمينات الساكنة، وليس الحالات المخفية السياقية (التي قد تمتلك هندسة مختلفة).
الدراسة محدودة بالنماذج التي يقل عدد بارامتراتها عن 1.5 مليار.
بنية الكشف مقترحة ولكن لم يتم اختبارها بعد مقابل مجموعات بيانات قياسية مثل HaluEval.
لم يتم اختبار حساسية المعلمات الفائقة (Hyperparameters) (مثل $k=40$ تجمع) بشكل منهجي.

الخاتمة

نجحت الورقة في إثبات أن الهلوسات ليست أخطاء عشوائية بل هي أمراض هندسية محددة داخل فضاء التضمين. من خلال قياس تماسك التجمعات، والقطبية، وتدرجات المعلومات الشعاعية، قدم المؤلفون إطاراً للتنبؤ بأنماط الفشل وتحديدها بناءً على معمارية النموذج، مما يوفر اتجاهاً واعداً لتحسين موثوقية النماذج اللغوية الكبيرة.