ملخص تقني: الهلوسة كفشل في الالتزام

بيان المشكلة

تنتج النماذج اللغوية الكبيرة (LLMs) بشكل متكرر مخرجات سلسة ولكنها غير صحيحة واقعيًا، وهو ما يُعرف بالهلوسة. هناك افتراض سائد في هذا المجال مفاده أن الهلوسة هي نتيجة مباشرة لنقص المعرفة: أي أن النموذج يهلوس فقط عندما يكون الجواب الصحيح غائبًا عن توزيع التوليد الخاص به. وقد حددت أعمال حديثة وجود "رموز حرجة" (critical tokens) أو "رموز تفرعية" (forking tokens) حيث يرتفع الإنتروبيا (الاعتلاج)، مما يشير إلى أن الهلوسة تُحسم عند خطوات محددة في مسار التوليد. ومع ذلك، فإن طرق الكشف القائمة على عدم اليقين (مثل الإنتروبيا الدلالية) غالبًا ما تفشل في تحديد "الهلوسات الواثقة" — وهي الحالات التي يطلق فيها النموذج إجابة خاطئة بثقة عالية رغم امتلاكه للمعرفة الصحيحة.

تتحدى هذه الورقة الافتراض القائل بأن الهلوسة تعني نقص المعرفة. وهي تسأل: في اللحظة التي يلتزم فيها النموذج بإجابة ما، هل يمتلك المفهوم الصحيح في توزيعه الاحتمالي، حتى لو أطلق رمزًا (token) خاطئًا؟

المنهجية

المفهوم والكتلة الاحتمالية الدلالية ($P_{mass}$)

يقدم المؤلفون مفهومًا دلاليًا لمدى توافر الإجابة. فبدلاً من تحليل الرموز الفردية، يعرّفون المفهوم $c$ كفئة تكافؤ لإكمالات الرموز التي تشير إلى نفس الإجابة (على سبيل المثال: "كاتدرائية سانت باسيل"، "سانت باسيل"، "كاتدرائية...").
ويعرفون الكتلة الاحتمالية الدلالية لكل خطوة كالتالي:
$$P_{mass}(t; c) = \sum_{v \in S_c} P_\theta(v \mid Q, y_{<t})$$
حيث $S_c$ هي مجموعة معرفات الرموز الأولى (first-token IDs) التي تمثل الأشكال السطحية للمفهوم $c$. يقيس هذا المقياس الكتلة الاحتمالية المخصصة لجميع الأسماء المستعارة الصالحة للإجابة الصحيحة عند خطوة توليد محددة.

الإعداد التجريبي

• النماذج: تغطي الدراسة 18 نموذجًا من عائلتي Qwen (من 0.8B إلى 72B) وLlama (من 1B إلى 70B)، بما في ذلك النسخ الموجهة (Instruct - المضبوطة للتعليمات) ونسخ الأساس (Base).
• مجموعات البيانات: الأسئلة والأجوبة قصيرة الشكل (TriviaQA, NQ-Open) والأسئلة متعددة الخيارات (MMLU, ARC-Challenge).
• خطوة الالتزام ($t_c$): في الأسئلة والأجوبة قصيرة الشكل الموجهة، تكون خطوة الالتزام ثابتة عند $t=1$ (أول رمز يتم توليده). أما في التوليد طويل الشكل، فيتم تحديد $t_c$ كخطوة صدور كيان الإجابة.
• تعريف فشل الالتزام: تُصنف العينة المهلووسة على أنها فشل في الالتزام إذا كانت $P_{mass}(t_c; c^*) \geq 0.2$، حيث $c^*$ هو المفهوم الصحيح (الحقيقة الأرضية). يشير هذا إلى أن النموذج خصص كتلة احتمالية كبيرة للمفهوم الصحيح ولكنه لا يزال أطلق إجابة خاطئة نهائية.

أبعاد التحليل

1. معدل فشل الالتزام (CF%): نسبة الهلوسات التي تعد حالات فشل في الالتزام.
2. التفكيك: فصل الإخفاقات إلى إخفاقات اختيار الرمز الأول (الرمز الجشع $\notin S_{c^*}$) والانحرافات متعددة الرموز (الرمز الجشع $\in S_{c^*}$ ولكن الرموز اللاحقة تنحرف).
3. التحليل التوزيعي: مقارنة التوزيع الاحتمالي لفشلات الالتزام مقابل العينات الصحيحة المطابقة (العينات ذات $P_{mass}$ المماثل ولكن مع مخرج صحيح).
4. الضبط الموجه مقابل الحجم: عزل تأثيرات حجم النموذج مقابل الضبط الموجه عبر مقارنة نماذج Instruct وBase.

النتائج الرئيسية

1. فشلات الالتزام منتشرة وتعتمد على الحجم

عبر جميع النماذج الموجهة، تتراوح نسبة الهلوسات التي هي فشل في الالتزام بين 16% إلى 47%. والأهم من ذلك، أن هذا المعدل يرتفع تصاعديًا مع حجم النموذج.

• Qwen Instruct: يرتفع CF% من 16% (0.8B) إلى 41% (72B).
• Llama Instruct: يرتفع CF% من 16% (1B) إلى 47% (70B).
  تتعارض هذه النتيجة مع الحدس القائل بأن النماذج الأكبر "تعرف أكثر" وتهلوس أقل؛ بل إن النماذج الأكبر تهلوس بشكل أكثر تكرارًا رغم امتلاكها للمفهوم الصحيح في توزيعها.

2. الآلية: التسنن الناتج عن الضبط الموجه (Instruction-Induced Sharpening)

تحدد الورقة الضبط الموجه كمحرك رئيسي لهذه الظاهرة، وليس الحجم وحده.

• نماذج الأساس (Base Models): تظهر احتمالات الرموز الخاطئة ثابتة تقريبًا (~0.30) عبر الأحجام ومعدلات فشل التزام أقل.
• النماذج الموجهة (Instruct Models): تظهر تسننًا تصاعديًا. تزديد احتمالية الرمز الجشع الخاطئ في إخفاقات الاختيار مع زيادة الحجم (على سبيل المثال، Qwen Instruct: 0.31 عند 0.8B $\leftarrow$ 0.57 عند 72B).
• التحول التوزيعي: في حالات فشل الالتزام، غالبًا ما تكون الكتلة الخاصة بالمفهوم الصحيح مجزأة عبر رموز مستعارة متعددة (مثل: "Saint"، "St"، "C")، مما يمنع أي رمز مستعار منفرد من الفوز بـ argmax ضد مفهوم منافس مهيمن. في النماذج الموجهة الأكبر، ينهار هذا التجزؤ (تتركز الكتلة على اسم مستعار واحد)، ولكن الرمز الخاص بالمفهوم الخاطئ يصبح أكثر سننًا (حدة)، مما يؤدي إلى إخفاقات "الجذب الخاطئ" (wrong-attractor).

3. أدلة الحالة الخفية وتعدد الرموز

• الانحرافات متعددة الرموز: في النماذج الموجهة الكبيرة (70B+)، عندما يتوافق الرمز الأول مع اسم مستعار صحيح، ينخفض إنتروبيا الرمز الثاني ($H_{t=2}$) إلى ما يقرب من الصفر (0.05–0.10). يلتزم النموذج بعبارة محددة متعددة الرموز فورًا، حتى لو أدت تلك العبارة إلى كيان خاطئ (مثل: "George Washington Carver" بدلاً من "George Washington").
• الحالات الخفية: تحتوي الحالات الخفية قبل التوليد عند $t=1$ على معلومات تنبؤية حول الصحة. تظهر النماذج الموجهة قيم AUROC أعلى في اختبارات الحالة الخفية مقارنة بنماذج الأساس، وهذه الإشارة "مقدمة" (front-loaded) (أي أقوى عند $t=1$).
• رسم الخرائط المخرجة: الفجوة بين النماذج الموجهة ونماذج الأساس أكبر في الكشف على مستوى المخرجات (AUROC +0.29) منها في اختبارات الحالة الخفية (+0.08)، مما يشير إلى أن الضبط الموجه يضخم الإشارة أثناء الإسقاط إلى مفردات المخرجات.

4. وجهان لفشل الالتزام

تميز الورقة بين نمطين هيكليين للفشل:

1. المدفوع بالتجزئة: (شائع في النماذج الأصغر/الأساس) الكتلة الصحيحة منقسمة عبر الأسماء المستعارة؛ لا يوجد رمز واحد يفوز.
2. المدفوع بالجذب الخاطئ: (شائع في النماذج الموجهة الكبيرة) الكتلة الصحيحة قد انهارت على اسم مستعار واحد، لكن رمز المفهوم الخاطئ أصبح أكثر سننًا ($P_{greedy} > P_{mass}(c^*)$).

الأهمية والادعاءات

تعيد الورقة صياغة الهلوسة الواثقة ليس كزلة لحظية أو نقص في المعرفة، بل كنتيجة هيكلية لكيفية تشكيل الكتلة الاحتمالية عند خطوة الالتزام.

• آلية موحدة: نفس التسنن الناتج عن الضبط الموجه الذي ينتج الصحة الواثقة (عندما يكون المفهط الملتزم به صحيحًا) ينتج أيضًا سوء الاختيار الواثق (عندما يكون المفهوم الملتزم به خاطئًا).
• ضريبة المحاذاة (Alignment Tax): توضع هذه الظاهرة كأحد أوجه "ضريبة المحاذاة" الأوسع، حيث تحسن المحاذاة (الضبط الموجه) من الفائدة والسلاسة ولكنها تضعف المعايرة وتسبب انهيار النمط (mode collapse)، مما يؤدي إلى أخطاء مفرطة في الثقة.
• محدودية كشف عدم اليقين: تفسر النتائج سبب فشل مقاييس عدم اليقين القياسية (مثل إنتروبيا الرمز أو الإنتروبيا الدلالية) في رصد الهلوسات الواثقة: النموذج يمتلك بالفعل المفهوم الصحيح (كتلة $P_{mass}$ عالية)، ولكن التوزيع مشكل بحيث يفوز الرمز الخاطئ في عملية الـ argmax.
• المسبار التحليلي: يقترح المؤلفون $P_{mass}$ كمسبار تحليلي لفهم سلوك النموذج، مع ملاحظة أنه ليس كاشفًا قابلًا للنشر (لأنه يتطلب أسماء مستعارة حقيقية) ولكنه يكشف أن "معرفة الإجابة" و"إطلاق الإجابة" هما حدثان متميزان في عملية التوليد.

تخلص الورقة إلى أن النماذج الأكبر لا تعرف أكثر فحسب؛ بل إنها تخطئ في التصويب أكثر على ما تعرفه، مدفوعة بنزعة التسنن التي تجعل النموذج حاسمًا في كل من الالتزامات الصحيحة والخاطئة.