💬 NLP

From Prerequisites to Predictions: Validating a Geometric Hallucination Taxonomy Through Controlled Induction

تتحقق هذه الدراسة من تصنيف الهلوسة الهندسية في نموذج GPT-2 من خلال إثبات أن إخفاقات فجوة التغطية (النوع 3) هي نمط الإخفاق الأكثر تميزاً واستقراراً، والتي تتميز بانفصال معيار ثابت في التضمينات الساكنة، بينما تؤكد أن نوعي انزياح المركز وتقارب البئر الخاطئ لا ينفصلان هندسياً، وأن التحليلات على مستوى الرمز (token) تعاني من تكرار زائف شديد.

المؤلفون الأصليون: Matic Korun

نُشر 2026-03-03

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Matic Korun

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوتًا ذكيًا جدًا ولكنه ساذج نوعًا ما (GPT-2) يحب سرد القصص. أحيانًا، يصاب الروبوت بالارتباك ويبدأ في اختلاق أشياء من خياله. نحن نسمي هذه القصص المختلقة "الهلوسات".

لفترة طويلة، حاول العلماء معرفة كيف يصاب الروبوت بالارتباك. يقترح بحث جديد من باحث مستقل يدعى ماتيك كورون (Matic Korun) خريطة محددة لهذه الارتباكات. هو يقترح أن هناك ثلاث طرق متميزة يمكن للروبوت أن يخطئ بها، وقد حاول إثبات أن هذه الخريطة حقيقية عبر استدراج الروبوت إلى فخاخ معينة.

إليك قصة التجربة، مشروحة ببساطة.

الأنواع الثلاثة لارتباك الروبوت

تقول خريطة كورون إن أخطاء الروبوت تندرج تحت ثلاث فئات:

النوع الأول: "السكير المترنح" (الانجراف نحو المركز - Center-Drift)
- السيناريو: تعطي الروبوت أمراً يحتوي على تعليمات شبه معدومة، مثل قول "الـ..." أو "إنه..." فقط.
- الخطأ: لا يملك الروبوت أي فكرة عن الاتجاه الذي يسلكه، لذا يتخبط بلا هدف، وينضح بكلمات شائعة ومملة (مثل "هو"، "الـ"، "في"). الأمر يشبه شخصًا يحدق في جدار فارغ ويتمتم بكلمات عشوائية لأنه لا يملك أي اتجاه.
النوع الثاني: "المنعطف الخاطئ" (التقارب نحو المسار الخاطئ - Wrong-Well Convergence)
- السيناريو: تعطي الروبوت جملة مخادعة قد تحمل معنيين مختلفين، مثل "أعلن البنك..." (هل هو ضفة نهر أم بنك أموال؟).
- الخطأ: يختار الروبوت أحد المعنيين بثقة ويتشبث به، حتى لو كان هو الخيار الخاطئ بالنسبة لسياقك. الأمر يشبه نظام GPS يقودك بثقة إلى مدينة خاطئة لأن لوحات الطريق كانت غامضة.
النوع الثالث: "الصفحة الفارغة" (فجوة التغطية - Coverage Gap)
- السيناريو: تطلب من الروبوت دمج شيئين لم يرهما معًا من قبل، مثل "البيولوجيا الفضائية لقلعة من العصور الوسطى".
- الخطأ: ليس لديه بيانات لهذا المزيج. هو ليس مرتبكًا فحسب؛ بل هو في منطقة لا توجد لها خريطة في ذاكرته. يحاول التخمين، لكنه في الواقع يهلوِس لأنه لا يملك أساسًا يقف عليه.

التجربة: اختبار الـ "20 جولة"

للتأكد مما إذا كانت هذه الخريطة حقيقية، لم يكتفِ كورون بسؤال الروبوت مرة واحدة. بل أعد تجربة صارمة:

أنشأ 15 مطالبًا (Prompts) مختلفًا لكل نوع من أنواع الارتباك الثلاثة.
أجرى التجربة 20 مرة باستخدام بذور عشوائية مختلفة (مثل رمي النرد 20 مرة) للتأكد من أن النتائج لم تكن مجرد ضربة حظ.
نظر إلى "دماغ" الروبوت بطريقتين مختلفتين:
1. الرؤية الساكنة (Static View): النظر إلى التعريف القاموسي للكلمات التي اختارها الروبوت (دون اعتبار للسياق).
2. الرؤية السياقية (Contextual View): النظر إلى "عملية التفكير" الداخلية للروبوت (الحالات الخفية) مباشرة قبل اختيار الكلمة.

الاكتشافات الكبرى

1. "فجوة التغطية" (النوع 3) هي الأسهل في الرصد

عملت الخريطة بشكل مثالي للنوع 3. عندما سُئل الروبوت عن تركيبات مستحيلة (مثل "البيولوجيا الفضائية")، انخفض "مقياس الثقة" الداخلي لديه بشكل ملحوظ.

التشبيه: تخيل أن الروبوت هو كشاف ضوئي. عندما يتحدث عن أشياء عادية، يكون شعاعه ساطعًا وثابتًا. وعندما يصطدم بـ "فجوة تغطية"، يرتعش الشعاع ويصبح أخفت.
النتيجة: في "الرؤية الساكنة"، كانت خيارات المفردات للروبوت مختلفة بوضوح. وفي "الرؤية السياقية"، كانت ثقة الروبوت الداخلية (حجم إشارته الداخلية) أقل باستمرار. كان هذا هو النوع الوحيد من الأخطاء الذي ظهر بوضوح على الخريطة.

2. "السكير" و"المنعطف الخاطئ" يبدوان متشابهين

هذا كان الجزء المفاجئ. توقعت الخريطة أن النوع 1 (المترنح) والنوع 2 (المنعطف الخاطئ) سيبدوان مختلفين.

النتيجة: لم يحدث ذلك. في دماغ الروبوت، بدا هذان النوعان من الارتباك متطابقين تقريبًا. الإشارات الداخلية للروبوت لـ "أنا أشعر بالملل وأخمن" و"أنا واثق ولكن مخطئ" كانت غير قابلة للتمييز بينهما.
التشبيه: الأمر يشبه محاولة التمييز بين شخص تائه في الضباب وشخص يمشي بثقة في الاتجاه الخاطئ. بالنسبة للمستشعرات الداخلية للروبوت، كلاهما يبدو فقط كـ "مشي طبيعي". يعتقد الباحث أن الروبوت صغير جدًا (124 مليون معلمة/Parameter) لدرجة تمنعه من التمييز، أو أن الفرق مخفي في جزء من الدماغ لا ننظر إليه بعد.

3. فخ "الأهمية الزائفة" (التكرار الكاذب - Pseudoreplication)

هذا تحذير حاسم للعلماء الآخرين.

المشكلة: عندما تنظر إلى كل كلمة يقولها الروبوت (آلاف الكلمات)، تقول الرياضيات إن الاختلافات ضخمة وواضحة.
الواقع: هذه الكلمات ليست مستقلة. إذا قال الروبوت "الـ"، فمن المرجح جدًا أن يقول "قطة" بعد ذلك. إنها مرتبطة ببعضها.
التشبيه: تخيل أنك تسأل صديقًا 100 سؤال، لكنه يكرر نفس الإجابة 100 مرة. إذا اعتبرت ذلك 100 رأي مختلف، فأنت تخدع نفسك.
النتيجة: وجد البحث أن النظر إلى الكلمات الفردية يجعل النتائج تبدو أقوى بـ 4 إلى 16 مرة مما هي عليه في الواقع. عندما تنظر إلى "المطالب" (Prompts) ككل (وهي الوحدة الحقيقية للحقيقة)، فإن الاختلافات "الواضحة" للنوع 1 والنوع 2 تتلاشى.

لغز "الإشارة الدقيقة" (Micro-Signal)

يخلص البحث إلى أن دماغ الروبوت "مشبع" للغاية. حتى عندما يرتكب خطأً فادحًا (النوع 3)، فإن إشاراته الداخلية لا تنهار؛ بل تصبح فقط أخفت قليلاً.

التشبيه: الأمر ليس كأن دماغ الروبوت يحترق عندما يهلوِس. بل هو أشبه بأن الغرفة تصبح أكثر عتمة قليلًا. التغيير حقيقي، لكنه دقيق للغاية لدرجة أنك تحتاج إلى معدات حساسة جدًا (وكثير من البيانات) لتلاحظه.

لماذا يهم هذا؟

هذا البحث هو "اختبار للواقع":

إنه يؤكد صحة الخريطة للأخطاء الأكثر صعوبة: يمكننا الآن اكتشاف متى يخترع الروبوت أشياء لأنه لا يملك المعرفة (النوع 3).
إنه يحذرنا من الأخطاء السهلة: لا يمكننا بعد تمييز ما إذا كان الروبوت يتخبط فقط أو أنه مخطئ بثقة (النوع 1 مقابل النوع 2) باستخدام الطرق الحالية.
إنه يصلح الرياضيات: إنه يخبر الباحثين: "توقفوا عن عد كل كلمة كصوت منفصل. أنتم تضخمون نتائجكم".

باختصار، قام الباحث ببناء خريطة أفضل لهلوسات الروبوت، ووجد أن بعض أجزاء الخريطة واضحة تمامًا، بينما لا تزال أجزاء أخرى ضبابية، وحذر الجميع من الوقوع في فخ الضباب.

إليك ملخص تقني مفصل لورقة البحث بعنوان "من المتطلبات المسبقة إلى التنبؤات: التحقق من صحة تصنيف الهلوسة الهندسي عبر الاستقراء المنضبط" للكاتب ماتيك كورون.

1. بيان المشكلة

تنتج النماذج اللغوية الكبيرة (LLMs) هلوسات بشكل متكرر، ومع ذلك تعتمد طرق الكشف الحالية غالبًا على فحوصات المخرجات اللاحقة (مثل الاتساق الذاتي) بدلاً من فهم الآليات الهندسية الداخلية للفشل. اقترح عمل مرافق تصنيفاً هندسياً يصنف الهلوسات إلى ثلاثة أنواع بناءً على بصماتها في فضاء التضمين (Embedding Space):

النوع 1 (الانجراف نحو المركز - Center-drift): ينهار التوليد نحو المركز (Centroid) بسبب ضعف السياق.
النوع 2 (التقارب نحو بئر خاطئ - Wrong-well convergence): يلتزم التوليد بعنقود (Cluster) متماسك محلياً ولكنه غير صحيح سياقياً.
النوع 3 (فجوات التغطية - Coverage gaps): يحدث التوليد في مناطق تفتقر إلى بنية العناقيد الداعمة بسبب الجدة التركيبية (Compositional novelty).

بينما تم التحقق من المتطلبات المسبقة لهذا الشكل الهندسي (بنية العناقيد، محاور القطبية)، إلا أنه ظل غير مثبت ما إذا كانت أنواع الهلوسة المحددة هذه تنتج بالفعل البصمات الهندسية المتوقعة أثناء عملية التوليد. تهدف هذه الورقة إلى سد هذه الفجوة من خلال الاستقراء المنضبط.

2. المنهجية

تستخدم الدراسة تصميماً تجريبياً صارماً متعدد الجولات باستخدام نموذج GPT-2-small (124 مليون معلمة) لضمان إمكانية إعادة الإنتاج دون الحاجة لموارد حوسبة رسومية (GPU) ضخمة.

التصميم التجريبي:
- هندسة الأوامر (Prompt Engineering): تم إنشاء 45 أمراً (15 لكل نوع) صُممت لتحفيز أنماط فشل محددة:
  - النوع 1: أوامر متدهورة (مثل: "الـ"، "إنه...") لا تقدم أي اتجاه دلالي.
  - النوع 2: أوامر غامضة (مثل: "أعلن البنك عن...") تجبر النموذج على الاختيار بين مجالات مختلفة.
  - النوع 3: أوامر الجدة التركيبية (مثل: "الكسر الضوئي الزينوبلازمي...") تتطلب تركيبات كلمات غير مسبوقة.
- فضاءا التمثيل:
  1. التضمينات الثابتة (Static Embeddings): ناقلات المفردات الثابتة (فضاء المدخلات).
  2. الحالات الخفية السياقية (Contextual Hidden States): الحالات الخفية للطبقة الأخيرة عند لحظة اختيار الرمز (فضاء المعالجة).
- بروتوكول الاستقرار: لمعالجة العشوائية في التوليد (درجة الحرارة 1.0)، تم تشغيل كل تجربة 20 مرة ببذور (Seeds) مختلفة. وحدة الاستدلال هي الأمر (Prompt) ( $N=15$ لكل مجموعة)، وليس الرمز (Token)، لتجنب التكرار الزائف.
- المقاييس:
  - $H(v)$ : العضوية الناعمة في العنقود (زاوية).
  - $\|v\|$ : معيار التضمين (المقدار/Magnitude).
  - $\text{max sim}$ : أقصى تشابه مع أي مركز عنقود.

3. المساهمات الرئيسية

أول اختبار استقراء منضبط: يربط أنواع الهلوسة المحددة بالبصمات الهندسية مع تحديد الاستقرار عبر 20 جولة مستقلة.
تحديد تميز النوع 3: يثبت أن هلوسات "فجوة التغطية" (النوع 3) هي نوع الفشل الوحيد الذي يمتلك بصمة مميزة هندسياً وقوية، مدفوعة بـ المقدار (Magnitude) بدلاً من الاتجاه.
معيار التكرار الزائف: يوضح أن الإحصاء على مستوى الرمز (Token-level) في التوليد ذاتي الانحدار يؤدي إلى تضخيم التأثيرات الحقيقية بمقدار 4 إلى 16 ضعفاً بسبب الارتباط الذاتي داخل الأمر الواحد، مما يوفر تصحيحاً حاسماً للأبحاث المستقبلية.
الفرضية الطيفية: يقترح أن عدم الفصل في النوع 1 والنوع 2 قد يعود إلى تخفيف الإشارة عبر المقاييس كاملة الأبعاد، مما يشير إلى أن الإشارة قد تكمن في نطاقات طيفية محددة من الطيف الذاتي للحالة الخفية.

4. النتائج الرئيسية

أ. النوع 3 (فجوات التغطية) متميز هندسياً

الفضاء الثابت: تظهر رموز النوع 3 مقادير (Norms) أعلى بكثير من النوعين 1 و2 (الوسيط $r \approx +0.61$ ). هذا الفصل قوي، حيث صمد أمام تصحيح Holm في 14/20 جولة (T2–T3) وفي 11/20 جولة (T1–T3).
الفضاء السياقي: تظهر رموز النوع 3 مقادير أقل بكرحيع (الوسيط $r \approx -0.28$ ) مقارنة بالنوعين 1 و2. وبينما كان اتجاه هذا التأثير مستقراً في 19/20 جولة، إلا أن حجم التأثير كان متوسطاً، مما جعله ضعيف القدرة إحصائياً عند $N=15$ (كان معنوياً في 4/20 جولة فقط).
التفسير: يشير انعكاس إشارة المقدار (أعلى في الثابت، وأقل في السياقي) إلى أن هلوسات النوع 3 تتضمن خيارات مفردات نادرة (ثابت) ولكن مع انخفاض في الثقة الداخلية/مقدار المعالجة (سياقي).

ب. النوعان 1 و2 غير قابلان للتمييز

عدم الفصل: لم يظهر النوع 1 (الانجراف نحو المركز) ولا النوع 2 (التقارب نحو بئر خاطئ) أي فصل معنوي في أي من الفضاءين الثابت أو السياقي عبر أي مقياس (معدلات المعنوية $\le 3/20$ جولة).
الآثار المترتبة: عند 124 مليون معلمة، لا يستطيع النموذج التمييز هندسياً بين "ضعف السياق" و"السياق الموجه بشكل خاطئ". قد تكون بصمات هذه الإخفاقات شديدة الدقة للمقاييس كاملة الأبعاد أو تتطلب نماذج أكبر.

ج. ظاهرة التكرار الزائف (Pseudoreplication Artifact)

تضخم مستوى الرمز: ظهرت المقاييس الزاوية ( $H(v)$ ، $\text{max sim}$ ) معنوية في مستوى الرمز (حتى 85% من الجولات) لكنها فشلت تماماً في مستوى الأمر ( $\le 3/20$ جولة).
عامل التضخم: تحدد الدراسة أن المعنوية على مستوى الرمز تضخم التأثيرات الحقيقية بمقدار 4–16 ضعفاً. وهذا يؤكد أن معاملة الرموز كعينات مستقلة في التوليد ذاتي الانحدار يؤدي إلى نتائج إيجابية كاذبة.

د. "نظام الإشارة الدقيقة" (Micro-Signal Regime)

يتم ضغط الحالات الخفية السياقية في GPT-2 داخل مخروط ضيق (فضاء متباين الخواص/Anisotropic) حيث يكون التشابه مرتفعاً للغاية ( $>0.99$ ).
بينما ينتج النوع 3 إشارة حقيقية (انخفاض في المقدار بنسبة ~3.5%)، إلا أنها "إشارة دقيقة" تتطلب أحجام عينات أكبر ( $N \ge 30$ ) أو معالجة طيفية (مثل التبييض/Whitening أو التفكيك) للوصول إلى عتبات المعنوية التقليدية.

5. الأهمية والآثار المترتبة

التحقق من التصنيف: تؤكد الدراسة أن التصنيف الهندسي صالح جزئياً: النوع 3 من الهلوسات فريد هيكلياً ويمكن اكتشافه عبر المقدار، بينما النوعان 1 و2 غير قابلين للتمييز هندسياً في النماذج الصغيرة.
التصحيح المنهجي: تقدم الورقة تحذيراً حاسماً ضد استخدام إحصاءات مستوى الرمز للاستدلال في النماذج اللغوية الكبيرة، مع تقديم عامل تضخم محدد (4-16 ضعفاً) يجب على الباحثين مراعاته.
الاتجاهات المستقبلية:
- التوسع (Scaling): قد تكون النماذج الأكبر مطلوبة للفصل بين النوعين 1 و2.
- التحليل الطيفي: العمل المستقبلي قد يفكك الحالات الخفية إلى نطاقات الطيف الذاتي لعزل الإشارات المحددة لضعف السياق مقابل السياق الموجه خطأً.
- الكشف: قد يتطلب الكشف الفعال عن الهلوسة في النماذج الصغيرة معالجة مسبقة (مثل التبييض) لتضخيم الإشارات الدقيقة بدلاً من الاعتماد على المسافات الهندسية الخام.

في الختام، تثبت الورقة أنه بينما توجد المتطلبات المسبقة للكشف الهندسي عن الهلوسة، فإن البصمات لأنماط الفشل المحددة تختلف بشكل كبير من حيث قابلية الكشف. فجوات التغطية هي نمط الفشل الأكثر تميزاً، وهي مدفوعة بالمقدار، بينما تظل أنواع الفشل الأخرى مخفية داخل "نظام الإشارة الدقيقة" للنماذج الصغيرة الحالية.