🤖 machine learning

Hallucination as Trajectory Commitment: Causal Evidence for Asymmetric Attractor Dynamics in Transformer Generation

تقدم هذه الورقة دليلاً سببياً على أن الهلوسة في النماذج اللغوية ذات التوليد الذاتي تنشأ من ديناميكيات جاذبة غير متماثلة، حيث يتحدد الالتزام المبكر بالمسار بواسطة الأنظمة المشفرة في المطالبة، وتتميز بعدم تماثل سببي واضح حيث يتطلب إفساد المسار الصحيح اضطراباً واحداً فقط، بينما يتطلب التعافي من الهلوسة تدخلاً مستداماً متعدد الخطوات.

المؤلفون الأصليون: G. Aytug Akarlar

نُشر 2026-04-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: G. Aytug Akarlar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقود سيارة على طريق ينقسم إلى مسارين عند الميل الأول تماماً.

المسار أ (الحقيقة): يؤدي إلى الوجهة الصحيحة.
المسار ب (الهلوسة): يؤدي إلى مدينة مزيفة جميلة ومقنعة، لكنها لا وجود لها في الواقع.

هذه الورقة البحثية تتحدث عن كيفية اتخاذ النماذج الذكية (مثل النموذج المستخدم في الدراسة) هذا القرار في جزء من الثانية للتوجه نحو المسار "ب"، ولماذا يصعب عليها للغاية العودة بمجرد أن تبدأ في السير فيه.

إليك تفصيل البحث باستخدام تشبيهات بسيطة:

1. تجربة "بداية واحدة، نهايات مختلفة"

عادةً، عندما نسأل الذكاء الاصطناعي سؤالاً، لا نعرف ما إذا كان سيقول الحقيقة أم سيكذب حتى ينتهي من الكلام. قام الباحثون بشيء ذكي: سألوا نفس السؤال للذكاء الاصطناعي 20 مرة متتالية.

النتيجة: في حوالي 44% من الأسئلة، قدم الذكاء الاصطناعي إجابات مختلطة. أحياناً يقول الحقيقة، وأحياناً يخترع حقيقة مزيفة بثقة.
المفاجأة: لم "يقرر" الذكاء الاصطناعي الكذب بناءً على السؤال نفسه. السؤال كان متطابقاً في كل مرة. القرار حدث بمحض الصدفة في أول كلمة يكتبها. الأمر يشبه رمي عملة معدنية في بداية الرحلة؛ إذا استقرت على "الصور"، تذهب إلى مدينة الحقيقة؛ وإذا استقرت على "الكتابة"، تذهب إلى المدينة المزيفة.

2. "الباب ذو الاتجاه الواحد" (الجواذب غير المتماثلة)

هذا هو الاكتشاف الأهم. وجد الباحثون أن "المدينة المزيفة" (الهلوسة) تشبه فخاً لزجاً أو وادياً عميقاً.

الوقوع في الفخ (الفساد): من السهل بشكل مرعب دفع ذكاء اصطناعي صادق نحو الكذب. وجد الباحثون أنه إذا أخذوا حالة ذهنية "مهلوسة" وحقنوها في ذكاء اصطناعي "صادق"، فإن الذكاء الاصطناعي يسقط فوراً في الكذبة بنسبة 87.5% من المرات. الأمر يشبه دفع كرة فوق تلة صغيرة لتسقط في حفرة عميقة؛ بمجرد دخولها، تبقى فيها.
الخروج من الفخ (التصحيح): محاولة إخراج الذكاء الاصطناعي من الكذبة أمر صعب للغاية. حتى لو حقنوا حالة ذهنية "صادقة" في ذكاء اصطناعي كاذب، فإن ذلك نجح في 33% فقط من المرات.
التشبيه: تخيل أن الكذبة عبارة عن وعاء عميق وناعم. إذا أسقطت كرة رخامية فيه، ستتدحرج إلى القاع وتبقى هناك. إذا حاولت دفع الكرة للخارج بإصبعك (تصحيح واحد)، ستعود للتدحرج إلى القاع مجدداً. عليك أن تستمر في دفعها باستمرار لفترة طويلة لتصل بها إلى الحافة.

3. "نافذة الالتزام"

تظهر الدراسة أن الذكاء الاصطناعي يتخذ قراره في لحظة شبه فورية.

الخطوة 0: يقرأ الذكاء الاصطناعي السؤال. لم يقرر بعد.
الخطوة 1: يكتب الذكاء الاصطناعي الكلمة الأولى. هنا يحدث الأمر. لقد التزم بمسار معين.
النتيجة: بمجرد كتابة هذه الكلمة الأولى، يصبح الذكاء الاصطناعي مقيداً بـ "مسار" معين. إذا اختار الكذبة، فسيستمر في بناء قصة مقنعة بناءً على تلك الكذبة، حتى لو كانت الحقائق خاطئة.

4. "نقطة السرج" (منطقة الخطر)

نظر الباحثون في "خريطة" الذكاء الاصطناعي الداخلية قبل أن يبدأ الكتابة. وجدوا أن أنواعاً معينة من الأسئلة (مثل الأسئلة المبنية على مقدمات خاطئة، مثل "بما أن نهر الأمازون يمر عبر أوروبا...") تضع الذكاء الاصطناعي تماماً على حافة منحدر (نقطة السرج).

بالنسبة لهذه الأسئلة تحديداً، يكون الذكاء الاصطناعي متوازناً تماماً بين معرفة الحقيقة وقبول الكذبة. أي قدر ضئيل من الضجيج العشوائي (مثل هبة ريح) قد يدفعه في أحد الاتجاهين.
أما بالنسبة للأسئلة الأخرى (مثل الرياضيات البسيطة)، فإن الذكاء الاصطناعي يكون ثابتاً بقوة في جانب "الحقيقة" على الخريطة ونادراً ما يضل طريقه.

5. لماذا لا تنجح "الإصلاحات الخطية"

حاول العلماء "توجيه" الذكاء الاصطناعي ببساطة عبر إخباره: "لا تذهب في ذلك الاتجاه"، أو عبر إزالة إشارة "الكذب" رياضياً من دماغه.

ما وجدته الورقة: هذا لا يعمل جيداً. لأن "الكذبة" عبارة عن وادٍ عميق ومستقر، فإن مجرد دفع الذكاء الاصطناعي بعيداً عن مركز الوادي ليس كافياً. الميكانيكا الداخلية للنموذج (طبقات النموذج) تسحبه طبيعياً للعودة إلى القاع في الكذبة.
الحل: لتصحيح الهلوسة، لا يمكنك الاكتفاء بدفعة واحدة؛ بل يجب عليك ممارسة ضغط مستمر عبر عدة خطوات لدفع الذكاء الاصطناعي طوال الطريق خارج الوادي والعودة إلى المسار الصحيح.

الخلاصة الكبرى

الهلوسة ليست مجرد "نسيان" الذكاء الاصطناعي لحقيقة ما. إنها فخ ديناميكي.

الذكاء الاصطناعي يعرف الحقيقة بالفعل (لأنه يستطيع تقديم الإجابة الصحيحة إذا سارت "عملة القرعة" في الاتجاه الآخر)، ولكن بمجرد أن يخطو بالخطأ داخل "وادي الهلوسة"، فإنه يعلق هناك. إخراجه يتطلب جهداً كبيراً وتدخلاً مستمراً، بينما لا يتطلب الوقوع في الفخ سوى دفعة صغيرة غير مقصودة.

باخت-الاختصار: من السهل السقوط في الكذبة، لكن من الصعب جداً التسلق للخروج منها.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "الهلوسة كالتزام بالمسار: أدلة سببية على ديناميكيات الجاذب غير المتماثلة في توليد المحولات (Transformers)."

1. بيان المشكلة

تنتج النماذج اللغوية الكبيرة (LLMs) بشكل متكرر نصوصاً تبدو منطقية ولكنها غير صحيحة واقعياً (هلوسات) مع ثقة عالية. وبينما أثبتت الأبحاث الحالية وجود ارتباطات بين حالات النموذج الداخلية (مثل تنشيطات الطبقات الخفية) والهلوسة، إلا أن الآليات السببية التي تحكم متى وكيف يلتزم النموذج بمسار هلوسة لا تزال غير مفهومة بشكل جيد. وتحديداً، ليس من الواضح:

عند أي نقطة في عملية التوليد يلتزم النموذج بشكل لا رجعة فيه بالهلوسة؟
هل هذا الالتزام قابل للعكس عبر التدخل السببي؟
ما هو الهيكل الديناميكي الأساسي لفضاء حالة النموذج الذي يؤدي إلى هذه النتائج المتباينة؟

2. المنهجية

يقترح المؤلفون إطار عمل تجريبي مبتكر يجمع بين التشعب لنفس المطالبة (Same-prompt bifurcation) والترقيع التنشيطي المتماثل (Symmetric causal activation patching) لعزل ديناميكيات المسار عن دلالات مستوى المطالبة (Prompt semantics).

أ. التشعب لنفس المطالبة (Same-Prompt Bifurcation)

بدلاً من مقارنة مطالبات مختلفة تؤدي إلى نتائج مختلفة، يقوم المؤلفون بأخذ عينات متكررة من نفس المطالبة تحت درجة حرارة غير صفرية ( $\tau=0.7$ ).

الهدف: مطالبات تنتج فيها النماذج إكمالات (صحيحة) و(هلوسة) من مدخلات أولية متطابقة.
الهدف من ذلك: إثبات أن التباعد مدفوع بمسار أخذ العينات العشوائي وليس بتشفير المطالبة نفسها.
مجموعة البيانات: 61 مطالبة عبر 6 فئات (حقائق، فرضيات خاطئة، تأليف، قيادة، متعدد الخطوات، رياضيات) تم اختبارها على نموذج Qwen2.5-1.5B (28 طبقة).

ب. الترقيع التنشيطي السببي (Causal Activation Patching)

بالنسبة للمطالبات التي تظهر تشعباً، يقوم المؤلفون بإجراء ترقيع تنشيطي ثنائي الاتجاه باستخدام TransformerLens:

التصحيح (H $\to$ C): حقن تنشيط "صحيح" من تشغيل ناجح في تشغيل "مهلوس" لمعرفة ما إذا كان سيستعيد المسار الصحيح.
الإفساد (C $\to$ H): حقن تنشيط "مهلوس" في تشغيل "صحيح" لمعرفة ما إذا كان سيؤدي إلى انحراف المسار.
الضوابط: ترقيع المطالبات العشوائية، الترقيع من خطأ إلى خطأ، والأساسات غير المرقعة لضمان أن التأثيرات خاصة بالمطالبة وبالاتجاه.
المسحات (Sweeps): يغير المؤلفون الطبقات (0–27)، خطوات التوليد (0–4)، ونوافذ الترقيع (خطوة واحدة مقابل خطوات متعددة مستمرة).

ج. الاستقصاء والتجميع (Probing and Clustering)

المجسات الخطية (Linear Probes): تم تدريبها على حالات المتبقي (residual states) في الخطوة 0 للتنبؤ بمعدل الهلوسة لكل مطالبة.
التجميع غير الخاضع للإشراف: طُبق على حالات الخطوة 0 لتحديد مجموعات "شبيهة بالأنظمة" (regime-like) والتي ترتبط بمخاطر الهلوسة.

3. المساهمات الرئيسية

دليل سببي على ديناميكيات الجاذب غير المتماثلة: توفر الورقة أول دليل سببي على أن الهلوسة تعمل كـ حوض جاذب مستقر محلياً (Locally stable attractor basin). الدخول في هذا الحوض احتمالي وسهل، بينما الخروج منه صعب ويتطلب تدخلاً مستمراً.
تحليل التشعب لنفس المطالبة: توضح أن الحالات الأولية المتطابقة (الخطوة 0) يمكن أن تتباعد بشكل منفصل عند أول توكن يتم توليده (الخطوة 1)، مما يعزل لحظة "الالتزام".
تكميم عدم التماثل بين التصحيح والإفساد: تظهر فجوة إحصائية صارخة بين سهولة إحداث الهلوسة وصعوبة تصحيحها.
اكتشاف تشفير الأنظمة (Regime Encoding): تكشف أن خطر التشعب مشفر في تمثيل المطالبة نفسها (الخطوة 0)، مما ينظم المطالبات في "أنظمة" متميزة (مثل نظام "السرج" للمقدمات الخاطئة).

4. النتائج الرئيسية

أ. الالتزام الفوري بالمسار

الخطوة 0: التباعد في KL divergence بين التشغيلات الصحيحة والمهلوسة هو 0.0 (لوجيتس متطابقة).
الخطوة 1: يحدث التباعد فوراً ( $D_{KL} > 1.0$ في معظم الحالات).
الملاحظة: 44.3% من المطالبات (27/61) هي مطالبات متشعبة. مطالبات "الفرضية الخاطئة" هي دائماً تقريباً متشعبة (92.9%)، مما يشير إلى أن النموذج يقف على حد قرار بين قبول أو رفض الزيف المضمن.

ب. عدم التماثل السببي (النتيجة الجوهرية)

يكشف الترقيع التنشيطي عن عدم تماثل عميق في استقرار المسارات:

الإفساد (C $\to$ H): حقن تنشيط مهلوس في مسار صحيح تسبب في الفشل في 87.5% من التجارب (الذروة عند الطبقة 20). هذا التأثير ثابت عبر الخطوات.
التصحيح (H $\to$ C): حقن تنشيط صحيح في مسار مهلوس استعاد المخرج الصحيح في 33.3% فقط من التجارب (الذروة عند الطبقة 24).
الأهمية: معدل الإفساد أعلى بـ 2.63 ضعفاً من معدل التصحيح. كلاهما يتجاوز بشكل كبير خط الأساس (10.4%) والضوابط العشوائية (12.5%).

ج. ترقيع النافذة وصعوبة الهروب

التدخل بخطوة واحدة: يفشل في تصحيح الهلوسة بشكل موثوق.
التدخل المستمر: تتناسب معدلات التصحيح مع مدة الترقيع. ترقيع الطبقات 1–4 يزيد من معدل التصحيح من 12.5% إلى 33.3%.
التفسير: يتطلب الهروب من حوض الهلوسة تدخلاً منسقاً ومتعدد الخطوات، بينما يتطلب دخول الحوض مجرد اضطراب واحد.

د. هيكل النظام عند الخطوة 0

التنبؤ: حالات المتبقي في الخطوة 0 عند الطبقة 15 يمكنها التنبؤ بمعدل الهلوسة لكل مطالبة بمعامل ارتباط بيرسون $r = 0.776$ ( $p < 0.001$ ).
التجميع: يحدد التجميع غير الخاضع للإشراف 5 أنظمة. ومن الجدير بالذكر أن "عنقود السرج" (Saddle Cluster) يحتوي على 12 من أصل 13 مطالبة من "الفرضيات الخاطئة" المتشعبة، مما يشير إلى أن هذه المطالبات مشفرة في منطقة محددة من فضاء الحالة بالقرب من حدود الحوض.

5. الأهمية والآثار المترتبة

التحول النظري:
تعيد الورقة صياغة الهلوسة من كونها "فشلاً في استرجاع المعرفة" إلى كونها ظاهرة ديناميكية. يمتلك النموذج المعرفة الصحيحة (كما يثبت قدرته على توليد مخرجات صحيحة من نفس المطالبة)، ولكن أخذ العينات العشوائي يمكن أن يجعله يلتزم بمسار جاذب خاطئ ومستقر.

آلية الفشل:

سهولة الدخول: حوض الهلوسة له نصف قطر التقاط واسع؛ حيث يمكن لتوكن عشوائي واحد أو اضطراب في طبقة واحدة أن يدفع المسار للداخل.
صعوبة الخروج: بمجرد الدخول، يكون الحوض مستقراً محلياً. تميل ديناميكيات النموذج الداخلية (وصلات التخطي، تطبيع الطبقات) إلى استعادة المسار إلى الحالة المهلوسة، مما يجعل التوجيه الخطي أو التدخلات أحادية النقطة غير فعالة.

الآثار العملية:

محدودية التوجيه الخطي: تفسر هذه الدراسة لماذا تفشل محاولات "توجيه" النماذج بعيداً عن الهلوسة باستخدام المتجهات الخطية؛ فالإسقاطات الخطية لا يمكنها عبور حدود الحوض غير الخطية.
تصميم التدخل: قد تحتاج تدخلات السلامة الفعالة إلى استهداف اختيار النظام (Regime selection) في مرحلة تشفير المطالبة (الخطوة 0) بدلاً من محاولة ترقيع المسار في منتصف التوليد. بدلاً من ذلك، يجب أن تكون التدخلات مستمرة عبر عدة خطوات للتغلب على قوى الاستعادة الخاصة بالجاذب.

الخلاصة:
تتسم الهلوسة بأنها التزام مبكر بالمسار محكوم بـ ديناميكيات جاذب غير متماثلة. فضاء حالة النموذج منظم بحيث يكون دخول حالة الهلوسة احتمالياً وسريعاً، بينما يتطلب الهروب منها تدخلاً منسقاً متعدد الطبقات والخطوات.