💬 NLP

Adaptive Activation Cancellation for Hallucination Mitigation in Large Language Models

تقدم هذه الورقة البحثية إطار "إلغاء التنشيط التكيفي" (AAC)، وهو إطار استدلال في الوقت الفعلي وخالٍ من التدريب، يعمل على تخفيف الهلوسة في النماذج اللغوية الكبيرة عبر تحديد وتثبيط التنشيطات العصبية المرتبطة بالهلوسة باعتبارها تداخلاً هيكلياً، مما يؤدي إلى تحسين الدقة الواقعية عبر مقاييس متعددة للنماذج دون تقليل القدرات العامة أو الطلاقة.

المؤلفون الأصليون: Eric Yocam, Varghese Vaidyan, Gurcan Comert, Paris Kalathas, Yong Wang, Judith L. Mwakalonge

نُشر 2026-03-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Eric Yocam, Varghese Vaidyan, Gurcan Comert, Paris Kalathas, Yong Wang, Judith L. Mwakalonge

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صديقاً ذكياً للغاية، وفصيحاً بشكل لا يصدق، ويحب سرد القصص. هذا الصديق بارع جداً في حديثه لدرجة أنك لا تملك إلا أن تنصت إليه. ومع ذلك، هناك فخ: أحياناً، يختلق هذا الصديق حقائق بثقة تامة، أو يخلط بين الأسماء، أو يخبرك بأن القمر مصنوع من الجبن، كل ذلك وهو يبدو واثقاً من نفسه بنسبة 100%. في عالم الذكاء الاصطناعي، نسمي هذا "الهلوسة" (Hallucination).

تقدم الورقة البحثية التي شاركتها "علاجاً" جديداً لهذه المشكلة يسمى "إلغاء التنشيط التكيفي" (Adaptive Activation Cancellation - AAC). وإليك كيف يعمل، مشروحاً عبر تشبيهات بسيطة.

1. المشكلة: راديو مليء بالضجيج

تخيل أن نموذج اللغة الكبير (مثل الذكاء الاصطناعي في هاتفك) هو محطة راديو عالية التقنية. عندما يولد إجابة، فإنه يبث إشارة.

الإشارة الجيدة: هي الحقيقة، والحقائق، والمنطق.
الضجيج: هي "الهلوسة" — الأكاذيب الواثقة والتفاصيل المختلقة.

عادةً، عندما يخطئ الذكاء الاصطناعي، ليس لأن الأمر يتعلق بـ عدم معرفته للإجابة؛ بل لأن "الضجيج" (الكذبة) يغطي على "الإشارة" (الحقيقة) في اللحظة التي يتحدث فيها.

2. الحل: سماعات إلغاء الضجيج للذكاء الاصطناعي

أدرك المؤلفون أن هلوسات الذكاء الاصطناعي ليست ضجيجاً عشوائياً؛ بل هي تداخل مهيكل. إنه يشبه طنيناً محدداً وذا إيقاع معين لا يعمل إلا عندما يوشك الذكاء الاصطناعي على الكذب.

لقد استعاروا مفهوماً من الهندسة يسمى "إلغاء الضجيج التكيفي" (ANC). هل تعرف كيف تعمل سماعات إلغاء الضجيج؟ إنها تستمع إلى الضجيج خارج أذنك، وتنشئ موجة صوتية "مضادة للضجيج"، وتقوم بإلغائه لتسمع الصمت.

تقوم تقنية AAC بنفس الشيء تماماً لعقل الذكاء الاصطناعي:

الاستماع: تراقب "أفكار" الذكاء الاصطناعي الداخلية (التنشيطات العصبية) أثناء توليد جملة ما.
التحديد: ترصد الخلايا العصبية المحددة (المفاتيح الصغيرة داخل الذكاء الاصطناعي) التي تشتعل لإنشاء كذبة. يسمونها "عقد الهلوسة" (Hallucination Nodes) أو H-Nodes.
الإلغاء: تقوم بخفض مستوى تلك الخلايا العصبية المحددة بلطف، مما يؤدي فعلياً إلى خفض صوت الكذبة، مع ترك الحقيقة دون مساس.

3. "الجراح" مقابل "المطرقة الثقيلة"

كانت معظم الطرق السابقة لإصلاح أكاذيب الذكاء الاصطناعي تشبه استخدام مطرقة ثقيلة.

الطريقة (أ) (الاسترجاع): "لنبحث عن الإجابة في كتاب قبل أن نتحدث". (يتطلب مكتبة خارجية).
الطريقة (ب) (إعادة التدريب): "لنعد تعليم الذكاء الاصطناعي من البداية". (يستغرق وقتاً طويلاً ويكلف ثروة).
الطريقة (ج) (ما بعد الحدث): "لنراجع الإجابة بعد كتابتها ونقوم بتعديلها". (فات الأوان؛ فقد وقع الضرر بالفعل).

أما تقنية AAC فهي بمثابة جراح.
فهي لا تحتاج إلى مكتبة، ولا تعيد تدريب الذكاء الاصطناعي، ولا تنتظر حتى النهاية. إنها تعمل في الوقت الفعلي، بينما يفكر الذكاء الاصطناعي. إنها تستهدف فقط الـ 50 خلية عصبية محددة المسؤولة عن الكذبة من بين الآلاف.

النتيجة السحرية:
تثبت الورقة البحثية أن هذه الجراحة دقيقة للغاية لدرجة أنها تصلح الأكاذيب دون الإضرار بأي شيء آخر.

لا يصبح الذكاء الاصطناعي أقل ذكاءً في الرياضيات.
لا يصبح أسوأ في كتابة الشعر.
لا يصبح أبطأ.
الأمر يشبه إزالة مكون واحد سيء من الكعكة دون تغيير طعم بقية الحلوى.

4. مقبض "الثقة"

أحد أروع أجزاء هذا النظام هو أنه تكيّفي.
تخيل أن الذكاء الاصطناعي غير متأكد، إنه يتردد.

إذا كان الذكاء الاصطناعي واثقاً جداً من أنه على وشك الكذب، فإن النظام يرفع مقبض "الإلغاء" عالياً.
إذا كان الذكاء الاصطناعي غير متأكد أو الموضوع شائك، فإن النظام يخفض المقبض حتى لا يقوم بالخطأ بإسكات فكرة صحيحة.

إنه يشبه التحكم الذكي في مستوى الصوت الذي يكتم الصوت فقط عندما يكون الضجيج عالياً بما يكفي ليكون مشكلة.

5. لماذا يهم هذا؟

اختبر الباحثون هذه التقنية على ثلاثة أحجام مختلفة من الذكاء الاصطناعي (صغير، متوسط، وكبير).

الذكاء الاصطناعي الصغير: ساعد قليلاً.
الذكاء الاصطناعي المتوسط: كان الأمر صعباً لأن "الأكاذيب" و"الحقائق" كانت متشابكة معاً، لكن النظام ظل يعمل.
الذكاء الاصطناعي الكبير: هنا برز تفوقه. بدأ الذكاء الاصطناعي الكبير يقول الحقيقة بشكل أكثر تكراراً، وظلت قدرته على التفكير والكتابة مثالية.

الخلاصة

تقدم هذه الورقة طريقة لجعل الذكاء الاصطناعي أكثر صدقاً دون جعله أغبى، دون الحاجة إلى كتب إضافية للتحقق، ودون إبطاء سرعته. إنه بمثابة منح الذكاء الاصطناعي سماعات إلغاء الضجيج التي تصفّي أكاذيبه الخاصة تحديداً، مما يسمح للحقيقة بالظهور بوضوح.

باخت-القول: إنه إصلاح جراحي في الوقت الفعلي يعلم الذكاء الاصطناعي التوقف عن الكذب مع الحفاظ على جميع قدراته الخارقة الأخرى سليمة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "إلغاء التنشيط التكيفي للحد من الهلوسة في النماذج اللغوية الكبيرة" (Adaptive Activation Cancellation for Hallucination Mitigation in Large Language Models).

1. بيان المشكلة

تنتج النماذج اللغوية الكبيرة (LLMs) بشكل متكرر نصوصاً سلسة ولكنها غير صحيحة واقعياً (هلوسات)، مما يشكل مخاطر كبيرة في المجالات عالية الخطورة مثل الطب والقانون. تندرج استراتيجيات التخفيف الحالية ضمن ثلاث فئات، وجميعها تعاني من قيود:

التعزيز بالاسترجاع (Retrieval Augmentation): يتطلب مصادر معرفية خارجية.
التحقق اللاحق (Post-hoc Verification): يحدث بعد عملية التوليد، ويتطلب نماذج أو عمليات إضافية.
تعديل المعرفة (Knowledge Editing): يتطلب إعادة تدريب أو تعديل معاملات النموذج.

لا تعالج أي من هذه الأساليب آلية التوليد نفسها أثناء الاستدلال. علاوة على ذلك، فإن العديد من تدخلات وقت الاستدلال تضحي بالقدرة اللغوية العامة (السلاسة، الاستنتاج) مقابل الدقة الواقعية. تهدف الورقة إلى تطوير طريقة تثبط الهلوسة في الوقت الفعلي، دون ضبط دقيق (fine-tuning)، أو معرفة خارجية، أو تدهور في القدرات العامة.

2. المنهجية: إلغاء التنشيط التكيفي (AAC)

يقترح المؤلفون إلغاء التنشيط التكيفي (AAC)، وهو إطار عمل مستوحى من إلغاء الضوضاء التكيفي (ANC) من معالجة الإشارات.

القياس المنطقي الجوهري

ترسم الورقة قياساً رسمياً بين تيار البقايا (residual stream) في محول (Transformer) وقناة إشارة مشوشة:

الإشارة الأساسية ( $d_t$ ): الحالة المخفية $h_\ell$ عند طبقة معينة.
المحتوى المستند إلى الواقع ( $s_\ell$ ): المعلومات الدلالية الصحيحة.
الضوضاء/التداخل ( $n_\ell$ ): التنشيطات المرتبطة بالهلوسة.
الهدف: تقدير وطرح التداخل ( $n_\ell$ ) من الحالة المخفية لاستعادة الإشارة المستندة إلى الواقع.

خط الإنتاج ثلاثي المراحل

تدريب المسبار خارج الإنترنت وتحديد عقدة-H (H-Node Identification):
- المسبار الخطي (Linear Probing): يتم تدريب مسبار انحدار لوجستي منظم بـ L2 على الحالات المخفية للتمييز بين العينات المهلوسة والمستندة إلى الواقع.
- اختيار الطبقة: يتم اختيار الطبقة ذات أعلى قيمة (ROC-AUC) (عادةً حوالي 46-53% من عمق الشبكة) كنقطة للتدخل.
- تحديد عقدة-H: يتم تحديد أفضل $K$ من الخلايا العصبية (حيث $K=50$ ) ذات أكبر أوزان مسبار موقعة كـ عقد هلوسة (H-Nodes). تشير الأوزان الموجبة إلى الخلايا التي تزيد من ثقة الهلوسة؛ بينما تعمل الأوزان السالبة على تثبيطها.
- بناء خط الأساس: يتم حساب خط أساس مئوي (المئوي الثمانين) لتنشيطات عقدة-H في العينات المستندة إلى الواقع لتحديد "الإشارة الزائدة".
خطاف التمرير الأمامي في الوقت الفعلي (Real-Time Forward Hook):
- أثناء التوليد التلقائي (auto-regressive generation)، يقوم "خطاف أمامي" باعتراض الحالة المخفية عند الطبقة المختارة.
- التوهين التكيفي: إذا تجاوزت ثقة المسبار ( $c$ ) بأن الحالة الحالية هي هلوسة عتبة معينة ( $\theta=0.45$ )، يتم تثبيط تنشيطات عقدة-H.
- الصيغة: $h'[H] = h[H] - c \cdot \alpha \cdot \max(h[H] - b, 0)$ ، حيث $b$ هو خط الأساس، و $\alpha$ هو مقي-التوهين (0.9)، و $c$ هو ثقة المسبار. يضمن هذا أن التثبيط يتناسب مع احتمالية الهلوسة.
متغيرات الإلغاء:
تقيم الورقة ستة متغيرات، بما في ذلك الطرق اللاحقة (طرح المتوسط، المئوي 80، تحويل فوريه للإشارة الزائدة) والخطاف في الوقت الفعلي. الخطاف في الوقت الفعلي هو الوحيد الذي يعدل عملية التوليد بشكل سببي.

3. المساهمات الرئيسية

القياس المنطقي لمعالجة الإشارات: يضع ربطاً صارماً بين تيارات البقايا في المحول وإلغاء الضوضاء التكيفي الكلاسيكي، مع معاملة الهلوسة كتداخل مهيكل.
التدخل الجراحي: يقدم خطافاً أمامياً في الوقت الفعلي يثبط خلايا عصبية محددة دون ضبط دقيق أو معرفة خارجية.
وزن الثقة التكيفي: يثبت أن تعديل قوة التثبيط بناءً على ثقة المسبار يقلل بشكل كبير من "الانجراف المستند إلى الواقع" (التدهور غير المقصود للحقائق الصحيحة) بنسبة 25.9–40.1%.
الرؤى الميكانيكية: يحدد أن تمثيلات الهلوسة تصل إلى ذروة القابلية للفصل عند منتصف عمق الشبكة (~50%) عبر مختلف المقاييس، ويكشف عن "جاذبات الهلوسة عبر النماذج" (مثل حقائق معينة عن المشاهير والقوالب النمطية الثقافية).
صفر تدهور في القدرات: يثبت أن الطريقة تحافظ على القدرات اللغوية العامة (الارتباك/Perplexity ودقة الاستنتاج) تماماً، على عكس التدخلات الأخرى.

4. النتائج التجريبية

تم تقييم الإطار على نماذج OPT-125M و Phi-3-mini و LLaMA 3-8B باستخدام TruthfulQA و HaluEval.

دقة المهام اللاحقة:
- الطرق اللاحقة (Post-hoc methods) (تعديل التنشيطات بعد حدوثها) فشلت في تحسين الدقة اللاحقة لأي نموذج، رغم إظهارها انتقائية إيجابية في فضاء المسبار.
- الخطاف في الوقت الفعلي (Real-time Hook): هو التدخل الوحيد الذي حسن الدقة باستمرار عبر جميع المقاييس (+2.0% لـ OPT، و+0.7% لـ Phi-3 و LLaMA).
- مقاييس التوليد (LLaMA 3-8B): حقق الخطاف مكاسب إيجابية في MC1 (+0.04)، وMC2 (+0.003)، وToken-F1 (+0.003).
الحفاظ على القدرات:
- ارتباك (Perplexity) WikiText-103: تدهور بنسبة 0.0% تماماً عبر النماذج الثلاثة.
- دقة استنتاج MMLU: تدهور بنسبة 0.0% تماماً.
  هذا يؤكد أن التدخل "جراحي بدقة"، حيث يؤثر فقط على مسارات الهلوسة.
تأثيرات القياس والانتقائية:
- القابلية للكشف: تزديد قابلية فصل الهلوسة (AUC) طردياً مع حجم النموذج.
- القابلية للتثبيط: الانتقائية غير رتيبة. فهي تكون في أعلى مستوياتها لـ OPT-125M، وتنخفض لـ Phi-3-mini (بسبب "تعدد المعاني/polysemanticity" حيث تشفر الخلايا ميزات متعددة)، ثم تتعافى لـ LLaMA 3-8B.
- المقارنة: يتفوق AAC على ITI (التدخل في وقت الاستدلال) في انتقائية المسبار في مقاييس OPT و LLaMA. وبينما يحقق DoLA مكاسب أعلى في MC1 على LLaMA 3-8B، فإنه يفعل ذلك على مستوى فك التشفيد دون خصوصية داخلية، بينما يوفر AAC تدخلاً تشخيصياً على مستوى الخلية العصبية.

5. الأهمية والآثار المترتبة

تحول في النموذج الفكري: ينقل تخفيف الهلوسة من الاسترجاع الخارجي أو التصفية اللاحقة إلى التدخل الداخلي والسببي داخل حلقة التوليد.
السلامة والقابلية للنشر: صفة "الصفر تدهور" حاسمة للنشر. يمكن للمؤسسات تفعيل AAC دون الحاجة لإعادة تقييم معايير النموذج العامة، مما يضمن السلامة دون التضحية بالمنفعة.
الفهم الميكانيكي: تشير النتائج إلى أن الهلوسات ليست أخطاء عشوائية بل إشارات مهيكلة تتركز في خلايا عصبية محددة عند أعماق متوسطة للشبكة. كما يسلط "فخ مقياس تعدد المعاني" الذي تم تحديده في Phi-3-mini الضوء على تحدٍ معماري محدد للتدخلات المتفرقة في أحجام النماذج المتوسطة.
الاتجاهات المستقبلية: تشير الورقة إلى أنه بينما تعمل الطرق الحالية بشكل جيد حتى 8 مليارات معلمة، قد تتطلب النماذج الأكبر تدخلات على مستوى الدائرة (targeting circuits) تستهدف رؤوس الانتباه (attention heads) وMLPs معاً للتغلب على التشابك العميق للميزات.

في الختام، يمثل إلغاء التنشيط التكيفي (AAC) تقدماً كبيراً في سلامة النماذج اللغوية الكبيرة، حيث يقدم طريقة دقيقة، وفي الوقت الفعلي، وغير مدمرة للحد من الهلوسة عبر معاملتها كضوضاء ضمن تيار الإشارة الخاص بالنموذذ نفسه.