💬 NLP

Listen to the Layers: Mitigating Hallucinations with Inter-Layer Disagreement

تقترح الورقة البحثية خوارزمية CoCoA، وهي خوارزمية فك تشفير لا تتطلب تدريباً تعمل على الحد من هلوسة النماذج اللغوية الكبيرة من خلال اكتشاف المخرجات غير الصحيحة واقعياً ومعاقبتها عبر تحليل عدم الاستقرار التمثيلي والتباين الداخلي عبر الطبقات الوسطى للنموذج.

المؤلفون الأصليون: Koduvayur Subbalakshmi, Sabbir Hossain Ujjal, Venkata Krishna Teja Mangichetty, Nastaran Jamalipour Soofi

نُشر 2026-03-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Koduvayur Subbalakshmi, Sabbir Hossain Ujjal, Venkata Krishna Teja Mangichetty, Nastaran Jamalipour Soofi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صديقاً موهوباً جداً، واسع الاطلاع، يحب سرد القصص. هذا الصديق فصيح للغاية ويتحدث بقواعد لغوية مثالية، لكنه أحياناً، عندما يشعر ببعض عدم اليقين بشأن حقيقة ما، يقوم باختلاق شيء ما لمجرد استمرار تدفق المحادثة. قد يقول مثلاً: "عاصمة أستراليا هي سيدني"، بكل ثقة، رغم أنها في الواقع كانبيرا. في عالم الذكاء الاصطناعي، نسمي هذا الهلوسة (Hallucination).

تقدم الورقة البحثية التي شاركتها طريقة ذكية لمنع هذا الصديق من اختلاق الأمور، دون الحاجة إلى إعادة تعليمه كل شيء من الصفر. لقد أطلقوا على حلهم اسم CoCoA (المدرك للارتباك والاتساق - Confusion and Consistency Aware).

إليك كيف يعمل، مقسماً ببعض التشبيهات من الحياة اليومية:

1. المشكلة: "المتحدث اللبق" مقابل "الحقيقة"

نماذج الذكاء الاصطناعي الحالية (مثل تلك التي تشغل روبوتات الدردشة) تشبه المتحدثين اللبقين. إنهم بارعون في التنبؤ بالكلمة التالية في الجملة. إذا سألت: "من فاز بكأس العالم 2024؟" ولم يكن النموذج متأكداً بنسبة 100%، فقد يخمن ببساطة فريقاً يبدو منطقياً ليحافظ على مثالية الجملة من الناحية النحوية. هو لا يحاول الكذب؛ هو فقط يحاول أن يكون فصيحاً.

2. الرؤية: الاستماع إلى "المونولوج الداخلي"

أدرك الباحثون أنه قبل أن يعطيك الذكاء الاصطناعي إجابة، فإنه يعالج تلك الإجابة عبر طبقات عديدة من "التفكير" (مثل تفكير الإنسان في مسألة ما خطوة بخ بخطوة).

التشبيه: تخيل لجنة مكونة من 30 خبيراً (طبقات الذكاء الاصطناعي) يناقشون سؤالاً.
- إذا كانوا يعرفون الإجابة: يوافق جميع الخمسة والثلاثين خبيراً في الإيماء برؤوسهم. الإشارة تكون مستقرة.
- إذا كانوا يختلقون الإجابة: قد يخمن الخبراء الأوائل، ثم يبدأ الخبراء في المنتصف بالجدال، ثم يشعر الخبراء الأواخر بالارتباك. هناك خلاف وعدم استقرار في منتصف الغرفة.

تفترض الورقة البحثية أن الهلوسة تحدث عندما تكون الطبقات الداخلية للذكاء الاصطناعي مرتبكة ومتنازعة فيما بينها.

3. الحل: "كاشف الخلاف" (CoCoA)

بدلاً من مجرد ترك الذكاء الاصطناعي يختار الإجابة الأكثر فصاحة (وهو ما يشبه ترك المتحدث اللبق ينتصر)، يعمل CoCoA كـ مفتش جودة.

إليك العملية خطوة بخطوة:

توليد الخيارات: يفكر الذكاء الاصطناعي في بضعة إجابات محتملة (مثل "كاليفورنيا"، أو "جورجيا"، أو "ساوث كارولينا" للسؤال: أي ولاية تنتج أكبر قدر من الخوخ؟).
الاستماع إلى الطبقات: لكل خيار، يتحقق النظام من "المونولوج الداخلي" للذكاء الاصطناعي. إنه ينظر إلى الطبقات الوسطى من "الدماغ" ليرى ما إذا كان الخبراء متفقين.
- الخيار أ (كاليفورنيا): الخبراء مرتبكون. الطبقة 10 تقول "ربما"، الطبقة 15 تقول "لا"، الطبقة 20 تقول "انتظر". خلاف عالٍ = ارتباك عالٍ.
- الخيار ب (جورجيا): الخبراء جميعاً على نفس الصفحة. الطبقة 10، 15، و20 تقول "نعم، بالتأكيد". خلاف منخفض = اتساق عالٍ.
العقوبة: يطبق النظام "عقوبة" على الخيارات المرتبكة. الأمر يشبه قولك للمتحدث اللبق: "أعلم أنك تبدو واثقاً، لكن فريقك الداخلي يتجادل، لذا سأقوم بخفض درجتك."
الاختيار: يختار النظام الإجابة التي كان فيها الفريق الداخلي أكثر اتساقاً، حتى لو لم تكن هي التخمين الأول الأكثر وضوحاً.

4. "بوابة المعلومات الذاتية" (الفلتر الذكي)

تقدم الورقة أيضاً نسخة متطورة تسمى CoCoA-SIG. فكر في هذا كفلتر ذكي يعرف متى يكون صارماً.

التشبيه: تخيل حارساً عند مدخل ملهى ليلي.
- إذا كان الضيف مرجحاً جداً لأن يكون من كبار الشخصيات (احتمالية عالية)، فإن الحارس يسمح له بالدخول بسرعة دون التدقيق كثيراً.
- إذا كان الضيف شخصاً غير متوقع (احتمالية منخفضة، "مفاجأة" عالية)، فإن الحارس يفحص هويته بدقة شديدة.
كيف يعمل: من المرجح أن يهلوس الذكاء الاصطناعي عندما يخمن شيئاً مفاجئاً أو غير مرجح. يركز CoCoA-SIG جهوده في "كاشف الخلاف" بقوة أكبر على تلك التخمينات المحفوفة بالمخاطر والمفاجئة، بينما يسمح للإجابات الآمنة والواضحة بالمرور بسهولة.

5. لماذا يعد هذا أمراً هاماً؟

لا حاجة لإعادة التدريب: لا تحتاج إلى تغذية الذكاء الاصطناعي بملايين الكتب الجديدة لإصلاح هذه المشكلة. فهو يعمل "جاهزاً للاستخدام" بمجرد تغيير كيفية اختيار الذكاء الاصطناعي لكلماته أثناء المحادثة.
يعمل في كل مكان: لقد اختبروه في الرياضيات، والبرمجة، وتلخيص الأخبار، والإجابة على الأسئلة العامة. لقد جعله أكثر صدقاً في جميع المجالات.
سريع: لا يضيف إلا وقتاً ضئيلاً جداً للإجابة (أبطأ بحوالي 1.3 مرة من الطبيعي)، وهو ثمن بسيط مقابل عدم التعرض للكذب.

الملخص

فكر في CoCoA كـ مترجم صادق. عندما يحاول الذكاء الاصطناعي التحدث، يستمع CoCoA إلى "اجتماع اللجنة" الداخلي للذكاء الاصطناعي. إذا كانت اللجنة تتجادل وتشعر بالارتباك، يقول CoCoA: "توقف، هذه الإجابة مهتزة"، ويوجه الذكاء الاصطناعي نحو الإجابة التي يتفق فيها الجميع في اللجنة.

إنها طريقة لتعليم الذكاء الاصطناعي الثقة في اتساقه الداخلي بدلاً من مجرد قدرته على التحدث ببراعة وفصاحة.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "استمع إلى الطبقات: التخفيف من الهلوسة باستخدام عدم الاتفاق بين الطبقات" من إعداد كودوفايور سوبالاکشامي وآخرون.

1. بيان المشكلة

تتعرض النماذج اللغوية الكبيرة (LLMs) لظاهرة الهلوسة، حيث تولد نصوصاً بليغة ولكنها غير صحيحة واقعياً. وهذا يقوض موثوقيتها في المهام النهائية الحرجة مثل الإجابة على الأسئلة، والتلخيص، وتوليد الأكواد البرمجية. تعتمد استراتيجيات التخفيف الحالية غالباً على:

النهج القائم على التدريب: الضبط الدقيق (Fine-tuning) أو التعلم المعزز من التغذية الراجعة البشرية (RLHF)، وهي عمليات تستهلك موارد كبيرة.
التوليد المعزز بالاسترجاع (RAG): الاعتماد على بيانات خارجية، مما يضيف زمن انتقال (latency) وتعقيداً.
التحقق اللاحق (Post-hoc verification): فحص المخرجات بعد عملية التوليد.
فك التشفير في وقت الاستنتاج (Inference-time decoding): تتعامل العديد من الطرق الحالية مع النموذج كصندوق أسود (باستخدام قياس عدم اليقين) أو تتطلب مقارنة النماذج (مقارنة نموذج بنسخة متدهورة منه).

يجادل المؤلفون بأن الهلوسة مرتبطة بـ عدم الاستقرار التمثيلي داخل طبقات النموذج. وبشكل محدد، يفترضون أن استدعاء الحقائق يتجلى في تمثيلات مستقرة في الطبقات المتوسطة، بينما تنشأ الهلوسة من الخلاف أو الارتباك الدلالي بين هذه الطبقات.

2. المنهجية: وحدة فك التشفير CoCoA

تقترح الورقة CoCoA (الوعي بالارتباك والاتساق)، وهي خوارزمية فك تشفير مبتكرة، خالية من التدريب، تعمل في وقت الاستنتاج من خلال "الاستماع" إلى الحالات الداخلية للنموذج اللغوي الكبير.

أ. الفرضية الأساسية

يتم معالجة المعرفة الواقعية بشكل أساسي في الطبقات المتوسطة للنموذج اللغوي الكبير. إذا كان نطاق الرموز (token span) المولد صحيحاً واقعياً، فإن تمثيله يجب أن يظل متسقاً أثناء انتقاله عبر هذه الطبقات الوسطى. وعلى العكس من ذلك، إذا كان النموذج يهلوِس، فستظهر التمثيلات في الطبقات الوسطى عدم استقرار (عدم اتفاق) عالياً.

ب. قياس عدم الاستقرار (المقاييس)

حدد المؤلفون مقيمن لزيادة التفاوت بين ناقلات الحالة المخفية لنطاق الرموز المرشح $S$ عبر الطبقات الوسطى (من $m$ إلى $n$ ):

درجة عدم الاتفاق بين الطبقات الوسطى المتتالية (ConMLDS):
تحسب متوسط المسافة الجيبية (cosine distance) بين تمثيلات الطبقات المتتالية ( $L_j$ و $L_{j+1}$ ) ضمن النطاق الأوسط.
$\text{conMLDS}(S) = \frac{1}{N} \sum_{j=m}^{n-1} (1 - \text{SC}(H_{S,j}, H_{S,j+1}))$
حيث SC هي التشابه الجيبي (Cosine Similarity).
درجة عدم الاتفاق النسبي للطبقات الوسطى (fMLDS):
تحسب متوسط المسافة الجيبية بين تمثيل كل طبقة وسطى والطبقة النهائية (كـ نقطة مرجعية).
$\text{fMLDS}(S) = \frac{1}{N} \sum_{j=m}^{n} (1 - \text{SC}(H_{S,j}, H_{S,L}))$

ج. استراتيجية فك التشفير

بدلاً من فك التشفير الجشع (greedy decoding) القياسي (اختيار الرمز ذو الاحتمالية الأعلى)، تقوم CoCoA بتعديل دالة التقييم عن طريق طرح عقوبة بناءً على درجة MLDS.

CoCoA القياسية:
يتم تعديل درجة النطاق $S$ عن طريق طرح عقوبة موزونة بناءً على درجة MLDS:
$\text{Score}(S) = \log p_S - \alpha \cdot \text{MLDS}(S)$
هنا، $\alpha$ هو معلمة فائقة (hyperparameter) تتحكم في قوة العقوبة. الارتباك العالي (MLDS مرتفع) يقلل الدرجة، مما يجعل النطاق أقل احتمالاً للاختيار.
CoCoA-SIG (المحكومة بالمعلومات الذاتية):
لتجنب الإفراط في معاقبة الرموز عالية الاحتمالية (الصحيحة غالاً)، قدم المؤلفون آلية بوابة (gating mechanism). يتم قياس العقوبة بواسطة المعلومات الذاتية (الدهشة) للنطاق ( $-\log p_S$ ).
$\text{Score}_{\text{SIG}}(S) = \log p_S [1 + \alpha \cdot \text{MLDS}(S)]$
ملاحظة: اشتق المؤلفون هذا كـ $\log p_S - (-\log p_S \cdot \alpha \cdot \text{MLDS})$ ، مما يزيد من وزن عقوبة الارتباك للنطاقات ذات الاحتمالية المنخفضة (الدهشة العالية). يضمن ذلك أن يقوم وحدة فك التشفير باستهداف التوليدات غير المستقرة وغير المرجحة بشدة، مع الحفاظ على المخرجات السلسة وعالية الثقة.

د. تفاصيل التنفيذ

نقاط التباعد: تُطبق الطريقة بشكل انتقائي عند "نقاط التباعد" (الرموز التي يكون فيها توزيع الاحتمالات غير مؤكد) لتوليد نطاقات مرشحة متغيرة الطول، بدلاً من رمز تلو الآخر.
اختيار الطبقات: تُعرف الطبقات الوسطى بأنها النطاق $[\lfloor L/3 \rfloor, \lfloor 2L/3 \rfloor]$ ، بناءً على أبحاث التفسير الآلي السابقة.

3. المساهمات الرئيسية

مقاييس مبتكرة: تقديم ConMLDS و fMLDS لقياس عدم الاستقرار التمثيلي في الطبقات المتوسطة كبديل للهلوسة.
وحدة فك تشفير خالية من التدريب: خوارزمية استنتاج "Plug-and-play" (تعمل مباشرة) لتحسين الصحة الواقعية دون إعادة تدريب النموذج.
البوابة بالمعلومات الذاتية: نسخة CoCoA-SIG التي تعدل العقوبات ديناميكياً لاستهداف التوليدات غير المستقرة وغير المرجحة بشكل أكثر فعالية.
تقييم شامل: اختبار واسع النطاق عبر مهام متنوعة (الإجابة على الأسئلة، التلخيص، الرياضيات، الكود) وعائلات نماذج مختلفة (Llama-3, Mistral, Qwen).

4. النتائج التجريبية

قيم المؤلفون CoCoA و CoCoA-SIG على عدة اختبارات مرجعية: TruthfulQA، Natural Questions (NQ)، SAMSum، XSum، MBPP (الكود)، و GSM8K (الرياضيات).

TruthfulQA: حققت CoCoA-SIG أفضل درجات T×I (الصدق × المعلوماتية). بالنسبة لنموذج Llama-3-8b، حسنت T×I بنسبة 12.39% عن فك التشفير الجشع و 1.57% عن خط الأساس القوي DeCoRe. كما أظهرت أداءً متفوقاً في مهام الاختيار من متعدد (MC1, MC2, MC3).
التلخيص (SAMSum/XSum): حسنت CoCoA-SIG بشكل كبير من FActScore (الدقة الواقعية) والصدق مع الحفاظ على درجات ROUGE-L تنافسية، متفوقة على خطوط الأساس مثل DoLa و Diver.
الاستدلال والكود: في GSM8K و MBPP، حسنت CoCoA-SIG من Pass@1 والدقة بمقدار +6.73% (الكود) و +1.21% (الرياضيات) مقارنة بخطوط الأساس.
الكفاءة: تتحمل CoCoA-SIG عبئاً طفيفاً في زمن الانتقال (~1.3x مقارنة بفك التشفير الجشع)، وهو أقل بكثير من Diver (~~6.2x) و DeCoRe (~~2.16x).
الأهمية الإحصائية: أكدت اختبارات Wilcoxon Signed-Rank أن مقاييس CoCoA تميز بقوة بين التوليدات المهلوسة وغير المهلوسة ( $p < 10^{-14}$ ).

5. الأهمية والأثر

التفسير الآلي في الممارسة العملية: يربط هذا العمل بين أبحاث التفسير الآلي (فهم أين تُخزن الحقائق) واستراتيجيات فك التشفير العملية. لقد أثبت أن عدم الاتفاق بين الطبقات هو إشارة صالحة للكشف عن الهلوسة.
قابلية التطبيق الواسعة: بما أنها خالية من التدريب وتعتمد فقط على التمريرات الأمامية (forward passes)، يمكن تطبيقها على أي نموذج لغوي كبير مُدرب مسبقاً دون الحاجة للوصول إلى الأوزان أو بيانات التدريب.
الموثوقية: توفر طريقة قوية ومنخفضة التكلفة لتعزيز موثوقية النماذج اللغوية الكبيرة في الأنظمة الوكيلية (agentic systems) والتطبيقات الحرجة حيث تكون الدقة الواقعية ذات أهمية قصوى.
الكفاءة: من خلال تجنب مقارنة النماذح (مثل DeCoRe) أو الاسترجاع الخارجي (RAG)، توفر CoCoA حلاً فعالاً حوسبياً للتخفيف من الهلوسة في الوقت الفعلي.

في الختام، تُظهر CoCoA أن "الاستماع" إلى عدم الاتفاق الداخلي للطبقات الوسطى للنموذج يوفر إشارة داخلية قوية لتوجيه النماذج اللغوية الكبيرة نحو الاتساق الواقعي، مما يمثل خطوة مهمة نحو جعل الذكاء الاصطنا توليدي أكثر موثوقية.