💬 NLP

Contrastive Attribution in the Wild: An Interpretability Analysis of LLM Failures on Realistic Benchmarks

تقدم هذه الورقة إطار عمل للنسب (attribution) يعتمد على التباين وتقنية LRP مع قدرات عابرة للطبقات لتحليل إخفاقات النماذج اللغوية الكبيرة بشكل منهجي على معايير قياسية واقعية، كاشفةً أنه في حين يوفر النسب على مستوى الرمز (token-level) إشارات معلوماتية في حالات محددة، إلا أنه ليس قابلاً للتطبيق عالمياً على جميع أنواع الإخفاقات.

المؤلفون الأصليون: Rongyuan Tan, Jue Zhang, Zhuozhao Li, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

نُشر 2026-04-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Rongyuan Tan, Jue Zhang, Zhuozhao Li, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً ذكياً جداً، ولكنه عنيد أحياناً (وهو نموذج لغوي كبير، أو LLM). في بعض الأحيان، عندما تسأله سؤالاً، يعطيك إجابة خاطئة. عادةً، عندما نحاول معرفة لماذا فشل، فإننا نكتفي بالنظر إلى المدخلات والمخرجات فقط. الأمر يشبه النظر إلى سيارة لا تعمل وقول: "حسناً، المحرك مطفأ"، دون أن تفتح غطاء المحرك لترى ما إذا كانت شمعات الاحتراق مفقودة أو البطارية فارغة.

هذه الورقة البحثية تتحدث عن فتح غطاء المحرك لهذه الروبوتات الذكية لرؤية ما يحدث بالضبط داخل "أدمغتها" عندما ترتكب أخطاء.

إليك تفصيل عملهم باستخدام تشبيهات بسيطة:

1. المشكلة: لغز "الصندوق الأسود"

نظرت معظم الدراسات السابقة إلى إخفاقات الذكاء الاصطناي كأنها محقق ينظر إلى مسرح الجريمة من الخارج. كانوا يعرفون ماذا حدث (الذكاء الاصطناعي أعطى إجابة خاطئة)، لكنهم لم يعرفوا لماذا.

الطريقة القديمة: "الذكاء الاصطناعي قال 'باريس' بدلاً من 'لندن'. ربما هو مرتبك؟"
الطريقة الجديدة: "دعونا ننظر داخل عقل الذكاء الاصطناعي لنرى أي الأفكار المحددة قادت لخياره 'باريس' وأي الأفكار تجاهلها."

2. الأداة: "الإسناد التبايني" (لعبة "ماذا لو")

ابتكر المؤلفون أداة خاصة تسمى الإسناد التبايني (Contrastive Attribution). فكر فيها كأنها محاكي لـ "ماذا لو".

عندما يرتكب الذكاء الاصطناعي خطأً (على سبيل المثال، يختار الكلمة الخطأ)، يسأل الباحثون: "ماذا لو كان الذكاء الاصطناعي قد اختار الكلمة الصحيحة بدلاً من ذلك؟"

يأخذون الفرق بين "الكلمة الخطأ" و"الكلمة الصح".
يتتبعون هذا الفرق رجوعاً عبر طبقات الذكاء الاصطنا، مثل إعادة شريط فيديو للوراء لمعرفة أي الإطارات تسببت في الخطأ.
ينشئون خريطة حرارية (مثل الخريطة الجوية التي تظهر البقع الساخنة والباردة) توضح أي الكلمات في طلبك كانت "ساخنة" (أثرت على الإجابة الخاطئة) وأيها كانت "باردة" (تم تجاهلها).

3. التحدي الكبير: مشكلة "القصة الطويلة"

نماذج الذكاء الاصطناعي بارعة في قراءة القصص الطويلة (آلاف الكلمات). لكن النظر داخل عقل ذكاء اصطناعي يقرأ قصة طويلة يشبه محاولة مشاهدة فيلم مدته 10 ساعات إطاراً بإطار على آلة حاسبة صغيرة — سيكون الأمر بطيئاً جداً ويتسبب في تعطل الكمبيوتر.

الابتكار: ابتكر المؤلفون "خدعة الدفعات" (batching trick). تخيل بدلاً من مشاهدة إطار واحد من الفيلم في كل مرة، تقوم بتجميع 100 إطار معاً ومعالجتها جميعاً في وقت واحد. سمح هذا لهم بتحليل الإخفاقات الطويلة والمعقدة دون أن ينفجر الكمبيوتر.

4. ماذا وجدوا: "ثلاثة أنواع من الأخطاء"

من خلال النظر في مئات الإخفاقات، وجدوا ثلاثة أسباب رئيسية تجعل الذكاء الاصطناعي يخطئ:

النوع (أ): "الرؤية النفقية" (ضعف الوزن للرموز ذات الصلة)
- التشبيه: تطلب من الذكاء الاصطناعي: "اكتب قصيدة دون استخدام حرف 'E'". يكتب الذكاء الاصطناعي قصيدة مليئة بحرف 'E'.
- التشخيص: تُظهر الخريطة الحرارية أن الذكاء الاصطناعي تجاهل تماماً تعليمات "دون استخدام حرف 'E'". لقد كان ينظر إلى الجزء الخطأ من الطلب.
النوع (ب): "التشتت" (زيادة الوزن للرموز غير ذات الصلة)
- التشبيه: تسأل: "من هو رئيس فرنسا؟" فيجيب الذكاء الاصطناعي: "برج إيفل".
- التشخيص: تشتت انتباه الذكاء الاصطناعي بكلمة "فرنسا" وصورة برج إيفل الموجودة في بيانات تدريبه، متجاهلاً كلمة "رئيس". لقد ركز على الدليل الخطأ.
النوع (ج): "ضباب الدماغ العميق" (الصراعات الداخلية الخفية)
- التشبيه: أحياناً يحصل الذكاء الاصطناعي على الأدلة الصحيحة، ولكن في مكان ما في أعماق طبقاته، يصاب بالارتباك ويقلب المفتاح نحو الإجابة الخاطئة.
- التشخيص: هذا هو الأصعب رؤية. تبدو الخريطة الحرارية للمدخلات جيدة، ولكن عندما نظروا إلى مخطط الإسناد (خريطة لكيفية انتقال الأفكار عبر طبقات الذكاء الاصطناعي)، رأوا أن الفكرة "الخاطئة" أصبحت أقوى كلما انتقلت إلى أعماق الدماغ، مما أدى في النهاية إلى التغلب على الفكرة "الصحيحة".

5. الخبر السار: الأدمغة الأكبر تصلح الأمر (غالباً)

اختبروا ذلك على نماذج ذكاء اصطناعي صغيرة ونماذج كبيرة.

النتيجة: عندما جعلوا الذكاء الاصطناعي أكبر (بقدرة دماغية أكبر)، بدأ يحصل على الإجابات الصحيحة.
الدليل: أظهرت الخرائط الحرارية أن الذكاء الاصطناعي الأكبر لم يكن مجرد يخمن بشكل أفضل؛ بل كان في الواقع ينتبه إلى الأدلة الصحيحة. لقد توقف عن تجاهل التعليمات وتوقف عن التشتت بالكلمات غير ذات الصلة. هذا يثبت أن جعل النماذج أكبر ليس مجرد سحر؛ بل إنه يغير فعلياً كيفية معالجتها للمعلومات.

6. القصور: ليس عصا سحرية

الورقة البحثية صريحة: هذه الأداة لا تحل كل الألغاز.

بالنسبة للأخطاء البسيطة (مثل تجاهل تعليمات)، تعمل الأداة بشكل رائع.
بالنسبة لمسائل الرياضيات المعقدة، أحياناً لا تستطيع الأداة رؤية الخطأ لأن الخطأ يحدث في جزء صغير ومحدد جداً من الدماغ (عصبون واحد)، بحيث تكون "الخريطة الحرارية" ضبابية جداً لرؤيته. الأمر يشبه محاولة العثور على إبرة واحدة مفقودة في كومة قش باستخدام كشاف يضيء كومة القش بأكملها فقط.

الملخص

هذه الورقة تشبه منح المهندسين أشعة إكس فائقة القوة لأدمغة الذكاء الاصطناعي.

قبل: كنا نعرف أن الذكاء الاصطناعي مريض، لكننا لم نكن نعرف أين.
الآن: يمكننا رؤية بالضبط أي "أفكار" (رموز) تسببت في المرض.
لماذا يهم هذا: يساعد المطورين على إصلاح نماذج الذكاء الاصطناعي بشكل أسرع، وفهم سبب فشلها، وبناء مساعدين أكثر ذكاءً وموثوقية للعالم الحقيقي.

الخلاصة: يمكننا أخيراً التوقف عن التخمين حول سبب فشل الذكاء الاصطناعي والبدء في رؤية الميكانيكا الفعلية لأخطائه، تماماً كما يتمكن الميكانيكي أخيراً من رؤية محرك السيارة التي لا تعمل.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "النسب التبايني في البرية: تحليل تفسيري لإخفاقات النماذج اللغوية الكبيرة في المعايسات الواقعية" (Contrastive Attribution in the Wild: An Interpretability Analysis of LLM Failures on Realistic Benchmarks).

1. بيان المشكلة

على الرغم من التقدم السريع في النماذج اللغوية الكبيرة (LLMs)، إلا أنها لا تزال تظهر إخفاقات كبيرة في السيناريوهات الواقعية (مثل اتباع التعليمات، الاستدلال، والبرمجة). تعتمد طرق تحليل الإخفاق الحالية بشكل أساسي على التحليل السلوكي (فحص المدخلات/المخرجات والاضطرابات)، والذي يحدد ما الذي يفشل، ولكنه نادراً ما يشرح لماذا تحدث الإخفاقات داخلياً.

بينما توجد أدوات التفسير (مثل انتشار الصلة عبر الطبقات أو LRP)، إلا أن تطبيقها ظل محدوداً بـ:

الإعدادات التجريبية: المطالبات القصيرة أو القوالب شديدة القيود.
مشكلات القابلية للتوسع: عدم القدرة على التعامل مع المدخلات ذات السياق الطويل (آلاف الرموز/Tokens) الشائعة في المعايسات الواقعية مثل GAIA2 أو المهام الوكيلية (Agentic tasks).
الافتقار إلى التباين: معظم الطرق تشرح لماذا اختار النموذج رمزاً معيناً، ولكن ليس لماذا اختار رمزاً خاطئاً بدلاً من بديل صحيح.

تعالج الورقة هذه الفجوة: هل يمكن لطرق التفسير تقديم قيمة عملية وقابلة للتنفيذ لتحليل إخفاقات النماذج اللغوية الكبيرة في معايسات واقعية ذات سياق طويل؟

2. المنهجية

يقترح المؤلفون إطار عمل يتمحور حول النسب التبايني على مستوى الرمز (Token-Level Contrastive Attribution) باستخدام امتداد فعال لـ انتشار الصلة عبر الطبقات (LRP).

أ. صياغة النسب التبايني

بدلاً من نسب قيمة الـ (logit) لرمز واحد، يعرّف المؤلفون هدف النسب بأنه فرق الـ logit ( $\Delta \ell$ ) بين الرمز المستهدف الخاطئ ( $t_{tgt}$ ) و رمز التباين الصحيح ( $t_{con}$ ):
$\Delta \ell = \ell(t_{tgt}) - \ell(t_{con})$
تعزل هذه الصياغة عملية اتخاذ القرار المحددة التي أدت إلى الخطأ، مما يزيل الحسابات المشتركة غير المرتبطة بالفشل. الهدف هو تفكيك $\Delta \ell$ وإرجاعه إلى رموز المدخلات والحالات الخفية الداخلية.

ب. بناء رسم بياني للنسب بكفاءة

يتطلب LRP القياسي نشر الصلة عبر كل طبقة، وهو أمر مكلف حاسوبياً للسياقات الطويلة إذا تم بشكل بدائي (يتطلب $O(N)$ من عمليات الانتشار الخلفي لـ $N$ من الرموز).

AttnLRP: يتبنى المؤلفون AttnLRP (LRP الواعي بالانتباه)، وهو متغير متطور يوفر دقة عالية لنماذج الـ Transformer.
الانتشار الخلفي متعدد الأهداف المعبأ في دفعات (Batch-Packed Multi-Target Backpropagation): للتوسع في السياقات الطويلة، قدموا حيلة التعبئة. بدلاً من إجراء الانتشار الخلفي للصلة لكل رمز مستهدف على حدة، يقومون بتعبئة أهداف نسب متعددة في بُعد دفعة واحدة. هذا يستغل التوازي في وحدات معالجة الرسوميات (GPU vectorization) لحساب انتشار الصلة بين الطبقات في $O(\lceil N/B \rceil)$ من المرات، مما يجعل بناء رسوم بيانية للنسب عبر الطبقات ممكناً للمدخلات التي تحتوي على آلاف الرموز.
التحليل من الخشن إلى الناعم (Coarse-to-Fine Analysis):
1. الخشن: تجميع الصلة عند مستوى الحالة الخفية لتحديد المخططات الفرعية (subgraphs) والرموز المدخلة الهامة.
2. الناعم: تحسين التحليل اختيارياً على مستوى العصبون (neuron) داخل المخططات الفرعية المحددة (رغم أن الورقة تركز أساساً على المستوى الخشن للحالة لضمان القابلية للتوسع).

ج. الإعداد التجريبي

المعايسات (Benchmarks): IFEval (اتباع التعليمات)، GAIA2 (الوكيلية/السياق الطويل)، MATH (الاستدلال)، و EvalPlus (البرمجة).
النماذج: سلسلة Qwen3 (0.6B, 1.7B, 4B, 8B) و Olmo-3-7B-Think (لتتبع تطور نقاط التحقق أثناء التدريب).
جمع البيانات: تحديد حالات الفشل "النظيفة" حيث ينحرف النموذج عن المسار الصحيح. استخدموا مساراً شبه مؤتمت (تصويت LLM + تحقق بشري) لتحديد الرمز المستهدف (أول خطأ) و رمز التباين (بديل معقول كان سيؤدي إلى مسار صحيح).

3. المساهمات الرئيسية

صياغة تحليل الفشل: إعادة صياغة تحليل فشل النماذج اللغية الكبيرة كمسألة نسب تبايني على مستوى الرمز، مما يسمح بدراسة سبب تفضيل النماذج للرموز الخاطئة على البدائل الصحيحة في البيئات الواقعية.
إطار عمل للنسب قابل للتوسع: تقديم طريقة انتشار خلفي معبأة في دفعات فعالة تتيح بناء رسوم بيانية للنسب عبر الطبقات للمدخلات ذات السياق الطويل، متجاوزة الاختناقات الحسابية السابقة.
كمساهمة ثالثة، إجراء دراسة تجريبية منهجية عبر معايسات متنوعة، وأحجام نماذج مختلفة، ونقاط تحقق تدريبية، وتوصيف أنماط النسب في سيناريوهات الفشل الواقعية.
رؤى تشخيصية: تقديم نتائج قابلة للتنفيذ حول كيفية تغير أنماط النسب مع توسع النماذج وتدريبها، مما يوفر عدسة جديدة لتصحيح الأخطاء والمواءمة (alignment).

4. النتائج الرئيسية

أ. مخرجات النسب وأنماط الفشل

القابلية للتفسير: في كثير من الحالات (IFEval, GAIA2, EvalPlus)، يكشف النسب للمدخلات وحده عن بصمات الفشل. ومع ذلك، بالنسبة للاستدلال المعقد (MATH)، غالباً ما يكون النسب للمدخلات غير كافٍ، مما يتطلب تحليل الرسم البياني للنسب للكشف عن الديناميكيات الداخلية.
أنماط الفشل المهيمنة:
- التقليل من وزن الرموز ذات الصلة (URT): يفشل النموذج في تخصيص صلة سلبية كافية لرموز القيود الحرجة (مثل "بدون فواصل").
- المبالغة في وزن الرموز غير ذات الصلة (OIT): يخصص النموذج صلة عالية لرموز مضللة أو غير معلوماتية دلالياً.
- النمط المشترك: تتضمن العديد من حالات الفشل كلاً من URT و OIT.
رؤى الرسم البياني: كشفت الرسوم البيانية للنسب أنه في بعض الحالات "غير القابلة للتفسير"، كان الخطأ مدفوعاً بـ تراكم الانحياز في الطبقات المتأخرة (على سبيل المثال، انحياز النموذج لرمز مثل "First" على حساب الرمز الصحيح "«" رغم أن الطبقات المبكرة أظهرت تفضيلاً صحيحاً).

ب. تأثير توسع النماذج (Scaling)

تصحيح الإخفاقات: النماذج الأكبر (1.7B, 4B) صححت باستمرار تفضيلات الرموز الخاطئة للنماذج الأصغر (0.6B).
الدليل التفسيري: لم يكن هذا التصحيح مجرد تغيير سطحي؛ حيث أظهرت النماذج الأكبر:
- صلة سلبية أكثر على رموز التعليمات/القيود (مما يشير إلى التزام أفضل بالقواعد).
- اعتماد أقل على استمرارية الرموز السطحية من الإجابات السابقة.
- تحول في هيكل رسم النسب البياني، حيث قمعت النماذج الأكبر تأثير "بالوعة الانتباه" (BOS token) ودمجت السياق بشكل أفضل.

ج. تطور التدريب (نقاط التحقق)

ديناميكيات التدريب: أظهر تحليل نقاط التحقق لـ Olmo-3-7B-Think أن تصحيح الفشل عملية تدريجية.
نقاط التحول الرئيسية: حدثت أهم التحولات في أنماط النسب خلال مرحلة الضبط الدقيق الخاضع للإشراف (SFT) المبكرة، حيث تعلم النموذج الانتباه إلى دلالات المهام وتقليل الاعتماد على الأنماط السطحية.
تأثير RLVR: ساهم التعلم المعزز بمكافآت قابلة للتحقق (RLVR) في المزيد من الصقل، لكنه أحدث تحولات أصغر في النسب مقارنة بـ SFT، غالباً لأن SFT كان قد صحح بالفعل أنماط الفشل الأساسية.

د. القيود

الاستدلال الرياضي: ظلت نسبة غير ضئيلة من الإخفاقات (خاصة في MATH) غير مفسرة حتى مع رسوم النسب البيانية، مما يشير إلى أن التحليل على مستوى العصبون (خارج تجميع الحالة الخفي الحالي) مطلوب للاستدلال العددي المعقد.
ليست عالمية: النسب التبايني ليس "حلاً سحرياً"؛ فهو يقدم إشارات معلوماتية لفئات محددة من الإخفاقات ولكنه لا يستطيع تفسير جميع سلوكيات النماذج.

5. الأهمية والتداعيات العملية

أداة تشخيصية: يعمل إطار العمل كأداة عملية للمطورين لتصحيح أنماط فشل محددة (مثل تحديد ما إذا كان النموذج يتجاهل قيداً أم يهلوس برمز ما).
ضبط المطالبات المستهدف: يمكن لخرائط الحرارة للنسب تحديد الرموز المدخلة التي تقود الأخطاء، مما يسمح للممارسين بتحسين المطالبات عبر حجب أو إعادة صياغة تلك الرموز المحددة.
مراقبة التدريب: يمكن لأنماط النسب تتبع ما إذا كانت تحسينات النماذج (عبر التوسع أو التدريب) ناتجة عن تحسينات حقيقية في الاستدلال أم مجرد حفظ سطحي.
تدريب المواءمة (Alignment): تقترح الورقة استخدام درجات النسب كـ إشارات لأهمية الرموز لتدريب المواءمة (مثل DPO)، مع التركيز في التحسين على الرموز المحددة التي تقود فجوة التفضيل بدلاً من معامل جميع الرموز بالتساوي.

الخاتمة

تثبت الورقة أن النسب التبايني هو طريقة قابلة للتطبيق وقوية لتحليل إخفاقات النماذج اللغية الكبيرة في البيئات الواقعية ذات السياق الطويل. ومن خلال الجمع بين بناء الرسم البياني الفعال والتحليل التجريبي المنهجي، يكشف المؤلفون أن توسع النماذج والتدريب يؤديان إلى تحولات نظامية وقابلة للتفسير في كيفية معالجة النماذج للمعلومات. ورغم وجود قيود في مهام الاستدلال المعقدة، فإن هذا العمل يسد الفجوة بين التفسير النظري وتصحيح النماذج العملي.