Support-Contra Asymmetry in LLM Explanations

إليك ملخص تقني مفصل لورقة البحث "عدم التماثل بين الدعم والتناقض في تفسيرات النماذج اللغوية الكبيرة (LLMs)" للباحث أفيناش باتيل.

1. بيان المشكلة

تنتج النماذج اللغوية الكبيرة (LLMs) بشكل متزايد تفسيرات باللغة الطبيعية (المبررات) إلى جانب تنبؤاتها للمساعدة في التفسيرية. ومع ذلك، توجد فجوة حرجة في فهم ما إذا كانت هذه التفسيرات تشير حقًا إلى الإشارات التنبؤية الموجودة في النص المدخل، أم أنها مجرد سرديات تبدو منطقية بعد حدوث التنبؤ (post-hoc).

• التحدي: على عكس نماذج تعلم الآلة التقليدية حيث تكون أهمية الميزات قابلة للقياس الكمي، فإن تفسيرات النماذج اللغوية الكبيرة هي نصوص حرة. قد تبدو هذه التفسيرات سلسة ومقنعة حتى عندما لا تتوافق مع الأدلة القابلة للقياس التي تقود التنبؤ.
• السؤال الجوهري: هل تتبع التفسيرات التي تولدها النماذج اللغوية الكبيرة بدقة الأدلة المعجمية التنبؤية في المدخلات، وهل يختلف هذا التوافق بين التنبؤات الصحيحة والخاطئة؟

2. المنهجية

يقترح المؤلفون إطارًا تجريبيًا لقياس توافق التفسير مع الأدلة من خلال مقارنة النص الذي تولده النماذج اللغوية الكبيرة مقابل الإشارات التنبؤية المستخرجة من نماذج مرجعية خارجية شفافة.

أ. الإعداد التجريبي

• مجموعات البيانات: تم استخدام ثلاث مجموعات بيانات لتصنيف النصوص:
  • WIKIONTOLOGY: تصنيف كيانات متعدد الفئات (15 فئة).
  • AG NEWS: تصنيف مواضيع الأخبار لأربع فئات.
  • IMDB: تحليل مشاعر ثنائي (إيجابي/سلبي).
• توليد التفسيرات بواسطة LLM: تم توليد التنبؤات والتفسيرات باستخدام نموذج DeepSeek-R1 مع فك ترميز حتمي (درجة الحرارة = 0).
• النماذج المرجعية: لتحديد "الأدلة التنبؤية" كحقيقة أرضية، قام المؤلفون بتدريب مصنفات خطية شفافة على نفس مجموعات البيانات:
  • الانحدار اللوجستي (LogReg)
  • آلات المتجهات الداعمة الخطية (SVM)
  • تمثيل الميزات: TF-IDF (أحاديات الكلمات وثنائياتها - unigrams and bigrams).

ب. استخراج وتقسيم الميزات

لكل حالة مدخلة، يحدد النموذج المرجعي أهم-$k$ من الميزات المعجمية الأكثر تأثيرًا ($k \in \{3, 5, 7\}$). يتم تقسيم هذه الميزات بناءً على مساهمتها في الفئة المتنبأ بها:

1. الميزات الداعمة ($S_i$): الميزات ذات الأوزان/المساهمات الإيجابية التي تزيد من احتمالية الفئة المتنبأ بها.
2. الميزات المناقضة ($C_i$): الميزات ذات الأوزان/المساهمات السلبية التي تقدم أدلة ضد الفئة المتنبأ بها.

ج. مقاييس التوافق

تقيس الدراسة عدد المرات التي تظهر فيها هذه الميزات في تفسير النموذج ($e_i$) باستخدام استراتيجيتين للمطابقة:

• المطابقة المدركة للرموز (Token-aware matching): مطابقة معيارية (تحويل الحروف لصغيرة، التجريد/الرد إلى الأصل Lemmatization، وإزالة علامات الترقيم).
• المطابقة التامة (Exact matching): تساوي السلاسل النصية الصارم.

المقاييس الرئيسية:

• تغطية الدعم (Support Coverage): نسبة الميزات الداعمة الموجودة في التفسير.
• تغطية التناقض (Contra Coverage): نسبة الميزات المناقضة الموجودة في التفسير.
• مقياس عدم التماثل ($\Delta^*$): يُعرف بأنه $\Delta_{support} - \Delta_{contra}$، حيث يمثل $\Delta$ الفرق في متوسط التغطية بين التنبؤات الصحيحة (Match) والتنبؤات الخاطئة (Mismatch).

3. المساهمات الرئيسية

1. تحديد عدم التماثل بين الدعم والتناقض: تميز الورقة تجريبيًا نمطًا ثابتًا حيث تركز التفسيرات للتنبؤات الصحيحة على الأدلة الداعمة وتثبط الأدلة المناقضة، بينما تفعل التفسيرات للتنبؤات الخاطئة العكس.
2. إطار كمي: تقديم طريقة بسيطة وقابلة لإعادة الإنتاج لقياس توافق التفسير مع الأدلة من خلال مقارنة التفسيرات النصية الحرة مع الأدلة المعجمية الموقعة من المصنفات الشفافة.
3. التحقق من المتانة: إثبات أن عدم التماثل هذا يصمد عبر مجموعات بيانات مختلفة، وعائلات النماذج المرجعية المختلفة (LogReg مقابل SVM)، وعمق استرجاع الميزات ($k$).
4. الرؤية السلوكية: تقديم دليل يشير إلى أن تفسيرات النماذج اللغوية الكبيرة ليست مجرد سرديات غير مقيدة تمامًا، بل غالبًا ما تعكس توزيع الإشارات المعجمية التنبؤية الموجودة في المدخلات، خاصة عندما يكون النموذج صحيحًا.

4. النتائج الرئيسية

لاحظت الدراسة عدم تماثل دعم-تناقض ثابت عبر جميع الظروف التجريبية:

• التنبؤات الصحيحة (Match): أظهرت التفسيرات تغطية أعلى للميزات الداعمة وتغطية أقل للميزات المناقضة.
• التنبؤات الخاطئة (Mismatch): أظهرت التفسيرات تغطية أعلى بكثير للميزات المناقية (الإشارات التي تعارض الفئة المتنبأ بها) مقارنة بالتنبؤات الصحيحة.

النتائج الإحصائية:

• WIKIONTOLOGY: أظهرت أقوى حالات عدم التماثل. حيث سجلت التنبؤات الصحيحة حوالي 0.52 لتغطية الدعم مقابل حوالي 0.30 للتنبؤات الخاطئة؛ بينما كانت تغطية التناقض حوالي 0.12 للمطابقات مقابل ~0.21 للمخالفات.
• AG NEWS & IMDB: اتبعت نفس الاتجاه النوعي، وإن كان حجم عدم التماثل أقل قليلاً في IMDB (ربما بسبب الطبيعة المنتشرة لإشارات المشاعر مقارنة بتصنيف المواضيع أو الكيانات).
• المتانة: استمر النمط بغض النظر عما إذا كان المستخدم هو LogReg أو SVM كنموذج مرجعي، وظل مستقرًا عبر $k=3, 5, 7$.
• استئصال الميزات (Feature Ablation): أدى حذف "الميزات الداعمة" من النص المدخل إلى فشل المزيد من التنبؤات الصحيحة، بينما أدى حذف "الميزات المناقضة" إلى تحسين الدقة، مما يؤكد أن هذه الإشارات ذات صلة سلوكية بالنموذج.

5. الأهمية والآثار المترتبة

• القيمة التشخيصية: يعمل عدم التماثل كأداة تشخيصية. إذا كان التفسير يشير إلى مستويات عالية من الأدلة المناقضة، فهذا مؤشر قوي على أن التنبؤ الأساسي من المرجح أن يكون خاطئًا.
• الإخلاص مقابل البلاغة (Faithfulness vs. Plausibility): تتحدى النتائج فكرة أن تفسيرات النماذج اللغوية الكبيرة هي مجرد تبريرات لاحقة (post-hoc rationalizations) بحتة. بدلاً من ذلك، تشير النتائج إلى أنه عندما يكون النموذج صحيحًا، فإن تفسيره يتتبع بالفعل الإشارات التنبؤية في النص. وعندما يكون مخطئًا، غالبًا ما يقوم التفسير بتبرير الخطأ من خلال التركيز على الإشارات المضللة.
• نموذج التقييم: تدعو الورقة إلى تقييم التفسيرات ليس فقط بناءً على البلاغة البشرية، بل أيضًا بناءً على توافقها مع الأدلة القابلة للتفسير الخارجية.
• القيود: تعتمد الدراسة على المصنفات الخطية (TF-IDF)، والتي قد تغفل الأنماط الدلالية أو التركيبية عالية الرتبة التي تستخدمها النماذج اللغوية الكبيرة. بالإضافة إلى ذلك، لا يمكن للمطابقة المعجمية التقاط إعادة الصياغة الدلالية (semantic paraphrasing).

الخاتمة

تثبت الورقة أن تفسيرات النماذج اللغوية الكبيرة تظهر عدم تماثل دعم-تناقض قويًا. فالتنبؤات الصحيحة تصاحبها تفسيرات تتوافق مع الأدلة المعجمية الداعمة، في حين ترتبط التنبؤات الخاطئة بتفسيرات تسلط الضوء دون قصد على الإشارات المناقضة. يوفر هذا الاكتشاف عدسة تجريبية جديدة لتقييم موثوقية وإخلاص المبررات التي تولدها النماذج اللغوية الكبيرة في مهام تصنيف النصوص.