ملخص تقني: تقييم الأمانة (Faithfulness) لنسب الميزات في النماذج اللغوية الكبيرة من نوع Decoder-only مع التحكم في المعلومات المستبقاة

بيان المشكلة

تخضع النماذج اللغوية الكبيرة (LLMs)، ولا سيما البنى من نوع decoder-only مثل Llama و Mistral، لتقييمات متزايدة باستخدام طرق نسبة المدخلات (input attribution) لتفسير عمليات اتخاذ القرار لديها. ومع ذلك، تظل مقارنة "أمانة" (faithfulness) هذه التفسيرات (أي موثوقيتها) أمراً صعباً.

تعاني مقاييس التشويه الناعم (soft-perturbation) الحالية، وتحديداً Soft-NC (الشمولية الناعمة المعيارية) و Soft-NS (الكفاية الناعمة المعيارية)، من انحياز حرج. حيث تقيم هذه المقاييس جودة النسبة عبر تشويه المدخلات بناءً على درجات النسبة. ومع ذلك، تنتج طرق النسبة المختلفة توزيعات درجات ذات متوسطات مختلفة؛ وبالتالي، فإن الطرق ذات الدرجات المتوسطة الأعلى تحتفظ بمزيد من الكلمات أثناء التشويه الناعم، مما يؤدي إلى تضخيم درجات الأمانة الخاصة بها اصطناعياً لمجرد أن المدخل المشوه يحتوي على معلومات أكثر، وليس لأن النسبة أكثر دقة. وتبرز هذه المشكلة بشكل خاص في النماذج اللغوية الكبيرة من نوع autoregressive decoder-only، حيث يمكن أن تختلف توزيعات درجات النسبة بشكل كبير عبر خطوات التوليد.

المنهجية

1. $\pi$-Soft-NC و $\pi$-Soft-NS

لمعالجة الانحياز في المقاييس الحالية، يقترح المؤلفون إطارات عمل $\pi$-Soft-NC و $\pi$-Soft-NS. وهي أطر تقارن طرق النسبة تحت احتمالية استبقاء مستهدفة محكومة ($\pi$).

• الآلية: بدلاً من مقارنة درجات النسبة الخام، يقوم إطار العمل بتحويل كل توزيع نسبة باستخدام تحويل ألفا ($\tilde{s}_i = s_i^\alpha$). يتم حل المعامل $\alpha$ عددياً (على سبيل المثال، عبر البحث بالتنصيف) بحيث يتطابق احتمال الاستبقاء المتوقع للدرجات المحولة مع هدف محدد $\pi \in [0, 1]$.
• مقارنة عادلة: من خلال إجبار الطرق المختلفة على استبقاء نفس القدر المتوقع من المعلومات (نفس $\pi$)، يعزل إطار العمل جودة وكفاءة توزيع النسبة عن الاختلافات في قوة التشويه.
• بروتوكولات التقييم: يقدم المؤلفون بروتوكولين لتقييم جوانب مختلفة من النسبة:
  • التوجيه الديناميكي (Dynamic-Routing): يتم إعادة حساب انتباه المحول (transformer) ديناميكياً بناءً على المدخل المشوه. يقيس هذا مدى قدرة طرق النسبة على تحديد الكلمات المفيدة في ظل ظروف النموذج المتغيرة.
  • التوجيه الثابت (Fixed-Routing): يتم تخزين خرائط الانتباه من المدخل الأصلي غير المشوه وإعادة استخدامها أثناء التشويه. يعزل هذا الجزء المساهمة السببية لمحتوى الرموز (tokens) عن إعادة تخصيص الانتباه.
• التصور (Visualization): يؤدي مسح $\pi$ من 0 إلى 1 إلى إنشاء منحنى ($\pi$-Soft-NC/NS مقابل $\pi$). يلخص المساحة تحت المنحنى (AUC) الأداء. تشير الدرجات العالية عند $\pi$ المنخفضة إلى وجود أدلة كافية مدمجة، بينما يشير الأداء القوي عبر $\pi$ المرتفع إلى شمولية واسعة.

2. Grad-ELLM

يقدم المؤلفون Grad-ELLM، وهو طريقة نسبة تعتمد على التدرج (gradient-based) مصممة خصيصاً للنماذج اللغوية الكبيرة من نوع autoregressive decoder-only.

• الإلهام: يستمد الطريقة من مفهوم تجميع التدرج والانتباه (gradient-attention aggregation) المستخدم في Grad-ECLIP (المصمم لنماذج الرؤية واللغة ثنائية الترميز) ويطوعه للتوليد النصي المتسلسل.
• الآلية:
  • لكل خطوة توليد، يحسب النسبة بالنسبة لـ logit الرمز التالي.
  • يجمع بين أهمية القناة المستمدة من التدرج (حساسية الـ logit لمخرجات قنوات الانتباه) مع أهمية الرمز المستمدة من الانتباه (أوزان الرموز).
  • لتجنب أوزان softmax "القمية" شديدة التشتت، يستخدم "تطبيعاً مرخياً" (min-max normalization) على تشابهات الاستعلام والمفتاح (query-key similarities)، مما ينتج توزيع نسبة مستمراً.
  • يتم تجميع درجات النسبة عبر طبقات decoder مختارة لتشكيل الخريطة الحرارية النهائية.

المساهمات الرئيسية

1. تحديد الانحياز: يحدد البحث أن مقاييس Soft-NC/NS الأصلية تقارن بشكل غير عادل بين الطرق ذات المتوسطات المختلفة، لأنها تقيم بطبيعتها كميات مختلفة من المعلومات المستبقاة.
2. مقاييس تقييم جديدة: اقتراح $\pi$-Soft-NC و $\pi$-Soft-NS، والتي توحد المقارنات من خلال التحكم في المعلومات المستبقاة المتوقعة عبر احتمال مستهدف $\pi$.
3. طريقة نسبة جديدة: تقديم Grad-ELLM، التي تدمج إشارات التدرج والانتباه خصيصاً للطبيعة المتسلسلة لنماذج decoder-only.
4. تحليل تجريبي شامل: إجراء مقارنة صارمة لطرق النسبة التمثيلية (بما في ذلك Attention، و Saliency، و Integrated Gradients، و DeepLIFT، و Value Zeroing، و ReAGent) عبر مهام التصنيف والتوليد المفتوح.

النتائج التجريبية

أُجريت التجارب على Llama-3.1-8B و Mistral-7B (مع نتائج إضافية على 70B) عبر خمس مجموعات بيانات (IMDb, SST2, BoolQ, TellMeWhy, WikiBio).

• تشخيص المقاييس الأصلية: أكد تحليل Soft-NC/NS الخام وجود الانحياز؛ حيث احتفظت طرق مثل Random و Grad-ELLM بعدد أكبر بكثير من الرموز (أي $\pi$ أعلى) من الطرق المتفرقة مثل DeepLIFT، مما جعل درجاتها غير قابلة للمقارنة.
• الأداء تحت $\pi$-Soft-NC: حقق Grad-ELLM أقوى أمانة موجهة نحو الشمولية (أعلى متوسط AUC) على كل من Llama و Mistral. يشير هذا إلى أن Grad-ELLM يحدد تغطية الأدلة الواسعة بفعالية.
• الأداء تحت $\pi$-Soft-NS: لم تهيمن طريقة واحدة على التقييم الموجه نحو الكفاية ($\pi$-Soft-NS). حيث أدت الطرق المتفرقة مثل Input$\times$Gradient أداءً جيداً في قائمة الثلاثة الأوائل، مما يشير إلى أنها قد تحدد الكلمات الأكثر أهمية بدقة أكبر، ولكن لم تكن هناك طريقة متفوقة عالمياً.
• المقارنة مع Random: أظهرت معظم الطرق ميزة فقط على نسب Random عندما يكون احتمال الاستبقاء $\pi > 0.5$. يشير هذا إلى أنه بالنسبة لهذه المهام، يتطلب الأمر معلومات سياقية كبيرة (أكثر من مجرد الرموز الأعلى تصنيفاً)، أو أن الطرق الحالية تواجه صعوبة في الترتيب الدقيق لأعلى النسب.
• التحليل النوعي: في أمثلة تصنيف المشاعر، نجح Grad-ELLM في إبراز العبارات التركيبية (مثل "very little positive") بدلاً من الرموز المنعزلة (مثل "positive")، مما يلتقط دقة النفي بشكل أفضل من النماذج المرجعية.

الأهمية والادعاءات

يزعم البحث أن إطار التقييم المقترح يوفر معياراً صارماً لمقارنة طرق XAI للنماذج اللغوية الكبيرة. فمن خلال التحكم في المعلومات المستبقاة، يسمح $\pi$-Soft-NC/NS للباحثين بالتمييز بين الطرق التي تقدم أدلة كافية مدمجة وتلك التي تقدم أدلة واسعة موجهة نحو الشمولية.

يؤكد المؤلفون أن Grad-ELLM مصمم لإنتاج توزيعات نسبة كثيفة ومعايرة بدلاً من ترتيبات متفرقة للغاية. وبناءً على ذلك، بينما يتفوق Grad-ELLM تحت مقاييس التشويه الناعم المقترحة، فقد لا يكون الأمثل لمقاييس الترتيب ذات التشويه الصعب (مثل Insertion/Deletion) حيث يهيمن ترتيب عدد قليل من الرموز العليا. ويخلص البحث إلى أن الأمانة في النسبة يجب أن تُقيم عبر محاور متعددة (الكفاية مقابل الشمولية) بدلاً من الاعتماد على مقياس واحد، وأن المقاييس المقترحة تدعم التقدم في فهم كيفية تنظيم أدلة النسبة في النماذج التوليدية (autoregressive).

القيود التي أقر بها المؤلفون:

• يتطلب Grad-ELLM الوصول إلى الحالات الداخلية للنموذج (التدرجات، الانتباه)، مما يجعله مقتصرًا على النماذج مفتوحة المصدر.
• تركز الدراسة على الأمانة (faithfulness)، وليس على المعقولية (plausibility) (القابلية للتفسير البشري)، والتي لا تزال صعبة القياس موضوعياً.
• لا تزال المقاييس تعتمد على التشويه على مستوى التضمين (embedding-level)، والذي قد لا يتوافق تماماً مع التوزيعات الطبيعية للنصوص.