Towards Explainability of SLMs by investigating Token Level Activation

ملخص تقني: نحو قابلية التفسير للنماذج اللغوية الصغيرة (SLMs) من خلال استقصاء تنشيط مستوى الرمز (Token)

بيان المشكلة
على الرغم من التأثير الثوري للنماذج القائمة على المحولات (Transformers) مثل BERT في فهم اللغة الطبيعية (NLU)، إلا أن آلياتها الداخلية لا تزال غامضة إلى حد كبير. غالبًا ما تفشل طرق التفسير التقليدية التي تعتمد على أوزان الانتباه (Attention weights) في تقديم تفسيرات دلالية حقيقية، حيث تسلط الضوء بشكل متكرر على رموز ذات أهمية هيكلية ولكنها ضعيفة دلاليًا (مثل علامات الترقيم أو كلمات الوظيفة) بدلاً من المحتوى ذي المعنى. علاوة على ذلك، تفتقر مناهج التفسير الحالية غالبًا إلى الحياد تجاه النموذج (Model-agnosticism)، أو تتطلب حسابات تدرج (Gradient) مكلفة، أو تفشل في عزل ديناميكيات المعالجة الوسيطة المحددة، لا سيالما داخل الطبقات الوسطى (6-9) حيث يُعتقد أن المعلومات النحوية والدلالية تترسخ. هناك حاجة ماسة إلى طريقة خفيفة الوزن وفعالة لقياس وتصنيف الأهمية التمثيلية لكل رمز بناءً على قوة التنشيط الداخلي بدلاً من ارتباطات الانتباه.

المنهجية
يقترح المؤلفون إطار عمل جديدًا، محايدًا للنموذج، يسمى شبكة تدفق التنشيط (Activation Flow Network - AFN)، والذي يركز حصريًا على الطبقة 8 من نموذج bert-base-uncased. تمر المنهجية عبر المراحل التالية:

1. تكميم قوة تنشيط مستوى الرمز:
   بدلاً من تحليل رؤوس الانتباه، يستخرج إطار العمل متجهات الحالة الخفية ($h_i$) لكل رمز عند الطبقة 8. تُعرف القوة التمثيلية ($S_i$) للرمز بأنها معيار L2 (المعيار الإقليدي) لمتجه الحالة الخفية المكون من 768 بُعدًا:
   $$S_i = \|h_i\|_2$$
   تعمل هذه القيمة القياسية كقياس مباشر لحجم التنشيط والأولوية التمثيلية للرمز.

2. صياغة مجموعات التنشيط القائمة على العتبة:
   للتمييز بين التنشيطات الدلالية المهيمنة والضجيج الهيكلي الخلفي، يحدد المؤلفون حدًا تجريبيًا للتنشيط ($\tau$) باستخدام الرُبيع العلوي (المئوي 75) لتوزيع التنشيط لجملة معينة:
   $$\tau = Q_{0.75}(S)$$
   يتم تقسيم الرموز إلى مجموعتين:

• تنشيط عالٍ (HIGH-activation): $S_i > \tau$ (الرموز ذات الدلالة المعنوية).
• تنشيط منخفض (LOW-activation): $S_i \leq \tau$ (الرموز الداعمة هيكليًا).
  يحسب إطار العمل نسبة المساهمة ($R_H$) لتحديد ما إذا كانت رموز التنشيط العالي تهيمن على التحولات التمثيلية.

3. تحليل إزاحة التنشيط المقارن:
   لاستقصاء الحساسية للسياق وتعليمات المهام، قدم المؤلفون مقياس إزاحة التنشيط على مستوى الرمز ($\Delta_i$)، والذي يُحسب كمعيار L2 للفرق بين متجهات الحالة الخفية للرموز المتقابلة في جملتين متشابهتين أو تحت ظروف مطالبة (Prompt) مختلفة:
   $$\Delta_i = \|h_{A,i} - h_{B,i}\|_2$$
   يحدد هذا المقياس الإزاحة الهندسية في الفضاء المتجهي الناتجة عن الاضطرابات السياقية (مثل تغيير "day" إلى "walk") أو المطالبات الموجهة نحو هدف معين (مثل "Summarize" مقابل "Translate").

المساهمات الرئيسية

• الطبقة 8 كمنطقة ترسيخ دلالي: تحدد الدراسة الطبقة 8 كنقطة انتقال حرجة حيث تنتقل المعلومات الهيكلية لتفسح المجال أمام الترسيخ الدلالي، موازنةً بين المعالجة النحوية والدلالية.
• مقدار التنشيط مقابل الانتباه: يوضح العمل أن معايير الحالة الخفية (L2) توفر إشارة أكثر موثوقية للأهمية الدلالية من أوزان الانتباه، التي غالبًا ما تضلل بالتركيز على علامات الترقيم.
• قابلية التفسير خفيفة الوزن: يقدم إطار عمل AFan بديلاً فعالًا حاسوبيًا وغير اقتحامي لطرق الإسناد القائمة على التدرج، حيث يتطلب عملية تمرير أمامي (Forward pass) واحدة فقط لاستخراج الحالات الخفية.
• تكميم التحولات الدلالية: يسمح تقديم مقياس "إزاحة التنشيط" بقياس كيفية تغيير تغيير الكلمات المحددة أو تعليمات المهام لمسار التمثيل الداخلي للنموذج.

النتائج
أسفر التحليل التجريبي على مجموعة بيانات مكونة من 732 جملة تحمل دلالات شعورية ودراسات حالة محددة عن الملاحظات التالية:

• الهيمنة الدلالية: أظهرت الكلمات الحاملة للمحتوى (مثل "prime," "minister," "Canada," "beautiful") باستمرار أعلى مستويات تنشيط في الطبقة 8، حيث سجلت مرتبة أعلى بكثير من الرموز الهيكلية مثل الأدوات أو علامات الترقيم.
• مقارنة الطبقات: أكدت المقارنات بين الطبقة 8 والطبقة 9 أن الطبقة 8 أكثر حساسية للرموز الغنية بالمحتوى، بينما تظهر الطبقة 9 تنشيطًا أقل نسبيًا لهذه الرموز نفسها، مما يشير إلى تحول في التركيز من المحتوى الدلالي إلى البنية النحوية في الطبقات الأعمق.
• تجميع التنشيط: نجحت عتبة الرُبيع العلوي في فصل الرموز، حيث احتلت رموز "التنشيط العالي" (الكلمات المحتوية على معنى) باستمرار المراتب الأولى. وفي تجارب الاضطراب، ساهمت رموز التنشيط العالي بنحو 76% من إجمالي إزاحة التنشيط الدلالي رغم أنها تشكل حوالي 25% فقط من عدد الرموز.
• تأثير التموج السياقي: أظهرت الرموز الهيكلية غير المتغيرة (مثل "at," "the") إزاحات تنشيط كبيرة عندما تغير السياق (مثل "day at the park" مقابل "walk at the beach")، مما يشير إلى أن الطبقة 8 تعيد ترميز العبارة بأكملها ديناميكيًا للحفاظ على الاتساق الدلالي.
• الحساسية للمطالبة (Prompt Sensitivity): لوحظت إزاحات في التنشيط في رمز [CLS] والرموز الأخرى عند إضافة بادئة لتعليمات المهام المختلفة ("Summarize" مقابل "Translate")، مما يثبت أن المطالبات عالية المستوى توجه الفضاء التمثيلي الوسيط.

الأهمية والادعاءات
يزعم البحث أنه يحول نموذج BERT من "صندوق أسود" إلى "صندوق زجاجي" أكثر شفافية من خلال الكشف عن أن مقادير التنشيط تتركز حول الرموز ذات المعلومات الدلالية. ويؤكد المؤلفون أن إطار عملهم يوفر بديلًا فعالًا حاسوبيًا وقابلًا للتفسير للتحليل المرتكز على الانتباه. ومن خلال عزل الطبقة 8 واستخدام معايير L2، يقدم البحث طريقة مباشرة لتحديد الرموز التي تحمل أقصى قوة تمثيلية أثناء المعالجة الدلالية. ويشير العمل إلى أن فهم تدفقات التنشيط هذه يمكن أن يساعد الباحثين في استيعភាព كيفية موازنة BERT بين المعلومات الهيكلية والدلالية وكيفية تأثير تعليمات المهام على مساره الداخلي، دون الحاجة إلى حسابات تدرج معقدة أو مصنفات فحص خاصة بالنموذج.