Unveiling Decision-Making in LLMs for Text Classification : Extraction of influential and interpretable concepts with Sparse Autoencoders

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "كشف عملية اتخاذ القرار في النماذج اللغوية الكبيرة لتصنيف النصوص: استخراج المفاهيم المؤثرة والقابلة للتفسير باستخدام المشفرات التلقائية المتناثرة (Sparse Autoencoders)."

1. بيان المشكلة

حققت النماذج اللغوية الكبيرة (LLMs) أداءً فائقاً في تصنيف النصوص، لكن عمليات اتخاذ القرار الداخلية فيها لا تزال غامضة ("صناديق سوداء"). وبينما توجد طرق تفسير تقليدية (مثل الإسناد القائم على التدرج)، إلا أنها غالباً ما تفتقر إلى التماسك الدلالي أو الاستقرار.

يهدف التفسير القائم على المفاهيم إلى استخراج ميزات عالية المستوى ومفهومة بشرياً (مفاهيم) من الفضاء الكامن للنموذج. ومع ذلك، تواجه الأساليب الحالية ثلاثة تحديات رئيسية في سياق تصنيف النصوص:

1. الاكتمال (Completeness): يجب أن تكون المفاهيم المستخرجة كافية لإعادة بناء تنبؤ النموذج الأصلي.
2. السببية (Causality): يجب أن يؤدي تنشيط أو تعطيل مفهوم ما إلى تغيير كبير في احتمالية مخرجات النموذج.
3. القابلية للتفسير (Interpretability): يجب أن تكون المفاهيم "أحادية المعنى" (تمثل فكرة واحدة واضحة) وتتماشى مع التصورات البشرية.
4. الكفاءة (Efficiency): الأساليب الحالية المتطورة (مثل HI-Concept) مكلفة حاسوبياً وغالباً ما تتطلب إعادة تشغيل النموذج اللغوي الكبير بالكامل أثناء التدريب.

علاوة على ذلك، يركز معظم البحث في المشفرات التلقائية المتناثرة (SAE) على المهام التوليدية أو النماذج سابقة التدريب، مما يترك فجوة في تطبيق الـ SAE خصيصاً على تصنيف الجمل حيث يكون الهدف هو عزل الميزات ذات الصلة بالمهمة.

2. المنهجية: ClassifSAE

يقترح المؤلفون ClassifSAE، وهو نسخة خاضعة للإشراف من المشفر التلقائي المتناثر مصممة خصيصاً لتصنيف النصوص. بخلاف الـ SAE القياسية التي تُدرب على مجموعات بيانات ضخمة ومتنوعة، يتم تدريب ClassifSAE مباشرة على مجموعة بيانات التصنيف المحددة للكشف عن المفاهيم ذات الصلة بتلك المهمة.

البنية الهيكلية

• المدخلات: الحالة الخفية ($h_\ell$) لرمز (token) محدد في النموذج اللغوي الكبير (الرمز الذي يسبق التسمية في نماذج فك التشفير فقط، أو رمز [CLS] في نماذج الترميز فقط). هذا الرمز يجمع معلومات مستوى الجملة.
• المشفر-المفكك (Encoder-Decoder): يتعلم الـ SAE تمثيلاً متناثراً $z$ للحالة $h_\ell$.
  • $z = \sigma(W_{enc}h + b_{enc})$
  • $\hat{h} = W_{dec}z + b_{dec}$
• المصنف المشترك (Joint Classifier): الابتكار الرئيسي هو إضافة رأس مصنف خفيف الوزن ($g_\theta$) يتم تدريبه بالتزامن مع الـ SAE. يأخذ هذا المصنف مجموعة فرعية من ميزات الـ SAE ($z_{class} \subset z$) ويحاول إعادة إنتاج تسمية النموذج اللغوي المتوقعة.
  • هذا يجبر الـ SAE على تركيز المعلومات ذات الصلة بالمهمة في فضاء فرعي محدد ($z_{class}$)، بينما تتعامل الميزات المتبقية مع إعادة البناء.

دالة الخسارة (Training Loss)

تجمع دالة الخسارة الإجمالية بين ثلاثة مكونات:
$$L = \lambda_1 L_{TopK}^{SAE} + \lambda_2 L_{class} + \lambda_3 L_{sparse}^{feature}$$

1. خسارة إعادة البناء ($L_{TopK}^{SAE}$): تقلل الخطأ بين الحالة الخفية الأصلية والحالة المعاد بناؤها، باستخدام دالة تنشيط TopK لفرض التناثر (تثبيت عدد المفاهيم النشطة لكل مدخل).
2. خسارة التصنيف ($L_{class}$): خسارة الإنتروبيا المتقاطعة (Cross-entropy) بين تنبؤ المصنف المشترك وتسمية النموذج اللغوي المتوقعة. وهذا يدفع نحو اختيار الميزات المميزة.
3. خسارة معدل تنشيط التناثر ($L_{sparse}^{feature}$): آلية مبتكرة لمنع "انهيار الميزات" (حيث تتنشط ميزات قليلة في معظم المدخلات). وهي تعاقب الميزات التي تتنشط في نسبة مئوية أعلى من العتبة ($\gamma$) من الدفعة (batch)، مما يشجع على توزيع متوازن للتنشيط عبر الميزات.

3. المساهمات الرئيسية

أ. مقاييس مبتكرة للقابلية للتفسير

قدمت الورقة مقييزن لقياس القابلية للتفسير دون الاعتماد على مقيمين بشريين أو استخدام نموذج لغوي كبير كحكم (والذي قد يكون غير مستقر):

1. ConceptSim: يقيس التماسك الدلالي لمفهوم واحد. يقوم بتجميع الجمل التي تنشط ميزة معينة ويحسب متوسط تشابه جيب التمام الزاوي (cosine similarity) لتمثيلات جملها (عبر Sentence-BERT). تشير الدرجات العالية إلى أن المفهوم أحادي المعنى.
2. SentenceSim: يقيس الاتساق بين الجمل التي تشترك في نفس المفاهيم الأكثر تنشيطاً. ويقيم ما إذا كانت الجمل التي تمتلك مجموعات مفاهيم متداخلة هي أقرب دلالياً في فضاء التضمين.

ب. إطار التقييم

قام المؤلفون بمقارنة ClassifSAE مقابل أربعة نماذج مرجعية:

• TopK-SAE: مشفر تلقائي متناثر غير خاضع للإشراف.
• ICA (تحليل المكونات المستقلة): تقنية فك خلط خطية كلاسيكية.
• ConceptSHAP: طريقة تزيد من مساهمة المفهوم في اكتمال المصنف.
• HI-Concept: طريقة متطورة تعمل على تحسين التأثير السببي بشكل صريح.

يغطي التقييم 7 نماذج لغوية كبيرة أساسية (بما في ذلك BERT، DeBERTa، Pythia، GPT-J، Mistral، LLaMA) و 4 مجموعات بيانات (AG News، IMDB، TweetEval Offensive، TweetEval Sentiment).

4. النتائج

مقاييس الأداء

• القابلية للتفسير (ConceptSim): يحقق ClassifSAE باستمرار أعلى درجات ConceptSim عبر جميع النماذج والمجموعات، مما يشيد بتفوقه في أحادية المعنى والتماسك الدلالي مقارنة بجميع النماذج المرجعية.
• السببية ($\Delta f_{cond}$): يحقق ClassifSAE ثاني أفضل درجات السببية، متأخراً فقط عن HI-Concept. ومع ذلك، يحقق HI-Concept ذلك على حساب انخفاض القابلية للتفسير. يقدم ClassifSAE توازناً أفضل، حيث يوفر تأثيراً سببياً قوياً مع الحفاظ على قابلية تفسير عالية.
• الاكتمال (RAcc): يحافظ ClassifSAE على دقة استرداد عالية (غالباً >95%)، مما يثبت أن المفاهيم المستخرجة تحتفظ بمعلومات كافية لإعادة بناء قرار النموذج.

الكفاءة

• وقت التدريب: يعد ClassifSAE أكثر كفاءة بشكل ملحوظ. في أكبر نموذج (LLaMA 3.1 8B)، يتطلب ما يصل إلى 83% أقل من وقت التدريب مقارنة بـ HI-Concept و 69% أقل مقارنة بـ ConceptSHAP.
• السبب: على عكس النماذج المرجعية التي تتطلب تمريرات أمامية متكررة عبر طبقات النموذج اللغوي الكبير بالكامل لحساب النماذج السببية، يقوم ClassifSAE فقط بتدريب مشفر تلقائي ومصنف خفيف الوزن على الحالات الخفية، مما يتجنب الحاجة إلى تحميل النموذج الكامل أثناء التدريب.

التحليل النوعي

تظهر التوضيحات (إسقاطات PCA وسحب الكلمات - word clouds) أن ClassifSAE يكتشف مفاهيم دقيقة (مثل التمييز بين "شركات الطيران" و"العملات" ضمن فئة "الأعمال") بدلاً من دمج جميع الميزات في تسميات فئات واسعة.

5. الأهمية والخاتمة

تعالج هذه الورقة فجوة حرجة في التفسير الآلي لمهام التصنيف. من خلال دمج مصنف خاضع للإشراف وقيد التناثر في إطار عمل SAE، نجح ClassifSAE في استخراج ميزات هي:

1. ذات صلة بالمهمة: مضبوطة خصيصاً لهدف التصنيف.
2. قابلة للتفسير: أحادية المعنى ومتماسكة دلالياً بدرجة عالية.
3. سببية: قادرة على التأثير بشكل كبير في تنبؤات النموذج.
4. كفؤة: قابلة للتطبيق حاسوبياً على النماذج الكبيرة.

يشير العمل إلى أنه بينما يوفر التحسين السبلي الصريح (كما في HI-Concept) درجات سببية عالية، فإن نهج التدريب المشترك مع قيود التناثر يقدم حلاً أكثر توازناً وعملية لفهم اتخاذ القرار في النماذج اللغوية الكبيرة لتصنيف النصوص. كما توفر المقاييس المقترحة (ConceptSim، SentenceSim) طريقة قابلة للتكرار وآلية لتقييم جودة المفاهيم، مما ينقل المجال بعيداً عن الاعتماد على الفحص البشري النوعي.