Attribution-Guided Masking for Robust Cross-Domain Sentiment Classification

ملخص تقني: التغطية الموجهة بالاستدلال لتعزيز متانة التصنيف عبر المجالات

بيان المشكلة

تحقق نماذج المحولات مسبقة التدريب (مثل BERT وRoBERTa) أداءً فائقاً في تصنيف المشاعر ضمن المجال نفسه (in-domain)، لكنها غالباً ما تعاني من تدهور حاد في الأداء عند نقلها إلى بيانات خارج المجال (out-of-domain). تفترض الورقة البحثية أن هذه الفجوة في التعميم ($\Delta$) مدفوعة بإفراط النماذج في الاعتماد على الرموز الزائفة الخاصة بالمجال (مثل الإشارات @mentions، والوسوم hashtags، والكلمات العامية) بدلاً من علامات المشاعر الثابتة عبر المجالات.

تستقصي الورقة في البداية ما إذا كان انزياح الاستدلال على مستوى الرمز (token-level attribution drift) بعد عملية التدريب يمكنه التنبؤ بهذا الفشل. وقد قدموا "درجة انزياح الاستدلال" (ADS) لقياس التحولات في أهمية الرموز بين المجالات. ومع ذلك، كشفت الاختبارات الشاملة عبر صياغات متعددة عن عدم وجود ارتباط معنوي بين ADS وفجوة التعميم. تشير هذه النتيجة السلبية إلى أن انزياح الاستدلال بعد التدريب هو إشارة غير كافية للتنبؤ بصعوبة النقل، مما يستلزم الانتقال من مرحلة التنبؤ إلى التدخل أثناء مرحلة التدريب.

المنهجية: التغطية الموجهة بالاستدلال (AGM)

يقترح المؤلفون إطار عمل التغطية الموجهة بالاستدلال (AGM)، وهو مصمم لاكتشاف ومعاقبة الاعتماد على الرموز الزائفة ديناميكياً خلال مرحلة الضبط الدقيق (fine-tuning). تعمل هذه الطريقة دون الحاجة إلى تسميات (labels) للمجال المستهدف أو ترميز بشري.

المكونات الأساسية:

1. حساب الاستدلال: يستخدم النموذج تقريب (الاشتقاق × المدخلات) Gradient$\times$Input لحساب درجات الاستدلال للرموز ($a$) بناءً على خسارة الإنتروبيا المتقاطعة ($L_{CE}$).
   $$a = \nabla_h L_{CE} \odot h$$

2. كشف الرموز الزائفة: يتم تحديد الرموز التي تتجاوز قيم استدلالها المطلقة المئين 75 ($\tau_{high} = 0.75$) داخل التسلسل كرموز يحتمل أن تكون زائفة.

3. توليد الواقع المضاد (Counterfactual Generation): تُستبدل الرموز المحددة بـ [MASK]، ويقوم نموذج لغة مقنع (MLM) ذو أوزان مشتركة بالتنبؤ بالبدائل المناسبة للسياق. يتم الاحتفاظ بالتسلسل الواقعي المضاد فقط إذا ظل تصنيف المشاعر المتوقع دون تغيير، مما يضمن الحفاظ على جوهر المشاعر.

4. هدف التدريب: تجمع دالة خسارة AGM بين خسارة التصنيف القياسية وحَدّين إضافيين:

   • خسارة تغطية الاستدلال ($L_{mask}$): تعاقب مباشرة درجات الاستدلال العالية على الرموز المحددة.
     $$L_{mask} = \frac{1}{|M|} \sum_{i \in M} (a_i)^2$$
   • خسارة التباين الواقعي المضاد ($L_{CCL}$): (اختياري) تعمل على محاذاة التمثيلات المجمعة للمدخلات الأصلية والمضادة باستخدام متوسط مربعات الخطأ (MSE) لفرض تمثيلات ثابتة عبر المجالات.

   الهدف الإجمالي هو:
   $$L_{AGM} = L_{CE} + \lambda_1 L_{mask} + \lambda_2 L_{CCL}$$

الإعداد التجريبي والنتائج

تم تقييم الطريقة باستخدام بروتوكول نقل صارم بنمط "ترك واحد واستبعاد البقية" (leave-one-out zero-shot transfer) عبر أربعة مجالات متنوعة: IMDb، وAmazon، وTripAdvisor، وSentiment140. المقياس الأساسي هو فجوة التعميم ($\Delta = |F1_{source} - F1_{target}|$)، حيث تشير القيمة الأقل إلى متانة أفضل.

النتائج الرئيسية:

• الأداء في عمليات النقل الصعبة: في أصعب مهمة نقل (Sentiment140)، حققت AGM فجوة تعميم قدرها $\Delta = 0.244$. تفوق هذا على التدريب الخصمي للمجال (DANN، حيث $\Delta=0.264$)، وتحسين الأمثلية المتينة للتوزيع (DRO، حيث $\Delta=0.248$)، وFish (حيث $\Delta=0.247$). كانت النت comparable (مقاربة) لأسلوب تقليل المخاطر الثابتة (IRM، حيث $\Delta=0.238$)، ولكن مع تباين أقل بكثير ($\pm 0.015$ لـ AGM مقابل $\pm 0.036$ لـ IRM).
• الاستقرار والقابلية للتفسير: على عكس IRM، الذي تطلب ضبطاً مكثفاً للمعلمات الفائقة وأظهر عدم استقرار، قدمت AGM نتائج متسقة عبر ثماني بذور عشوائية. وبشكل فريد، توفر AGM تفسيراً على مستوى الرمز، مما يكشف عن الميزات التي تقود فجوة التعميم بدقة.
• التحليل النوعي: أكدت الخرائط الحرارية أن AGM نجحت في كبح الاستدلال على المصنوعات المرتبطة بالمجال (مثل الإشارات @mentions، والأرقام، والكلمات العامية) ونقلت الاعتماد نحو علامات المشاعر الثابتة عبر المجالات.
• دراسة الاستئصال (Ablation Study): أكدت الدراسة أن التغطية الموجهة بالاستدلال هي المكون الحاسم. إذ أدى إزالة $L_{mask}$ أو استبدال الاختيار الموجه بالاستدلال باختيار عشوائي للرموز إلى تدهور الأداء باستمرار في عمليات النقل الصعبة (زيادة $\Delta$ إلى $\approx 0.260$). وُجد أن خسارة التباين الواقعي المضاد ($L_{CCL}$) اختيارية؛ حيث حقق متغير "التغطية فقط" أداءً مكافئاً مع تكلفة حسابية أقل.

الأهمية والمساهمات

تدعي الورقة ثلاث مساهمات رئيسية:

1. رؤية تشخيصية: تثبت أن انزياح الاستدلال بعد التدريب هو مؤشر غير موثوق لفشل التعميم، وتوضح أن رموز المفردات المشتركة تحمل استدلالات مستقرة بينما يتم استبعاد الرموز المشكلة الخاصة بالمجال من المقارنات عبر المجالات.
2. تدخل مبتكر: تقدم AGM، وهو تدخل أثناء التدريب يحدد ويعاقب تلقائياً الاعتماد على الرموز الزائفة عبر الاستدلال القائم على الاشتقاق، دون الحاجة إلى إشراف خارجي أو تسميات للمجال المستهدف.
3. تعميم متين: من خلال التقييم الصارم، تظهر AGM أنها تحقق تعميماً تنافسياً في أصعب مهام النقل، متفوقة على طرق محاذاة التمثيل العالمية (مثل DANN) التي تفشل عندما تكون المسافات الأسلوبية شديدة.

القيود:
يشير المؤلفون إلى أن الدراسة تقتصر على تصنيف المشاعر الثنائي باللغة الإنجليزية. تفرض الطريقة تكلفة حسابية تبلغ حوالي 2–3 أضعاف أبطأ في التدريب بسبب عملية الاشتقاق المزدوجة وتوليد الواقع المضاد. بالإضافة إلى ذلك، بينما تنافس AGM نموذج IRM في مهمة Sentiment140، فإن الفروقات تقع ضمن فترات الثقة المتداخلة، مما يستوجب تفسير النتائج بحذر فيما يتعلق بالأهمية الإحصائية.

الخلاصة:
يوفر هذا العمل مساراً لتطوير مصنفات مشاعر تعتمد على المعنى الدلالي الجوهري بدلاً من المصنوعات المرتبطة بالمجال والتي يمكن استغلالها، مما يقدم حلاً قابلاً للتوسع للنقل بنمط zero-shot يتسم بالمتانة والقابلية للتفسير.