Attribution-Guided Masking for Robust Cross-Domain Sentiment Classification

Résumé Technique : Masquage Guidé par l'Attribution pour une Classification Robuste des Sentiments Transversaux aux Domaines

Énoncé du Problème

Les modèles Transformer pré-entraînés (par exemple, BERT, RoBERTa) atteignent des performances de pointe dans la classification des sentiments au sein d'un domaine, mais souffrent fréquemment d'une dégradation sévère des performances lorsqu'ils sont transférés vers des données hors domaine. Les auteurs émettent l'hypothèse que cet écart de généralisation ($\Delta$) est dû à la sur-reliance des modèles sur des tokens spurious spécifiques au domaine (par exemple, @mentions, hashtags, argot) plutôt que sur des marqueurs de sentiments invariants au domaine.

L'article examine initialement si la dérive d'attribution au niveau des tokens a posteriori peut prédire cet échec. Ils introduisent le Score de Dérive d'Attribution (ADS) pour quantifier les décalages dans l'importance des tokens entre les domaines. Cependant, des tests complets sur plusieurs formulations n'ont révélé aucune corrélation significative entre l'ADS et l'écart de généralisation. Cette découverte négative indique que la dérive d'attribution a posteriori est un signal insuffisant pour prédire la difficulté de transfert, nécessitant un passage de la prédiction à une intervention pendant l'entraînement.

Méthodologie : Masquage Guidé par l'Attribution (AGM)

Les auteurs proposent le Masquage Guidé par l'Attribution (AGM), un cadre conçu pour détecter dynamiquement et pénaliser la reliance sur des tokens spurious pendant la phase de fine-tuning. La méthode fonctionne sans nécessiter d'étiquettes de domaine cible ni d'annotation humaine.

Composants Principaux :

1. Calcul de l'Attribution : Le modèle utilise une approximation Gradient$\times$Entrée pour calculer les scores d'attribution au niveau des tokens ($a$) basés sur la perte d'entropie croisée ($L_{CE}$).
   $$a = \nabla_h L_{CE} \odot h$$

2. Détection des Tokens Spurious : Les tokens dont les magnitudes d'attribution absolues dépassent le 75e percentile ($\tau_{high} = 0.75$) au sein d'une séquence sont signalés comme potentiellement spurious.

3. Génération Contrefactuelle : Les tokens signalés sont remplacés par [MASK], et un Modèle de Langage Masqué (MLM) à poids partagés prédit des remplacements contextuellement appropriés. La séquence contrefactuelle est conservée uniquement si l'étiquette de sentiment prédite par le modèle reste inchangée, assurant ainsi la préservation du sentiment central.

4. Objectif d'Entraînement : La fonction de perte AGM combine la perte de classification standard avec deux termes auxiliaires :

   • Perte de Masquage par Attribution ($L_{mask}$) : Pénalise directement les scores d'attribution élevés sur les tokens signalés.
     $$L_{mask} = \frac{1}{|M|} \sum_{i \in M} (a_i)^2$$
   • Perte Contrastive Contrefactuelle ($L_{CCL}$) : (Optionnelle) Aligne les représentations regroupées des entrées originales et contrefactuelles en utilisant l'Erreur Quadratique Moyenne pour imposer des représentations invariantes au domaine.

   L'objectif total est :
   $$L_{AGM} = L_{CE} + \lambda_1 L_{mask} + \lambda_2 L_{CCL}$$

Configuration Expérimentale et Résultats

La méthode a été évaluée en utilisant un protocole de transfert strict en zero-shot, leave-one-out à travers quatre domaines divers : IMDb, Amazon, TripAdvisor et Sentiment140. La métrique principale était l'Écart de Généralisation ($\Delta = |F1_{source} - F1_{target}|$), où une valeur plus faible indique une meilleure robustesse.

Principales Découvertes :

• Performance sur les Transferts Difficiles : Sur la tâche de transfert la plus difficile (Sentiment140), AGM a atteint un écart de généralisation de $\Delta = 0.244$. Cela surpassait l'Entraînement Adversarial de Domaine (DANN, $\Delta=0.264$), l'Optimisation Robuste Distributionnelle (DRO, $\Delta=0.248$) et Fish ($\Delta=0.247$). Il a performé de manière comparable à la Minimisation du Risque Invariant (IRM, $\Delta=0.238$) mais avec une variance substantiellement plus faible ($\pm 0.015$ pour AGM contre $\pm 0.036$ pour IRM).
• Stabilité et Interprétabilité : Contrairement à IRM, qui nécessitait un réglage extensif des hyperparamètres et montrait une instabilité, AGM a fourni des résultats cohérents sur huit graines aléatoires. De manière unique, AGM offre une interprétabilité au niveau des tokens, révélant exactement quelles fonctionnalités entraînent l'écart de généralisation.
• Analyse Qualitative : Les cartes thermiques ont confirmé qu'AGM supprime avec succès l'attribution sur les artefacts spécifiques au domaine (par exemple, @mentions, nombres, argot) et déplace la reliance vers des marqueurs de sentiments invariants au domaine.
• Étude d'Ablation : L'étude a confirmé que le masquage guidé par l'attribution est le composant critique. Le retrait de $L_{mask}$ ou le remplacement de la sélection guidée par l'attribution par une sélection aléatoire de tokens a systématiquement dégradé les performances sur les transferts difficiles (augmentant $\Delta$ à $\approx 0.260$). La perte contrastive contrefactuelle ($L_{CCL}$) s'est révélée optionnelle ; la variante "masquage uniquement" a atteint des performances équivalentes avec une surcharge computationnelle moindre.

Importance et Contributions

L'article revendique trois contributions principales :

1. Insight Diagnostique : Il démontre que la dérive d'attribution a posteriori est un prédicteur peu fiable de l'échec de généralisation, expliquant que les tokens de vocabulaire partagés portent des attributions stables tandis que les tokens spécifiques au domaine problématiques sont exclus des comparaisons transversales aux domaines.
2. Intervention Nouvelle : Il introduit AGM, une intervention pendant l'entraînement qui identifie et pénalise automatiquement la reliance sur des tokens spurious via l'attribution basée sur le gradient, ne nécessitant aucune supervision externe ni étiquettes cibles.
3. Généralisation Robuste : Grâce à une évaluation rigoureuse, il montre qu'AGM atteint une généralisation compétitive sur les tâches de transfert les plus difficiles, surpassant les méthodes d'alignement de représentations globales (comme DANN) qui échouent lorsque les distances stylistiques sont extrêmes.

Limites :
Les auteurs notent que l'étude est limitée à la classification binaire des sentiments en anglais. L'approche introduit un coût computationnel d'environ 2–3$\times$ un entraînement plus lent en raison du double passage arrière et de la génération contrefactuelle. De plus, bien qu'AGM performe de manière compétitive avec IRM sur Sentiment140, les différences tombent dans des intervalles de confiance qui se chevauchent, suggérant que les résultats doivent être interprétés avec prudence concernant la signification statistique.

Conclusion :
Ce travail fournit une voie pour développer des classificateurs de sentiments qui reposent sur le sens sémantique intrinsèque plutôt que sur des artefacts spécifiques au domaine exploitables, offrant une solution évolutive pour le transfert zero-shot qui est à la fois robuste et interprétable.