Attribution-Guided Masking for Robust Cross-Domain Sentiment Classification

Technische Samenvatting: Toewijgingsgeleide Maskering voor Robuuste Cross-Domein Sentimentclassificatie

Probleemstelling

Vooraf getrainde Transformer-modellen (bijv. BERT, RoBERTa) bereiken state-of-the-art prestaties bij domein-specifieke sentimentclassificatie, maar lijden vaak aan ernstige prestatiedegradatie wanneer ze worden overgebracht naar data buiten het domein. De auteurs veronderstellen dat deze generalisatiekloof ($\Delta$) wordt veroorzaakt door de overmatige afhankelijkheid van de modellen van domeinspecifieke spurious tokens (bijv. @mentions, hashtags, straattaal) in plaats van domein-invariante sentimentmarkers.

Het artikel onderzoekt aanvankelijk of post-hoc toewijgingsdrift op token-niveau dit falen kan voorspellen. Zij introduceren de Attribution Drift Score (ADS) om verschuivingen in de belangrijkheid van tokens tussen domeinen te kwantificeren. Echter, uitgebreide tests met meerdere formuleringen onthulden geen betekenisvolle correlatie tussen ADS en de generalisatiekloof. Deze negatieve bevinding geeft aan dat post-hoc toewijgingsdrift een onvoldoende signaal is om overdrachtsmoeilijkheid te voorspellen, wat een verschuiving vereist van voorspelling naar interventie tijdens het trainen.

Methodologie: Toewijgingsgeleide Maskering (AGM)

De auteurs stellen Attribution-Guided Masking (AGM) voor, een raamwerk dat is ontworpen om tijdens de fine-tuning-fase dynamisch afhankelijkheid van spurious tokens te detecteren en te bestraffen. De methode werkt zonder dat doeldomein-labels of menselijke annotatie vereist zijn.

Kerncomponenten:

1. Toewijgingsberekening: Het model maakt gebruik van een Gradient$\times$Input-benadering om toewijgingsscores op token-niveau ($a$) te berekenen op basis van de cross-entropy-verlies ($L_{CE}$).
   $$a = \nabla_h L_{CE} \odot h$$

2. Detectie van Spurious Tokens: Tokens met absolute toewijgingsmagnitudes die de 75e percentiel ($\tau_{high} = 0.75$) binnen een sequentie overschrijden, worden gemarkeerd als potentieel spurious.

3. Generatie van Contrafacten: Gemarkeerde tokens worden vervangen door [MASK], en een Masked Language Model (MLM) met gedeelde gewichten voorspelt contextueel geschikte vervangingen. De contrafactuele sequentie wordt alleen behouden als het voorspelde sentimentlabel van het model ongewijzigd blijft, zodat de kern van het sentiment behouden blijft.

4. Trainingsdoel: De AGM-verliesfunctie combineert de standaard classifcatieverlies met twee auxiliaire termen:

   • Toewijgingsmaskeringsverlies ($L_{mask}$): Straft direct hoge toewijgingsscores op gemarkeerde tokens.
     $$L_{mask} = \frac{1}{|M|} \sum_{i \in M} (a_i)^2$$
   • Contrafactueel Contrastief Verlies ($L_{CCL}$): (Optioneel) Aligneert de gepoolde representaties van de originele en contrafactuele inputs met behulp van Mean Squared Error om domein-invariante representaties af te dwingen.

   Het totale doel is:
   $$L_{AGM} = L_{CE} + \lambda_1 L_{mask} + \lambda_2 L_{CCL}$$

Experimentele Opstelling en Resultaten

De methode werd geëvalueerd met een strict zero-shot, leave-one-out overdrachtsprotocol over vier diverse domeinen: IMDb, Amazon, TripAdvisor en Sentiment140. De primaire maatstaf was de Generalisatiekloof ($\Delta = |F1_{source} - F1_{target}|$), waarbij een lagere waarde betere robuustheid aangeeft.

Belangrijkste Bevindingen:

• Prestaties bij Moeilijke Overdrachten: Op de moeilijkste overdrachttak (Sentiment140) bereikte AGM een generalisatiekloof van $\Delta = 0.244$. Dit presteerde beter dan Domain-Adversarial Training (DANN, $\Delta=0.264$), Distributionally Robust Optimization (DRO, $\Delta=0.248$) en Fish ($\Delta=0.247$). Het presteerde vergelijkbaar met Invariant Risk Minimization (IRM, $\Delta=0.238$), maar met substantieel lagere variantie ($\pm 0.015$ voor AGM versus $\pm 0.036$ voor IRM).
• Stabiliteit en Interpretatiebaarheid: In tegenstelling tot IRM, wat uitgebreide hyperparameter-tuning vereiste en instabiliteit vertoonde, leverde AGM consistente resultaten op over acht willekeurige zaden. Uniek biedt AGM interpretatiebaarheid op token-niveau, waardoor precies zichtbaar wordt welke kenmerken de generalisatiekloof aandrijven.
• Kwalitatieve Analyse: Heatmaps bevestigden dat AGM succesvol toewijging onderdrukt op domeinspecifieke artefacten (bijv. @mentions, nummers, straattaal) en de afhankelijkheid verschuift naar domein-invariante sentimentmarkers.
• Ablatiestudie: De studie bevestigde dat toewijgingsgeleide maskering het kritieke component is. Het verwijderen van $L_{mask}$ of het vervangen van de toewijgingsgeleide selectie door willekeurige tokenselectie degradeerde consequent de prestaties bij moeilijke overdrachten (waardoor $\Delta$ toenam tot $\approx 0.260$). Het contrafactuele contrastieve verlies ($L_{CCL}$) bleek optioneel; de "mask-only"-variant bereikte equivalente prestaties met minder rekenkosten.

Betekenis en Bijdragen

Het artikel claimt drie primaire bijdragen:

1. Diagnostisch Inzicht: Het toont aan dat post-hoc toewijgingsdrift een onbetrouwbare voorspeller is van generalisatiefalen, en verklaart dat gedeelde vocabulaire-tokens stabiele toewijgingen dragen terwijl de problematische domeinspecifieke tokens worden uitgesloten van cross-domein vergelijkingen.
2. Nieuwe Interventie: Het introduceert AGM, een interventie tijdens het trainen die automatisch spurious token-afhankelijkheid identificeert en bestraft via gradient-gebaseerde toewijging, zonder externe supervisie of doellabels.
3. Robuuste Generalisatie: Door middel van rigoureuze evaluatie wordt aangetoond dat AGM concurrerende generalisatie bereikt op de moeilijkste overdrachttaken, en beter presteert dan methoden voor globale representatie-alignatie (zoals DANN) die falen wanneer stylistische afstanden extreem zijn.

Beperkingen:
De auteurs merken op dat het onderzoek beperkt is tot binaire Engelse sentimentclassificatie. De aanpak introduceert een rekenkosten van ongeveer 2–3$\times$ langzamere training door de dubbele backward pass en de generatie van contrafacten. Bovendien, hoewel AGM concurrerend presteert met IRM op Sentiment140, vallen de verschillen binnen overlappende betrouwbaarheidsintervallen, wat suggereert dat de resultaten met voorzichtigheid moeten worden geïnterpreteerd met betrekking tot statistische significantie.

Conclusie:
Het werk biedt een pad voor het ontwikkelen van sentimentclassificatoren die vertrouwen op intrinsieke semantische betekenis in plaats van uitbuitbare domeinspecifieke artefacten, en biedt een schaalbare oplossing voor zero-shot overdracht die zowel robuust als interpreteerbaar is.