Attribution-Guided Masking for Robust Cross-Domain Sentiment Classification

Riepilogo Tecnico: Mascheramento Guidato dall'Attribuzione per la Classificazione del Sentiment Cross-Domain Robusta

Enunciato del Problema

I modelli Transformer pre-addestrati (ad es. BERT, RoBERTa) raggiungono prestazioni all'avanguardia nella classificazione del sentiment in-domain, ma subiscono frequentemente un grave degrado delle prestazioni quando trasferiti su dati out-of-domain. Gli autori ipotizzano che questo divario di generalizzazione ($\Delta$) sia guidato dalla eccessiva dipendenza dei modelli da token spurii specifici del dominio (ad es. @menzioni, hashtag, gergo) piuttosto che da marcatori di sentiment invarianti rispetto al dominio.

Il documento indaga inizialmente se la deriva dell'attribuzione a livello di token post-hoc possa prevedere questo fallimento. Introducono il Punteggio di Deriva dell'Attribuzione (ADS) per quantificare gli spostamenti nell'importanza a livello di token tra i domini. Tuttavia, test approfonditi su molteplici formulazioni non hanno rivelato alcuna correlazione significativa tra ADS e il divario di generalizzazione. Questo risultato negativo indica che la deriva dell'attribuzione post-hoc è un segnale insufficiente per prevedere la difficoltà di trasferimento, rendendo necessario un passaggio dalla previsione all'intervento durante l'addestramento.

Metodologia: Mascheramento Guidato dall'Attribuzione (AGM)

Gli autori propongono il Mascheramento Guidato dall'Attribuzione (AGM), un framework progettato per rilevare dinamicamente e penalizzare la dipendenza da token spurii durante la fase di fine-tuning. Il metodo opera senza richiedere etichette del dominio target o annotazioni umane.

Componenti Principali:

1. Calcolo dell'Attribuzione: Il modello utilizza un'approssimazione Gradient$\times$Input per calcolare i punteggi di attribuzione a livello di token ($a$) basati sulla perdita di entropia incrociata ($L_{CE}$).
   $$a = \nabla_h L_{CE} \odot h$$

2. Rilevamento dei Token Spuri: I token con magnitudini di attribuzione assoluta che superano il 75° percentile ($\tau_{high} = 0.75$) all'interno di una sequenza vengono segnalati come potenzialmente spurii.

3. Generazione Controfattuale: I token segnalati vengono sostituiti con [MASK], e un Modello Linguistico Mascherato (MLM) con pesi condivisi predice sostituzioni contestualmente appropriate. La sequenza controfattuale viene mantenuta solo se l'etichetta di sentiment predetta dal modello rimane invariata, garantendo che il sentiment di base sia preservato.

4. Obiettivo di Addestramento: La funzione di perdita AGM combina la perdita di classificazione standard con due termini ausiliari:

   • Perdita di Mascheramento Guidato dall'Attribuzione ($L_{mask}$): Penalizza direttamente i punteggi di attribuzione elevati sui token segnalati.
     $$L_{mask} = \frac{1}{|M|} \sum_{i \in M} (a_i)^2$$
   • Perdita Contrastiva Controfattuale ($L_{CCL}$): (Opzionale) Allinea le rappresentazioni raggruppate degli input originali e controfattuali utilizzando l'Errore Quadratico Medio per imporre rappresentazioni invarianti rispetto al dominio.

   L'obiettivo totale è:
   $$L_{AGM} = L_{CE} + \lambda_1 L_{mask} + \lambda_2 L_{CCL}$$

Configurazione Sperimentale e Risultati

Il metodo è stato valutato utilizzando un protocollo di trasferimento rigoroso zero-shot, leave-one-out su quattro domini diversificati: IMDb, Amazon, TripAdvisor e Sentiment140. La metrica principale è stata il Divario di Generalizzazione ($\Delta = |F1_{source} - F1_{target}|$), dove un valore inferiore indica una maggiore robustezza.

Risultati Chiave:

• Prestazioni su Trasferimenti Difficili: Sul compito di trasferimento più difficile (Sentiment140), AGM ha raggiunto un divario di generalizzazione di $\Delta = 0.244$. Questo ha superato l'Addestramento Avversario di Dominio (DANN, $\Delta=0.264$), l'Ottimizzazione Robusta Distribuzionalmente (DRO, $\Delta=0.248$) e Fish ($\Delta=0.247$). Ha mostrato prestazioni comparabili alla Minimizzazione del Rischio Invariante (IRM, $\Delta=0.238$) ma con varianza sostanzialmente inferiore ($\pm 0.015$ per AGM contro $\pm 0.036$ per IRM).
• Stabilità e Interpretabilità: A differenza di IRM, che richiedeva un'estesa ottimizzazione degli iperparametri e mostrava instabilità, AGM ha fornito risultati coerenti su otto semi casuali. In modo unico, AGM offre interpretabilità a livello di token, rivelando esattamente quali caratteristiche guidano il divario di generalizzazione.
• Analisi Qualitativa: Le mappe di calore hanno confermato che AGM sopprime con successo l'attribuzione su artefatti specifici del dominio (ad es. @menzioni, numeri, gergo) e sposta la dipendenza verso marcatori di sentiment invarianti rispetto al dominio.
• Studio di Ablazione: Lo studio ha confermato che il mascheramento guidato dall'attribuzione è il componente critico. Rimuovere $L_{mask}$ o sostituire la selezione guidata dall'attribuzione con una selezione casuale di token ha degradato costantemente le prestazioni sui trasferimenti difficili (aumentando $\Delta$ a $\approx 0.260$). La perdita contrastiva controfattuale ($L_{CCL}$) è risultata opzionale; la variante "solo mascheramento" ha raggiunto prestazioni equivalenti con un minore sovraccarico computazionale.

Significato e Contributi

Il documento rivendica tre contributi principali:

1. Insight Diagnostico: Dimostra che la deriva dell'attribuzione post-hoc è un predittore inaffidabile del fallimento della generalizzazione, spiegando che i token di vocabolario condivisi portano attribuzioni stabili mentre i problematici token specifici del dominio sono esclusi dai confronti cross-dominio.
2. Nuovo Intervento: Introduce AGM, un intervento durante l'addestramento che identifica e penalizza automaticamente la dipendenza da token spurii tramite attribuzione basata su gradienti, senza richiedere supervisione esterna o etichette target.
3. Generalizzazione Robusta: Attraverso una valutazione rigorosa, mostra che AGM raggiunge una generalizzazione competitiva sui compiti di trasferimento più difficili, superando i metodi di allineamento delle rappresentazioni globali (come DANN) che falliscono quando le distanze stilistiche sono estreme.

Limitazioni:
Gli autori notano che lo studio è limitato alla classificazione binaria del sentiment in inglese. L'approccio introduce un costo computazionale di circa 2–3$\times$ di addestramento più lento a causa del doppio passaggio all'indietro e della generazione controfattuale. Inoltre, sebbene AGM performi in modo competitivo con IRM su Sentiment140, le differenze rientrano in intervalli di confidenza sovrapposti, suggerendo che i risultati dovrebbero essere interpretati con cautela riguardo alla significatività statistica.

Conclusione:
Il lavoro fornisce un percorso per lo sviluppo di classificatori del sentiment che si basano sul significato semantico intrinseco piuttosto che su artefatti specifici del dominio sfruttabili, offrendo una soluzione scalabile per il trasferimento zero-shot che è sia robusta che interpretabile.