Attribution-Guided Masking for Robust Cross-Domain Sentiment Classification

Resumo Técnico: Mascaramento Guiado por Atribuição para Classificação de Sentimento Robusta entre Domínios

Declaração do Problema

Modelos Transformer pré-treinados (por exemplo, BERT, RoBERTa) alcançam desempenho state-of-the-art na classificação de sentimento dentro do domínio, mas frequentemente sofrem degradação severa de desempenho ao serem transferidos para dados fora do domínio. Os autores hipotetizam que essa lacuna de generalização ($\Delta$) é impulsionada pela superdependência dos modelos em tokens espúrios específicos do domínio (por exemplo, @menções, hashtags, gírias) em vez de marcadores de sentimento invariantes ao domínio.

O artigo investiga inicialmente se a deriva de atribuição pós-hoc em nível de token pode prever essa falha. Eles introduzem a Pontuação de Deriva de Atribuição (ADS) para quantificar as mudanças na importância em nível de token entre domínios. No entanto, testes abrangentes em múltiplas formulações revelaram nenhuma correlação significativa entre a ADS e a lacuna de generalização. Essa descoberta negativa indica que a deriva de atribuição pós-hoc é um sinal insuficiente para prever a dificuldade de transferência, necessitando de uma mudança da previsão para a intervenção no momento do treinamento.

Metodologia: Mascaramento Guiado por Atribuição (AGM)

Os autores propõem o Mascaramento Guiado por Atribuição (AGM), um framework projetado para detectar dinamicamente e penalizar a dependência de tokens espúrios durante a fase de ajuste fino. O método opera sem exigir rótulos do domínio de destino ou anotação humana.

Componentes Principais:

1. Cálculo de Atribuição: O modelo utiliza uma aproximação Gradiente$\times$Entrada para calcular pontuações de atribuição em nível de token ($a$) com base na perda de entropia cruzada ($L_{CE}$).
   $$a = \nabla_h L_{CE} \odot h$$

2. Detecção de Tokens Espúrios: Tokens com magnitudes absolutas de atribuição que excedem o percentil 75 ($\tau_{high} = 0.75$) dentro de uma sequência são sinalizados como potencialmente espúrios.

3. Geração Contrafactual: Tokens sinalizados são substituídos por [MASK], e um Modelo de Linguagem Mascaramento (MLM) de pesos compartilhados prevê substituições contextualmente apropriadas. A sequência contrafactual é mantida apenas se o rótulo de sentimento previsto pelo modelo permanecer inalterado, garantindo que o sentimento central seja preservado.

4. Objetivo de Treinamento: A função de perda AGM combina a perda de classificação padrão com dois termos auxiliares:

   • Perda de Mascaramento por Atribuição ($L_{mask}$): Penaliza diretamente pontuações de atribuição altas em tokens sinalizados.
     $$L_{mask} = \frac{1}{|M|} \sum_{i \in M} (a_i)^2$$
   • Perda Contrastiva Contrafactual ($L_{CCL}$): (Opcional) Alinha as representações agrupadas das entradas original e contrafactual usando o Erro Quadrático Médio para impor representações invariantes ao domínio.

   O objetivo total é:
   $$L_{AGM} = L_{CE} + \lambda_1 L_{mask} + \lambda_2 L_{CCL}$$

Configuração Experimental e Resultados

O método foi avaliado usando um protocolo estrito de transferência zero-shot, leave-one-out em quatro domínios diversos: IMDb, Amazon, TripAdvisor e Sentiment140. A métrica principal foi a Lacuna de Generalização ($\Delta = |F1_{fonte} - F1_{destino}|$), onde um valor menor indica melhor robustez.

Principais Descobertas:

• Desempenho em Transferências Difíceis: Na tarefa de transferência mais difícil (Sentiment140), o AGM alcançou uma lacuna de generalização de $\Delta = 0.244$. Isso superou o Treinamento Adversarial de Domínio (DANN, $\Delta=0.264$), a Otimização Robustamente Distribuída (DRO, $\Delta=0.248$) e Fish ($\Delta=0.247$). Desempenhou-se de forma comparável à Minimização de Risco Invariante (IRM, $\Delta=0.238$), mas com variância substancialmente menor ($\pm 0.015$ para AGM vs. $\pm 0.036$ para IRM).
• Estabilidade e Interpretabilidade: Diferentemente da IRM, que exigiu ajuste extensivo de hiperparâmetros e mostrou instabilidade, o AGM forneceu resultados consistentes em oito sementes aleatórias. Exclusivamente, o AGM oferece interpretabilidade em nível de token, revelando exatamente quais recursos impulsionam a lacuna de generalização.
• Análise Qualitativa: Mapas de calor confirmaram que o AGM suprime com sucesso a atribuição em artefatos específicos do domínio (por exemplo, @menções, números, gírias) e desloca a dependência para marcadores de sentimento invariantes ao domínio.
• Estudo de Ablação: O estudo confirmou que o mascaramento guiado por atribuição é o componente crítico. Remover $L_{mask}$ ou substituir a seleção guiada por atribuição por seleção aleatória de tokens degradou consistentemente o desempenho em transferências difíceis (aumentando $\Delta$ para $\approx 0.260$). A perda contrastiva contrafactual ($L_{CCL}$) foi encontrada como opcional; a variante "apenas mascaramento" alcançou desempenho equivalente com menor sobrecarga computacional.

Significado e Contribuições

O artigo reivindica três contribuições principais:

1. Insight Diagnóstico: Demonstra que a deriva de atribuição pós-hoc é um preditor não confiável de falha de generalização, explicando que tokens de vocabulário compartilhado carregam atribuições estáveis, enquanto os tokens problemáticos específicos do domínio são excluídos das comparações entre domínios.
2. Intervenção Novel: Introduz o AGM, uma intervenção no momento do treinamento que identifica e penaliza automaticamente a dependência de tokens espúrios via atribuição baseada em gradiente, não exigindo supervisão externa ou rótulos de destino.
3. Generalização Robusta: Através de avaliação rigorosa, mostra que o AGM alcança generalização competitiva nas tarefas de transferência mais difíceis, superando métodos de alinhamento de representação global (como DANN) que falham quando as distâncias estilísticas são extremas.

Limitações:
Os autores observam que o estudo é limitado à classificação de sentimento binário em inglês. A abordagem introduz um custo computacional de aproximadamente 2–3$\times$ de treinamento mais lento devido à dupla passagem de retropropagação e geração contrafactual. Além disso, embora o AGM desempenhe de forma competitiva com a IRM no Sentiment140, as diferenças caem dentro de intervalos de confiança sobrepostos, sugerindo que os resultados devem ser interpretados com cautela em relação à significância estatística.

Conclusão:
O trabalho fornece um caminho para o desenvolvimento de classificadores de sentimento que dependem do significado semântico intrínseco em vez de artefatos exploráveis específicos do domínio, oferecendo uma solução escalável para transferência zero-shot que é tanto robusta quanto interpretável.