Resumo Técnico: UNMASK – Descobrindo e Verificando Causalmente Atalhos Espúrios em Classificadores de Texto

Declaração do Problema

Modelos de linguagem neurais treinados em grandes corpora de crowdsourcing frequentemente alcançam alta acurácia em benchmarks ao explorar padrões superficiais espúrios (atalhos) que correlacionam com os rótulos alvo, mas carecem de relevância linguística ou causal verdadeira. Embora as abordagens existentes tenham feito progressos na identificação dessas correlações, elas sofrem de duas limitações primárias:

1. Dependência Humana: A maioria dos métodos requer a especificação manual do vocabulário de características ou depende de proxies opacos para a estrutura de grupos.
2. Lacuna entre Correlação e Causalidade: A descoberta automatizada existente muitas vezes para na correlação estatística ao nível do dataset, falhando em verificar se um modelo treinado específico realmente explora essas características. Uma característica pode estar estatisticamente correlacionada com um rótulo no dataset (por exemplo, a palavra "nunca" em pares de contradição) sem que o modelo dependa dela para a predição.

O artigo aborda a questão fundamental: Como podemos identificar características superficiais espúrias sem conhecimento prévio e como podemos verificar se um modelo treinado depende causalmente delas?

Metodologia: O Pipeline UNMASK

O UNMASK é um pipeline totalmente automatizado que opera sem anotação humana adicional. Ele consiste em quatro estágios distintos, unificados pelo uso de expressões booleanas executáveis como a representação para as características candidatas.

1. Geração de Candidatos (Descoberta)

• Entrada: Exemplos de treinamento não rotulados.
• Processo: Um Grande Modelo de Linguagem (LLM), denominado SCGENLLM, é instigado a propor padrões de nível superficial que aparecem consistentemente entre os exemplos, mas que não são logicamente necessários para a tarefa.
• Saída: Para cada candidato, o LLM retorna uma descrição em linguagem natural e, crucialmente, uma expressão booleana executável $b(x)$ que avalia deterministicamente para TRUE/FALSE em qualquer texto de entrada.
• Racional: O uso de expressões booleanas permite a avaliação determinística em todos os estágios subsequentes, ao contrário das descrições em linguagem natural, que são ambíguas.

2. Validação Estatística

Este estágio filtra os candidatos para garantir que eles representem artefatos genuínos do nível do dataset.

• Deduplicação: Os candidatos são deduplicados com base na similaridade de descrição e, subsequentemente, na sua cobertura realizada (o conjunto de amostras que eles disparam).
• Validação Lógica: Um EVALUATORLLM verifica a correção sintática e semântica das expressões booleanas. Expressões incorretas são reescritas iterativamente.
• Replicação de Duas Fases:
  • Fase de Descoberta: As características são testadas contra os rótulos usando o teste exato de Fisher em um conjunto de descoberta. A Taxa de Falso Descobrimento (FDR) é controlada via Benjamini-Hochberg.
  • Fase de Validação: Características significativas são retestadas em um conjunto de validação mantido à parte (held-out).
  • Filtros: Características são excluídas se forem definicionais (teto de cobertura) ou não preditivas (piso de precisão).
• Saída: Um conjunto de características estatisticamente validadas ($F_{val}$).

3. Verificação Causal

Este estágio distingue entre características que o modelo poderia usar e características das quais ele realmente depende.

• Triagem de Dependência: Antes da geração de contrafatuais, o pipeline realiza uma triagem de "dependência espúria", verificando se o modelo sobreprediz o rótulo associado quando a característica está presente, mas o rótulo verdadeiro a contradiz.
• Geração de Contrafatuais: Para as características sobreviventes, um GENERATORLLM cria edições mínimas ($x_{cf}$) que removem o padrão superficial enquanto preservam o rótulo semântico. Um EVALUATORLLM independente verifica a edição.
• Medição de Efeito: O pipeline mede o deslocamento na probabilidade prevista do modelo para o rótulo espúrio ($\Delta p$) entre as entradas originais e contrafatuais.
• Classificação: Uma característica é classificada como causalmente explorada ($F_{causal}$) apenas se a remoção dela diminuir significativamente a confiança do modelo no rótulo espúrio. Isso separa a correlação ao nível do dataset da exploração ao nível do modelo.

4. Mitigação de Viés do Modelo (Debiasing)

• Definição de Grupo: As expressões booleanas validadas servem como rótulos de grupo sem necessidade de anotação. Para cada característica e rótulo, os grupos são definidos pelo produto cartesiano da presença/ausência da característica e dos rótulos de classe.
• Mitigação: Esses grupos são usados para treinar modelos mitigados usando técnicas padrão como Deep Feature Reweighting (DFR), Product-of-Experts (PoE) ou SCER, sem exigir anotações demográficas ou de viés manuais.

Principais Contribuições

1. Pipeline Totalmente Automatizado: O UNMASK gera, valida e mitiga características espúrias usando expressões booleanas executáveis, eliminando a necessidade de vocabulários de características definidos por humanos.
2. Protocolo de Verificação Causal: O pipeline introduz um estágio de verificação contrafatual que separa a correlação ao nível do dataset da exploração ao nível do modelo. Ele revela que altas razões de chance (odds ratios) no dataset não garantem a dependência do modelo.
3. Debiasing Sem Anotação: Ao usar as expressões booleanas descobertas como rótulos de grupo, o UNMASK alcança desempenho comparável ao Deep Feature Reweighting (DFR) rotulado manualmente no dataset CivilComments-WILDS, sem utilizar anotações demográficas.
4. Generalização entre Tarefas: Os estágios de descoberta e validação generalizam para os dados de preferência do RewardBench2, expondo vieses interpretáveis (ex: comprimento, formatação, linguagem de recusa) em modelos de recompensa sem modificação específica da tarefa.

Resultados Experimentais

Inferência de Linguagem Natural (MNLI, HANS, etc.)

• Redescoberta: No BERT e RoBERTa treinados no MNLI, o UNMASK redescobriu independentemente vieses estabelecidos, incluindo sobreposição lexical e vieses de negação.
• Taxas de Verificação: Verificou 9 de 10 características no BERT e 6 de 10 no RoBERTa.
• Divergência entre Arquiteturas: A verificação causal revelou que o RoBERTa é imune a três características de classe de contradição que o BERT explora, uma divergência invisível para análises baseadas apenas em correlação.
• Desempenho: No benchmark HANS (projetado para testar robustez a atalhos), a mitigação baseada em UNMASK melhorou a acurácia do BERT em até 12,58 pontos percentuais (de 52,41% para 64,99% usando PoE-IPW-Group), preservando o desempenho in-distribution.

CivilComments-WILDS (Detecção de Toxicidade)

• Recuperação Demográfica: O pipeline minerou características contendo tokens de identidade demográfica, recuperando 6 de 8 identidades canônicas sem acesso a rótulos demográficos.
• Acurácia do Pior Grupo (WGA): Usando grupos programáticos derivados do UNMASK, o DFR alcançou 71,84% de WGA no BERT e 72,12% no RoBERTa. Isso iguala os 70,1% de WGA relatados em trabalhos anteriores (Kirichenko et al., 2023) que dependiam de anotações demográficas manuais.
• Comparação com Baseline: O UNMASK superou baselines de descoberta mais simples (estatísticas PMI e candidatos apenas de LLM) em 3,65 pp em WGA, demonstrando o valor de expressões booleanas compostas sobre estatísticas de token único.

Análise de Sentimento (SST-2, IMDB)

• Papel de Gatekeeper (Porteiro): Como uma ablação controlada, o pipeline foi aplicado a tarefas de sentimento onde palavras superficiais são o sinal da tarefa, não atalhos espúrios.
• Resultado: A verificação causal retornou corretamente zero características exploradas, confirmando que o pipeline atua como um portão de decisão em vez de uma ferramenta de refinamento que força o debiasing onde ele é desnecessário.

RewardBench2

• Aplicado a dados de preferência de modelos de recompensa, o pipeline recuperou vieses conhecidos, como preferências de comprimento/formatação em respostas rejeitadas e uma hierarquia de linguagem de recusa em tarefas de segurança, demonstrando aplicabilidade além da classificação.

Significância e Alegações

O artigo alega que o UNMASK preenche a lacuna entre artefatos estatísticos do dataset e a exploração de atalhos pelo modelo. Sua principal significância reside em:

• Auditabilidade: Tornar os atalhos de um classificador "nomeáveis, testáveis e removíveis" através de expressões booleanas determinísticas.
• Rigor Causal: Fornecer evidências de que nem todas as características correlacionadas são exploradas e que a arquitetura do modelo (ex: BERT vs. RoBERTa) influencia significativamente quais atalhos são utilizados.
• Praticidade: Permitir um debiasing de alta qualidade em tarefas complexas como detecção de toxicidade sem o custo proibitivo de anotação demográfica manual, alcançando paridade com métodos rotulados à mão.

Os autores observam limitações: o pipeline é limitado pela expressividade das expressões booleanas executáveis (perdendo atalhos semânticos latentes) e o estágio causal é limitado pela capacidade do gerador de criar edições mínimas sem alterar outras propriedades do input.