MERGE: Minimal Expression-Replacement GEneralization Test for Natural Language Inference

Resumo Técnico: MERGE – Generalização de Substituição de Expressão Mínima

Definição do Problema
Os modelos atuais de Inferência de Linguagem Natural (NLI) frequentemente alcançam alto desempenho em conjuntos de teste padrão ao explorar heurísticas aprendidas nos dados de treinamento, como sobreposição de palavras ou artefatos exclusivos da hipótese, em vez de capacidades de raciocínio genuínas. Embora conjuntos de dados fora de distribuição (OOD) tenham sido usados para expor essas fraquezas, as abordagens existentes muitas vezes dependem de exemplos adversários que deliberadamente quebram heurísticas comuns ou usam modificações que não preservam a sintaxe e introduzem implausibilidade. Além disso, a construção manual de conjuntos de dados de raciocínio de alta qualidade é custosa e difícil de escalar, enquanto os métodos de geração automática historicamente sofrem com viés ou a criação de variantes agramaticais. Há uma necessidade de um método robusto e automatizado para avaliar a generalização de modelos contra mudanças mínimas, não adversariais, que preservem o raciocínio lógico subjacente e a estrutura sintática dos problemas originais.

Metodologia: MERE e MERGE
Os autores propõem o MERGE (Minimal Expression-Replacement GEneralization), um framework para avaliar a robustez de modelos, construído sobre o MERE (Minimal Expression REplacement), uma técnica de geração automatizada.

1. Processo de Geração MERE:

   • Seleção de Semente (Seed Selection): O processo começa com um problema "semente" de NLI original consistindo em uma premissa ($p$) e uma hipótese ($h$) com um rótulo $l$.
   • Identificação de Alvo: O sistema identifica palavras de classe aberta (substantivos, verbos, adjetivos, advérbios) compartilhadas entre $p$ e $h$.
   • Substituição via MLMs: Modelos de Linguagem Mascarada (MLMs) são usados para sugerir substituições contextualmente prováveis para essas palavras compartilhadas.
   • Restrições: Para garantir a validade, as substituições ($r$) devem satisfazer três condições:
     1. $r$ possui uma probabilidade maior que a palavra original ($o$) no contexto mascarado sob o MLM.
     2. $r$ não ocorre já na sentença.
     3. $r$ pertence à mesma classe gramatical (classe de palavra) que $o$.
   • Validação Cruzada: As substituições são validadas em ambos $p$ e $h$ para garantir que sejam sugeridas pelo mesmo modelo para múltiplas ocorrências dentro de uma sentença e que sejam consistentes entre o par.
   • Filtragem de Qualidade: Um processo de filtragem em múltiplos estágios remove subpalavras, pontuação e candidatos de baixa probabilidade. A validação manual confirma a fluência e a preservação da relação de inferência original.
   • Construção do Conjunto de Dados: Para cada semente, múltiplas variantes são geradas substituindo palavras compartilhadas. O conjunto de dados final (Var) é construído amostrando variantes aleatoriamente para evitar a sobre-representação de sementes altamente produtivas.

2. Métrica de Avaliação MERGE:

   • Ao contrário da acurácia padrão baseada em amostras, o MERGE introduz a acurácia Semente-Variante (SV - Seed-Variant).
   • Um problema de semente é considerado corretamente classificado apenas se um Limiar de Correção (CT - Correctness Threshold) mínimo de suas variantes geradas também for classificado corretamente.
   • O limiar de Correção Correspondente (MC - Matching Correctness) é definido como o CT no qual o escore SV de um modelo mais se aproxima de sua acurácia de semente padrão. Um MC mais baixo indica uma pior generalização.

Principais Contribuições

1. Metodologia Automatizada: Um pipeline totalmente automatizado (MERE) para criar conjuntos de teste de generalização "amigáveis" que preservam o raciocínio, a sintaxe e a sobreposição de palavras, enquanto introduzem diversidade lexical mínima.
2. Evidências Empíricas de Generalização: Evidências demonstrando que tanto modelos de NLI ajustados (fine-tuned) quanto Grandes Modelos de Linguagem (LLMs) generalizam mal para variantes mínimas. Os modelos lutam para manter a consistência quando as variantes diferem apenas ligeiramente em forma.
3. Análise Linguística: Identificação de que verbos são geralmente a classe de palavra mais difícil de generalizar, seguidos por substantivos e adjetivos.
4. Independência de Fonte: Descobertas indicando que o MLM específico usado para gerar as variantes não enviesa significativamente o desempenho dos modelos de NLI avaliados.

Resultos

• Lacuna de Generalização (Generalization Gap): Embora os modelos tenham bom desempenho em variantes individuais (acurácia padrão), seu desempenho cai significativamente quando avaliados na consistência das variantes por semente (acurácia SV). A maioria dos modelos mantém seu desempenho original apenas quando o limiar de correção é definido em aproximadamente 50% ou menos. Além desse limiar, o desempenho declina drasticamente, particularmente para LLMs.
• Comparação de Conjuntos de Dados: Os modelos mostraram uma generalização ligeiramente melhor em variantes de MNLI comparadas às de SNLI.
• Sensibilidade da Classe de Palavra:
  • Verbos: Consistentemente a classe mais difícil de generalizar, especialmente em limiares de correção mais altos.
  • Substantivos: Geralmente mais difíceis que adjetivos, mas mais fáceis que verbos em MNLI; mais difíceis que verbos em SNLI em limiares altos.
  • Adjetivos: Geralmente a classe mais fácil de generalizar.
• Impacto da Fonte do MLM: A origem das palavras de substituição (ex: usar BERT para gerar variantes para um modelo de NLI baseado em BERT) não levou a escores sistematicamente mais altos ou mais baixos, sugerindo que o método de geração não enviesa inerentemente a avaliação para arquiteturas de modelos específicas.
• Dificuldade da Semente: Os modelos tiveram um desempenho significativamente pior em problemas de semente que inicialmente classificaram incorretamente, com apenas ~80% de suas variantes sendo corretas, comparado a ~97% para sementes classificadas corretamente.

Significância e Alegações
O artigo afirma que o MERGE fornece um teste rigoroso e não adversário para a generalização que revela fraquezas em modelos de última geração que métricas padrão ocultam. Ao impor a consistência através de variantes mínimas que preservam o rótulo, o estudo demonstra que os modelos dependem fortemente de pistas lexicais específicas em vez de raciocínio robusto. Os autores posicionam o MERGE como uma ferramenta para revelar "novos tipos de fraquezas" em modelos de raciocínio sem a necessidade de construção de conjuntos de dados manuais custosos ou introdução de ruído adversário. Embora atualmente aplicado a NLI, os autores observam que a metodologia é aplicável a outras tarefas de raciocínio.

Limitações
Os autores reconhecem algumas limitações:

• O método não substitui palavras tokenizadas em subpalavras para evitar artefatos de agregação de probabilidade.
• Quando uma palavra aparece múltiplas vezes, apenas uma instância é mascarada por vez, o que pode introduzir viés (embora tais casos sejam raros nos conjuntos de dados semente).
• Derivações morfológicas não são substituídas para evitar erros em compostos nominais, o que ocasionalmente pode levar a variantes de baixa fluência.
• A análise não incluiu LLMs maiores além dos testados.