MorphNLI: A Stepwise Approach to Natural Language Inference Using Text Morphing

Título: MorphNLI: Uma Abordagem Passo a Passo para Inferência de Linguagem Natural Usando Morfismo de Texto

1. O Problema

A Inferência de Linguagem Natural (NLI) é a tarefa de determinar se uma hipótese é verdadeira (entailment), falsa (contradiction) ou indeterminada (neutral) dada uma premissa. Embora modelos neurais e Grandes Modelos de Linguagem (LLMs) tenham alcançado alto desempenho em benchmarks padrão, eles apresentam limitações críticas:

• Fragilidade Semântica: Falham em capturar características lógicas importantes, como monotonicidade, negação, quantificadores e modificadores de conceito.
• Artefatos de Tarefa: Modelos tendem a aprender "atalhos" ou artefatos presentes nos dados de treinamento (ex: assumir que participantes em premissa e hipótese são os mesmos), levando a overfitting.
• Falta de Explicabilidade: LLMs frequentemente "não dizem o que pensam", gerando explicações não fiéis ou convolutas que não refletem o verdadeiro raciocínio lógico.
• Desempenho em Domínios Cruzados (Cross-Domain): O desempenho cai drasticamente quando os modelos são testados em domínios diferentes daqueles em que foram treinados.

2. Metodologia: MorphNLI

O MorphNLI propõe uma estratégia de NLI modular e passo a passo, inspirada na Lógica Natural, mas mais flexível. Em vez de classificar diretamente o par (premissa, hipótese), o método decomõe o problema em etapas menores e explicáveis.

O pipeline opera em três fases principais:

A. Geração de Morfismos (Text Morphing)

O objetivo é transformar a premissa na hipótese através de uma sequência de edições atômicas (morfismos).

• Operações: Substituição, Remoção e Inserção de palavras/frases (em nível de palavra/frase, não de caracteres).
• Treinamento do Modelo de Morfismo:
  • Não há dados reais rotulados com morfismos. Portanto, os autores utilizam um Modelo Professor (LLM, ex: GPT-4) com In-Context Learning (ICL) para gerar um conjunto de dados sintético.
  • Um filtro determinístico remove dados de baixa qualidade (ex: "morfismos preguiçosos" onde não há frases intermediárias, ou "morfismos curtos" que perdem contexto essencial).
  • Um Modelo Estudante (um LLM menor, como GPT-4o-mini) é fine-tuned (ajustado) usando esses dados sintéticos filtrados para gerar os morfismos durante a inferência.
• Normalização de Voz: Um passo preliminar normaliza a premissa e a hipótese para a voz ativa, evitando erros causados por mudanças de voz (passiva/ativa) que confundem o modelo de morfismo.

B. Inferência Passo a Passo

1. O modelo de morfismo gera a sequência de frases intermediárias ($M_0 \to M_1 \to ... \to M_n$), onde $M_0$ é a premissa e $M_n$ é a hipótese.
2. Um modelo NLI padrão (ex: BART ou RoBERTa) é aplicado a cada par adjacente da sequência $(M_{i-1}, M_i)$ para gerar um rótulo de NLI local.

C. Agregação de Decisões

Os rótulos locais são agregados para formar a decisão final:

• Se todos os passos forem Entailment, o resultado final é Entailment.
• Caso contrário, o resultado final é definido pelo primeiro rótulo não-entailment encontrado na sequência (ex: se o primeiro passo for "Neutral", o resultado final é "Neutral").
• Esta heurística simples substitui autômatos de estado finito complexos da Lógica Natural, sendo mais robusta na prática.

3. Contribuições Principais

1. Arquitetura Modular: Introdução do MorphNLI, que combina morfismo de texto com modelos neurais NLI sem necessidade de supervisão adicional direta para o processo de morfismo (usa dados sintéticos).
2. Explicabilidade Intrínseca: O processo de transformação (as edições atômicas) serve naturalmente como uma cadeia de raciocínio explicável, permitindo entender por que uma decisão foi tomada.
3. Desempenho em Domínios Cruzados: Demonstração de que decompor a tarefa reduz o overfitting, resultando em melhor generalização entre domínios diferentes.
4. Análise de Qualidade: Avaliação qualitativa mostrando que as explicações geradas pelo MorphNLI são superiores às de LLMs gigantes (como GPT-4o) em certos contextos, especialmente quando os LLMs sofrem de contaminação por artefatos de conjuntos de dados antigos (como SNLI).

4. Resultados Experimentais

Os autores avaliaram o MorphNLI nos conjuntos de dados MNLI (Multi-Genre) e SICK (Sentences Involving Compositional Knowledge), testando cenários In-Domain (ID) e Out-of-Domain (OOD).

• Desempenho OOD (Cross-Domain):
  • O MorphNLI superou consistentemente os modelos "vanilla" (diretos) em todos os cenários cruzados.
  • MNLI (treinado em SICK): Melhorias de até 5,92% (BART) e 5,29% (RoBERTa).
  • SICK (treinado em MNLI): Melhorias de até 1,74%.
  • Em geral, o método mostrou-se mais robusto contra a mudança de domínio.
• Desempenho ID (In-Domain):
  • Houve uma leve queda de desempenho em cenários ID (ex: -2% a -3%), atribuída ao fato de os modelos NLI não terem sido treinados especificamente para lidar com transformações incrementais.
• LLMs como Motores NLI:
  • Ao usar GPT-4o e GPT-4o-mini como motores NLI, o morfismo melhorou o desempenho no dataset SICK, confirmando que LLMs têm dificuldade com a semântica lógica complexa.
  • No MNLI, não houve melhoria (e houve queda), sugerindo que os LLMs podem estar "contaminados" com o dataset MNLI, levando a um overfitting que o morfismo não consegue corrigir.
• Qualidade das Explicações:
  • Em avaliações humanas, as explicações do MorphNLI foram superiores às do GPT-4o no dataset SICK (70,63% vs 62,50%), apesar do MorphNLI usar modelos muito menores.
  • O GPT-4o falhou frequentemente ao assumir erroneamente que premissa e hipótese referiam-se aos mesmos participantes (um artefato do dataset SNLI), enquanto o MorphNLI evitou esse erro.

5. Significado e Conclusão

O MorphNLI representa uma mudança de paradigma na NLI, movendo-se de uma abordagem "caixa preta" de classificação direta para um processo transparente e passo a passo.

• Robustez: A abordagem modular reduz a dependência de artefatos de dados específicos, tornando os modelos mais confiáveis em cenários do mundo real onde os domínios variam.
• Interpretabilidade: Ao decompor o raciocínio lógico em edições atômicas, o sistema fornece justificativas claras para suas decisões, o que é crucial para aplicações críticas.
• Limitações: O método foi testado apenas em inglês e depende da qualidade do modelo de morfismo gerado. Além disso, a contaminação de dados nos LLMs (como no caso do MNLI) ainda é um desafio que pode afetar a eficácia do método em certos cenários.

Em suma, o MorphNLI demonstra que decompor problemas complexos de lógica em etapas menores e verificáveis é uma estratégia eficaz para superar as limitações atuais dos modelos de NLI, especialmente em termos de generalização e explicabilidade.