Improving Implicit Discourse Relation Recognition with Natural Language Explanations from LLMs

1. Problema

O Reconhecimento de Relações de Discurso Implícitas (IDRR) é uma tarefa desafiadora na Processamento de Linguagem Natural (PLN) que visa identificar a relação semântica entre dois argumentos (ex: frases ou cláusulas) na ausência de conectivos explícitos (como "mas", "porque", "e").

• Desafios Principais:
  • Requer um entendimento semântico profundo, pois não há marcadores linguísticos óbvios.
  • Os métodos existentes geralmente atuam apenas como classificadores, prevendo a relação sem fornecer explicações que justifiquem a decisão. Isso limita a interpretabilidade e a confiança do usuário.
  • Embora os Grandes Modelos de Linguagem (LLMs) tenham capacidades de raciocínio superiores, eles frequentemente têm desempenho inferior a modelos leves treinados em dados anotados quando usados apenas com prompting (sem ajuste fino), além de serem computacionalmente caros para implantação em larga escala.

2. Metodologia

Os autores propõem uma abordagem de distilação que transfere as capacidades de raciocínio dos LLMs para modelos leves, utilizando explicações em linguagem natural como ponte. O método consiste em duas etapas principais:

A. Construção de Explicações Aprimoradas (PDTB)

• Utiliza-se um LLM (especificamente o Qwen-long) para gerar explicações em linguagem natural para cada instância do corpus PDTB (Penn Discourse Treebank), condicionadas ao rótulo de ouro (gold label).
• Prompting com Chain-of-Thought: O prompt é estruturado para forçar o LLM a:
  1. Reafirmar os dois argumentos (passo de pensamento).
  2. Fornecer a fundamentação (rationale) da relação de discurso entre eles.
• Isso resulta em um conjunto de dados expandido com 15.004 instâncias, cada uma contendo os argumentos, o rótulo e uma explicação de alta qualidade.

B. Framework de Classificação-Geração (Plug-and-Play)

O modelo proposto, chamado EIDRR, é um framework híbrido que realiza previsão de relação e geração de explicação simultaneamente:

• Arquitetura:
  • Codificador Compartilhado: Utiliza um modelo PLM baseado em RoBERTa para entender o texto de entrada.
  • Módulo de Classificação: Prevê o rótulo da relação de discurso ($\tilde{y}$).
  • Módulo de Geração: Utiliza um decodificador estilo T5 para gerar a explicação ($\tilde{e}$).
  • Ponte (Transformer Module): Um módulo Transformer inicializado aleatoriamente é inserido entre o codificador e o decodificador para mitigar o mismatch (incompatibilidade) entre modelos pré-treinados para compreensão (RoBERTa) e geração (T5).
• Estratégia de Treinamento:
  • Utiliza Aprendizado Multi-tarefa com uma função de perda combinada: $L_{total} = \alpha L_c + \beta L_g$.
  • A geração da explicação é condicionada ao rótulo previsto ($\tilde{y}$), ou seja, o modelo primeiro prevê a relação e, em seguida, gera a explicação baseada nessa previsão.
  • O treinamento ocorre em duas fases: inicialmente focando mais na geração ($\beta > \alpha$) e depois ajustando o foco para a classificação ($\alpha > \beta$).

3. Contribuições Principais

1. Interpretabilidade: Primeira tentativa de realizar IDRR interpretável, prevendo simultaneamente a relação e gerando uma explicação natural justificativa.
2. Framework Plug-and-Play: Um método modular que pode ser integrado facilmente a modelos de IDRR existentes (baseados em classificação ou prompting) com mudanças mínimas.
3. Distilação de Raciocínio: Demonstra como transferir o raciocínio complexo de LLMs pesados para modelos leves e eficientes.
4. Generalidade: Validação da abordagem não apenas em IDRR, mas também em tarefas de Classificação de Sentimento (ATSC) e Inferência de Linguagem Natural (NLI).

4. Resultados Experimentais

Os experimentos foram conduzidos no corpus PDTB e comparados com baselines de ponta (incluindo métodos baseados em prompts, LLMs e aprendizado contrastivo).

• Desempenho em IDRR:
  • O modelo EIDRR alcançou 73,14% de Acurácia e 68,01% de F1, superando significativamente o baseline anterior (Discoprompt) e outros métodos de ponta.
  • A ablação mostrou que a inclusão da tarefa de geração de explicações melhorou o desempenho de classificação em 1,34% (Acurácia) e 1,14% (F1) em comparação com o modelo sem explicações.
• Qualidade das Explicações:
  • Avaliação humana (5 avaliadores) atribuiu uma pontuação média de 4,20/5 para as explicações geradas.
  • 93% das explicações receberam pontuação 3 ou superior.
  • A análise de Fidelidade (Feature Importance Agreement e Robustness Equivalence) confirmou que as explicações refletem genuinamente o processo de raciocínio do modelo, pois a remoção de características importantes afetou tanto a classificação quanto a geração de forma correlacionada.
• Generalização:
  • O método também melhorou o desempenho em ATSC e NLI, com ganhos de ~1-2% e pontuações humanas acima de 4,0 nas explicações.

5. Significado e Conclusão

O trabalho demonstra que explicações geradas por LLMs não são apenas um recurso de saída, mas um sinal de supervisão valioso que melhora o próprio processo de classificação.

• Impacto: A abordagem resolve o dilema entre desempenho e interpretabilidade, permitindo que modelos leves (eficientes para implantação) operem com a qualidade de raciocínio de modelos grandes.
• Inovação: A introdução do módulo Transformer para conectar codificadores de compreensão e decodificadores de geração provou ser crucial para alinhar as representações semânticas, superando as limitações de modelos puramente generativos ou puramente classificatórios.
• Futuro: O estudo abre caminho para sistemas de IA mais transparentes e confiáveis em tarefas de análise de discurso e além.