An LLM-Based System for Argument Reconstruction

Resumo Técnico: Um Sistema Baseado em LLM para Reconstrução de Argumentos

Declaração do Problema
A argumentação computacional enfrenta uma dicotomia fundamental. Por um lado, os Quadros de Argumentação (AFs) formais fornecem estruturas rigorosas, baseadas em grafos, para avaliar a aceitabilidade de argumentos, mas lutam para extrair argumentos de linguagem natural bruta, frequentemente falhando ao lidar com premissas implícitas, contexto pragmático e a variabilidade do discurso do mundo real. Por outro lado, os Modelos de Linguagem de Grande Escala (LLMs) possuem conhecimento contextual rico e podem identificar conexões implícitas, mas carecem de estruturas sistemáticas e fundamentadas teoricamente para representar argumentos. Gerações de LLMs prontas para uso frequentemente resultam em saídas inconsistentes, difíceis de comparar ou agregar, enquanto abordagens tradicionais de mineração de argumentos dependem frequentemente de características de superfície que ignoram relações lógicas mais profundas. O desafio central é unir essas perspectivas: criar um sistema que aproveite a fluência e o raciocínio de senso comum dos LLMs, ao mesmo tempo em que adere ao rigor estrutural dos quadros formais de argumentação.

Metodologia
Os autores propõem um sistema de ponta a ponta baseado em LLM que reconstrói argumentos de texto em linguagem natural em Grafos Acíclicos Direcionados (DAGs). O sistema emprega um pipeline de múltiplos estágios projetado para construir estruturas argumentativas de forma incremental, garantindo saídas bem formadas por meio de restrições explícitas. O pipeline consiste nos seguintes estágios:

1. Identificação de Componentes Argumentativos: O LLM identifica e enumera alegações e premissas, filtrando conteúdo irrelevante. Diferentemente de sistemas baseados em regras, ele aproveita a compreensão contextual pré-treinada para distinguir trechos argumentativos.
2. Mesclagem e Reescrita (Opcional): Componentes redundantes ou fortemente conectados são mesclados para garantir unidade lógica. Componentes são reescritos para resolver expressões dependentes do contexto (por exemplo, pronomes), tornando-os autossuficientes.
3. Identificação de Conclusão e Relações:
   • Identificação de Conclusão: A conclusão principal é extraída.
   • Relação de Premissa (Estratégia Recursiva): Usando uma travessia em largura, o sistema identifica recursivamente premissas que apoiam ou atacam uma conclusão-alvo. Essa decomposição reduz a complexidade e impõe uma estrutura acíclica, restringindo as premissas candidatas a componentes não visitados.
4. Refinamento Estrutural Avançado (Opcional):
   • Verificação de Premissas Não Visitadas: Garante que componentes desconectados sejam anexados ou mesclados se formarem ciclos.
   • Premissas Ligadas vs. Convergência: Distingue entre premissas que justificam conjuntamente uma conclusão (ligadas) e aquelas que fornecem razões independentes (convergentes), usando nós intermediários para relações ligadas.
   • Recuperação de Premissas Implícitas: Identifica e gera premissas ausentes (entimemas) necessárias para a validade do argumento.
   • Distinção entre Refutação e Subcorte: Diferencia ataques a uma premissa (refutação) de ataques ao próprio elo de inferência (subcorte), inserindo nós intermediários para este último.
5. Construção e Visualização de Grafos: A saída final é um DAG onde nós representam componentes e arestas direcionadas representam relações de apoio ou ataque. O sistema inclui uma etapa de redução transitiva para remover arestas redundantes e um construtor de diagramas para inspeção visual.

Principais Contribuições

• Quadro Unificado: O artigo apresenta um sistema inovador que integra extração orientada por LLM com restrições de argumentação formal, efetivamente fechando a lacuna entre processamento de linguagem natural e lógica formal.
• Pipeline de Ponta a Ponta: Um pipeline modular e de múltiplos estágios que não apenas extrai componentes, mas também infere relações lógicas complexas (subcortes, premissas ligadas, suposições implícitas) e impõe uma estrutura DAG.
• Novo Conjunto de Dados: Os autores construíram um pequeno conjunto de dados anotado com 42 argumentos derivados de um livro didático de teoria da argumentação (Introdução à Análise Argumentativa, de Marcus Sacrini), apresentando diagramas que se alinham com seu esquema de representação proposto.

Resultados Experimentais
O sistema foi avaliado por meio de dois experimentos complementares:

1. Avaliação Interna (Conjunto de Dados do Livro Didático):

   • Nível de Componente: O sistema alcançou 92,50% de precisão na detecção de conclusões. A detecção de trechos resultou em um escore F1 de 75,70%, e a precisão na detecção de relações foi de 80,57%.
   • Nível de Estrutura: Anotadores humanos avaliaram o sistema altamente em uma escala de 1 a 3 para Premissas Implícitas (2,86), Subcortes (2,90) e Premissas Convergentes/Ligadas (2,85), com alta concordância entre anotadores.
   • Nível Global: Os grafos gerados foram avaliados altamente quanto à Completude (2,96) e Fidelidade (2,92), indicando que o sistema captura as estruturas principais sem alucinar conteúdo.

2. Avaliação Externa (Conjuntos de Dados de Referência: AAEC e AbstRCT):

   • Quando avaliado em benchmarks padrão de mineração de argumentos, o pipeline completo (incluindo detecção de trechos) mostrou desempenho inferior (por exemplo, F1 de 27,64 no AAEC para classificação de componentes), principalmente devido a dificuldades na correspondência exata de trechos em comparação com a verdade fundamental.
   • No entanto, quando fornecido com componentes de padrão-ouro (contornando a detecção de trechos), o desempenho do sistema melhorou significativamente. No conjunto de dados AbstRCT, alcançou um F1 de Predição de Links de 51,51 e um F1 de Detecção de Relações de 46,21, superando a linha de base do estado da arte (Morio et al., 2022) em +11,77 e +7,5, respectivamente. Isso sugere que o modelo captura efetivamente a estrutura relacional uma vez que os componentes são conhecidos.

Significado e Afirmações
O artigo afirma que o sistema proposto demonstra o potencial de pipelines baseados em LLM para reconstrução escalável de argumentos. Ele recupera com sucesso estruturas argumentativas que se alinham com os padrões da teoria da argumentação, incluindo fenômenos sutis como subcortes e premissas implícitas. Os autores concluem que, embora o sistema reconstrua adequadamente argumentos do estilo de livro didático e alcance desempenho razoável em benchmarks quando adaptado a diferentes esquemas de anotação, desafios permanecem na identificação de componentes (detecção de trechos). O trabalho destaca que combinar as forças contextuais dos LLMs com o rigor estrutural de quadros formais é um caminho viável, embora trabalhos futuros sejam necessários para refinar estratégias de prompt e avaliar o sistema em conjuntos de dados mais complexos e realistas.