A comprehensive study of LLM-based argument classification: from Llama through DeepSeek to GPT-5.2

1. Problema e Contexto

O Argument Mining (Mineração de Argumentos) é um campo interdisciplinar focado na identificação automática e classificação de componentes argumentativos (como alegações e premissas) e suas relações (suporte, ataque ou neutralidade). Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham superado abordagens tradicionais de aprendizado de máquina, existe uma lacuna na avaliação sistemática comparativa de LLMs modernos (como Llama, DeepSeek e GPT) em tarefas estruturadas de classificação de argumentos.

O problema central abordado é a dificuldade dos LLMs em:

• Identificar premissas implícitas e contexto pragmático.
• Distinguir nuances entre suporte, ataque e neutralidade em estruturas argumentativas complexas.
• Lidar com ambiguidades e interpretações contextuais que vão além de soluções baseadas em regras claras.

O estudo visa preencher essa lacuna avaliando o estado da arte em LLMs em corpora públicos estabelecidos, analisando não apenas a precisão quantitativa, mas também os padrões de erro qualitativos.

2. Metodologia

Os autores realizaram uma avaliação abrangente utilizando dois conjuntos de dados principais:

• UKP Corpus: Comentários online sobre 8 tópicos controversos (ex: aborto, pena de morte), com anotações de "A favor", "Contra" e "Não Argumento".
• Args.me Corpus: Argumentos extraídos de portais de debate, focando em premissas de apoio (PRO) e oposição (CON).

Arquitetura e Modelos Testados:
O sistema utiliza um gerador de prompts que envia pares de tese-argumento para vários LLMs. Os modelos avaliados incluem:

• Família Llama: Llama 3.1 (1B, 3B, 8B, 70B), Llama 3.3 (70B) e Llama 4 Scout.
• DeepSeek: DeepSeek R1 (ds70b).
• GPT: GPT-5.2 (proprietário), GPT oss-120b e GPT oss-20b (modelos de código aberto/otimizados).

Estratégias de Prompting e Agregação:
Para superar as limitações de inferência direta (zero-shot), o estudo empregou técnicas avançadas:

1. mRAR (Rephrase and Respond): Geração de 4 prompts variados (diferentes formatos de resposta e níveis de verbosidade) para cada instância.
2. Chain-of-Thought (CoT): Encorajamento explícito de raciocínio passo a passo (aplicado principalmente a modelos sem modo de raciocínio nativo, como a série Llama).
3. Autoavaliação de Certeza: Solicitação ao modelo para estimar a certeza da resposta (0-100%).
4. Algoritmos de Votação (Ensemble):
   • Votação Simples: Maioria absoluta.
   • Tiebreak (Desempate): Usa a certeza autoavaliada para quebrar empates.
   • Votação Ponderada: Soma ponderada pela certeza.

Análise de Erros:
Além das métricas quantitativas (Acurácia e F1-Score), foi realizada uma análise qualitativa profunda para identificar modos de falha sistemáticos, como falhas em estruturas contrastivas, interpretação literal de fatos e viés de tópicos.

3. Principais Contribuições

• Avaliação Sistemática Comparativa: Primeiro estudo abrangente a comparar uma ampla gama de LLMs modernos (incluindo GPT-5.2, Llama 4 e DeepSeek R1) em tarefas de mineração de argumentos.
• Otimização de Prompting: Desenvolvimento e validação de um algoritmo eficiente de prompts (mRAR) combinado com estratégias de votação e estimativa de certeza, demonstrando ganhos significativos de performance.
• Análise Qualitativa de Falhas: Identificação detalhada de padrões de erro recorrentes, como a incapacidade de lidar com estruturas contrastivas ("mas", "embora"), interpretação literal de dados estatísticos e viés baseado no tópico de discussão.
• Insights sobre Eficiência: Demonstração de que modelos menores e de código aberto, quando adequadamente ajustados, podem competir com modelos proprietários massivos.

4. Resultados Chave

Desempenho Quantitativo:

• O modelo GPT-5.2 obteve o melhor desempenho geral, alcançando 78,0% de acurácia no UKP e 91,9% no Args.me.
• O modelo GPT oss-120b mostrou desempenho notável, superando modelos Llama de 70B e aproximando-se do GPT-5.2, especialmente quando combinado com estratégias de votação.
• Ganhos com Técnicas Avançadas: O uso de reescrita de prompts, votação múltipla e estimativa de certeza aumentou a acurácia e o F1-score em 2% a 8% em comparação com a inferência zero-shot simples.
• A estratégia de Tiebreak (desempate baseado em certeza) mostrou-se a mais eficaz entre os algoritmos de votação.

Análise de Erros e Limitações:

• Viés de Tópico: Os modelos tendem a associar automaticamente tópicos específicos a posições (ex: associar "pena de morte" a argumentos contra, independentemente do texto), levando a erros sistemáticos.
• Estruturas Complexas: Falhas frequentes na interpretação de orações contrastivas (onde a conclusão vem após um "mas" ou "embora") e em inferências baseadas em marcadores discursivos.
• Interpretação Literal: Modelos (especialmente o oss-120b) tendem a classificar declarações factuais ou estatísticas como "neutras", ignorando sua intenção argumentativa implícita.
• Ambiguidade de Anotação: Um estudo piloto de reanotação revelou que 46,4% dos casos onde o modelo discordou dos anotadores humanos eram casos limítrofes (borderline), e em muitos desses, a reanotação humana concordou com o modelo, sugerindo que parte do "erro" do modelo pode ser na verdade um erro de anotação ou ambiguidade no dataset.

5. Significado e Implicações

• Eficiência Computacional: O estudo demonstra que não é necessário recorrer aos maiores modelos proprietários para obter desempenho de ponta em mineração de argumentos. Modelos menores e de código aberto (como o GPT oss-120b), quando combinados com engenharia de prompts robusta e técnicas de ensemble, oferecem uma alternativa viável, escalável e mais barata.
• Necessidade de Novos Benchmarks: As métricas agregadas de acurácia não capturam as falhas estruturais dos modelos. O campo precisa de benchmarks que testem especificamente o raciocínio em nível de discurso, incluindo exemplos adversariais e construções contrastivas.
• Aplicações Práticas: Para cenários de alto risco (análise de políticas públicas, jurídica), a automação total deve ser usada com cautela devido a vieses de tópicos e falhas de inferência pragmática. Recomenda-se o uso de fluxos de trabalho híbridos (humano-AI).
• Futuro da Pesquisa: Sugere-se o foco no desenvolvimento de algoritmos de prompting mais sofisticados, o uso de RAG (Retrieval-Augmented Generation) e o fine-tuning de modelos menores para tarefas específicas de mineração de argumentos, além da melhoria na qualidade e formalização dos conjuntos de dados de anotação.

Em resumo, o trabalho confirma que os LLMs modernos representam um avanço significativo na mineração de argumentos, mas suas limitações em raciocínio pragmático e interpretação de discurso exigem abordagens híbridas e uma avaliação mais nuanceada do que simples pontuações de acurácia.