ArgBench: Benchmarking LLMs on Computational Argumentation Tasks

1. O Problema

As habilidades de argumentação são fundamentais para modelos de linguagem grandes (LLMs), sendo essenciais em aplicações como combate a discursos de ódio, verificação de desinformação e raciocínio crítico. No entanto, a pesquisa atual em computação argumentativa carece de benchmarks padronizados e abrangentes para avaliar LLMs.

• Limitações existentes: Benchmarks de raciocínio existentes (como ARC ou MMLU) focam em tarefas com uma única resposta correta (ex: matemática), ignorando a natureza complexa da argumentação, que envolve perspectivas conflitantes e caminhos de raciocínio divergentes.
• Falta de Escala: Trabalhos anteriores focados em argumentação são limitados em escopo, cobrindo apenas poucas habilidades (como mineração ou geração) e não avaliando a generalização dos modelos entre diferentes tarefas de argumentação.

2. Metodologia

Os autores propõem o ArgBench, o primeiro benchmark unificado para avaliação padronizada de abordagens baseadas em LLMs em tarefas de computação argumentativa.

2.1. O Dataset (ArgBench)

• Escala: O benchmark unifica 33 conjuntos de dados anteriores, totalizando 46 tarefas.
• Categorias de Habilidades: As tarefas são agrupadas em cinco habilidades principais:
  1. Mineração de Argumentos: Extração de unidades, detecção de relações, segmentação.
  2. Avaliação de Perspectiva: Detecção de postura (stance), identificação de frames, similaridade de argumentos.
  3. Avaliação de Qualidade: Classificação de qualidade, ranking de argumentos, detecção de claims subótimos.
  4. Raciocínio sobre Argumentos: Detecção de falácias, identificação de garantias (warrants), classificação de esquemas.
  5. Geração de Argumentos: Geração de contra-argumentos, otimização de claims, sumarização.
• Formato: As tarefas foram reformatadas uniformemente como prompts para LLMs, cobrindo três tipos de saída: classificação, geração e segmentação.

2.2. Configurações de Avaliação

Dois cenários de avaliação foram utilizados para testar diferentes capacidades dos modelos:

1. Prompting (Zero-shot, Few-shot, Chain-of-Thought): Avalia a capacidade "pronta para uso" (out-of-the-box) dos LLMs sem ajuste fino (fine-tuning).
2. Leave-One-Task-Out (LOTO): Avalia a capacidade de generalização. O modelo é ajustado (fine-tuned) em todas as tarefas de um conjunto, exceto uma (a tarefa alvo), e depois testado na tarefa não vista. Isso mede a transferência de habilidades entre tarefas distintas.

2.3. Modelos Avaliados

Foram testados 11 LLMs de última geração (incluindo famílias Mistral, Qwen, Llama, DeepSeek-R1, Phi e GPT-4.1), variando de 4 bilhões a 1,8 trilhão de parâmetros, cobrindo diferentes arquiteturas e métodos de pós-treinamento.

3. Principais Contribuições

1. Benchmark Abrangente: Criação do ArgBench, cobrindo 46 tarefas de argumentação computacional, superando em amplitude qualquer estudo anterior.
2. Análise Quantitativa de Generalização: Primeira avaliação sistemática da capacidade de LLMs de generalizar habilidades de argumentação para tarefas não vistas (via configuração LOTO).
3. Insights sobre Habilidades: Identificação de quais habilidades os LLMs dominam nativamente e quais exigem mais recursos ou abordagens sofisticadas.
4. Código e Dados Abertos: Disponibilização do código experimental e dos dados do benchmark para reprodutibilidade.

4. Resultados Chave

4.1. Desempenho em Prompting

• Escala do Modelo: Modelos maiores geralmente superam os menores, especialmente em mineração de argumentos, avaliação de perspectivas e raciocínio.
• Técnicas de Prompting:
  • Few-shot funcionou melhor para modelos grandes em tarefas de raciocínio e geração.
  • Chain-of-Thought (CoT) foi eficaz para avaliação de qualidade, mas surpreendentemente performou mal ou similar ao zero-shot em tarefas de raciocínio para algumas famílias de modelos (Llama, Mistral, Qwen), indicando dificuldades em processar linguagem emocional e seguir instruções complexas.
• Dificuldade Relativa: A Avaliação de Qualidade de Argumentos mostrou-se a habilidade mais desafiadora para todos os modelos, com ganhos marginais ao aumentar o tamanho do modelo ou usar técnicas de prompting.

4.2. Generalização (Leave-One-Task-Out)

• Limitações de Generalização: A generalização cruzada entre tarefas de argumentação é limitada. Modelos ajustados em todas as outras tarefas geralmente tiveram desempenho inferior ao ajuste específico na tarefa alvo.
• Exceções: Modelos como DeepSeek-R1-32b e Mistral-22b mostraram melhor generalização em tarefas de detecção de ad hominem e avaliação de qualidade, sugerindo que conceitos de avaliação podem ser mais transferíveis do que conceitos de extração ou geração.
• Transferência de Habilidades: Um experimento de transferência mostrou que treinar em tarefas de mineração de argumentos ajuda na geração de contra-argumentos, enquanto tarefas de avaliação de perspectiva ajudam na segmentação de unidades.

4.3. Avaliação Manual

Uma avaliação humana em tarefas de geração de contra-argumentos confirmou que o ajuste fino específico na tarefa é crucial para o desempenho ótimo. Modelos sem treino específico na tarefa tendem a gerar posições opostas, mas falham em fundamentá-las como argumentos bem estruturados.

5. Significância e Conclusão

O ArgBench estabelece um novo padrão para a avaliação de LLMs em tarefas complexas de raciocínio e argumentação. Os resultados indicam que, embora os LLMs tenham progressos significativos, eles ainda lutam com nuances sutis da argumentação humana, como a avaliação de qualidade e o raciocínio lógico profundo em contextos emocionais.

O trabalho destaca que:

• A generalização para tarefas não vistas em argumentação é um desafio aberto.
• O ajuste fino (fine-tuning) específico continua sendo necessário para aplicações de alta qualidade.
• Futuras pesquisas devem focar em como selecionar conjuntos de treinamento ideais para transferir habilidades específicas de argumentação.

Em suma, o ArgBench fornece a infraestrutura necessária para guiar o desenvolvimento de LLMs mais robustos, capazes de lidar com a complexidade do debate e da persuasão humana.