💬 NLP

Argument Quality Assessment with Large Language Models: A Pairwise Bradley-Terry Approach

Este artigo avalia a capacidade de 12 modelos de linguagem de grande escala de avaliar a qualidade de argumentos nas dimensões lógica, retórica e dialética por meio de comparações pareadas dentro de um quadro Bradley-Terry, constatando que, embora modelos como o Llama-70B mostrem alinhamento moderado com especialistas humanos, eles oferecem uma abordagem estável e parcialmente complementar à avaliação automatizada de argumentos.

Autores originais: Nicolás Benjamín Ocampo, Agnes Paullate Nyiranziza, Davide Ceolin

Publicado 2026-05-28

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nicolás Benjamín Ocampo, Agnes Paullate Nyiranziza, Davide Ceolin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está organizando um torneio massivo de debates. Você tem milhares de argumentos sobre tópicos como política, ciência e ética. Para decidir quem vence, você precisa saber quais argumentos são os mais fortes. Tradicionalmente, você contrataria um painel de juízes especialistas para ler cada argumento individualmente e classificá-los. Mas isso leva uma eternidade, custa uma fortuna, e diferentes juízes podem discordar uns dos outros.

Este artigo faz uma pergunta simples: Podemos substituir esses caros juízes humanos por Modelos de Linguagem de Grande Porte (LLMs)—o mesmo tipo de IA que alimenta os chatbots?

Aqui está a descrição do experimento deles, usando algumas analogias do cotidiano:

A Configuração: A Abordagem "Degustação"

Em vez de pedir à IA para dar uma nota de 1 a 10 para cada argumento (o que é difícil e inconsistente), os pesquisadores usaram um método de "Degustação".

O Método: Eles mostraram à IA dois argumentos de cada vez (Argumento A vs. Argumento B) e perguntaram: "Qual deles é melhor?"
As Dimensões: Eles não perguntaram apenas "qual é melhor?" de forma geral. Eles pediram à IA para julgar com base em três "sabores" específicos de qualidade:
1. Lógico: A matemática e o raciocínio fazem sentido? (A receita é realmente comestível?)
2. Retórico: É persuasivo e bem escrito? (A comida está apresentada de forma bonita?)
3. Dialético: Ele lida bem com contra-argumentos? (Ele resiste a um crítico gastronômico?)
O Placar: Uma vez que a IA fez milhares dessas escolhas "A vs. B", os pesquisadores usaram uma fórmula estatística (chamada de modelo Bradley-Terry) para transformar essas escolhas pareadas em uma classificação final, assim como ligas esportivas calculam rankings com base em registros de vitórias e derrotas.

O Experimento: O Painel de "Degustação"

Os pesquisadores não testaram apenas uma IA. Eles reuniram um painel de 12 modelos de IA diferentes de tamanhos variados (de modelos "compactos" pequenos a modelos "supercomputadores" massivos) de cinco famílias diferentes (como Llama, Mistral, Qwen, etc.).

Eles testaram essas IAs em três "modos" diferentes:

Zero-Shot: "Aqui estão dois argumentos. Escolha o vencedor." (Sem dicas).
Few-Shot: "Aqui estão dois argumentos. Além disso, aqui estão três exemplos de como um juiz humano escolheu vencedores no passado. Agora escolha o vencedor." (Aprendendo por exemplo).
Cadeia de Pensamento: "Pense passo a passo sobre a lógica, o estilo e os contra-argumentos antes de escolher um vencedor." (Raciocinando em voz alta).

Os Resultados: Quem Venceu o Torneio?

Os pesquisadores compararam a classificação final da IA com uma classificação "Padrão Ouro" criada por especialistas humanos reais.

O Jogador Estrela: O modelo Llama-70B (uma IA muito grande) usando o método "Few-Shot" (aprendendo por exemplo) foi o vencedor claro. Ele não correspondeu perfeitamente aos humanos, mas foi o mais próximo. Pense nele como um aluno que tirou B+ em uma prova onde os especialistas humanos tiraram A. Não foi perfeito, mas foi surpreendentemente bom.
Os Jogadores "Bons o Suficiente": Outros modelos grandes (como Qwen-72B) também se saíram bem, mostrando que cérebros grandes geralmente entendem a tarefa melhor.
As Surpresas: Alguns modelos menores se saíram razoavelmente, mas alguns modelos de tamanho médio realmente se saíram pior do que seus irmãos menores. Não se tratava apenas de "quanto maior, melhor".
A Verificação de Consistência: Os pesquisadores executaram os testes três vezes para ver se a IA mudaria de ideia. Os resultados foram muito estáveis. A IA mudou sua escolha de "vencedor" em menos de 8% dos casos. Isso é como um juiz que, se perguntado a mesma pergunta três vezes, dá a mesma resposta quase todas as vezes.

As Principais Conclusões

A IA é um Assistente Promissor, Não um Substituto: Os modelos de IA podem imitar especialistas humanos em um grau "moderado". Eles ainda não são juízes perfeitos, mas são bons o suficiente para ajudar a escalar o processo.
Exemplos Importam: Dar à IA alguns exemplos de como julgar (Few-Shot) ajudou os maiores modelos a se saírem melhor, atuando como uma "cola" que esclarecia as regras.
Modelos Diferentes Veem Coisas Diferentes: Alguns modelos concordaram com os especialistas humanos, enquanto outros concordaram com o melhor modelo de IA, mas não com os humanos. Isso sugere que diferentes IAs podem ter "perspectivas" ligeiramente diferentes sobre o que torna um argumento bom, e misturá-las pode ser ainda melhor do que confiar em apenas uma.

As Ressalvas (A "Letra Miúda")

Os autores têm o cuidado de apontar que isso ainda não é uma bala de prata:

O Conjunto de Dados: Os argumentos testados eram parágrafos curtos de debates online. Não sabemos se essas IAs funcionariam tão bem em ensaios longos e complexos ou em petições legais.
O Defeito do "Padrão Ouro": Os especialistas humanos que criaram as respostas "corretas" podem ter tido seus próprios vieses ou discordâncias. Se os humanos estavam errados ou inconsistentes, a IA pode apenas estar copiando essas inconsistências.
O Problema da "Caixa Preta": Às vezes, uma IA pode escolher um argumento porque ele soa confiante, mesmo que a lógica seja falha. É difícil saber exatamente por que a IA fez uma escolha sem investigar profundamente seu código.

Em resumo: Este artigo mostra que a IA pode ser uma "juíza assistente" útil para classificar argumentos. Ela ainda não está pronta para substituir o júri humano, mas é uma ferramenta poderosa que pode nos ajudar a avaliar milhares de argumentos de forma rápida e consistente.

Resumo Técnico: Avaliação da Qualidade de Argumentos com Modelos de Linguagem de Grande Escala: Uma Abordagem de Pareamento Bradley-Terry

Declaração do Problema

A avaliação automática da qualidade de argumentos é crítica para a persuasão eficaz, tomada de decisão e análise de discurso em campos que vão do direito à ciência. No entanto, a avaliação manual da qualidade de argumentos em escala permanece um gargalo devido aos altos custos e à inconsistência na anotação. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado capacidades em raciocínio e julgamento, permanece uma questão em aberto se eles podem replicar de forma confiável julgamentos de nível de especialista na avaliação da qualidade de argumentos. Pesquisas existentes oferecem resultados mistos quanto à capacidade dos LLMs de avaliar aspectos específicos de qualidade ou classificar argumentos, frequentemente dependendo de conjuntos limitados de modelos ou avaliações unidimensionais (por exemplo, convincente) em vez de estruturas multidimensionais.

Este estudo aborda a questão de pesquisa: Quão bem as comparações em pares de LLMs podem reproduzir as classificações de especialistas sobre a qualidade de argumentos? Ele investiga especificamente o desempenho de LLMs em diferentes tamanhos, famílias e estratégias de prompt em comparação com anotações de especialistas humanos.

Metodologia

O estudo utiliza o corpus Webis-ArgQuality-20, um conjunto de dados padrão-ouro compreendendo 1.610 textos em 20 tópicos de debate. O conjunto de dados inclui 13.952 comparações em pares anotadas por especialistas (via crowdsourcing) em três dimensões distintas de qualidade de argumento definidas por Wachsmuth et al. (2017b):

Qualidade Lógica: Foca na cogência, incluindo aceitabilidade local, relevância e suficiência das premissas.
Qualidade Retórica: Mede a eficácia e a persuasão, abrangendo credibilidade, apelo emocional, clareza, adequação e arranjo.
Qualidade Dialética: Avalia a razoabilidade e a capacidade de resolver discordâncias, incluindo aceitabilidade, relevância e suficiência (refutação).

Configuração Experimental

Os autores avaliaram 12 LLMs de pesos abertos de cinco famílias de modelos (Mistral, Llama 3, Qwen2.5, Olmo2 e Command-R), abrangendo escalas de parâmetros de 7B a 104B. A avaliação seguiu um protocolo estrito de comparação em pares, onde os modelos foram instruídos a selecionar o melhor argumento (A, B ou Empate) para uma dimensão específica de qualidade.

Três estratégias de prompt foram empregadas:

Zero-shot: Inserção da dimensão e do par de argumentos.
Cadeia de Pensamento (CoT): Instruir o modelo a raciocinar internamente sobre sub-dimensões (por exemplo, avaliar a relevância local antes de determinar a qualidade lógica) antes de emitir o rótulo final.
Few-shot: Fornecimento de três exemplos anotados por tópico (um para A, um para B, um para Empate) selecionados com base nas diferenças de pontuação de verdade absoluta para garantir clareza.

Agregação e Métricas

Para derivar pontuações de qualidade contínuas a partir de julgamentos discretos em pares, o estudo aplicou o modelo Bradley-Terry (BT). Esta abordagem estatística estima a probabilidade de um argumento ser preferido a outro ( $P(d_i \succ d_j) = \frac{\gamma_i}{\gamma_i + \gamma_j}$ ) para gerar pontuações de força latente e uma classificação final.

O desempenho foi avaliado usando:

Métricas de Correlação: Coeficientes de Pearson, Spearman e Kendall comparando as classificações BT derivadas de LLMs contra as classificações BT derivadas de especialistas.
Métricas de Erro: Erro Absoluto Médio (MAE) e Erro Quadrático Médio Raiz (RMSE).
Métricas de Concordância: $\kappa$ de Cohen e percentual de concordância para comparação direta de rótulos em pares.
Estabilidade: $\alpha$ de Krippendorff e análise de variabilidade em três execuções independentes para medir a consistência das previsões.

Resultados Principais

1. Desempenho do Modelo vs. Especialistas Humanos

O estudo encontrou que os LLMs alcançam correlação moderada com julgamentos de especialistas humanos, sem nenhum modelo atingindo alinhamento perfeito.

Melhor Desempenho: Llama-70B com prompting few-shot alcançou o maior alinhamento. Alcançou um $\kappa$ de Cohen de 0,493 e correlações com as pontuações BT de especialistas de 0,473 (Pearson), 0,477 (Spearman) e 0,327 (Kendall).
Vice-Campeão: Qwen2.5-72B (zero-shot) seguiu de perto com correlações de 0,463–0,466.
Tendências de Tamanho do Modelo: Geralmente, modelos maiores (70B+) superaram variantes menores (7B–32B) na correlação com especialistas. No entanto, a família Mistral foi uma exceção, onde a variante de 7B superou a variante de 22B na correlação, embora a variante de 22B tenha mostrado maior concordância entre anotadores (IAA).
Estratégias de Prompting: Não houve preferência universal por uma única estratégia. O prompting few-shot beneficiou significativamente modelos grandes (Llama-70B, Command-R-104B), mas foi frequentemente prejudicial ou neutro para modelos de tamanho médio. A Cadeia de Pensamento não melhorou consistentemente o desempenho e, às vezes, reduziu as pontuações de correlação em comparação com zero-shot.

2. Alinhamento entre LLMs

Ao comparar outros modelos contra a configuração de melhor desempenho (Llama-70B com few-shot):

Qwen2.5-72B e Olmo2-32B mostraram forte alinhamento com o Llama-70B.
Qwen2.5-7B (a variante pequena) surpreendentemente alinhou-se bem com sua contraparte maior e a melhor configuração.
Mistral-22B mostrou correlação próxima de zero com o Llama-70B, sugerindo uma compreensão divergente das dimensões de qualidade, embora ambos os modelos tenham alcançado concordância moderada com especialistas humanos. Isso indica que diferentes modelos podem capturar perspectivas complementares sobre a qualidade de argumentos.

3. Estabilidade e Variabilidade

As previsões de LLMs foram geralmente estáveis em três execuções de teste independentes.

Modelos Pequenos: Exibiram alta estabilidade (frequentemente 100% de concordância entre execuções), mas menor precisão em relação aos especialistas.
Modelos Grandes: Mostraram variabilidade ligeiramente maior, mas se beneficiaram do prompting few-shot, que reduziu a ocorrência de rótulos "todos desiguais" (conflitantes).
Pior Caso: Mistral-22B com prompting few-shot produziu a maior variabilidade, com 7,75% dos casos resultando em rótulos diferentes entre as três execuções.
Conclusão: Estratégias de agregação, como votação majoritária, são eficazes para lidar com a variabilidade restante.

Significado e Contribuições

O artigo reivindica três contribuições principais:

Avaliação Sistemática: Fornece a primeira avaliação extensa de 12 LLMs de pesos abertos em cinco famílias e três estratégias de prompting para avaliação multidimensional da qualidade de argumentos.
Aplicação de Bradley-Terry: É, segundo o conhecimento dos autores, a primeira aplicação do modelo Bradley-Terry para agregar julgamentos comparativos baseados em LLMs em mineração de argumentos, indo além de simples avaliações em escala Likert.
Insights sobre Comportamento do Modelo: O estudo revela que, embora os LLMs ainda não correspondam ao desempenho de nível de especialista, eles oferecem uma aproximação "promissora, mas moderada". Crucialmente, destaca que diferentes modelos exibem compreensão parcial, mas complementar, das dimensões de qualidade. Isso sugere que a combinação (ensembling) de modelos diversos poderia potencialmente superar a dependência de um único modelo de melhor desempenho.

Os autores mantêm uma postura modesta, reconhecendo que os LLMs ainda não são um substituto para especialistas humanos, mas servem como uma ferramenta escalável para aproximar classificações de especialistas. Eles enfatizam que a correlação moderada (até $\kappa \approx 0,49$ ) destaca tanto o potencial quanto as limitações atuais dos LLMs como avaliadores.

Limitações

O estudo nota várias limitações quanto à validade:

Validade Interna: A estabilidade foi testada na temperatura 1; temperaturas mais baixas não foram abaladas. Diferenças na formulação de prompts entre famílias de modelos podem influenciar a interpretação.
Validade Externa: Os resultados baseiam-se em argumentos curtos de debates online e podem não generalizar para textos complexos como ensaios. A verdade absoluta é limitada ao pool específico de anotadores do conjunto de dados Webis-ArgQuality-20. O estudo não incluiu ajuste fino (fine-tuning), o que poderia produzir características de desempenho diferentes.
Validade de Construto: Existe o risco de os LLMs avaliarem com base em características superficiais (por exemplo, formulação confiante) em vez de validade lógica profunda. A separação de dimensões nos prompts pode não prevenir totalmente a contaminação cruzada de dimensões no raciocínio do modelo.
Validade de Conclusão: O tamanho do conjunto de dados (13.952 comparações) é menor do que em alguns trabalhos anteriores, potencialmente limitando a robustez estatística das classificações Bradley-Terry.