💬 NLP

(Towards) Scalable Reliable Automated Evaluation with Large Language Models

Este artigo apresenta uma estrutura escalável e agnóstica ao domínio que aproveita comparações pareadas entre múltiplos LLMs e um sistema de classificação Elo para gerar avaliações confiáveis, de nível especialista, das saídas de LLMs com limiares de confiança ajustáveis, reduzindo significamente a necessidade de intervenção humana.

Autores originais: Bertil Braun, Martin Forell

Publicado 2026-07-31

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Bertil Braun, Martin Forell

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o editor de uma biblioteca massiva e caótica onde milhares de novos livros estão sendo escritos todos os dias por uma frota de robôs superinteligentes. Esses robôs, conhecidos como Grandes Modelos de Linguagem (LLMs), podem escrever histórias, responder perguntas e resumir ideias complexas com uma velocidade incrível. Mas há um porém: como você sabe qual robô escreveu a melhor história? Nos velhos tempos, você precisaria de uma equipe de bibliotecários humanos para ler cada página, compará-las e discutir sobre quem era o melhor. Isso leva uma eternidade, custa uma fortuna e diferentes bibliotecários podem discordar sobre o que significa ser "bom". Este é o problema que cientistas na área de Inteligência Artificial estão tentando resolver: criar uma maneira de julgar a escrita dos robôs que seja rápida, justa e que não exija que um humano leia cada palavra. Para fazer isso, eles usam alguns truques engenhosos. Primeiro, eles pedem aos robôs que julguem uns aos outros, como um painel de críticos. Segundo, eles usam um sistema de pontuação emprestado do xadrez, chamado classificação Elo, que classifica jogadores com base em quem vence quem em confrontos diretos. Finalmente, eles observam o quão bem os juízes robôs concordam com especialistas humanos reais para ver se o sistema funciona.

Este artigo apresenta uma nova maneira escalável de avaliar a qualidade do texto gerado por esses robôs de IA. Em vez de pedir a um único robô que dê uma nota (o que pode ser tendencioso ou inconsistente), os autores estabeleceram um torneio massivo. Eles pegam uma série de diferentes saídas de texto — como resumos de pesquisas científicas — e fazem com que vários modelos de IA diferentes disputem partidas "cabeça a cabeça" entre si. Em cada partida, dois textos são apresentados a um juiz de IA, que deve decidir qual deles é melhor com base em regras específicas. Para garantir que o juiz não esteja apenas escolhendo o texto que aparece por último ou o que é mais prolixo, o sistema inverte a ordem dos textos e utiliza vários modelos de IA diferentes para votar no vencedor.

Depois que todas as partidas são jogadas, os resultados são alimentados em um sistema de classificação Elo. Pense nisso como um ranking de xadrez: se um texto vence um oponente forte, ele ganha muitos pontos; se perde, perde pontos. Com o tempo, isso cria uma lista clara e classificada do "melhor" texto para o "pior". Os autores testaram isso fazendo com que modelos de IA gerassem "perfis de competência" (resumos do que um pesquisador é bom em fazer) com base em resumos científicos. Eles então compararam os rankings gerados pela IA com os rankings feitos por 20 especialistas humanos. Os resultados sugerem que, quando múltiplos modelos de IA votam juntos, seus rankings coincidem surpreendentemente bem com os especialistas humanos. Na verdade, usar uma votação de maioria simples (onde a IA só precisa de 50% de concordância para declarar um vencedor) funcionou melhor do que exigir unanimidade total, o que frequentemente levava a muitos "empates" e nenhum vencedor claro. O estudo mostra que este método pode reduzir significamente a necessidade de humanos fazerem o trabalho pesado, oferecendo uma maneira confiável e automatizada de filtrar vastas quantidades de conteúdo gerado por IA. No entanto, os autores observam que este processo ainda é computacionalmente caro, exigindo muitas comparações, e que funciona melhor quando múltiplos modelos de IA diferentes são usados para equilibrar as peculiaridades e vieses uns dos outros.

Resumo Técnico: Rumo a uma Avaliação Automatizada Escalável e Confiável com Grandes Modelos de Linguagem

Declaração do Problema

Avaliar a qualidade e a relevância dos outputs textuais de Grandes Modelos de Linguagem (LLMs) continua sendo um desafio significativo. As abordagens tradicionais enfrentam duas limitações primárias:

Julgamento Humano: Embora preciso, é intensivo em recursos, inconsistente e difícil de escalar.
Métricas Baseadas em Referência: Métricas padrão (ex: BLEU, ROUGE) dependem de padrões de referência explícitos, limitando sua utilidade em tarefas abertas ou criativas onde não existem benchmarks objetivos. Além disso, essas métricas frequentemente falham em capturar a variabilidade matizada inerente ao texto gerado por LLMs.

Métodos automatizados existentes, como a pontuação por um único LLM ou métricas baseadas em probabilidade sem referência, frequentemente exibem correlação limitada com julgamentos humanos e sofrem de vieses (ex: posicionamento, verbosidade e vieses estilísticos). Há uma necessidade crítica de um framework de avaliação robusto, escalável e agnóstico ao domínio que possa aproximar avaliações de nível especialista sem intervenção humana extensiva.

Metodologia

O artigo propõe um framework de avaliação de três estágios que utiliza múltiplos LLMs e um sistema de classificação Elo para gerar rankings estáveis e interpretáveis de saídas de texto livre.

1. Visão Geral do Pipeline

A metodologia consiste em três estágios distintos:

I. Geração de Itens: Múltiplos outputs candidatos (itens) são gerados para uma determinada tarefa (ex: sumarização ou extração de perfil de competência). A diversidade é garantida através da variação de hiperparâmetros, LLMs distintos ou estilos de redação alternativos.
II. Comparação Pareada Sistemática: Em vez de atribuir pontuações absolutas (que são propensas à subjetividade), o framework realiza comparações diretas item a item.
- Agregação Multi-LLM: Múltiplos LLMs avaliam cada par para reduzir os vieses individuais dos modelos.
- Avaliação Bidirecional: Para mitigar o viés de posição, cada par é avaliado em ambas as ordens (ex: "A é melhor que B?" e "B é melhor que A?").
- Engenharia de Prompt: O sistema emprega técnicas de Estado da Arte (SOTA), incluindo Role Prompting, raciocínio de Cadeia de Pensamento (Chain-of-Thought - CoT) e Geração Aumentada por Recuperação (RAG). O RAG é usado para injetar exemplos contextualmente relevantes nos prompts, criando um cenário de poucos disparos (few-shot) para guiar os LLMs em direção a critérios consistentes.
III. Sistema de Classificação Elo: Os resultados das comparações pareadas são agregados usando o sistema de classificação Elo para produzir um ranking global final. Este sistema dinâmico atualiza as classificações dos itens com base nos resultados de vitória/derrota/empate, garantindo que os rankings reflam a qualidade relativa.

2. Lidar com Múltiplas Avaliações e Limiares de Concordância

Para reconciliar os julgamentos de múltiplos LLMs, o framework explora duas estratégias de agregação:

Consenso Baseado em Limiar: Um julgamento pareado resulta em vitória/derrota apenas se uma porcentagem especificada de LLMs concordar (ex: 100%, 75%, 50%). Se o limiar não for atingido, a comparação é tratada como um empate.
Sem Limiar (Atualizações Individuais): O julgamento de cada LLM aciona uma atualização de Elo independente. Esta abordagem agrega sinais proporcionalmente (ex: se 80% preferem A, a atualização reflete um impulso líquido de 60% em direção a A) em vez de colapsar os julgamentos em uma única decisão binária ou um empate.

3. Mitigação de Viés

O framework aborda vieses específicos de LLM através de:

Prompt Neutro: Prompts cuidadosamente elaborados para evitar influenciar os julgamentos.
Verificações Bidirecionais: Inverter a ordem dos itens para combater o viés de posição.
Integração de RAG: Uso de exemplos recuperados para fundamentar as avaliações em critérios estabelecidos, reduzindo vieses estilísticos e de verbosidade.

Implementação Experimental

O framework foi implementado e testado usando um caso de uso específico: geração de perfis de competência a partir de resumos científicos.

Dados: Os resumos foram obtidos de repositórios públicos (KITopen, OpenAlex).
Geração: Um modelo llama-3.1-70B gerou perfis de competência (identificando domínios de pesquisa e 5–8 competências principais) a partir dos resumos.
Avaliação: Múltiplos LLMs SOTA (incluindo gemma2-9b-it, llama-3.1-8b, gpt-4o-mini, gemini-2.0-flash e mixtral-8x7b) realizaram comparações pareadas dos perfis gerados contra os resumos de origem.
Verdade Fundamental (Ground Truth): 20 especialistas humanos forneceram seus próprios resumos de pesquisa e classificaram manualmente os perfis gerados com base na relevância e precisão.

Resultados

O estudo comparou os rankings automatizados (via Elo) contra os rankings de especialistas humanos usando o coeficiente de correlação de postos de Spearman ( $\rho$ ) e o tau de Kendall ( $\tau$ ).

Desempenho Multi-LLM:
- Limiares de concordância altos (1.0 ou 0.9) resultaram em correlações moderadas, mas sofreram com altas taxas de empate, descartando concordâncias parciais informativas.
- Reduzir o limiar para uma maioria simples (0.5) ou usar a abordagem Sem Limiar rendeu as correlações mais fortes com os julgamentos dos especialistas.
- Melhores Resultados: A configuração multi-LLM com um limiar de 0.5 alcançou um Spearman $\rho$ de 0.830 e um Kendall $\tau$ de 0.780. A abordagem Sem Limiar teve desempenho similar ( $\rho$ = 0.820).
- Os resultados sugerem que LLMs diversos moderam mutuamente o ruído uns dos outros, tornando a abordagem Sem Limiar eficaz.
Desempenho de LLM Único:
- Ao usar um único modelo (llama-3.1-8b), a abordagem Sem Limiar foi menos eficaz do que o limiar de 0.5, pois sinais contraditórios não puderam ser compensados por outros modelos.
- No entanto, mesmo em cenários de modelo único, limiares mais baixos (0.5) superaram requisitos de consenso elevados.
Robustez: As correlações permaneceram estáveis (dentro de $\pm 0.03$ ) ao variar os limiares entre 0.50 e 0.75, indicando que os rankings finais são robustos a essa escolha de parâmetro.

Principais Contribuições

Framework Inovador: Introdução de um framework de avaliação escalável que aproxima avaliações de nível especialista usando comparações pareadas de múltiplos LLMs e um sistema de classificação Elo.
Estratégia de Mitigação de Viés: Uma abordagem sistemática para reduzir os vieses de LLM (posição, verbosidade, estilo) através de avaliação bidirecional, prompting aprimorado por RAG e agregação multi-modelo.
Agregação Flexível: A proposta e avaliação de limiares de concordância ajustáveis (da unanimidade total ao voto de maioria) e uma variante "Sem Limiar" que preserva a proporcionalidade do sinal.
Validação Empírica: Demonstração de que os rankings derivados automaticamente correlacionam-se bem com os julgamentos dos especialistas (Spearman $\rho \approx 0.83$ ), reduzindo significativamente a necessidade de intervenção humana extensiva.
Interpretabilidade: O uso de pontuações Elo permite a quantificação das lacunas de desempenho (ex: uma diferença de 100 pontos implica uma probabilidade de vitória de ~64%), fornecendo mais insights do que a simples ordenação de postos.

Significância e Alegações

O artigo afirma oferecer uma camada de avaliação escalável, consistente e agnóstica ao domínio para os outputs de LLMs. Ao alavancar a inteligência coletiva de múltiplos modelos e a robustez estatística do sistema Elo, o framework aborda as limitações tanto da escala humana quanto das métricas baseadas em referência.

Os autores enfatizam que esta abordagem suporta avaliações de qualidade mais eficientes e confiáveis em diversas aplicações, particularmente para geração de texto livre onde benchmarks objetivos não estão disponíveis. Embora o método reduza significativamente a carga de trabalho humana, o artigo mantém uma postura modesta, reconhecendo que ele serve como uma aproximação do julgamento especialista, e não um substituto perfeito. O framework é apresentado como uma ferramenta para apoiar, não substituir inteiramente, a supervisão humana, particularmente em decisões de alto risco.

Limitações

O artigo nota explicitamente várias limitações:

Sobrecarga Computacional: O requisito $O(n^2)$ para comparações pareadas, multiplicado pelas inferências de múltiplos LLMs, cria custos computacionais significativos, especialmente com modelos comerciais.
Problemas de Transitividade: Comparações de LLM podem carecer de transitividade, complicando o uso de algorit algoritmos de ordenação baseados em comparação para reduzir a complexidade para $O(n \log n)$ .
Diferenças Sutis: Quando os itens são quase equivalentes, os vieses individuais dos LLMs podem levar a resultados divergentes, embora o sistema Elo ajude a evidenciar isso como pontuações "praticamente empatadas".
Tamanho do Pool de Especialistas: A validade dos resultados é limitada pelo tamanho e diversidade atual do pool de especialistas usado para a verdade fundamental.