Resumo Técnico: CoEval

Declaração do Problema

Profissionais enfrentam um gargalo crítico ao selecionar modelos de linguagem para aplicações específicas e personalizadas (ex: resumir notas clínicas ou triagem de tickets de suporte). Esse desafio surge de duas condições convergentes:

1. Ausência de Dados Rotulados: Construir um benchmark representativo e específico para uma tarefa manualmente é lento, custoso e, muitas vezes, impossível para novos domínios ou domínios proprietários.
2. Benchmarks Públicos Não Confiáveis: Benchmarks estáticos padrão estão cada vez mais contaminados. Itens de teste vazam para os corpora de pré-treinamento, fazendo com que pontuações altas reflitam memorização em vez de generalização ou adequação ao caso de uso específico.

Soluções existentes, como benchmarks estáticos, sofrem de rigidez (não extensibilidade), suscetibilidade à contaminação e genericidade (distribuições de entrada incompatíveis). Enquanto isso, abordagens de "LLM-as-judge" (LLM como juiz) resolvem o custo e a extensibilidade, mas introduzem novos vieses, incluindo viés de posição, viés de verbosidade e auto-preferência (juízes que favorecem saídas de sua própria família de modelos).

Metodologia: O Framework CoEval

O CoEval é um framework declarativo de código aberto projetado para gerar um pipeline de avaliação novo e livre de contaminação, ranqueando modelos candidatos sem rótulos humanos. Ele opera através de um pipeline de cinco fases impulsionado por um único arquivo de configuração, separando três papéis distintos de modelos: Professor (Teacher), Aluno (Student) e Juiz (Judge).

1. Separação de Papéis

• Professor (Teacher): Sintetiza itens de benchmark direcionados ao domínio (prompts e respostas de referência) condicionados a atributos alvo declarados.
• Aluno (Student): Os modelos candidatos sob avaliação produzem respostas aos prompts gerados.
• Juiz (Judge): Pontua as respostas dos alunos contra uma rubrica gerada automaticamente.
• Princípio de Design: O conjunto de juízes é explicitamente distinto, em termos de família de fornecedor, do aluno sob teste. Essa separação estrutural impede que um modelo pontue sua própria família, eliminando o canal de auto-preferência por design.

2. Geração Estratificada por Atributos

Em vez de amostragem uniforme, o CoEval define um conjunto de atributos alvo (ex: dificuldade, tópico, tipo de raciocínio) e estratifica a geração através de seu produto cartesiano. O amostrador garante um número mínimo de itens por estrato ($n_s \ge \lfloor N/|S| \rfloor$), assegurando que casos de borda e regiões minoritárias da distribuição de implantação sejam cobertos. Como os itens são sintetizados do zero a partir da especificação de atributos a cada execução, eles são estruturalmente resistentes à contaminação; eles não podem ter aparecido nos dados de pré-treinamento de nenhum aluno.

3. Ensemble de Juízes de Diferentes Famílias e Agregação

As respostas são pontuadas por um painel de juízes extraídos de distintos fornecedores de modelos (ex: OpenAI, Anthropic, Google, modelos de pesos abertos).

• Composição sobre Tamanho: O framework postula que a confiabilidade é impulsionada pela diversidade de fornecedores (composição), e não pelo tamanho do painel. Um painel grande de juízes da mesma família amplifica vieses compartilhados, enquanto um painel pequeno e diverso os cancela.
• Cancelamento de Viés: Juízes individuais frequentemente carregam vieses de sinais mistos (ex: um juiz recompensa a verbosidade enquanto outro a penaliza). A média das pontuações de um painel diversificado por fornecedor cancela esses vieses.
• Agregação: O agregador padrão é uma média não ponderada. O CoEval também oferece um agregador de confiabilidade não supervisionada que pondera os juízes pelo seu acordo médio com o consenso do painel, reduzindo o peso de outliers sem a necessidade de uma verdade fundamental (ground truth).

Principais Contribuições

1. Benchmarks Auto-Gerados e Resistentes à Contaminação: O CoEval gera benchmarks novos e controlados por atributos a cada execução, garantindo que os itens nunca tenham sido vistos durante o pré-treinamento do aluno.
2. Confiabilidade Impulsionada pela Composição: O artigo estabelece que a composição do painel de juízes (diversidade de fornecedores), e não o tamanho, é o fator decisivo para a confiabilidade. Um painel pequeno e bem escolhido de diferentes famílias é mais confiável do que um painel grande e homogêneo.
3. Agregação de Cancelamento de Viés: O framework impede estruturalmente a auto-preferência de mesma família e cancela empiricamente o viés de verbosidade através da agregação de um painel diverso.
4. Framework Reutilizável e Sem Rótulos: Fornece um pipeline declarativo e agnóstico a modelos que pode ser regenerado para qualquer domínio ou lançamento de modelo a baixo custo, substituindo leaderboards estáticos por avaliações renováveis e específicas para a aplicação.

Resultados Empíricos

O framework foi validado através de um estudo de média escala em quatro tarefas (sumarização, QA, geração de código, raciocínio) envolvendo 7.978 avaliações.

• Correlação com a Verdade Fundamental (Ground-Truth): Em tarefas de QA de correspondência exata (SciQ, ARC-Challenge) onde existe a verdade fundamental, as pontuações sem rótulos do CoEval acompanham a correção com uma correlação de Spearman de $\rho = 0,86$. Ele reproduz com sucesso o ranking real de modelos (ex: $gpt\text{-}4o\text{-}mini > gpt\text{-}3.5\text{-}turbo > llama\text{-}3.2\text{-}3b$).
• Confiabilidade do Ensemble: A confiabilidade (medida por ICC(3,k)) é não-monotônica com o tamanho do painel. Um painel de dois juízes de famílias distintas alcançou ICC = 0,70, enquanto a adição indiscriminada de juízes de baixo acordo reduziu a confiabilidade para 0,40.
• Arrependimento da Escolha do Juiz (Judge-Choice Regret): Selecionar um único juiz sem rótulos é arriscado; os candidatos a juízes variaram de anti-correlacionados ($\rho = -0,04$) a positivamente correlacionados ($\rho = 0,31$), um arrependimento de 0,35. O ensemble de famílias cruzadas nunca é anti-correlacionado.
• Cancelamento de Viés: Juízes individuais exibiram vieses de verbosidade variando de $r = -0,177$ a $r = +0,234$. O ensemble reduziu o viés absoluto médio em 93%, resultando em uma correlação entre comprimento e pontuação de $r = +0,010$ (o intervalo de confiança inclui zero).
• Resistência à Contaminação: Os itens gerados pelo CoEval mostraram zero sobreposição de 13-gramas verbatim com cinco grandes benchmarks públicos. Um estudo controlado demonstrou que benchmarks estáticos poderiam ranquear um modelo de 0.5B que memoriza acima de um modelo de fronteira, enquanto itens frescos do CoEval ranquearam corretamente o modelo de fronteira de forma superior.
• Eficiência de Custo: Todo o estudo de 7.978 avaliações custou USD 5,89 (aprox. $0,00074 por avaliação), tornando-o viável para ser executado novamente a cada lançamento de modelo.
• Estudos de Caso de Domínio: Aplicado a três verticais customizadas (interação de drogas, clínica, jurídica) sem dados rotulados, o CoEval produziu rankings defensáveis onde os juízes concordavam unanimemente ou evidenciavam discordâncias genuínas que um único juiz teria ocultado.

Significância e Alegações

O artigo afirma que o CoEval resolve o dilema do "sem dados, benchmark não confiável" ao fornecer um instrumento de avaliação renovável, livre de contaminação e endurecido contra vieses. Sua principal significância reside na mudança do paradigma de benchmarks estáticos e curados por humanos para pipelines dinâmicos e declarativos.

Os autores enfatizam que composição sobre tamanho é um princípio de design fundamental para o julgamento de LLMs: um painel diversificado de famílias cruzadas é o padrão de baixo arrependimento que neutraliza a auto-preferência e cancela vieses de sinais mistos sem calibração humana. Ao fechar o ciclo desde a geração de itens até a pontuação, o CoEval garante que tanto os itens de avaliação quanto os juízes sejam robustos contra as falhas específicas (memorização e viés) que assolam as práticas de avaliação atuais. O framework é apresentado não como um benchmark isolado, mas como uma ferramenta reutilizável para equipes regenerarem seus próprios leaderboards específicos de aplicação.