📊 statistics

Statistical Methods for Multiple Language Model Comparison on a Shared Evaluation

Este artigo propõe um modelo unificado de efeitos aleatórios que estende os métodos estatísticos pareados padrão para comparar rigorosamente múltiplos modelos de linguagem em avaliações agrupadas compartilhadas, demonstrando, por meio de simulações e dados do mundo real, que classificações pareadas precisas dependem de considerar adequadamente tanto as correlações ao nível das questões quanto as múltiplas comparações.

Autores originais: Juan Francisco Mandujano Reyes

Publicado 2026-08-25

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Juan Francisco Mandujano Reyes

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, que evolui rapidamente, pesquisadores constroem constantemente novos programas de computador projetados para compreender e gerar linguagem humana. Para determinar qual programa é o mais inteligente, eles os submetem a uma série de testes, de forma muito semelhante a um exame padronizado para estudantes. Esses testes consistem em milhares de perguntas abrangendo tópicos que vão de história e ciência até lógica e matemática. Durante anos, a maneira padrão de comparar esses programas tem sido observar suas pontuações médias. Se um programa obtém uma porcentagem maior de respostas corretas do que outro, ele é declarado o vencedor. No entanto, essa abordagem simples frequentemente ignora um detalhe crucial: as perguntas em si não são todas iguais. Algumas perguntas são inerentemente mais difíceis do que outras, e perguntas dentro do mesmo assunto, como um conjunto de problemas de matemática, tendem a ser correlacionadas. Se dois programas têm dificuldade com as mesmas questões matemáticas difíceis, suas pontuações estão ligadas, não são independentes. Ignorar essas conexões pode fazer com que um programa pareça melhor ou pior do que realmente é, levando a classificações confusas ou incorretas nos placares que guiam o campo.

Um pesquisador propôs-se a corrigir esse problema desenvolvendo uma forma mais rigorosa de comparar múltiplos modelos de linguagem de uma só vez. Em vez de tratar cada pergunta como um evento isolado, ele propôs uma estrutura estatística que reconhece a estrutura do próprio teste. Ele tratou os diferentes programas de computador como os principais sujeitos de interesse, enquanto via as perguntas e os grupos de perguntas aos quais pertencem como variações aleatórias que afetam a todos. Ao usar um modelo estatístico único e unificado, ele pôde levar em conta o fato de que o mesmo conjunto de perguntas era usado para cada programa. Essa abordagem permitiu separar a verdadeira habilidade do modelo da dificuldade das perguntas específicas e do agrupamento natural dessas perguntas em categorias como compreensão de leitura ou tradução.

O pesquisador testou seu método usando dados reais de um importante benchmark chamado MMLU-Pro, que contém mais de 12.000 perguntas em 14 áreas de conhecimento diferentes. Eles selecionaram seis modelos de linguagem populares de tamanho semelhante e fizeram com que todos respondessem exatamente às mesmas 1.497 perguntas. Quando analisaram os resultados usando seu novo método, descobriram que a maneira padrão de comparar modelos frequentemente levava a conclusções falsas. Em seus estudos de simulação, eles mostraram que, se você simplesmente comparar modelos par a par sem corrigir o fato de que está realizando muitas comparações ao mesmo tempo, você tem uma alta probabilidade de declarar que existe uma diferença quando, na verdade, trata-se apenas de ruído aleatório. Em seu teste no mundo real, descobriram que várias afirmações sobre qual modelo era melhor que outro desapareceram assim que aplicaram as correções estatísticas adequadas. Por exemplo, um modelo parecia vencer outro por uma pequena margem, mas, após contabilizar as múltiplas comparações e a estrutura das perguntas, essa diferença não era mais estatisticamente significativa.

O estudo também destacou a importância de como as perguntas são agrupadas. Quando as perguntas são agrupadas por tópico, como um bloco de problemas de matemática, o desempenho dos modelos nessas perguntas é correlacionado. O pesquisador descobriu que ignorar esse agrupamento pode subestimar a incerteza nas pontuações em um fator de até quase três vezes. Ao usar seu modelo de efeitos mistos, que trata esses grupos como fatores aleatórios, eles puderam medir com precisão quanto da variação nas pontuações veio do assunto em si versus a habilidade real do modelo. Isso revelou que, embora o agrupamento de assuntos desempenhe um papel, o principal motor das diferenças era o próprio modelo, mas apenas quando o ruído estatístico era devidamente controlado.

Fundamentalmente, o artigo fornece um conjunto claro de recomendações sobre como o campo deve seguir adiante. O pesquisador argumenta que, antes de declarar qualquer classificação entre múltiplos modelos, os cientistas devem primeiro realizar um teste amplo para ver se existem quaisquer diferenças entre o grupo. Se esse teste mostrar uma diferença, eles devem então usar métodos específicos e corrigidos para comparar os modelos dois a dois, garantindo que a chance de um alarme falso permaneça baixa. Eles também aconselham que, quando as perguntas forem agrupadas por tópico, esses grupos devem ser incluídos no modelo estatístico em vez de tentar ajustar os números manualmente. Ao seguir esses passos, a comunidade pode garantir que os placares nos quais confiam reflitam melhorias genuínas na inteligência artificial, e não artefatos de como os dados foram analisados. O trabalho não pretende ter resolvido todos os problemas de avaliação, mas oferece uma base sólida e comprovada para realizar comparações justas e precisas em um campo onde os riscos são altos e a margem de erro é pequena.

Resumo Técnico: Métodos Estatísticos para Comparação de Múltiplos Modelos de Linguagem em uma Avaliação Compartilhada

Declaração do Problema

As práticas atuais de avaliação em pesquisa de Modelos de Linguagem de Grande Escala (LLM) frequentemente envolvem a comparação simultânea de $K > 2$ modelos em um conjunto compartilhado de questões, como em leaderboards, estudos de ablação ou varreduras de hiperparâmetros. Embora a literatura existente (ex: Miller [7]) forneça estruturas estatísticas rigorosas para comparar exatamente dois modelos usando testes t pareados e erros padrão agrupados, essas ferramentas não escalam naturalmente para múltiplos modelos.

O principal desafio estatístico surge quando pesquisadores realizam comparações pareadas em todos os $K(K-1)/2$ pares de modelos sem correção. Essa abordagem ignora o problema das múltiplas comparações, levando a taxas infladas de falsas descobertas. Por exemplo, com $K=4$ modelos e um nível de significância de $\alpha=0,05$ , a probabilidade de cometer pelo menos um falso positivo excede 25%. Além disso, testes não pareados padrão falham em considerar a correlação entre modelos que respondem às mesmas questões, e abordagens que negligenciam a estrutura hierárquica das questões (ex: agrupamento por assunto ou passagem) podem levar a erros padrão subestimados.

Metodologia

O artigo propõe um modelo de efeitos aleatórios unificado para lidar com pontuações de $K$ modelos em um conjunto de avaliação compartilhado, tratando modelos como efeitos fixos e questões (ou agrupamentos de questões) como efeitos aleatórios.

1. O Modelo Geral

Para $K$ modelos respondendo a $n$ questões, a pontuação $s_{i,m}$ do modelo $m$ na questão $i$ é decomposta como:
$s_{i,m} = \mu + \alpha_m + \delta_i + \gamma_{i,m}$
Onde:

$\alpha_m$ é o efeito fixo do modelo $m$ (a quantidade de interesse).
$\delta_i$ é um efeito aleatório ao nível da questão compartilhado por todos os modelos.
$\gamma_{i,m}$ é o ruído residual.

Esta formulação permite que a soma total dos quadrados seja particionada em componentes de modelo, questão e residual.

2. Procedimento de Teste em Duas Etapas

O autor recomenda uma lógica de duas etapas para controlar a taxa de erro por família (FWER):

Teste Omnibus: Primeiro, ajusta-se o modelo usando uma ANOVA de medidas repetidas de uma via (ou um Modelo Linear Misto para dados agrupados) para testar a hipótesa nula $H_0: \alpha_1 = \dots = \alpha_K = 0$ . Este teste único controla o FWER.
Análise Post-Hoc: Somente se o teste omnibus for significativo, procede-se aos contrastes pareados.
- Para designs balanceados e não agrupados, utiliza-se o teste de Tukey.
- Para designs desbalanceados ou agrupados, o artigo defende o uso de Médias Marginais Estimadas (EMM) com ajustes explícitos de multiplicidade (ex: Holm ou Bonferroni para garantias exatas, ou tipo Tukey como uma aproximação).

3. Extensão para Dados Agrupados (Clustered Data)

Para abordar grupos de questões correlacionados (ex: passagens de compreensão de leitura, categorias de assuntos), o modelo é estendido para um Modelo Linear Misto:
$s_{i,c,m} = \mu + \alpha_m + u_c + \delta_{i,c} + \epsilon_{i,c,m}$
Onde $u_c$ representa o efeito aleatório do cluster $c$ e $\delta_{i,c}$ é o efeito aleatório da questão $i$ aninhado dentro do cluster $c$ . Esta abordagem estima componentes de variância ( $\tau^2$ para clusters, $\sigma^2_q$ para questões) diretamente, generalizando as fórmulas de erros padrão agrupados de Miller para qualquer $K$ .

Principais Contribuições

Estrutura Unificada: O artigo estabelece que os estimadores pareados e agrupados de Miller para $K=2$ são casos especiais de um modelo geral de efeitos aleatórios. Esta estrutura estende esses resultados para qualquer $K > 2$ e lida com designs desbalanceados e agrupados sem exigir novas derivações para cada cenário.
Recuperação de Estimadores Existentes: O autor demonstra que o ajuste deste modelo via ANOVA ou Modelos Lineares Mistos recupera as propriedades estatísticas exatas de testes t pareados e erros padrão agrupados quando $K=2$ .
Correção para Multiplicidade e Agrupamento: O trabalho destaca que ignorar múltiplas comparações leva a rankings instáveis e que ignorar o agrupamento de questões subestima os erros padrão (por fatores de 1,4–2,7× em simulações).
Implementação Prática: O artigo fornece código R concreto (usando lme4 e lmerTest) e um fluxo de trabalho reproduzível para pesquisadores implementarem essas correções.

Resultados Empíricos

A metodologia foi validada através de simulação e uma aplicação de dados reais.

Estudo de Simulação

Estendendo o exemplo "Galleon/Dreadnought" de Miller para quatro modelos ( $K=4$ ) com 400 questões compartilhadas:

Taxa de Falsas Descobertas: Testes z pareados não corrigidos resultaram em uma taxa de erro por família de $\approx 0,26$ para $\alpha=0,05$ , enquanto a ANOVA de medidas repetidas omnibus manteve a taxa em $\approx 0,05$ .
Impacto do Agrupamento: Ignorar o agrupamento quando presente subestimou os erros padrão por um fator de 1,4–2,7×.

Aplicação em Dados Reais (MMLU-Pro)

A estrutura foi aplicada a seis modelos de aproximadamente 7B de parâmetros avaliados em uma subamostra estratificada de 1.497 questões do MMLU-Pro através de 14 clusters de assuntos.

Impacto da Multiplicidade: Enquanto os testes pareados não corrigidos identificaram 5 diferenças pareadas significativas, apenas 3 sobreviveram à correção de Bonferroni ou Holm. Especificamente, as afirmações de que o Mistral-7B-v0.1 superou o Qwen1.5-7B-Chat e que o Yi-6B-Chat venceu o Mistral-7B-Instruct-v0.1 mostraram-se indistinguíveis do ruído uma vez que a multiplicidade foi contabilizada.
Impacto do Bloqueio: A ANOVA de medidas repetidas devidamente bloqueada ( $F=4,45, p=4,8 \times 10^{-4}$ ) demonstrou poder significativamente maior comparado a uma ANOVA de uma via que ignorava a identidade da questão ( $F=2,90, p=0,013$ ).
Componentes de Variância: O modelo de efeitos mistos estimou que o agrupamento por categoria de assunto explicava uma parte modesta, mas real, da variância residual ( $\hat{\tau}^2 \approx 0,011$ ), informando decisões sobre a inclusão de correções de agrupamento para benchmarks específicos.

Significância e Recomendações

O artigo argumenta que as afirmações de ranking em avaliações de LLM são frágeis e dependem fortemente do procedimento estatístico utilizado. O autor conclui que um único modelo de efeitos aleatórios generaliza efetivamente as técnicas de comparação de dois modelos para cenários de múltiplos modelos, modelando explicitamente as estruturas de correlação e controlando as taxas de erro.

Recomendações Principais para Pesquisadores:

Omnibus Primeiro: Sempre execute uma ANOVA de medidas repetidas (ou teste de Friedman) antes de fazer afirmações pareadas.
Ajuste para Multiplicidade: Siga os testes omnibus significativos com procedimentos post-hoc de multiplicidade ajustada (Holm/Bonferroni para garantias exatas em designs complexos).
Modele o Agrupamento: Use modelos de efeitos mistos com efeitos aleatórios para clusters e questões, em vez de derivar manualmente erros padrão agrupados.
Transparência: Relate tanto as estatísticas de teste padrão quanto as bloqueadas corretamente para ilustrar o impacto da estrutura de avaliação.
Estabilidade de Temperatura: Não ajuste a temperatura de amostragem para reduzir a variância; o modelo assume a estimativa na temperatura de implantação.

O artigo enfatiza que esses métodos podem alterar fundamentalmente quais afirmações de ranking de modelos um leitor deve acreditar, movendo o campo em direção a padrões de avaliação mais rigorosos e reproduzíveis.