📊 statistics

When LLMs get significantly worse: A statistical approach to detect model degradations

Este artigo propõe um framework de teste de hipóteses estatisticamente sólido baseado no teste de McNemar para detectar de forma confiável degradações sutis de modelos causadas por erros numéricos induzidos por otimização, distinguindo-as de ruído de avaliação inofensivo enquanto controla as taxas de falsos positivos.

Autores originais: Jonas Kübler, Kailash Budhathoki, Matthäus Kleindessner, Xiong Zhou, Junming Yin, Ashish Khetan, George Karypis

Publicado 2026-05-07

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jonas Kübler, Kailash Budhathoki, Matthäus Kleindessner, Xiong Zhou, Junming Yin, Ashish Khetan, George Karypis

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem dois gêmeos idênticos, Modelo A (o original) e Modelo B (a versão otimizada). Você quer saber se o Modelo B é tão bom quanto o Modelo A, ou se ele secretamente ficou um pouco "mais burro" para economizar dinheiro e rodar mais rápido.

O artigo argumenta que simplesmente olhar para a pontuação média de ambos os gêmeos em um teste é como tentar ouvir um sussurro em um furacão. Como os computadores modernos são ligeiramente imperfeitos (devido a pequenos erros matemáticos na forma como lidam com números), mesmo uma otimização perfeita pode fazer com que o Modelo B dê uma resposta ligeiramente diferente da do Modelo A na mesma pergunta exata. Isso cria "ruído" que torna difícil distinguir se uma queda no desempenho é real ou apenas estática aleatória.

Aqui está a solução do artigo, dividida em conceitos simples:

1. O Detetive "Lado a Lado" (Teste de McNemar)

A maioria das pessoas compara modelos dizendo: "O Modelo A acertou 50% e o Modelo B acertou 49%. Isso é um grande problema?" O artigo diz não. Isso é como comparar dois lançamentos de moeda de dias diferentes.

Em vez disso, os autores dizem que você deve olhar para a mesma pergunta para ambos os modelos ao mesmo tempo.

A Analogia: Imagine um tribunal onde você está julgando uma testemunha específica. Você não pergunta: "A testemunha geralmente dizia a verdade?" Você pergunta: "Neste dia específico, a testemunha mentiu?"
O Método: Eles analisam cada pergunta individual.
- O Modelo A acertou e o Modelo B errou? (Uma "degradação")
- O Modelo A errou e o Modelo B acertou? (Uma "melhoria")
- Ambos acertaram ou ambos erraram? (Ignore estes; eles não ajudam a decidir).

O artigo utiliza uma ferramenta estatística chamada Teste de McNemar (um método clássico de 1947) para contar apenas as discordâncias. Se o Modelo B falhar significativamente mais vezes do que o Modelo A nas mesmas perguntas exatas, então o Modelo B está verdadeiramente degradado. Se as falhas forem apenas ruído aleatório, o teste dirá para "parar".

2. O "Ruído" vs. O "Sinal"

O artigo aponta um problema engraçado: mesmo se você não fizer nada ao modelo (apenas executá-lo em um computador diferente ou em uma versão de software diferente), as respostas podem oscilar ligeiramente de um lado para o outro devido à forma como os computadores lidam com matemática.

A Metáfora: Pense em uma balança ligeiramente instável. Se você colocar um peso de 1 kg nela, ela pode marcar 1,01 kg uma vez e 0,99 kg na próxima. Você não pode dizer que o peso mudou; a balança é apenas instável.
A Insight: Os autores mostram que, se você tratar essas oscilações "instáveis" como erros independentes, você fica confuso. Mas se você olhar para o padrão de quem ganha e quem perde na mesma pergunta, a oscilação se cancela e o sinal real (degradação real) destaca-se claramente.

3. O Sistema de "Três Alarmes" (Agregando Testes)

Quando você testa um modelo em muitos assuntos diferentes (Matemática, História, Programação, etc.), como decide se o modelo é ruim no geral? O artigo propõe três maneiras de combinar os resultados, como ter três guardas de segurança diferentes:

O Guarda "Piscina": Soma todos os erros de cada assunto. Bom se o modelo for ligeiramente ruim em tudo.
O Guarda "Queda Máxima": Olha apenas para o pior assunto individual. Bom se o modelo for ótimo em tudo, mas terrível em uma coisa específica (como um gênio da matemática que não sabe soletrar).
O Guarda "Fisher": Uma mistura equilibrada que combina matematicamente as evidências de todos os assuntos.

O artigo sugere usar os três. Se qualquer um deles tocar o alarme, você sabe que o modelo provavelmente se degradou.

4. Cortando a Gordura (Reduzindo o Tamanho do Conjunto de Dados)

O artigo descobriu que muitas perguntas nesses grandes testes são "muito fáceis" ou "muito difíceis".

As Fáceis: Ambos os modelos acertam todas as vezes.
As Difíceis: Ambos os modelos erram todas as vezes.
A Zona de "Oscilação": São as perguntas complicadas onde os modelos às vezes acertam e às vezes erram.

Os autores perceberam que, para detectar se um modelo piorou, você só precisa testar as perguntas da "Zona de Oscilação". As fáceis e as difíceis são apenas ruído. Ao remover as perguntas que nunca mudam, eles puderam reduzir o tamanho do conjunto de dados de teste pela metade, ainda assim capturando a degradação. É como um médico que verifica apenas os sinais vitais que estão realmente flutuando, em vez de verificar o tamanho do sapato de um paciente.

5. Os Resultados: Capturando Pequenas Quedas

Os autores testaram isso em Modelos de Linguagem Grandes (LLMs) reais.

Eles descobriram que seu método podia detectar com confiança uma queda na precisão tão pequena quanto 0,3%.
Eles provaram que algumas "otimizações" (como mudar o hardware ou usar atalhos matemáticos específicos) eram realmente seguras (sem perda), mesmo que as pontuações brutas parecessem ligeiramente diferentes.
Eles também pegaram casos em que os modelos ficaram significativamente piores (como ao usar compressão muito agressiva), o que métodos mais antigos e simples perderam porque estavam distraídos pelo ruído estatístico.

Em resumo: O artigo fornece um "detector de verdade" estatístico e rigoroso que nos impede de entrar em pânico com falhas aleatórias de computador e nos ajuda a identificar quando um modelo de IA realmente perdeu sua vantagem. Ele nos diz para parar de olhar para a pontuação média e começar a olhar para as batalhas específicas onde os modelos discordam.

Resumo Técnico: Quando os LLMs Ficam Significativamente Piores

Declaração do Problema

A adoção generalizada de Modelos de Linguagem de Grande Escala (LLMs) impulsionou pesquisas extensas em técnicas de otimização de inferência, variando de métodos teoricamente sem perdas (por exemplo, kernels eficientes, decodificação especulativa) a métodos com perdas (por exemplo, quantização, esparsidade). Um desafio crítico neste domínio é distinguir entre degradação genuína do modelo e ruído estatístico ou erros numéricos inofensivos.

Mesmo com temperatura zero, os LLMs modernos não são totalmente determinísticos devido à natureza não associativa da aritmética de ponto flutuante (por exemplo, $(a+b)+c \neq a+(b+c)$ ) e variações no hardware ou em frameworks de serviço. Esses fatores fazem com que o mesmo modelo gere respostas diferentes entre execuções, criando "flips" (mudanças) em pontuações de precisão binária, mesmo para otimizações teoricamente sem perdas. Consequentemente, desvios de precisão observados em benchmarks de amostras finitas podem decorrer de flutuações estatísticas em vez de deterioração real do modelo. Práticas de avaliação existentes frequentemente dependem de limites arbitrários (por exemplo, uma queda de 2% na precisão ou uma taxa de flip de 5%) ou tratam estimativas de precisão como independentes, falhando em contabilizar a correlação introduzida ao avaliar tanto o modelo de base quanto o modelo otimizado exatamente no mesmo conjunto de dados. Isso leva a falsos positivos (sinalizando otimizações sem perdas) ou falsos negativos (perdendo degradações sutis).

Metodologia

O artigo propõe um quadro de teste de hipóteses estatisticamente rigoroso baseado no teste de McNemar para detectar degradações de modelo com taxas de falsos positivos controladas.

1. Fundamento Estatístico

Em vez de comparar métricas de precisão agregadas, os autores argumentam pela confrontação das pontuações do modelo em uma base por amostra. Eles definem uma variável aleatória bivariada representando os resultados conjuntos de um modelo de base $M$ e um modelo otimizado $\tilde{M}$ em uma amostra $x$ . Os resultados são categorizados em uma tabela de contingência:

$a$ : Ambos os modelos falham.
$b$ : A base tem sucesso, a otimizada falha (degradação).
$c$ : A base falha, a otimizada tem sucesso (melhoria).
$d$ : Ambos os modelos têm sucesso.

Os autores definem a probabilidade de degradação $q_{\downarrow}$ como a probabilidade condicional de que o modelo de base tenha sucesso dado que os dois modelos discordam ( $b$ vs. $c$ ). Sob a hipótese nula $H_0$ (sem degradação), $q_{\downarrow} = 0.5$ . A hipótese alternativa $H_A$ é $q_{\downarrow} > 0.5$ .

2. Teste Exato Unilateral de McNemar

A estatística de teste proposta é a probabilidade de degradação empírica $\hat{q}_{\downarrow} = b / (b+c)$ . Como $b$ segue uma distribuição binomial $Binomial(b+c, q_{\downarrow})$ , os autores utilizam um teste binomial exato unilateral para calcular valores-p. Esta abordagem:

Foca exclusivamente em amostras onde os modelos discordam ( $b+c$ ), pois amostras concordantes não fornecem sinal sobre o desempenho relativo.
Evita a superestimação da variância que ocorre ao tratar estimativas de precisão como independentes.
Fornece valores-p exatos em vez de depender de aproximações assintóticas para tamanhos de amostra pequenos.

3. Agregação Através de Tarefas

Para lidar com avaliações em múltiplos benchmarks ( $T$ tarefas), o artigo introduz três estratégias de agregação:

Teste Agrupado (Pooled): Agrega todas as contagens de $b$ e $c$ através das tarefas em uma única tabela de contingência. É robusto à subgrupagem de tarefas e altamente sensível quando a degradação é homogênea entre as tarefas.
Teste de Queda Máxima (Max Drop): Identifica a tarefa com a estatística de degradação padronizada mais significativa ( $z_{max}$ ). Utiliza simulação de Monte Carlo para derivar a distribuição nula, tornando-se eficaz para detectar degradação em uma única tarefa específica.
Método de Fisher: Combina valores-p de tarefas individuais usando a estatística $\chi^2 = -2 \sum \ln(p_i)$ . Oferece um equilíbrio entre as abordagens agrupada e de queda máxima.
Decisão Combinada: O quadro sinaliza degradação se qualquer um dos três testes rejeitar a hipótese nula no nível de significância $\alpha$ .

4. Poda de Conjuntos de Dados para Eficiência

Os autores propõem um método para reduzir tamanhos de conjuntos de dados para testes mais rápidos. Ao executar o modelo de base em uma temperatura finita para identificar exemplos que são "instáveis" (prováveis de flip), eles sugerem remover exemplos estáveis (aqueles que sempre têm sucesso ou sempre falham) do conjunto de avaliação. Isso aumenta a probabilidade de flip $p_{\updownarrow}$ no conjunto de dados restante, aumentando assim a relação sinal-ruído sem perder sinais de degradação relevantes.

5. Generalização para Pontuações Não Binárias

Para tarefas com métricas não binárias (por exemplo, ROUGE), o artigo estende o quadro usando testes de permutação. Isso envolve calcular a diferença média de pontuação e compará-la com uma distribuição nula gerada invertendo aleatoriamente os sinais das diferenças, garantindo controle de erro do tipo I para qualquer tamanho de amostra.

Resultados Chave

Os autores implementaram seu quadro sobre o harness de código aberto lm-eval e conduziram experimentos extensivos nos modelos Llama-3.1 8B, Llama-3.3 70B e Mistral Small.

Detecção de Degradações Sutis: O quadro detectou com sucesso degradações de precisão empíricas tão pequenas quanto 0,3% (por exemplo, na variante KV-FP8 do modelo de 70B) com alta confiança estatística ( $p < 0.05$ ), enquanto critérios de base (queda de 2% ou taxa de flip de 5%) falharam em sinalizar essas.
Validação de Otimizações Sem Perdas: Os testes identificaram corretamente que mudanças teoricamente sem perdas (por exemplo, reexecuções, hardware diferente, motores de inferência diferentes) não resultaram em degradação estatisticamente significativa, apesar de observar taxas de flip não nulas (1,3%–2,8%) e flutuações menores de precisão.
Análise de Falsos Positivos: O estudo demonstrou que confiar apenas na probabilidade de flip (como sugerido por trabalhos anteriores) pode levar a falsos positivos. Por exemplo, um modelo com uma taxa de flip de 8,71% não mostrou degradação de precisão, enquanto o teste estatístico proposto o liberou corretamente.
Impacto da Quantização: O quadro sinalizou claramente degradações significativas em modelos quantizados INT4 (w4a16) e uma variante podada/distilada, com valores-p efetivamente zero.
Eficiência: A abordagem de poda de conjuntos de dados reduziu o tamanho da amostra do MMLU-Pro em quase 50%, mantendo a maioria dos exemplos de "flip", acelerando significativamente a avaliação sem sacrificar o poder de detecção.

Significado e Alegações

O artigo alega fornecer o primeiro quadro estatístico rigoroso especificamente projetado para detectar degradações de modelos LLM na presença de ruído numérico e incerteza de amostras finitas.

Rigor Estatístico: Avança além de limites heurísticos (por exemplo, "queda de 2%") para uma abordagem de teste de hipóteses principista que controla a taxa de falsos positivos.
Utilidade Prática: Os autores fornecem uma implementação publicamente disponível integrada ao lm-eval, permitindo que a comunidade aplique esses testes em benchmarks padrão.
Insight Nuanciado: O trabalho destaca que "flips" são uma consequência natural da aritmética de ponto flutuante em LLMs modernos e não são inerentemente indicativos de degradação. Em vez disso, a direção do flip (probabilidade de degradação) é a métrica crítica.
Sensibilidade: O quadro é sensível o suficiente para detectar degradações que são estatisticamente significativas, mas praticamente pequenas (por exemplo, 0,3%), permitindo decisões mais informadas sobre otimizações de modelo.

Os autores concluem que o tratamento estatístico adequado da precisão é essencial para a avaliação confiável de LLMs otimizados, particularmente à medida que o campo avança para precisão mista e modelos altamente comprimidos onde erros numéricos são inevitáveis.