📊 statistics

Beyond Point Estimates: Distributional Uncertainty in Machine Learning Performance Evaluation

Este artigo defende uma perspectiva distribucional na avaliação de aprendizado de máquina ao tratar métricas de desempenho como variáveis aleatórias e analisar suas distribuições empíricas por meio de quantis e intervalos de confiança, demonstrando que inferências estatísticas significativas sobre a variabilidade do modelo são viáveis mesmo com tamanhos de amostra pequenos, a fim de apoiar comparações de modelos mais orientadas ao risco e diferenciadas.

Autores originais: Christoph Lehmann, Yahor Paromau

Publicado 2026-05-13

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Christoph Lehmann, Yahor Paromau

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um chef tentando aperfeiçoar uma nova receita. No mundo do Aprendizado de Máquina (ML), a "receita" é o modelo, e o "teste de sabor" é a métrica de desempenho (como precisão ou taxa de erro).

O Jeito Antigo: O Único Teste de Sabor
Tradicionalmente, quando chefs (ou cientistas de dados) avaliam uma receita, cozinham-na uma vez, provam-na e dizem: "Esta sopa tem nota 9 de 10". Eles tratam esse único número como a verdade absoluta.

Mas aqui está o problema: Cozinhar não é perfeitamente previsível. Se você mudar a ordem em que adiciona os ingredientes, usar um lote ligeiramente diferente de especiarias ou mexer a panela em uma velocidade diferente, a sopa pode ter um sabor ligeiramente diferente a cada vez. No ML, esses "ingredientes" são coisas como como os dados são divididos, como o computador inicia seus cálculos ou como ele ajusta suas configurações.

O método antigo ignora isso. Ele assume que um único teste de sabor representa a panela inteira de sopa.

O Jeito Novo: A "Distribuição de Sabores"
Este artigo propõe uma nova maneira de pensar: Em vez de perguntar "Qual é a pontuação?", pergunte "Como é o intervalo de pontuações?"

Imagine que, em vez de provar a sopa uma vez, você a cozinhe 20 vezes com pequenas variações aleatórias em sua técnica. Você obtém 20 pontuações de sabor diferentes.

Algumas podem ser 8,5.
Algumas podem ser 9,2.
Uma pode ser uma decepcionante 7,0.

O artigo sugere que não devemos apenas calcular a média dessas pontuações para obter um "9,0". Em vez disso, devemos olhar para a distribuição (a dispersão) dessas 20 pontuações. Isso nos dá uma imagem muito mais clara da confiabilidade.

Conceitos-Chave Explicados com Analogias

1. Os Cenários "Pior Caso" e "Melhor Caso" (Quantis)
Em vez de apenas conhecer a média, este método olha para as bordas da distribuição.

A Analogia: Pense em uma previsão do tempo. Uma previsão padrão pode dizer: "Fará 24°C". Mas uma previsão distribucional diz: "Provavelmente fará entre 21°C e 27°C, mas há 10% de chance de cair para 18°C".
No Artigo: Eles olham para pontos específicos na dispersão, chamados quantis.
- O percentil 90 pode dizer: "Em 90% dos casos, nosso modelo performa pelo menos tão bem quanto isso".
- O percentil 10 pode dizer: "Em 10% dos casos, o modelo performa pior do que isso".
- Isso é crucial para o "risco". Se você está construindo um carro autônomo, não se importa apenas com a velocidade média; você se preocupa com o cenário de pior caso (a cauda da distribuição).

2. O "Intervalo de Confiança" (A Rede de Segurança)
Como não podemos cozinhar a sopa 1.000 vezes (leva muito tempo e dinheiro), geralmente a cozinhamos apenas algumas vezes (digamos, 10 a 25 vezes). Como a amostra é pequena, nossa suposição sobre o cenário de "pior caso" pode ser instável.

A Analogia: Imagine que você está adivinhando a altura de uma árvore olhando-a de longe. Você pode adivinhar "15 metros". Mas, como está longe, não tem 100% de certeza. Então, você diz: "Tenho bastante certeza de que está entre 13,5 e 16,5 metros". Esse intervalo (13,5–16,5) é seu Intervalo de Confiança.
No Artigo: Os autores mostram que, mesmo com um número pequeno de "execuções de cozimento" (10–25), podemos calcular essas redes de segurança. Eles descobriram que, embora os intervalos fiquem mais largos (menos precisos) se você olhar para as caudas extremas (os casos muito piores ou muito melhores), eles ainda são úteis para a faixa intermediária.

3. O Desafio da "Amostra Pequena"
O artigo reconhece uma grande restrição: Executar um modelo de aprendizado de máquina 1.000 vezes é caro e lento. A maioria das pessoas só pode se dar ao luxo de executá-lo 10 a 25 vezes.

A Descoberta: Os autores realizaram simulações massivas (cozinhando a sopa 1.000 vezes em uma simulação computacional) para ver como era a distribuição "verdadeira". Em seguida, pegaram fatias pequenas de 10, 15 ou 25 execuções e tentaram adivinhar o quadro completo.
O Resultado: Mesmo com apenas 15 ou 20 execuções, você pode ter uma ideia surpreendentemente boa da estabilidade do modelo. Você pode dizer se um modelo é "consistente" (todas as pontuações estão próximas umas das outras) ou "instável" (as pontuações variam selvagemente).

Por Que Isso Importa (De Acordo com o Artigo)
O artigo argumenta que olhar para a dispersão dos resultados é melhor do que olhar para uma única média.

Dois Modelos, Mesma Média: Imagine que o Modelo A e o Modelo B tenham ambos uma precisão média de 87%.
- Modelo A é consistente: Sempre pontua entre 86% e 88%.
- Modelo B é selvagem: Às vezes pontua 95%, mas outras vezes cai para 70%.
O Jeito Antigo: Diria: "Eles são iguais".
O Jeito Novo: Diria: "O Modelo A é mais seguro. O Modelo B é arriscado devido à sua ampla dispersão".

Resumo
Este artigo é um guia para passar de "Qual é a pontuação?" para "Quão confiável é a pontuação?". Ele nos ensina a tratar os resultados de aprendizado de máquina não como números fixos, mas como uma nuvem de possibilidades. Ao usar ferramentas estatísticas para mapear essa nuvem (mesmo com dados limitados), podemos tomar decisões mais inteligentes e seguras sobre quais modelos confiar, especialmente em situações onde o fracasso não é uma opção.

Os autores fornecem métodos práticos para fazer isso sem necessidade de suposições matemáticas complexas, tornando-o uma ferramenta que pode ser usada agora mesmo por engenheiros e cientistas.

Resumo Técnico: Além das Estimativas Pontuais: Incerteza Distribucional na Avaliação de Desempenho de Aprendizado de Máquina

Declaração do Problema

Os modelos de aprendizado de máquina (ML) são tradicionalmente avaliados usando estimativas pontuais de métricas de desempenho (por exemplo, acurácia, pontuação F1, RMSE). Essa abordagem trata o desempenho como um valor fixo, falhando em capturar a variabilidade inerente induzida por elementos estocásticos do processo de treinamento, como divisão de dados, inicialização de pesos e otimização de hiperparâmetros. Embora esses fatores sejam frequentemente reconhecidos como "fatores de confusão", eles são tipicamente analisados de forma não sistemática, com foco principal em alcançar um único melhor valor de métrica.

O artigo argumenta que o treinamento de ML deve ser visto como um experimento científico onde a Métrica-Alvo de Interesse (TMoI) é uma variável aleatória condicional a esses fatores de confusão. No entanto, restrições práticas frequentemente limitam o número de execuções de treinamento repetidas (tamanho da amostra $n$ ) a faixas pequenas ou médias (por exemplo, $n \approx 10\text{--}25$ ) devido aos custos computacionais. Consequentemente, existe uma lacuna na compreensão de como realizar inferência estatística significativa sobre a distribuição de desempenho subjacente dadas essas limitações de tamanho de amostra, particularmente para quantis de cauda que são críticos para aplicações orientadas a risco (por exemplo, medicina, bancos).

Metodologia

O trabalho propõe uma perspectiva distribucional onde as métricas de desempenho são tratadas como quantidades aleatórias. A metodologia foca na estimação de quantis e seus respectivos Intervalos de Confiança (ICs) usando estatística frequentista.

Framework Estatístico

O estudo assume uma amostra independente e identicamente distribuída (i.i.d.) de valores de TMoI derivados de execuções de treinamento controladas por sementes. Ele avalia duas tarefas estatísticas principais:

Estimação Pontual de Quantis: O artigo compara dois estimadores:
- Quantil Amostral ( $\hat{Q}$ ): Baseado em estatísticas de ordem (função degrau).
- Quantil Interpolado Linearmente ( $\hat{Q}_L$ ): Um estimador mais suave usando interpolação linear de estatísticas de ordem.
Estimação de Intervalo (Intervalos de Confiança): Três abordagens não paramétricas são investigadas para construir ICs para quantis, juntamente com o intervalo $t$ $t$ padrão para a média como linha de base:
- ICs Não Paramétricos Exatos: Baseados em estatísticas de ordem e na distribuição binomial. Estes são livres de distribuição, mas exigem tamanhos de amostra mínimos específicos para existir para um determinado nível de confiança.
- ICs Não Paramétricos Assintóticos: Baseados na normalidade assintótica de quantis amostrais. Estes também têm requisitos de tamanho de amostra mínimo, particularmente para quantis extremos.
- ICs de Bootstrap Semiparamétricos: Utiliza um estimador de quantil semiparamétrico (Hut02) que extrapola para as caudas usando uma função de quantil. Esta abordagem evita suposições paramétricas estritas enquanto aborda a instabilidade do bootstrap padrão para quantis próximos às caudas.

Desenho Experimental

A metodologia é validada através de duas vias principais:

Casos de Uso com Dados Reais: Três tarefas de ML foram analisadas:
- Personagens dos Simpsons: Classificação de imagens (20 classes).
- CIFAR10: Classificação de imagens (10 classes).
- Supercondutores: Regressão (previsão de temperatura crítica).
  Para cada uma, aproximadamente 500–1.000 repetições controladas por semente foram realizadas para gerar distribuições empíricas de "verdade fundamental". A partir destas, subamostras menores ( $n=10, 15, 25, 50$ ) foram extraídas para simular restrições realistas e testar o desempenho dos estimadores.
Estudos de Simulação: Simulações controladas foram conduzidas usando distribuições com suporte limitado (relevante para métricas como acurácia) e formas variadas (Beta com assimetria à esquerda, normal e mistura normal) para validar a robustez dos métodos sob condições teóricas conhecidas.

Resultados Chave

Estimação Pontual

Viés e RMSE: Tanto o quantil amostral quanto os estimadores interpolados linearmente exibem viés relativo baixo (máximo $\approx 1\%$ ) e Erro Quadrático Médio (RMSE) comparável.
Forma da Distribuição: A estimação é mais confiável para quantis centrais (em torno de 0,5) e torna-se mais desafiadora para quantis de cauda (por exemplo, 0,05, 0,95).
Escolha do Estimador: Não há diferença prática substancial entre o quantil amostral e o estimador interpolado linearmente para os tamanhos de amostra e distribuições testados.

Estimação de Intervalo

Cobertura e Tamanho da Amostra:
- Para tamanhos de amostra até $n=25$ , um nível de confiança de 0,90 é recomendado. Níveis de confiança mais altos (por exemplo, 0,95 ou 0,99) resultam em intervalos excessivamente longos que reduzem a precisão, particularmente para pequenos $n$ .
- ICs Exatos e Assintóticos: Esses métodos funcionam bem quando os requisitos de tamanho de amostra são atendidos. No entanto, eles frequentemente falham em produzir intervalos válidos para quantis extremos com pequenos $n$ (por exemplo, $n=10$ ).
- ICs de Bootstrap: O bootstrap semiparamétrico fornece uma alternativa prática quando outros métodos são inválidos devido a restrições de tamanho de amostra. Embora possam exibir cobertura empírica ligeiramente menor (caindo para $\approx 0,85$ para $n=10$ ) e intervalos mais longos, eles permanecem aplicáveis onde os métodos exatos/assintóticos não podem ser computados.
Assimetria: A incerteza de estimação é assimétrica; quantis inferiores geralmente exigem tamanhos de amostra maiores do que quantis superiores para o mesmo nível de confiança. Isso pode ser mitigado transformando a métrica (por exemplo, usando $-X$ para acurácia) para deslocar o quantil de interesse para a cauda superior.
Comparação com a Média: O intervalo $t$ para a média produz consistentemente intervalos mais curtos com alta estabilidade. No entanto, o artigo observa que, embora a média seja estável, ela falha em capturar o comportamento de cauda e o risco. Os ICs de quantis propostos, embora mais amplos, fornecem informações necessárias sobre variabilidade e cenários de pior caso.
Impacto Distribucional: Assimetria e multimodalidade na distribuição subjacente afetam significativamente o comprimento do intervalo. Por exemplo, em distribuições assimétricas, quantis na cauda longa exibem maior incerteza e ICs mais longos.

Significado e Afirmações

O artigo afirma preencher a lacuna entre a teoria estatística e a prática de ML, fornecendo um framework para avaliação distribucional que é viável sob restrições computacionais realistas.

Interpretação Orientada a Risco: A contribuição principal é permitir uma visão orientada a risco do desempenho do modelo. Em vez de confiar em médias, os praticantes podem fazer declarações probabilísticas (por exemplo, "a acurácia cai abaixo de 90% em, no máximo, 10% dos casos") apoiadas por intervalos de confiança.
Viabilidade com Amostras Pequenas: O estudo demonstra que a inferência estatística significativa é possível mesmo com pequenos tamanhos de amostra ( $n \approx 10\text{--}25$ ), que são comuns em ML devido ao alto custo de treinamento repetido.
Aplicabilidade Prática: Os métodos propostos (particularmente o IC assintótico não paramétrico e o bootstrap semiparamétrico) são livres de distribuição, fáceis de implementar e aplicáveis tanto a métricas de classificação quanto de regressão.
Comparação Diferenciada de Modelos: A abordagem permite uma comparação mais sutil de modelos. Dois modelos podem ter desempenho médio similar, mas seus intervalos de confiança podem revelar diferenças em estabilidade e variabilidade que as estimativas pontuais ignoram.

Os autores concluem que, embora as estimativas pontuais padrão sejam insuficientes para aplicações de alto risco, a avaliação distribucional proposta fornece uma extensão prática aos fluxos de trabalho padrão de ML, oferecendo uma caracterização mais detalhada da incerteza sem exigir suposições paramétricas.