Unstable Rankings in Bayesian Deep Learning Evaluation

Resumo Técnico: Rankings Instáveis em Aprendizado Profundo Bayesiano (BDL)

1. O Problema: A Falácia da Escassez de Dados

A avaliação de métodos de Aprendizado Profundo Bayesiano (BDL) geralmente foca na precisão das previsões e na confiabilidade das estimativas de incerteza. Estudos de larga escala estabeleceram hierarquias de desempenho (ex: Deep Ensembles superando MC Dropout), mas esses estudos assumem que os conjuntos de treinamento são vastos (milhares de amostras).

O problema central identificado pelos autores é que, em cenários de escassez de dados (como descoberta de fármacos ou diagnósticos de doenças raras), as métricas de avaliação (como CRPS ou NLL) tornam-se instáveis. Quando o número de amostras ($n$) é pequeno, a variância do estimador da métrica é tão alta que o ranking dos métodos pode refletir apenas o ruído da amostragem, e não a superioridade real do algoritmo. Os autores demonstram que um método pode parecer superior em um conjunto de dados e inferior em outro, mesmo com o mesmo tamanho de amostra, tornando as comparações baseadas em estimativas pontuais cientificamente não confiáveis.

2. Metodologia Proposta

Para mitigar essa instabilidade, os autores propõem uma abordagem baseada em inferência bayesiana em vez de comparações de médias simples:

• Modelo Hierárquico Bayesiano (BHM): Em vez de tratar a métrica de um método como um valor fixo, o BHM trata o valor da métrica como uma variável aleatória que varia entre diferentes realizações dos dados de treinamento. O modelo utiliza interceptos aleatórios para lidar com a estrutura de dados pareados e permite variâncias específicas para cada método, capturando como diferentes algoritmos reagem de forma distinta à incerteza da amostragem.
• Probabilidade Posterior de Ranking: Utilizando amostras de MCMC (Markov Chain Monte Carlo), os autores calculam $P(A \prec B)$, a probabilidade de que o método $A$ seja realmente superior ao método $B$. Um ranking só é considerado robusto se essa probabilidade for $> 0,95$.
• Diferença Mínima Detectável (MDD) Preditiva: Os autores introduzem a curva MDD para fornecer um diagnóstico de tamanho de amostra. A MDD quantifica qual deve ser a magnitude da diferença de desempenho entre dois métodos para que ela possa ser detectada com confiança em um novo experimento, dado o tamanho de treinamento $n$.

3. Principais Contribuições

1. Framework de Avaliação Incerteza-Consciente: Um método rigoroso para determinar se os dados de avaliação são suficientes para sustentar uma conclusão sobre a superioridade de um método.
2. Identificação da Instabilidade de Rankings: Demonstração de que os rankings de métodos BDL não são universais e dependem fortemente do conjunto de dados quando $n$ é pequeno.
3. Ferramenta de Diagnóstico (MDD): Uma métrica prática para pesquisadores decidirem se o seu experimento possui poder estatístico suficiente para validar um novo algoritmo.

4. Resultados Principais

O estudo foi realizado em seis métodos (incluindo Deep Ensembles, MC Dropout, SWAG, BBB e Conformal Prediction) e cinco conjuntos de dados.

• Instabilidade de Rankings: No conjunto de dados Synthetic, o ranking entre MCD e Ensemble inverteu-se conforme $n$ crescia. No dataset Energy, o MCD parecia superior para $n=50$, mas o Ensemble retomou a liderança em $n=200$.
• Dependência do Dataset: No dataset Concrete, as comparações permaneceram inconclusivas mesmo com $n=200$, enquanto no Kin8nm os rankings foram quase determinísticos. Isso prova que não existe um "limiar universal" de amostras para garantir rankings confiáveis.
• Convergência de Métricas: A métrica CRPS mostrou-se muito mais estável do que a NLL (Negative Log-Likelihood) em regimes de poucos dados. Métricas de cobertura (como PICP) mostraram-se extremamente frágeis para $n < 100$.
• Poder de Detecção: Para detectar uma diferença real de CRPS entre os principais métodos com 80% de poder preditivo, os resultados indicam que é necessário $n \geq 200$, um valor muito maior do que o frequentemente utilizado em experimentos de pequena escala.

5. Significância e Conclusão

O trabalho é fundamental para a prática de pesquisa em IA, especialmente em domínios críticos onde os dados são caros ou escassos. Ele alerta a comunidade de que leaderboards baseados em estimativas pontuais são enganosos em cenários de baixa disponibilidade de dados. A principal recomendação é que pesquisadores parem de reportar apenas médias de métricas e passem a utilizar inferência probabilística e diagnósticos de detectabilidade (como a MDD) para validar suas descobertas.