Resumo Técnico: Uma História de Duas Variâncias

Título Original: A Tale of Two Variances: When Single-Seed Benchmarks Fail in Bayesian Deep Learning
Autores: Qishi Zhan, Minxuan Hu, Liang He, Guansu Wang, Jiaxin Liu.

---

1. O Problema: A Falácia do "Single-Seed"

Em aprendizado profundo bayesiano (BDL), o desempenho de modelos de regressão probabilística é frequentemente reportado através de uma única métrica de ponto final, como o CRPS (Continuous Ranked Probability Score), obtida de uma única execução (uma única "semente" ou seed).

O problema central identificado pelos autores é que, em cenários de dados limitados, o valor de uma métrica de avaliação não é uma propriedade estável do método, mas sim uma variável aleatória. A prática comum de reportar apenas a média de uma única execução ignora a incerteza do próprio processo de benchmark, o que pode levar a conclusões errôneas sobre a superioridade de um método sobre outro.

2. Metodologia

Os autores investigaram como a variância do CRPS muda conforme o tamanho do conjunto de treinamento ($n$) aumenta.

• Protocolo de Avaliação: Realizaram 50 repetições independentes para cada tamanho de treinamento ($n \in \{10, 20, \dots, 2000\}$) em seis conjuntos de dados (sintéticos e reais).
• Classificação de Métodos:
  • Métodos de Parametrização Direta: Aprendem a variância através de um cabeçote heterocedástico (ex: MAP e Deep Ensembles).
  • Métodos de Incerteza Implícita: Obtêm incerteza via amostragem estocástica ou média de posterior (ex: MC Dropout e Bayes by Backprop).
• Métricas de Trajetória:
  • Qualidade do ajuste de lei de potência ($R^2$): Para verificar se a redução da variância segue um padrão regular ($Var \approx Cn^{-\alpha}$).
  • Monotonicidade: Para verificar se a variância diminui consistentemente conforme os dados aumentam.
• Intervenção: Substituíram a função de perda padrão (NLL heterocedástica) pela $\beta$-NLL para testar se a instabilidade era causada pelo objetivo de treinamento.

3. Principais Contribuições e Resultados

A. Descoberta de "Picos de Variância" (Variance Spikes)

Ao contrário dos métodos implícitos (como MC Dropout), que apresentam uma redução suave e monótona da variância, os métodos de parametrização direta (MAP e Deep Ensembles) exibem picos de variância pronunciados em tamanhos de treinamento intermediários em datasets reais.

• Esses picos indicam regiões onde o erro de estimativa de uma única execução é massivo. No dataset Seoul Bike, o erro relativo (RMSE) de uma única semente para o método MAP chega a 93,6% no pico de variância.

B. Diagnóstico de Confiabilidade

Os autores demonstram que a variância local do CRPS é um preditor altamente confiável do erro de estimativa de uma única semente. A correlação de Spearman entre a variância local e o erro de RMSE foi superior a 0,96 em todos os datasets reais. Isso significa que, se a variância local for alta, o benchmark de uma única execução é inerentemente pouco confiável.

C. Causa da Instabilidade: O Objetivo de Treinamento

O estudo revela que a instabilidade não é apenas uma característica dos métodos, mas está ligada à função de perda de máxima verossimilhança negativa (NLL) heterocedástica.

• Resultado da Intervenção: Ao utilizar a $\beta$-NLL, os picos de variância foram drasticamente reduzidos e as trajetórias tornaram-se regulares e monótonas. Isso sugere que o objetivo de treinamento padrão amplifica a sensibilidade à inicialização em regimes de dados intermediários.

4. Significância e Recomendações Práticas

O trabalho tem implicações profundas para a comunidade de aprendizado de máquina, desafiando a cultura de "tabelas de benchmark limpas" baseadas em uma única execução.

Recomendações aos Pesquisadores:

1. Relatar a Estabilidade: Além da média final, os pesquisadores devem reportar resumos da trajetória de variância (como $R^2$ e monotonicidade).
2. Avaliação Estratégica: Em vez de repetir experimentos uniformemente, deve-se concentrar as repetições em regiões de alta variância local, onde o risco de erro de medição é maior.
3. Intervenção de Baixo Custo: Para métodos que aprendem variância diretamente, o uso de $\beta$-NLL é uma alternativa eficaz para regularizar o comportamento de avaliação sem alterar a arquitetura do modelo.

Conclusão Geral: O artigo demonstra que o benchmark não é apenas uma medida de desempenho, mas um processo estocástico que pode falhar sistematicamente em certas escalas de dados, exigindo uma abordagem estatística mais rigorosa na validação de modelos bayesianos.