Bandwidth Selection in Kernel Density Estimation for Model Calibration

Resumo Técnico: Seleção de Largura de Banda em Estimativa de Densidade de Kernel para Calibração de Modelos

Definição do Problema
À medida que os modelos de aprendizado profundo são implantados em aplicações de alto risco, a confiabilidade de suas estimativas de incerteza (calibração) torna-se tão crítica quanto a precisão preditiva. A má calibração ocorre quando os escores de confiança de um modelo não se alinham com a verdadeira probabilidade dos resultados. Avaliar a calibração requer a estimativa da verdadeira probabilidade condicional $R = E[y | f(x)]$, que é desconhecida e deve ser aproximada empiricamente.

Métodos tradicionais baseiam-se em binning (ex: Erro de Calibração Esperada), que particiona o espaço de predição em intervalos discretos. Embora simples, o binning introduz descontinuidades artificiais, sofre de alta variância e é sensível ao esquema de particionamento. Além disso, é assintoticamente inconsistente e enfrenta a maldição da dimensionalidade em configurações multiclasse.

A Estimativa de Densidade de Kernel (KDE) surgiu como uma alternativa suave e diferenciável ao binning. No entanto, a confiabilidade dos estimadores baseados em KDE depende fortemente da escolha da largura de banda do kernel ($h$). Técnicas de seleção padrão, como a Estimativa de Máxima Verossimilhança (MLE), são frequentemente subótimas para tarefas de calibração. A MLE tende a favorecer larguras de banda patologicamente pequenas para maximizar a densidade local, fazendo com que o estimador sofra overfitting ao ruído de amostragem em vez de capturar o perfil de calibração subjacente. Isso resulta em uma "armadilha de variância-viés", onde o estimador degenera em um amostrador de rótulos de vizinho mais próximo, produzindo superfícies de calibração ruidosas e não confiáveis.

Metodologia: Alinhamento de Risco (RA)
Os autores propõem o Alinhamento de Risco (RA), um novo framework de otimização para selecionar a largura de banda ideal em estimadores de calibração baseados em KDE. A ideia central deriva da decomposição de Bregman de regras de pontuação (scoring rules) adequadas, que decompõe o risco esperado de uma perda adequada em dois componentes:

1. Erro de Calibração (CE): A discrepância entre as probabilidades preditas e as verdadeiras probabilidades condicionais.
2. Refinamento (REF): A capacidade do modelo de distinguir entre amostras.

Os autores demonstram teoricamente que, embora os estimadores individuais para calibração e refinamento sejam contaminados pela variância do estimador da probabilidade condicional ($\text{Var}(\hat{R})$), esses termos de variância exibem um cancelamento estrutural quando somados para formar o risco total. Especificamente:

• No termo de calibração, a variância atua como um viés positivo espúrio.
• No termo de refinamento, a variância se manifesta como um viés negativo.
• Quando combinados, os termos de variância de segunda ordem se cancelam, deixando o viés do risco agregado acoplado principalmente ao viés de estimativa de $R$, escalonado por um peso dependente da probabilidade predita.

Com base nisso, o objetivo de RA minimiza a discrepância agregada entre o risco reconstruído por KDE e o risco observado empiricamente (rótulos reais) em todo o conjunto de dados:
$$L_{RA}(h) = \sum_{i=1}^{n} |\hat{r}_{kde, i}(h) - r_i|^p$$
onde $\hat{r}_{kde, i}$ é o risco reconstruído usando o estimador KDE $\hat{R}_i$, e $r_i$ é o risco observado. Ao alinhar o risco reconstruído com o ground truth empírico, o RA seleciona uma largura de banda que suprime o ruído estocástico local (variância) enquanto preserva a suavidade do estimador, contornando efetivamente o tradeoff variância-viés que assola a MLE.

Principais Contribuições

1. Novo Framework: Introdução do objetivo de Alinhamento de Risco (RA), um framework de otimização principiado para seleção de largura de banda em estimadores de calibração baseados em KDE, formulado como um problema de alinhamento de estimativa de risco.
2. Análise Teórica: Uma demonstração teórica de que o objetivo de RA minimiza o viés de estimativa de calibração ao explorar o cancelamento de termos de variância na decomposição do risco total. Isso estabelece um critério aplicável a várias métricas, incluindo erros de calibração canônicos e por classe.
3. Validação Empírica: Experimentos extensos mostrando que o RA supera consistentemente os métodos de MLE e binning na seleção de larguras de banda, levando a avaliações de calibração mais confiáveis em múltiplas arquiteturas e conjuntos de dados.

Resultos
Os autores avaliaram seu método tanto em dados sintéticos quanto em dados do mundo real:

• Dados Sintéticos: Em cenários com probabilidades condicionais de ground-truth conhecidas, os estimadores de KDE usando RA alcançaram o melhor desempenho na estimativa do erro de calibração por classe, superando significativamente os baselines de MLE e binning. O RA produziu gráficos de confiabilidade que se alinham de perto com o ground truth, enquanto as larguras de banda selecionadas por MLE resultaram em picos agudos indicativos de overfitting.
• Dados do Mundo Real: Experimentos no CIFAR-10/100, ImageNet e Amazon Reviews usando vários modelos (ResNet, VGG, ViT, Transformers) confirmaram a superioridade do RA. Em configurações por classe, o RA consistentemente apresentou o menor Erro Médio Absoluto (MAE) em comparação com os métodos de MLE e binning.
  • Nota sobre Alta Dimensionalidade: O artigo observa que em configurações de altíssima dimensão (ex: calibração canônica com 1.000 classes do ImageNet), os métodos de KDE (incluindo o RA) degradam devido à esparsidade de dados no simplex de probabilidade. Nesses regimes específicos, os autores observaram que os métodos de KDE tornaram-se menos competitivos do que abordagens de Regressão de Ridge de Kernel (KRR), sugerindo que, embora o RA otimize a largura de banda, a escolha do kernel continua sendo crítica em altas dimensões.

Significância e Alegações
O artigo afirma que o RA fornece um critério de seleção de largura de banda principiado que aborda as limitações fundamentais dos atuais estimadores de calibração baseados em KDE. Ao deslocar o foco da otimização da recuperação de densidade (MLE) para o alinhamento de risco, o método garante que as avaliações de calibração sejam robustas ao ruído de amostragem.

Os autores afirmam que o RA produz avaliações de calibração mais confiáveis do que os métodos padrão, particularmente em configurações por classe. Eles destacam que sua abordagem mantém a eficiência computacional do KDE ($O(n^2)$) ao mesmo tempo em que evita a validação cruzada dispendiosa exigida por outros frameworks de risco baseados em MSE. O trabalho sugere que o RA facilita uma recuperação robusta da variedade (manifold) da probabilidade condicional, oferecendo uma base estável para avaliar a calibração de modelos em aplicações de alto risco. Os autores mantêm-se modestos quanto à calibração canônica de alta dimensão, reconhecendo que a esparsidade de dados continua sendo um desafio para abordagens de KDE nesses regimes.