Resumo Técnico: Escalonamento de Temperatura Adaptativo por Quantis para Calibração de Confiança

1. Definição do Problema e Motivação

Redes neurais profundas frequentemente produzem estimativas de confiança mal calibradas, exibindo frequentemente excesso de confiança (overconfidence) mesmo quando as previsões estão incorretas. Embora o Escalonamento de Temperatura (TS - Temperature Scaling) permaneça como o método de calibração post-hoc padrão devido à sua simplicidade, ele depende de um reescalonamento global e uniforme de logits. Os autores argumentam que essa abordagem falha em abordar a estrutura altamente heterogênea de má calibração observada através do espectro de confiança.

Através de uma análise por quantis, o artigo demonstra que as maiores discrepâncias entre correção e confiança não ocorrem de forma uniforme. Em vez disso, a localização e a forma da má calibração variam significamente dependendo do regime:

• Configurações Padrão: Os erros concentram-se nos quantis de menor confiança.
• Configurações de Cauda Longa (Long-tailed): Os erros deslocam-se para os quantis de confiança média devido à prevalência de classes de frequência média.
• Desvios Distribucionais: Métodos de reescalonamento global têm dificuldade porque perturbações de covariáveis alteram a escala absoluta dos valores de confiança, preservando seu ordenamento relativo.

Métodos existentes, incluindo variantes avançadas como Calibração de Grupo (GC) ou temperaturas dependentes de entrada, assumem implicitamente uma transformação suave e globalmente consistente. Essa rigidez estrutural impede que eles abordem efetivamente regiões específicas onde a má calibração é mais severa, levando a um desempenho subótimo em cenários desafiadores como desequilíbrio de classes e desvios de domínio.

2. Metodologia: Escalonamento de Temperatura Adaptativo por Quantis (QaTS)

Para abordar essas limitações, os autores propõem o Escalonamento de Temperatura Adaptativo por Quantis (QaTS), um método de calibração post-hoc que adapta o parâmetro de temperatura com base no quantil de confiança empírica de uma previsão, em vez de sua magnitude bruta de confiança.

Mecanismo Central

1. Reparametrização por Quantis:
   O método mapeia as confianças brutas $p$ em um espaço de quantil uniforme $\tau \in [0, 1]$ usando a função de distribuição cumulativa (CDF) empírica do conjunto de calibração. Isso transforma o objetivo de Erro de Calibração Esperada (ECE) em uma integral sobre o eixo de quantil uniforme, evitando que regiões densas de confiança dominem a métrica de erro e tornando explícita a estrutura heterogênea da má calibração.

2. Função de Temperatura por Amostra:
   Em vez de um escalar único $T$, o QaTS define uma temperatura dependente da amostra $T(x)$ como uma função linear monótona do quantil empírico $q(x)$:
   $$T(x) = a \cdot (1 - q(x)) + b$$
   onde $a$ e $b$ são parâmetros positivos aprendíveis.

   • Previsões de baixo quantil (tipicamente excessivamente confiantes e propensas a erros) recebem temperaturas mais altas, suavizando a confiança.
   • Previsões de alto quantil recebem ajustes menores, preservando a precisão e evitando distorções desnecessárias.

3. Otimização:
   Os parâmetros $a$ e $b$ são otimizados em um conjunto de calibração minimizando a Log-Verossimilhança Negativa (NLL), uma regra de pontuação estritamente própria. Essa otimização substituta alinha as probabilidades calibradas com as frequências de correção empírica, minimizando efetivamente o ECE reparametrizado.

4. Inferência:
   Para uma amostra de teste $x$, os logits são escalonados pelo $T(x)$ calculado antes de aplicar o softmax. Como $T(x)$ depende do ranking (quantil) da confiança e não de seu valor absoluto, o método herda a estabilidade baseada em ranking dos quantis. Isso torna o QaTS robusto aos efeitos de escalonamento global de logits frequentemente associados a desvios de covariáveis, desde que o ordenamento relativo das confianças seja aproximadamente preservado.

3. Principais Contribuições

O artigo delineia três contribuições primárias:

1. Análise por Quantis: Uma análise detalhada revelando que os erros de calibração são altamente heterogêneos através do espectro de confiança e variam significativamente entre diferentes regimes (padrão vs. cauda longa). Esta análise expõe as limitações estruturais dos métodos baseados em TS existentes que não conseguem visar regiões específicas de concentração de erro.
2. Algoritmo QaTS: A introdução de uma estratégia simples e eficiente que opera diretamente no espaço de quantis. Ele formaliza uma reparametrização por quantis do ECE e introduz uma função de temperatura monótona que se adapta ao ranking relativo de cada previsão.
3. Validação Empírica Abrangente: Experimentos extensos em 162 configurações, incluindo visão computacional padrão, imagens médicas, classificação de texto e segmentação semântica, sob várias condições (distribuições de cauda longa, desvios distribucionais).

4. Resultados Experimentais

Os autores avaliam o QaTS contra baselines post-hoc de estado da arte, incluindo modelos não calibrados, TS, Regressão Isotônica (IR), AdaTS, Calibração de Grupo (GC) e FeatClip.

• Benchmarks Padrão: No CIFAR-10, CIFAR-100 e ImageNet, o QaTS alcança consistentemente o menor ECE, superando todos os métodos concorrentes em backbones de CNN e Vision Transformer.
• Distribuições de Cauda Longa: Em cenários com severo desequilíbrio de classes (ex: CIFAR-100-LT, ImageNet-LT), métodos padrão frequentemente falham ou degradam. O QaTS demonstra robustez substancial, reduzindo o ECE em 80–90% em alguns casos comparado a baselines como AdaTS e GC.
• Desvios Distribucionais: Sob corrupções sintéticas (CIFAR-100-C) em vários níveis de severidade, o QaTS supera significativamente métodos de preservação de acurácia, alcançando um ECE 2–3× menor. Notavelmente, ele supera o HFE, um método projetado especificamente para desvios distribucionais que requer acesso a amostras fora da distribuição (OOD) para cada domínio alvo. O QaTS alcança isso sem exigir qualquer dado do domínio alvo.
• Generalização: O método mostra desempenho superior em classificação de imagens médicas (HAM10000, MedMNIST2D), segmentação semântica (Pascal VOC) e classificação de texto (20 Newsgroups).
• Preservação de Acurácia: Ao contrário do FeatClip, que melhora a calibração ao custo de uma degradação significativa da acurácia (até 4–6%), o QaTS preserva os rankings de classes preditas, mantendo o desempenho discriminativo enquanto melhora a calibração.
• Compatibilidade: O QaTS atua como uma camada complementar post-hoc, reduzindo ainda mais o ECE quando aplicado sobre modelos treinados com objetivos de calibração (ex: perda Brier, Focal Loss, Label Smoothing).

5. Significância e Alegações

O artigo afirma que o QaTS oferece uma fundação simples, eficiente e robusta para calibração post-hoc. Sua significância reside em:

• Abordagem da Heterogeneidade: Ao mover-se de pontuações de confiança bruta para o espaço de quantis, o QaTS visa explicitamente as regiões onde a má calibração é mais severa, superando a limitação de "tamanho único" do escalonamento de temperatura global.
• Robustez ao Desvio: A formulação baseada em ranking garante estabilidade sob desvios distribucionais onde as magnitudes absolutas de confiança mudam, mas o ordenamento relativo é preservado.
• Praticidade: Não requer retreinamento, não requer acesso aos pesos do modelo ou gradientes, e não exige redes auxiliares, tornando-o escalável para grandes modelos pré-treinados e backbones congelados.
• Aplicabilidade Universal: O método demonstra eficácia consistente através de diversas tarefas, arquiteturas e cenários desafiadores do mundo real, posicionando-se como uma estratégia de calibração universal que melhora a confiabilidade sem comprometer a acurácia preditiva.