Exploring the Potential of Bilevel Optimization for Calibrating Neural Networks

Resumo Técnico: Explorando o Potencial da Otimização Bi-nível para Calibração de Redes Neurais

Declaração do Problema
As redes neurais modernas possuem alto poder discriminativo, mas são frequentemente mal calibradas, o que significa que suas pontuações de confiança previstas não refletem com precisão a verdadeira probabilidade de correção. Essa superconfiança representa riscos significativos em domínios sensíveis e regulamentados (por exemplo, saúde, veículos autônomos), onde os modelos devem ser capazes de expressar incerteza ou "rejeitar" previsões das quais não estão confiantes. Embora existam métodos de pós-calibração, eles operam como etapas separadas após o treinamento. Os autores investigam se a auto-calibração — integrando a calibração de confiança diretamente no processo de treinamento — pode ser efetivamente alcançada usando Otimização Bi-nível (BO).

Metodologia
O artigo propõe o BO4SC, um novo framework que formula o treinamento de redes neurais como um problema de otimização bi-nível. A inovação central é uma estrutura de dupla saída onde o modelo aprende simultaneamente previsões de classe e estimativas de confiança, com ambas as saídas dependentes dos mesmos parâmetros do modelo.

O framework é definido da seguinte forma:

• Problema de Nível Interno (Seguidor): Foca no treinamento padrão de classificação. Minimiza uma perda de entropia cruzada ponderada sobre o conjunto de treinamento ($D_{train}$) para atualizar os parâmetros do modelo ($\theta$). Os pesos ($w$) para cada amostra de treinamento são tratados como parâmetros determinados pelo nível externo.
• Problema de Nível Externo (Líder): Foca na calibração de confiança. Minimiza uma perda de entropia cruzada binária (BCE) sobre um conjunto de validação ($D_{val}$). O objetivo é encontrar os pesos de amostra ótimos ($w$) que, quando aplicados no loop interno, resultem em um modelo ($\theta^*$) cujas pontuações de confiança previstas ($\hat{p}$) se alinhem com a correção verdadeira das previsões.

Para resolver isso, os autores empregam uma abordagem baseada em gradiente usando descida de hipergradiente aproximada. Eles aproximam o problema bi-nível desenrolando a otimização interna por um número fixo de passos ($T$) e calculando o hipergradiente (o gradiente do objetivo externo em relação aos parâmetros externos $w$) usando diferenciação automática no modo reverso. A implementação utiliza a biblioteca torchopt para lidar com as hierarquias complexas de otimização.

Principais Contribuições

1. Framework Inovador: O artigo introduz o BO4SC, o primeiro trabalho a propor um framework de otimização bi-nível especificamente para treinar uma única rede neural profunda auto-calibrada, distinto da literatura anterior que usava BO para arquiteturas separadas de pontuação de incerteza.
2. Integração de Auto-calibração: Diferentemente dos métodos de pós-calibração (por exemplo, Regressão Isotônica) que ajustam as saídas após o treinamento, o BO4SC integra o objetivo de calibração diretamente no loop de treinamento, ajustando dinamicamente os pesos das amostras.
3. Análise Diagnóstica: O estudo fornece uma análise detalhada de como a otimização bi-nível afeta a distribuição da incerteza, observando especificamente como o método atribui pesos menores a amostras ambíguas ou mal classificadas próximas às fronteiras de decisão.

Resultados Experimentais
Os autores avaliaram o BO4SC contra uma abordagem de treinamento Padrão e Regressão Isotônica (IsoReg) (um método de pós-calibração amplamente utilizado) em vários conjuntos de dados:

• Conjuntos de Dados: Conjuntos de dados sintéticos (Blobs 1.3/1.7, Spirals 2.5/3.5) para fins de diagnóstico visual e um conjunto de dados simulado prático (Concentração de Álcool no Sangue - BAC).
• Métricas: Erro de Calibração Esperado (ECE) e Acurácia.
• Descobertas:
  • Calibração: O BO4SC alcançou consistentemente o menor ECE na maioria dos conjuntos de dados, superando tanto os métodos Padrão quanto IsoReg. Por exemplo, no conjunto de dados Blobs 1.7, o BO4SC alcançou um ECE de 0,016, comparado a 0,074 para o Padrão e 0,039 para o IsoReg.
  • Acurácia: O método manteve uma acurácia competitiva, com apenas diminuições marginais em comparação ao método Padrão em alguns casos, demonstrando que a calibração aprimorada não exige um compromisso significativo no desempenho preditivo.
  • Análise Visual: Diagramas de confiabilidade e histogramas de confiança revelaram que, enquanto os modelos Padrão eram superconfiantes e o IsoReg às vezes produzia pontuações subconfiantes (por exemplo, caindo abaixo de 0,5 em tarefas binárias onde 0,5 é a linha de base), o BO4SC produziu o alinhamento mais equilibrado entre a confiança prevista e a acurácia real.
  • Dinâmica de Pesos: A análise dos pesos aprendidos mostrou que o BO4SC naturalmente reduz o peso das amostras próximas às fronteiras de decisão (regiões ambíguas) e atribui pesos maiores a amostras classificadas com confiança, refinando efetivamente o sinal de treinamento.

Significado e Alegações
O artigo alega que a otimização bi-nível oferece uma alternativa robusta às técnicas de pós-calibração. Os autores argumentam que, embora métodos de pós-calibração como o IsoReg sejam eficazes, eles podem ocasionalmente levar a ajustes excessivos ou distribuições de confiança inadequadas (por exemplo, subestimar a confiança). Em contraste, a natureza auto-calibrante do BO4SC produz pontuações de confiança mais confiáveis para a tomada de decisões no mundo real, particularmente em cenários que exigem a rejeição de previsões incertas.

Os autores permanecem modestos quanto ao estado atual do trabalho, reconhecendo que, embora os resultados sejam promissores, o custo computacional (tempo de execução e memória) da abordagem bi-nível é atualmente maior do que o treinamento tradicional. Eles identificam a eficiência computacional e a aplicação à classificação com opção de rejeição como direções primárias para pesquisas futuras.