Resumo Técnico: Estimativa de Incerteza Calibrada e Livre de Amostragem em Aprendizado Profundo Bayesiano

1. Definição do Problema

Modelos modernos de aprendizado profundo, particularmente aqueles baseados em arquiteturas de transformadores, são notoriamente propensos ao excesso de confiança (overconfidence), o que limita sua confiabilidade em aplicações de alto risco, como detecção de doenças, raciocínio jurídico e assistência visual para usuários cegos. Embora as Redes Neurais Bayesianas (BNNs) ofereçam uma rota fundamentada para a quantificação de incerteza ao aprender uma distribuição sobre os parâmetros do modelo, um gargalo significativo permanece no tempo de teste.

A inferência Bayesiana padrão exige a média das previsões através de muitas passagens para frente com pesos amostrados da posterior (Monte Carlo ou amostragem MC), o que é computacionalmente proibitivo para arquiteturas de larga escala. Por outroْ, usar apenas a rede média (ignorando a variância) é eficiente, mas falha em capturar a incerteza. Métodos existentes de propagação de variância, que propagam analiticamente a média e a variância através das camadas em uma única passagem, têm sido historicamente limitados a Perceptrons de Camada Múltipla (MLPs). Sua extensão para arquiteturas modernas (Transformers, CNNs com ResNets) tem sido desafiadora devido ao aumento da profundidade e à presença de camadas de normalização. Tentativas anteriores, como o "Streamlining" [30], linearizam camadas de normalização e funções de ativação, resultando em médias propagadas idênticas à rede média até a camada final, falhando em melhorar a predição seletiva apesar do custo adicional.

2. Metodologia: Propagação de Variância Calibrada (CVP)

Os autores propõem a Propagação de Variância Calibrada (CVP), um framework abrangente projetado para entregar estimativas de incerteza precisas em uma única passagem para frente para arquiteturas modernas, incluindo Transformers e CNNs. A CVP opera substituindo a passagem para frente determinística padrão por uma cadeia de operadores que propagam pares de média-variância $(\mu, \Sigma)$ através da rede.

A metodologia aborda três lacunas técnicas específicas:

A. Momentos Exatos para Funções de Ativação

Ao contrário do método Delta (linearização de Taylor de primeira ordem) usado em trabalhos anteriores, que deixa a média propagada independente da variância da entrada, a CVP utiliza o ajuste de momentos exatos para ativações não lineares. Assumindo entradas Gaussianas, a CVP utiliza expressões de forma fechada para a média e variância das ativações GELU, sigmoid, tanh e ReLU. Isso garante que a média propagada divirja da previsão da rede média em cada não linearidade, capturando a incerteza dependente da entrada.

B. Regra Baseada em Expectativa para Camadas de Normalização

Uma contribuição central é uma nova regra de propagação para camadas de normalização (ex: LayerNorm). Métios anteriores linearizam o termo de variância $s^2(x)$ para $s^2(\mu_x)$, reduzindo a operação a uma transformação afim determinística da média. A CVP substitui $s^2(x)$ por sua esperança sob a distribuição de entrada:
$$E[s^2(x)] = s^2(\mu_x) + \left(1 - \frac{1}{D}\right)\bar{\Sigma}_x$$
onde $\bar{\Sigma}_x$ é a média das variâncias diagonais de entrada. Isso torna a operação de LayerNorm afim em relação aos momentos de entrada, permitindo a propagação exata da incerteza através de camadas de normalização, que são centrais para arquiteturas de Transformer.

C. Calibração por Camada

Para combater o acúmulo de erros de aproximação (decorrentes das suposições de covariância diagonal e entradas Gaussianas) conforme a profundidade aumenta, a CVP introduz fatores de escala aprendíveis por camada ($\alpha_i$). Esses fatores reescalam multiplicativamente a variância propagada após camadas-chave (especificamente antes das camadas de ativação e normalização). Os parâmetros $\alpha_i$ são ajustados em uma fase de calibração leve minimizando a Log-Verossimilhança Negativa (NLL) em um conjunto de validação mantido à parte, de forma análoga ao escalonamento de temperatura, mas aplicado camada a camada.

3. Principais Contribuições

1. Regra de Propagação de Variância para Camadas de Normalização: Os autores desenvolvem uma nova regra para camadas de normalização que oferece fidelidade substancialmente melhor à amostragem MC em comparação com a linearização, validada tanto em dados sintéticos quanto em ativações de modelos reais.
2. Estágio de Calibração por Camada: A introdução de fatores de escala aprendíveis corrige o acúmulo sistemático de erro, melhorando significativamente a calibração e, crucialmente, o desempenho da predição seletiva.
3. Implementação Otimizada: A implementação da CVP executa em uma única passagem para frente com um custo computacional aproximadamente 2–3 vezes maior que uma passagem determinística, entregando ganhos substanciais de confiabilidade sem o overhead de amostragem repetida dos métodos MC.

4. Resultados Experimentais

A CVP foi avaliada em benchmarks unimodais (Classificação de Imagem: CIFAR-10, CIFAR-100, ImageNet) e multimodais (VQA: VQAv2; Raciocínio Visual: NLVR2) usando modelos treinados via otimizador variacional IVON.

• Troca Eficiência-Confiabilidade: A CVP domina o Pareto consistentemente tanto a rede média quanto a amostragem MC. Ela alcança qualidade de incerteza comparável à amostragem MC (ex: 4 amostras) a uma fração do custo (aprox. 2.3–2.9x o custo de uma única passagem vs. 4x para 4 amostras).
• Predição Seletiva: A CVP mostra melhorias marcantes na Cobertura ao Risco (C@R). Por exemplo, no benchmark NLVR2 com BEiT-3, a CVP melhora a cobertura em 0,5% de risco de 8,2% (Streamlining) para 14,6%. No VQAv2 com ViLT, melhora de 2,6% para 10,8%.
• Comparação com Streamlining: Enquanto o Streamlining melhora ligeiramente a calibração sobre a rede média, ele falha em melhorar a predição seletiva porque sua média propagada permanece idêntica à rede média. A divergência precoce da média da CVP e a calibração por camada permitem que ela supere o Streamlining significativamente.
• Estudos de Ablação: Remover qualquer componente da CVP (momentos de ativação exatos, regra de normalização ou calibração por camada) degrada o desempenho, confirmando que todos os três elementos são necessários para os ganhos observados.

5. Significância e Alegações

O artigo afirma que a CVP preenche uma lacuna crítica no Aprendizado Profundo Bayesiano ao permitir a estimativa de incerteza livre de amostragem para arquiteturas modernas e de larga escala. Sua significância reside em:

• Praticidade: Fornece uma alternativa viável para métodos de amostragem MC para sistemas de tempo real e críticos para a segurança, onde a inferência repetida não é viável.
• Generalidade Arquitetural: É o primeiro framework de propagação de variância que estende com sucesso para Transformers multimodais e ResNets, superando as limitações de métodos anteriores que eram restritos a estruturas do tipo MLP.
• Desempenho: Entrega melhorias consistentes de Pareto, oferecendo métricas de confiabilidade (calibração e predição seletiva) que igualam ou excedem os caros métodos de amostragem MC, mantendo a baixa latência.

Os autores reconhecem limitações, observando que a CVP incorre em aproximadamente o dobro da pegada de memória de uma passagem determinística (para armazenar variâncias) e requer um conjunto de dados mantido à parte para calibração. Além disso, os experimentos atuais são limitados a arquiteturas de estilo encoder com cabeças de classificação ou VQA, deixando a geração autorregressiva para trabalhos futuros. No entanto, o método estabelece um novo baseline para a quantificação de incerteza eficiente e confiável em aprendizado profundo.