A Framework for Variational Inference of Lightweight Bayesian Neural Networks with Heteroscedastic Uncertainties

1. Formulação do Problema

Redes Neurais Bayesianas (BNNs) são essenciais para quantificar a incerteza preditiva, distinguindo entre incerteza epistêmica (incerteza do modelo devido a dados limitados) e incerteza aleatória (ruído dos dados).

• O Desafio: Em muitas aplicações, particularmente aquelas que exigem incertezas heterocedásticas (onde os níveis de ruído variam com a entrada), as abordagens padrão exigem que a BNN output a variância aleatória como um cabeçalho de rede adicional, ao lado da média preditiva.
• A Limitação: Adicionar um nó de saída para variância aumenta o número de parâmetros aprendíveis e a complexidade arquitetural. Isso é prejudicial para BNNs leves destinadas a implantação em sistemas com restrições de hardware ou onde o tempo computacional é limitado.
• A Lacuna: Métodos existentes frequentemente forçam um compromisso entre o tamanho do modelo e a capacidade de capturar estruturas de ruído complexas e dependentes da entrada.

2. Metodologia

Os autores propõem uma nova estrutura de inferência que elimina a necessidade de um nó de saída separado para incerteza aleatória, incorporando tanto as incertezas aleatórias quanto as epistêmicas diretamente nas variâncias dos parâmetros aprendíveis da BNN.

A. Reinterpretação das Distribuições de Parâmetros

Em vez de tratar a variância dos parâmetros do neurônio bayesiano como representando apenas a incerteza epistêmica, os autores reinterpretam essas distribuições para codificar a incerteza preditiva total (aleatória + epistêmica).

• Abordagem Padrão: $Var(\hat{y}) = \sigma^2_{epistêmica}$. A variância aleatória ($\sigma^2_{aleatória}$) é prevista como uma saída separada.
• Abordagem Proposta: A variância total $\sigma^2_k$ para uma dada entrada $k$ é definida como a soma das variâncias aleatória e epistêmica:
  $$\sigma^2_k = \sigma^2_{a,k} + \sigma^2_{e,k}$$
  Durante o treinamento, a rede minimiza o Limite Inferior da Evidência (ELBO), onde a perda de reconstrução assume que a distribuição de saída é Gaussiana com variância $\sigma^2_k$. A variância $\sigma^2_k$ é computada como a variância da saída da BNN derivada das distribuições de parâmetros, efetivamente "absorvendo" o ruído aleatório nas variâncias dos parâmetros.

B. Inferência Variacional sem Amostragem via Propagação de Momentos

Para manter a eficiência computacional e evitar o custo da amostragem de Monte Carlo, os autores empregam um esquema de propagação de momentos.

• Mecanismo: A média e a variância da entrada de cada camada são propagadas analiticamente através da rede para calcular a média e a variância da saída.
• Tratamento de Camadas:
  • Totalmente Conectadas e Convolucionais: Propagação analítica exata de médias e variâncias assumindo independência entre neurônios.
  • Leaky-ReLU: Propagação aproximada assumindo que a entrada para a função de ativação é normalmente distribuída. Os autores derivam expressões de forma fechada para a média e a variância da saída usando a lei da esperança total e da variância, envolvendo distribuições normais truncadas.
• Benefício: Isso permite inferência determinística sem a necessidade de amostragem repetida, tornando a estrutura adequada para aplicações leves e em tempo real.

3. Contribuições Principais

1. Incorporação de Variância de Parâmetros: Uma mudança conceitual onde as variâncias dos pesos e vieses da BNN são treinadas para representar a soma das incertezas aleatória e epistêmica, removendo a necessidade de um cabeçalho de saída de variância dedicado.
2. Arquitetura Leve: A estrutura permite que BNNs capturem incertezas heterocedásticas com menos parâmetros aprendíveis em comparação com abordagens padrão de "variância aprendida".
3. Inferência sem Amostragem: Integração de uma técnica simplificada de propagação de momentos que fornece estimativas analíticas de incerteza, evitando a sobrecarga computacional do dropout de Monte Carlo ou amostragem.
4. Estrutura Unificada: Um pipeline completo que combina a reinterpretação das fontes de incerteza com propagação de momentos eficiente para treinamento e inferência.

4. Resultados Experimentais

Os autores avaliaram sua abordagem de "Variância Incorporada" contra a abordagem padrão de "Variância Aprendida" (onde a variância é uma saída separada) usando uma tarefa de regressão polinomial com ruído Gaussiano heterocedástico.

• Desempenho em Regimes Leves:
  • Com um pequeno número de neurônios ocultos (por exemplo, 4), o modelo de Variância Incorporada previu com precisão tanto a tendência quanto a incerteza para dados dentro da distribuição e expressou corretamente alta incerteza para dados fora da distribuição.
  • O modelo de Variância Aprendida falhou em recuperar a incerteza real para dados dentro da distribuição e subestimou significativamente a incerteza para dados fora da distribuição com a mesma arquitetura pequena.
• Eficiência de Parâmetros:
  • Para um número fixo de neurônios, o modelo de "Variância Aprendida" exigiu ~34% mais parâmetros aprendíveis do que o modelo de "Variância Incorporada" para alcançar desempenho comparável.
  • A abordagem de "Variância Incorporada" alcançou menor perda de reconstrução (log-verossimilhança negativa) no regime de baixo número de parâmetros.
• Generalização:
  • Os modelos de "Variância Incorporada" demonstraram melhor generalização para dados fora da distribuição, mostrando um aumento mais gradual na perda de reconstrução à medida que os dados se afastavam da distribuição de treinamento em comparação com os modelos de "Variância Aprendida".
• Escalabilidade: À medida que o tamanho da rede aumentava (por exemplo, 1024 neurônios), a lacuna de desempenho estreitava-se e ambos os métodos performavam de forma similar, sugerindo que o método proposto é mais crítico para modelos leves com restrições de recursos.

5. Significado

Este trabalho aborda um gargalo crítico na implantação de Redes Neurais Bayesianas para computação de borda e sistemas críticos de segurança.

• Eficiência: Ao remover a necessidade de nós de saída adicionais para prever ruído, o método reduz significativamente o tamanho do modelo e o custo computacional, tornando as BNNs viáveis para hardware com restrições rigorosas.
• Robustez: A capacidade de capturar incertezas heterocedásticas sem aumentar a complexidade do modelo garante que modelos leves não sacrifiquem avaliações de confiabilidade ou segurança.
• Praticidade: A natureza sem amostragem da inferência permite tempos de previsão mais rápidos, o que é essencial para aplicações em tempo real onde a latência é uma preocupação.

Em resumo, o artigo demonstra que a incerteza total pode ser efetivamente "incorporada" nas distribuições de parâmetros de uma BNN, oferecendo uma alternativa superior aos cabeçalhos de saída múltiplos tradicionais para quantificação de incerteza heterocedástica leve.