Uncertainty propagation through trained multi-layer perceptrons: Exact analytical results

Resumo Técnico: Propagação de Incerteza através de Perceptrons Multicamadas Treinados

Enunciado do Problema
O artigo aborda o desafio da propagação de incerteza através de modelos de regressão de aprendizado de máquina treinados, especificamente Perceptrons Multicamadas (MLPs). A quantificação de incerteza é cada vez mais exigida para a confiabilidade dos modelos (por exemplo, sob a Lei de IA da UE), mas os métodos existentes para propagar incertezas conhecidas de entrada através de um modelo fixo frequentemente dependem de abordagens baseadas em amostragem, como Monte Carlo. Esses métodos aproximam a distribuição de saída e exigem recursos computacionais significativos para alcançar alta precisão. Métodos analíticos, que oferecem caracterizações exatas, são frequentemente limitados a aproximações (por exemplo, linearização, limites assintóticos) ou dependem de expansões de séries infinitas que são computacionalmente tediosas de avaliar para funções de ativação específicas.

Metodologia
Os autores focam em MLPs feed-forward totalmente conectados com uma única camada oculta e funções de ativação ReLU, assumindo que os dados de entrada seguem uma distribuição Gaussiana multivariada. A arquitetura consiste em:

1. Um vetor de entrada $V$ passado por uma transformação afim para produzir $W$.
2. Uma ativação ReLU componente a componente ($X = W_+$) aplicada a $W$.
3. Uma transformação afim final para produzir a saída escalar $Y$.

A principal contribuição metodológica é a derivação de expressões analíticas exatas para a média e a variância da saída $Y$. Os autores decompõem o problema:

• A propagação através das camadas afins é tratada via transformações lineares padrão de distribuições Gaussianas.
• O desafio principal reside na propagação da incerteza através da ativação ReLU. Os autores derivam expressões de forma fechada para os primeiros e segundos momentos (média e covariância) de uma distribuição Gaussiana retificada multivariada.
• Especificamente, eles fornecem fórmulas para $E[X_i]$, $E[X_i^2]$ e $E[X_i X_j]$ (onde $X = W_+$) usando integrais Gaussianas 1D e 2D padrão envolvendo a função de densidade de probabilidade ($\phi$) e a função de distribuição cumulativa ($\Phi$).
• O artigo também aborda casos de borda onde as variâncias de entrada são zero ou as correlações são perfeitas ($|\rho| = 1$), fornecendo formas limitantes para esses cenários.

Principais Contribuições

1. Expressões Analíticas Exatas: O artigo apresenta fórmulas de forma fechada para a média e variância das saídas de MLP com ativações ReLU e entradas Gaussianas. Ao contrário de trabalhos anteriores (ex: [19]) que dependem de séries de Taylor infinitas, estas expressões são finitas e dependem apenas de integrais Gaussianas padrão.
2. Tratamento da Não-linearidade ReLU: A derivação lida explicitamente com a não-linearidade da função ReLU sem recorrer à linearização ou suposições de média zero, fornecendo resultados exatos para a distribuição retificada.
3. Extensões para Casos de Borda: Os autores estendem seus resultados para lidar com casos degenerados onde a incerteza de entrada é zero ou onde as variáveis da camada oculta são perfeitamente correlacionadas.
4. Validação: Os resultados analíticos foram validados contra amostragem de Monte Carlo usando um problema de teste do mundo real: estimar o Estado de Saúde (SOH) de células de íon-lítio baseando-se em dados de Espectroscopia de Impedância Eletroquímica (EIS).

Resultos

• Teóricos: As expressões derivadas (Teoremas 1, 2 e 3) permitem o cálculo dos momentos de saída com precisão arbitrária sem a necessidade de truncamento de série.
• Empíricos: Nos experimentos de predição de SOH, os resultados analíticos foram comparados contra simulações de Monte Carlo com tamanhos de amostra variando de $10^3$ a $10^6$.
  • O Erro Quadrático Médio (RMSE) entre os resultados analíticos e de Monte Carlo diminuiu conforme o número de tentativas de Monte Carlo aumentava.
  • Com $10^6$ tentativas, o RMSE para as estimativas de média e variância caiu abaixo de $10^{-5}$.
  • Gráficos log-log de RMSE versus tamanho de amostra confirmaram uma relação de lei de potência com um gradiente de aproximadamente $-0.5$, consistente com a taxa de convergência esperada de $1/\sqrt{n}$ dos métodos de Monte Carlo. Isso confirma que as expressões analíticas correspondem aos valores "reais" que os métodos de Monte Carlo aproximam.

Significância e Alegações
O artigo afirma que sua abordagem analítica oferece uma solução que é mais precisa, transparente e reproduzível do que os métodos baseados em amostragem.

• Precisão: Expressões analíticas caracterizam precisamente a incerteza da saída, enquanto métodos de amostragem apenas a aproximam.
• Transparência: A derivação matemática fornece insights sobre as fontes da incerteza propagada, ao contrário da amostragem de "caixa preta".
• Reprodutibilidade: Reproduzir a avaliação requer apenas a distribuição de entrada e a fórmula analítica, evitando a necessidade de registrar ou replicar processos de amostragem específicos.

Os autores observam que, embora os resultados atuais sejam exatos para redes de camada oculta única com ReLU, estender estes resultados exatos para redes mais profundas ou outras funções de ativação exigiria técnicas matemáticas diferentes ou aproximações (como aproximações Gaussianas em cada camada). O artigo conclui que, para o caso específico de redes ReLU de camada oculta única com entradas Gaussianas, a propagação analítica exata de incerteza é viável e superior à amostragem.