Learning with Embedded Linear Equality Constraints via Variational Bayesian Inference

1. Formulação do Problema

Em domínios científicos e de engenharia, modelos preditivos frequentemente devem aderir a leis físicas conhecidas, tipicamente expressas como restrições de igualdade lineares (por exemplo, balanços de massa e energia). No entanto, abordagens padrão de Aprendizado de Máquina enfrentam duas limitações críticas:

1. Falta de Quantificação de Incerteza: Redes neurais determinísticas fornecem previsões pontuais sem intervalos de confiança principistas.
2. Inconsistência Física: Redes Neurais Bayesianas (BNNs) padrão quantificam incerteza, mas não impõem explicitamente restrições físicas, levando a previsões que podem violar leis físicas conhecidas (por exemplo, violar as leis de Kirchhoff ou a conservação de energia).

Métodos existentes para impor restrições (por exemplo, Redes Neurais Informadas por Física ou camadas de projeção rígida) frequentemente tratam as restrições deterministicamente, falhando em propagar incerteza ou considerar ruído de medição e observabilidade parcial. Há uma necessidade de um quadro que incorpore restrições probabilisticamente, mantendo estimativas de incerteza calibradas.

2. Metodologia

Os autores propõem um quadro de Rede Neural Probabilística Bayesiana com Restrições (BCPNN) que integra restrições de igualdade lineares diretamente no processo de inferência variacional.

Conceito Central: Condicionamento Gaussiano

O método assume que a distribuição preditiva da rede neural é Gaussiana. Quando as restrições são lineares, impor-se reduz a condicionamento Gaussiano de forma fechada.

• Formulação da Restrição: Os autores definem um resíduo de restrição $z = Ax + By - b + \epsilon$, onde $\epsilon$ representa um termo de tolerância modelado como ruído Gaussiano com variância $r$.
• Condicionamento: Ao condicionar a distribuição preditiva em $z=0$, a média ($\mu_P$) e a variância ($\sigma^2_P$) da saída da rede são atualizadas para uma posteriori restrita ($\mu_C, \sigma^2_C$) usando fórmulas analíticas derivadas das propriedades de Gaussianas multivariadas.
• Diferenciabilidade: Esta etapa de condicionamento é totalmente diferenciável, permitindo que seja inserida como uma camada dentro da arquitetura da rede.

Inferência Variacional Conjunta

Ao contrário das BNNs padrão que inferem apenas parâmetros do modelo ($\theta$), este quadro realiza inferência conjunta sobre:

1. Parâmetros da Rede ($\theta$): Os pesos e vieses da rede neural.
2. Tolerância da Restrição ($r$): Uma variável aleatória representando a rigidez da restrição.

Os autores tratam a tolerância $r$ como uma quantidade aprendível (reparametrizada como $r = \exp(\rho)$ para garantir positividade). Eles otimizam um Limite Inferior da Evidência Modificado (ELBO) que equilibra:

• Ajuste aos dados (verossimilhança das observações).
• Regularização dos parâmetros da rede (divergência KL de priores).
• Regularização da tolerância da restrição (divergência KL de priores).

Isso permite que o modelo aprenda quão estritamente impor restrições com base nos dados, em vez de assumir que as restrições se mantêm perfeitamente ou são violadas arbitrariamente.

Decomposição da Incerteza

O artigo fornece uma decomposição teórica da variância preditiva sob condicionamento de restrição. A variância total é mostrada como consistindo em:

• Incerteza Aleatória: Reduzida pela etapa de condicionamento (a restrição reduz a variância marginal).
• Incerteza Epistêmica: Reduzida devido à concentração mais estreita da posteriori.
• Incerteza de Tolerância: Variância decorrente da incerteza aprendida na própria tolerância da restrição.
• Termos de Interação: Covariância entre parâmetros e a atualização da restrição.

3. Contribuições Principais

1. Incorporação Probabilística de Restrições: Um quadro inovador que incorpora restrições de igualdade lineares em BNNs via condicionamento Gaussiano, garantindo que as previsões sejam consistentes com a física em expectativa, enquanto preserva a quantificação de incerteza.
2. Tolerância de Restrição Aprendível: A capacidade de inferir a rigidez apropriada das restrições a partir dos dados, distinguindo entre leis físicas "rígidas" e relações "suaves" afetadas por ruído de medição.
3. Análise Teórica de Incerteza: Uma derivação mostrando que o condicionamento de restrição reduz sistematicamente a variância preditiva (tanto aleatória quanto epistêmica) enquanto mantém a cobertura calibrada.
4. Otimização Tratável: O uso de atualizações de forma fechada permite treinamento eficiente via técnicas padrão de inferência variacional (truque de reparametrização) sem exigir camadas de otimização complexas (como solucionadores QP) durante a inferência.

4. Resultados Experimentais

O quadro foi avaliado em um Modelo de Partícula Única (SPM) de uma bateria de íon-lítio, um sistema complexo governado por equações de difusão esférica e dinâmica térmica.

• Configuração: O modelo previu 8 saídas (eletroquímicas e térmicas) dadas 3 entradas (corrente, temperatura, etc.), sujeitas a duas restrições lineares: Lei de Tensão de Kirchhoff e Balanço de Energia.
• Desempenho:
  • Precisão: A BCPNN alcançou precisão de previsão pontual e taxas de cobertura (0,99) idênticas a uma BNN padrão não restrita.
  • Redução de Incerteza: A BCPNN produziu intervalos credíveis mais estreitos (variância reduzida) em comparação com a BNN padrão, confirmando a redução teórica de variância.
  • Adesão à Restrição: A melhoria mais significativa foi na violação de restrições. A BCPNN reduziu as violações medianas de restrição em duas ordens de grandeza para tensão e quatro ordens de grandeza para balanço de energia em comparação com a BNN não restrita.
  • Tolerância Adaptativa: A posteriori aprendida para a tolerância da restrição distinguiu com sucesso entre as duas restrições. A lei de tensão foi aprendida como extremamente estrita (baixa tolerância), enquanto o balanço de energia manteve maior incerteza (maior tolerância), refletindo os diferentes níveis de ruído nos dados simulados.

5. Significado e Trabalhos Futuros

Este trabalho preenche a lacuna entre modelagem probabilística estruturada e aprendizado profundo moderno. Fornece uma maneira principista de incorporar conhecimento de domínio (leis físicas) em redes neurais sem sacrificar a capacidade de quantificar incerteza.

• Impacto: Permite a implantação de modelos de ML em aplicações de engenharia críticas para a segurança, onde a consistência física é não negociável, mas os dados são ruidosos ou incompletos.
• Limitações e Direções Futuras: A formulação atual é limitada a restrições de igualdade lineares. Trabalhos futuros visam estender isso para restrições de desigualdade e relações não lineares. Além disso, as posterioris de tolerância aprendidas poderiam ser integradas em pipelines de aprendizado ativo ou design experimental para guiar estratégias de coleta de dados com base tanto na incerteza preditiva quanto na incerteza de restrição.