Embedding Linear Equality Constraints in Probabilistic Neural Networks for Dynamic Modelling

Declaração do Problema
Modelos de aprendizado de máquina são cada vez mais implantados para modelagem substituta em sistemas de processos químicos, oferecendo a vantagem de construir modelos diretamente a partir de dados sem exigir conhecimento especializado extensivo. No entanto, essas abordagens baseadas em dados frequentemente carecem de conhecimento físico integrado, levando a previsões que podem violar leis físicas conhecidas, particularmente quando os dados de treinamento são limitados ou ruidosos. Além disso, modelos determinísticos padrão falham em fornecer quantificação de incerteza fundamentada, o que é crítico para aplicações em otimização e controle, onde os dados são frequentemente parcialmente observáveis ou estocásticos. Embora as Redes Neurais Informadas pela Física (PINNs) tentem impor consistência física via restrições suaves na função de perda, elas não garantem a satisfação das restrições e podem introduzir sensibilidade a hiperparâmetros e problemas de convergência. Por outro lado, métodos de restrição rígida frequentemente dependem de projeções de saída ou subespaços reduzidos que podem comprometer a expressividade do modelo ou aumentar os encargos computacionais, especialmente para restrições não lineares. Adicionalmente, os métodos de aprendizado com restrições existentes são predominantemente determinísticos, carecendo da capacidade de modelar a incerteza aleatória (inerente).

Metodologia
Os autores propõem uma estrutura de Rede Neural Probabilística (PNN) que impõe restrições de igualdade linear dentro de uma tolerância especificada enquanto modela explicitamente a incerteza aleatória de saída. O núcleo da metodologia envolve:

1. Formulação Probabilística: Em vez de prever estimativas pontuais, a rede neural $f_\theta$ prevê os parâmetros de uma distribuição Gaussiana multivariada para a saída $y$. Especificamente, ela retorna um vetor de média $\mu_P$ e um fator de Cholesky $L_P$ da matriz de covariância $\Sigma_P = L_P L_P^\top$. O modelo é treinado para minimizar a log-verossimilhança negativa (NLL) desta distribuição.
2. Definição de Restrição: Restrições de igualdade linear são definidas como $Ax + By = b$. Para permitir uma condicionamento tratável, os autores introduzem um pequeno termo de difusão numérica $\epsilon \sim \mathcal{N}(0, \epsilon I)$, tratando o resíduo da restrição $z = Ax + By - b$ como uma variável Gaussiana em vez de uma função delta rígida.
3. Condicionamento em Forma Fechada: Aproveitando a conjugação de sistemas Gaussianos lineares, a estrutura deriva um ajuste em forma fechada para condicionar a distribuição de saída não restringida $p(y|x)$ à restrição $z=0$. Isso resulta em uma nova distribuição condicional $p(y|z=0, x) = \mathcal{N}(\mu_Q, \Sigma_Q)$. Esta projeção garante que a saída satisfaça as restrições dentro da tolerância $\epsilon$ e reduz a incerteza na direção da restrição.
4. Implementação: O condicionamento é implementado via camadas não treináveis e diferenciáveis incorporadas dentro do grafo computacional. O modelo é treinado minimizando a NLL da distribuição condicionada. Esta abordagem evita otimização iterativa durante a inferência e mantém a diferenciabilidade para o backpropagation.

Principais Contribuições

• Satisfação de Restrição Garantida: Ao contrário das PINNs de restrição suave, esta estrutura garante que as restrições de igualdade linear sejam satisfeitas dentro de uma tolerância definida pelo usuário tanto nos pontos de treinamento quanto de inferência.
• Quantificação de Incerteza: O método captura a incerteza aleatória, fornecendo uma distribuição preditiva em vez de uma estimativa pontual determinística, o que é essencial para a tomada de decisão consciente de riscos.
• Eficiência Computacional: Ao utilizar o condicionamento em forma fechada, o método evita o overhead computacional associado a métodos de projeção iterativa ou camadas de otimização convexa frequentemente usadas em aprendizado com restrições.
• Melhor Desempenho com Dados Limitados: A estrutura demonstra que a incorporação direta de restrições físicas na saída probabilística melhora significativamente a precisão preditiva e a calibração da incerteza quando os dados são escassos.

Resultados
A estrutura foi avaliada em dois estudos de caso de reatores de batelada (um com reações irreversíveis e outro com reações reversíveis) através de quatro regimes de dados (mínimo, pequeno, médio e grande). O CPNN foi comparado com uma ANN não restringida padrão e uma PINN de restrição suave.

• Dependência de Regime de Dados: Nos regimes de dados mínimos e pequenos, o CPNN superou significativamente ambos os baselines em termos de Erro Quadrático Médio (MSE), Pontuação de Probabilidade Classificada Contínua (CRPS) e adesão às restrições. A incorporação das restrições reduziu o overfitting e guiou o modelo em direção a soluções fisicamente viáveis. À medida que o volume de dados aumentou para os regimes médio e grande, a lacuna de desempenho diminuiu, com modelos não restringidos eventualmente alcançando precisão semelhante à medida que aprendiam os invariantes dos dados.
• Eficiência de Treinamento: O CPNN demonstrou consistentemente tempos de treinamento significativamente mais rápidos (frequentemente reduzindo o tempo pela metade ou mais) em comparação ao ANN e PINN em todos os regimes de dados. Os autores atribuem isso ao fato de o passo de condicionamento alterar o cenário de perda, focando a busca em soluções viáveis e permitindo uma convergência mais rápida.
• Calibração de Incerteza: Embora as razões de cobertura de 95% tenham sido consistentemente acima de 0,95, os autores observaram que os modelos tendiam a superestimar a variância, levando a intervalos de confiança mal calibrados. Isso sugere uma tendência de overfitting ao ruído em vez da dinâmica subjacente, um desafio conhecido no aprendizado profundo probabilístico.
• Predição de Trajetória: A análise visual das predições de trajetória mostrou que o CPNN forneceu intervalos de confiança mais estreitos e predições mais próximas dos valores reais do sistema em regimes de baixos dados em comparação aos baselines, que frequentemente se alinhavam com pontos de dados ruidosos.

Significância e Alegações
O artigo afirma que a estrutura proposta oferece uma abordagem fundamentada para integrar conhecimento físico em aprendizado de máquina probabilístico sem sacrificar a tratabilidade computacional. A principal significância reside em sua capacidade de entregar precisão preditiva superior e quantificação de incerteza quando os dados são limitados, um cenário comum na engenharia de processos químicos. Os autores observam que, embora a vantagem de desempenho diminua com dados abundantes, o passo de condicionamento continua a oferecer benefícios em termos de velocidade de treinamento e inferência. Eles sugerem que essa eficiência torna a abordagem promissora para controle e otimização em tempo real em sistemas maiores. Eles também reconhecem modestamente que o trabalho atual é limitado a restrições de igualdade linear devido à tratabilidade analítica e que trabalhos futuros poderiam explorar extensões para restrições não lineares ou de desigualdade, bem como a integração com modelos sequenciais como RNNs ou Transformers.