Embedding Linear Equality Constraints in Probabilistic Neural Networks for Dynamic Modelling

Planteamiento del Problema
Los modelos de aprendizaje automático se despliegan cada vez más para el modelado de sustitutos en sistemas de procesos químicos, ofreciendo la ventaja de construir modelos directamente a partir de datos sin requerir un conocimiento especializado extenso. Sin embargo, estos enfoques basados en datos a menudo carecen de conocimiento físico integrado, lo que conduce a predicciones que pueden violar leyes físicas conocidas, particularmente cuando los datos de entrenamiento son limitados o ruidosos. Además, los modelos deterministas estándar no proporcionan una cuantificación de la incertidumbre con fundamentos sólidos, lo cual es crítico para aplicaciones de optimización y control donde los datos suelen ser parcialmente observables o estocásticos. Si bien las Redes Neuronales Informadas por la Física (PINNs) intentan imponer la consistencia física mediante restricciones suaves en la función de pérdida, no garantizan la satisfacción de las restricciones y pueden introducir sensibilidad a los hiperparámetros y problemas de convergencia. Por el contrario, los métodos de restricción dura a menudo dependen de proyecciones de salida o subespacios reducidos que pueden comprometer la expresividad del modelo o aumentar la carga computacional, especialmente para restricciones no lineales. Adicionalmente, los métodos de aprendizaje con restricciones existentes son predominantemente deterministas, careciendo de la capacidad de modelar la incertidumbre aleatoria (inherente).

Metodología
Los autores proponen un marco de Red Neuronal Probabilística (PNN) que impone restricciones de igualdad lineales dentro de una tolerancia especificada mientras modela explícitamente la incertidumbre aleatoria de la salida. El núcleo de la metodología consiste en:

1. Formulación Probabilística: En lugar de predecir estimaciones puntuales, la red neuronal $f_\theta$ predice los parámetros de una distribución gaussiana multivariante para la salida $y$. Específicamente, genera un vector de media $\mu_P$ y un factor de Cholesky $L_P$ de la matriz de covarianza $\Sigma_P = L_P L_P^\top$. El modelo se entrena para minimizar la log-verosimilitud negativa (NLL) de esta distribución.
2. Definición de la Restricción: Las restricciones de igualdad lineales se definen como $Ax + By = b$. Para permitir un condicionamiento tratable, los autores introducen un pequeño término de difusión numérica $\epsilon \sim \mathcal{N}(0, \epsilon I)$, tratando el residuo de la restricción $z = Ax + By - b$ como una variable gaussiana en lugar de una función delta rígida.
3. Condicionamiento en Forma Cerrada: Aprovechando la conjugación de los sistemas gaussianos lineales, el marco deriva una actualización en forma cerrada para condicionar la distribución de salida no restringida $p(y|x)$ sobre la restricción $z=0$. Esto resulta en una nueva distribución condicional $p(y|z=0, x) = \mathcal{N}(\mu_Q, \Sigma_Q)$. Esta proyección asegura que la salida satisfaga las restricciones dentro de la tolerancia $\epsilon$ y reduce la incertidumbre en la dirección de la restricción.
4. Implementación: El condicionamiento se implementa mediante capas no entrenables y diferenciables embebidas dentro del grafo computacional. El modelo se entrena minimizando la NLL de la distribución condicionada. Este enfoque evita la optimización iterativa durante la inferencia y mantiene la diferenciabilidad para la retropropagación.

Contribuciones Clave

• Satisfacción de Restricciones Garantizada: A diferencia de las PINNs de restricción suave, este marco garantiza que las restricciones de igualdad lineales se satisfagan dentro de una tolerancia definida por el usuario tanto en los puntos de entrenamiento como de inferencia.
• Cuantificación de la Incertidumbre: El método captura la incertidumbre aleatoria, proporcionando una distribución predictiva en lugar de una estimación puntual determinista, lo cual es esencial para la toma de decisiones basada en el riesgo.
• Eficiencia Computacional: Al utilizar el condicionamiento en forma cerrada, el método evita la sobrecarga computacional asociada con los métodos de proyección iterativa o las capas de optimización convexa que se usan frecuentemente en el aprendizaje con restricciones.
• Mejor Desempeño con Datos Limitados: El marco demuestra que la inserción directa de restricciones físicas en la salida probabilística mejora significativamente la precisión predictiva y la calibración de la incertidumbre cuando los datos son escasos.

Resultados
El marco fue evaluado en dos casos de estudio de reactores de lote (uno con reacciones irreversibles y otro con reacciones reversibles) a través de cuatro regímenes de datos (mínimo, pequeño, medio y grande). El CPNN se comparó con una ANN no restringida estándar y una PINN de restricción suave.

• Dependencia del Régimen de Datos: En los regímenes de datos mínimos y pequeños, el CPNN superó significativamente a ambos modelos base en términos de Error Cuadrático Medio (MSE), Puntuación de Probabilidad Clasificada Continua (CRPS) y adherencia a las restricciones. La inserción de las restricciones redujo el sobreajuste y guio al modelo hacia soluciones físicamente factibles. A medida que el volumen de datos aumentó a los regímenes medio y grande, la brecha de desempeño se redujo, con los modelos no restringidos alcanzando eventualmente una precisión similar a medida que aprendían los invariantes de los datos.
• Eficiencia de Entrenamiento: El CPNN demostró consistentemente tiempos de entrenamiento significativamente más rápidos (a menudo reduciendo el tiempo a la mitad o más) en comparación con la ANN y la PINN en todos los regímenes de datos. Los autores atribuyen esto a que el paso de condicionamiento altera el paisaje de la pérdida, enfocando la búsqueda en soluciones factibles y permitiendo una convergencia más rápida.
• Calibración de la Incertidumbre: Aunque las razones de cobertura del 95% estuvieron consistentemente por encima de 0.95, los autores notaron que los modelos tendían a sobreestimar la varianza, lo que conduce a intervalos de confianza mal calibrados. Esto sugiere una tendencia a sobreajustarse al ruido en lugar de a la dinámica subyacente, un desafío conocido en el aprendizaje profundo probabilístico.
• Predicción de Trayectorias: El análisis visual de las predicciones de trayectoria mostró que el CPNN proporcionó intervalos de confianza más estrechos y predicciones más cercanas a los valores reales del sistema en los regímenes de bajos datos en comparación con los modelos base, que a menudo se alineaban con puntos de datos ruidosos.

Significancia y Reivindicaciones
El artículo afirma que el marco propuesto ofrece un enfoque con fundamentos para integrar el conocimiento físico en el aprendizaje automático probabilístico sin sacrificar la tratabilidad computacional. La principal significancia radica en su capacidad para entregar una precisión predictiva y una cuantificación de la incertidumbre superiores cuando los datos son limitados, un escenario común en la ingeniería de procesos químicos. Los autores señalan que, si bien la ventaja de desempeño disminuye con abundancia de datos, el paso de condicionamiento continúa ofreciendo beneficios en términos de velocidad de entrenamiento e inferencia. Sugieren que esta eficiencia hace que el enfoque sea prometedor para el control y la optimización en tiempo real en sistemas más grandes. También reconocen modestamente que el trabajo actual se limita a restricciones de igualdad lineales debido a la tratabilidad analítica, y que trabajos futuros podrían explorar extensiones a restricciones no lineales o de desigualdad, así como la integración con modelos secuenciales como RNNs o Transformers.