Embedding Linear Equality Constraints in Probabilistic Neural Networks for Dynamic Modelling

Probleemstelling
Machine learning-modellen worden steeds vaker ingezet voor surrogaatmodellering in chemische procesystemen, waarbij het voordeel bestaat dat modellen direct vanuit data kunnen worden opgebouwd zonder dat uitgebreide specialistische kennis vereist is. Deze datagestuurde benaderingen missen echter vaak geïntegreerde fysieke kennis, wat leidt tot voorspellingen die bekende natuurwetten kunnen schenden, met name wanneer de trainingsdata beperkt of ruisgevoelig is. Bovendien bieden standaard deterministische modellen geen principiële onzekerheidskwantificering, wat cruciaal is voor toepassingen in optimalisatie en controle waar data vaak gedeeltelijk observeerbaar of stochastisch is. Hoewel Physics-Informed Neural Networks (PINNs) proberen fysieke consistentie af te dwingen via zachte restricties (soft constraints) in de verliesfunctie, garanderen zij geen naleving van restricties en kunnen zij hyperparametergevoeligheid en convergentieproblemen introduceren. Daartegenover staan harde restrictiemethoden die vaak vertrouwen op outputprojecties of gereduceerde subruimtes, wat de expressiviteit van het model kan beperken of de computationele last kan verhogen, vooral bij niet-lineaire restricties. Daarnaast zijn bestaande methoden voor geconstraineerd leren overwegend deterministisch en missen zij het vermogen om aleatorische (inherente) onzekerheid te modelleren.

Methodologie
De auteurs stellen een Probabilistic Neural Network (PNN) framework voor dat lineaire gelijkheidsrestricties afdwingt binnen een gespecificeerde tolerantie, terwijl het expliciet de output aleatorische onzekerheid modelleert. De kern van de methodologie omvat:

1. Probabilistische Formulering: In plaats van puntinschattingen te voorspellen, voorspelt het neurale netwerk $f_\theta$ de parameters van een multivariate Gaussische verdeling voor de output $y$. Specifiek geeft het de gemiddelde vector $\mu_P$ en de Cholesky-factor $L_P$ van de covariantie-matrix $\Sigma_P = L_P L_P^\top$ terug. Het model wordt getraind om de negatieve log-likelihood (NLL) van deze verdeling te minimaliseren.
2. Restrictiedefinitie: Lineaire gelijkheidsrestricties worden gedefinieerd als $Ax + By = b$. Om een hanteerbare conditionering mogelijk te maken, introduceren de auteurs een kleine numerieke diffusieterm $\epsilon \sim \mathcal{N}(0, \epsilon I)$, waarbij de restrictierest $z = Ax + By - b$ als een Gaussische variabele wordt behandeld in plaats van een harde delta-functie.
3. Gesloten-vorm Conditionering: Door gebruik te maken van de conjunctiviteit van lineaire Gaussische systemen, leidt het framework een gesloten-vorm update af om de onbeperkte outputverdeling $p(y|x)$ te conditioneren op de restrictie $z=0$. Dit resulteert in een nieuwe conditionele verdeling $p(y|z=0, x) = \mathcal{N}(\mu_Q, \Sigma_Q)$. Deze projectie zorgt ervoor dat de output de restricties binnen de tolerantie $\epsilon$ naleeft en de onzekerheid in de richting van de restrictie vermindert.
4. Implementatie: De conditionering wordt geïmplementeerd via niet-trainbare, differentieerbare lagen die ingebed zijn in de computationele graaf. Het model wordt getraind door de NLL van de geconditioneerde verdeling te minimaliseren. Deze aanpak vermijdt iteratieve optimalisatie tijdens de inferentie en behoudt differentieerbaarheid voor backpropagation.

Belangrijkste Bijdragen

• Gegarandeerde Naleving van Restricties: In tegen tegenover de zacht-geconstraineerde PINNs, garandeert dit framework dat lineaire gelijkheidsrestricties worden nageleefd binnen een door de gebruiker gedefinieerde tolerantie bij zowel trainings- als inferentiepunten.
• Onzekerheidskwantificering: De methode legt aleatorische onzekerheid vast, waardoor een voorspellende verdeling wordt geboden in plaats van een deterministische puntinschatting, wat essentieel is voor risico-bewuste besluitvorming.
• Computationele Efficiëntie: Door gebruik te maken van gesloten-vorm conditionering, vermijdt de methode de computationele overhead die gepaard gaat met iteratieve projectiemethoden of convex optimalisatie-lagen die vaak bij geconstraineerd leren worden gebruikt.
• Verbeterde Prestaties bij Beperkte Data: Het framework demonstreert dat het direct inbedden van fysieke restricties in de probabilistische output de voorspellende nauwkeurigheid en de kalibratie van de onzekerheid aanzienlijk verbetert wanneer data schaars is.

Resultaten
Het framework werd geëvalueerd op twee batchreactor casestudy's (één met irreversibele reacties en één met reversibele reacties) over vier dataregimes (minimaal, klein, medium en groot). De CPNN werd vergeleken met een standaard onbeperkte ANN en een zacht-geconstraineerde PINN.

• Afhankelijkheid van Dataregime: In de minimale en kleine dataregimes presteerde de CPNN significant beter dan beide baselines op het gebied van Mean Squared Error (MSE), Continuous Ranked Probability Score (CRPS) en restrictienaleving. Het inbedden van restricties verminderde overfitting en stuurde het model naar fysiek haalbare oplossingen. Naarmate het datavolume toenam naar de medium en grote regimes, kromp het prestatieverschil, waarbij onbeperkte modellen uiteindelijk een vergelijkbare nauwkeurigheid bereikten naarmate zij de invarianten uit de data leerden.
• Trainingsefficiëntie: De CPNN vertoonde consequent aanzienlijk snellere trainingstijden (vaak de tijd met de helft of meer verminderend) vergeleken met de ANN en PINN over alle dataregimes. De auteurs schrijven dit toe aan het feit dat de conditioneringsstap het verlieslandschap (loss landscape) verandert, waardoor de zoektocht zich richt op haalbare oplossingen en snellere convergentie mogelijk wordt.
• Onzekerheidskalibratie: Hoewel de 95% coverage ratio's consistent boven de 0,95 lagen, merkten de auteurs op dat de modellen de neiging hadden om de variantie te overschatten, wat leidde tot slecht gekalibreerde betrouwbaarheidsintervallen. Dit suggereert een neiging om te overfitten op ruis in plaats van op de onderliggende dynamiek, een bekend probleem in probabilistisch deep learning.
• Trajectvoorspelling: Visuele analyse van trajectvoorspellingen toonde aan dat de CPNN nauwere betrouwbaarheidsintervallen en voorspellingen bood die dichter bij de werkelijke systeemwaarden lagen in lage-dataregimes vergeleken met de baselines, die vaak in lijn lagen met ruisige datapunten.

Betekenis en Claims
Het artikel claimt dat het voorgestelde framework een principiële aanpak biedt voor het integreren van fysieke kennis in probabilistisch machine learning zonder de computationele hanteerbaarheid op te offeren. De primaire betekenis ligt in het vermogen om superieure voorspellende nauwkeurigheid en onzekerheidskwantificering te leveren wanneer data beperkt is, een veelvoorkomend scenario in de chemische procestechnologie. De auteurs merken op dat hoewel het prestatievoordeel afneemt bij overvloedige data, de conditioneringsstap nog steeds voordelen biedt in termen van snellere training- en inferentiesnelheden. Zij suggereren dat deze efficiëntie het potentieel van de aanpak vergroot voor real-time controle en optimalisatie op grotere systemen. Ze erkennen ook bescheiden dat het huidige werk beperkt is tot lineaire gelijkheidsrestricties vanwege de analytische hanteerbaarheid, en dat toekomstig werk de mogelijkheden kan verkennen voor extensies naar niet-lineaire of ongelijkheidsrestricties, evenals de integratie met sequentiële modellen zoals RNN's of Transformers.