Learning with Embedded Linear Equality Constraints via Variational Bayesian Inference

1. Probleemstelling

In wetenschappelijke en technische domeinen moeten voorspellende modellen vaak voldoen aan bekende natuurwetten, doorgaans uitgedrukt als lineaire gelijkheidsrestricties (bijvoorbeeld massa- en energiebalansen). Standaard Machine Learning-benaderingen kampen echter met twee kritieke beperkingen:

1. Gebrek aan Kwantificering van Onzekerheid: Deterministische neurale netwerken leveren puntvoorspellingen zonder principiële betrouwbaarheidsintervallen.
2. Fysische Inconsistentie: Standaard Bayesiaanse Neurale Netwerken (BNN's) kwantificeren onzekerheid, maar handhaven geen expliciete fysische restricties, wat leidt tot voorspellingen die bekende natuurwetten kunnen schenden (bijvoorbeeld het schenden van de wetten van Kirchhoff of energiebehoud).

Bestaande methoden om restricties af te dwingen (zoals Physics-Informed Neural Networks of harde projectielagen) behandelen restricties vaak deterministisch, waardoor ze geen onzekerheid doorgeven of rekening houden met meetruis en gedeeltelijke waarneembaarheid. Er is behoefte aan een raamwerk dat restricties probabilistisch inbedt terwijl het gekalibreerde onzekerheidsschattingen behoudt.

2. Methodologie

De auteurs stellen een Bayesiaans Gestructureerd Probabilistisch Neuraal Netwerk (BCPNN)-raamwerk voor dat lineaire gelijkheidsrestricties direct integreert in het variatie-inferentieproces.

Kernconcept: Gaussische Conditionering

De methode veronderstelt dat de voorspellende verdeling van het neurale netwerk Gaussisch is. Wanneer restricties lineair zijn, reduceert het afdwingen ervan tot gesloten-formule Gaussische conditionering.

• Restrictieformulering: De auteurs definiëren een restrictieresidu $z = Ax + By - b + \epsilon$, waarbij $\epsilon$ een tolerantieterm voorstelt die gemodelleerd is als Gaussische ruis met variantie $r$.
• Conditionering: Door de voorspellende verdeling te conditioneren op $z=0$, worden het gemiddelde ($\mu_P$) en de variantie ($\sigma^2_P$) van de netwerkoutput bijgewerkt naar een beperkte posterior ($\mu_C, \sigma^2_C$) met behulp van analytische formules afgeleid uit de eigenschappen van meervoudige Gaussians.
• Differentieerbaarheid: Deze conditioneringsstap is volledig differentieerbaar, waardoor deze kan worden ingevoegd als een laag binnen de netwerkarchitectuur.

Gezamenlijke Variatie-inferentie

In tegenstelling tot standaard BNN's die alleen modelparameters ($\theta$) infereren, voert dit raamwerk gezamenlijke inferentie uit over:

1. Netwerkparameters ($\theta$): De gewichten en bias van het neurale netwerk.
2. Restrictietolerantie ($r$): Een stochastische variabele die de strengheid van de restrictie voorstelt.

De auteurs behandelen de tolerantie $r$ als een leerbare grootheid (gereparameteriseerd als $r = \exp(\rho)$ om positiviteit te waarborgen). Ze optimaliseren een gewijzigde Evidence Lower Bound (ELBO) die een afweging maakt tussen:

• Datafit (waarschijnlijkheid van observaties).
• Regularisatie van netwerkparameters (KL-divergentie ten opzichte van priors).
• Regularisatie van de restrictietolerantie (KL-divergentie ten opzichte van priors).

Dit stelt het model in staat om te leren hoe streng restricties moeten worden afgedwongen op basis van de data, in plaats van aan te nemen dat restricties perfect gelden of willekeurig worden geschonden.

Decompositie van Onzekerheid

Het paper biedt een theoretische decompositie van de voorspellende variantie onder restrictieconditionering. De totale variantie blijkt te bestaan uit:

• Aleatorische Onzekerheid: Gereduceerd door de conditioneringsstap (de restrictie verlaagt de marginale variantie).
• Epistemische Onzekerheid: Gereduceerd door een strakkere posteriorconcentratie.
• Tolerantie-onzekerheid: Variantie die voortvloeit uit de geleerde onzekerheid in de restrictietolerantie zelf.
• Interactietermen: Covariantie tussen parameters en de restrictieupdate.

3. Belangrijkste Bijdragen

1. Probabilistische Restrictie-inbedding: Een nieuw raamwerk dat lineaire gelijkheidsrestricties in BNN's inbedt via Gaussische conditionering, waardoor voorspellingen in verwachting fysisch consistent zijn terwijl kwantificering van onzekerheid behouden blijft.
2. Leerbare Restrictietolerantie: Het vermogen om de passende strengheid van restricties uit data af te leiden, waarbij onderscheid wordt gemaakt tussen "harde" natuurwetten en "zachte" relaties die worden beïnvloed door meetruis.
3. Theoretische Onzekerheidsanalyse: Een afleiding die aantoont dat restrictieconditionering systematisch de voorspellende variantie verlaagt (zowel aleatorisch als epistemisch) terwijl gekalibreerde dekking behouden blijft.
4. Hanteerbare Optimalisatie: Het gebruik van gesloten-formule updates maakt efficiënt trainen mogelijk via standaard variatie-inferentietechnieken (reparameterisatietrick) zonder complexe optimalisatielagen (zoals QP-oplossers) tijdens inferentie.

4. Experimentele Resultaten

Het raamwerk werd geëvalueerd op een Single Particle Model (SPM) van een lithium-ionbatterij, een complex systeem dat wordt geregeerd door sferische diffusievergelijkingen en thermodynamica.

• Opzet: Het model voorspelde 8 outputvariabelen (elektrochemisch en thermisch) op basis van 3 inputvariabelen (stroom, temperatuur, etc.), onderworpen aan twee lineaire restricties: de spanningswet van Kirchhoff en de energiebalans.
• Prestaties:
  • Nauwkeurigheid: De BCPNN behaalde puntvoorspellingsnauwkeurigheid en dekkingratio's (0,99) die identiek waren aan die van een standaard onbeperkt BNN.
  • Reductie van Onzekerheid: De BCPNN produceerde smallere betrouwbaarheidsintervallen (verminderde variantie) in vergelijking met de standaard BNN, wat de theoretische variantiereductie bevestigt.
  • Restrictie-inachtneming: De meest significante verbetering zat in het schenden van restricties. De BCPNN verlaagde de mediaan van restrictie-overtredingen met twee ordes van grootte voor spanning en vier ordes van grootte voor energiebalans in vergelijking met de onbeperkte BNN.
  • Adaptieve Tolerantie: De geleerde posterior voor de restrictietolerantie onderscheidde succesvol tussen de twee restricties. De spanningswet bleek extreem streng te zijn (lage tolerantie), terwijl de energiebalans een hogere onzekerheid behield (hogere tolerantie), wat de verschillende ruisoniveaus in de gesimuleerde data weerspiegelt.

5. Betekenis en Toekomstig Werk

Dit werk overbrugt de kloof tussen gestructureerde probabilistische modellering en moderne deep learning. Het biedt een principiële manier om domeinkennis (natuurwetten) in neurale netwerken op te nemen zonder het vermogen om onzekerheid te kwantificeren op te offeren.

• Impact: Het maakt de inzet van ML-modellen mogelijk in veiligheidskritieke technische toepassingen waar fysische consistentie niet onderhandelbaar is, terwijl data toch ruisachtig of onvolledig is.
• Beperkingen & Toekomstige Richtingen: De huidige formulering is beperkt tot lineaire gelijkheidsrestricties. Toekomstig werk heeft als doel dit uit te breiden tot ongelijkheidsrestricties en niet-lineaire relaties. Bovendien kunnen de geleerde tolerantie-posteriors worden geïntegreerd in actief leren of experimentele ontwerppijplijnen om dataverzamelingsstrategieën te sturen op basis van zowel voorspellende als restrictie-onzekerheid.