Technische Samenvatting: Van Hybride Mechanistisch–Data-Gedreven Modellering naar Neuro-Symbolische AI

1. Probleemstelling

Hybride mechanistisch–data-gedreven modellen (ook wel bekend als semi-parametrische of grey-box modellen) worden steeds vaker ingezet in procesengineering en wetenschappelijke machine learning om systemen aan te pakken die slechts gedeeltelijk begrepen worden. Deze modellen integreren vaste eerste-principes (bijv. massabalansen, stoichiometrie) terwijl ze onbekende componenten (bijv. constitutieve afsluitingen, niet-geobserveerde snelheden) leren van data.

Ondanks hun nut kampen huidige hybride modelleringspraktijken met twee primaire beperkingen:

1. Gebrek aan een Gedeelde Semantische Interface: Ontwerpen worden doorgaans gespecificeerd via architecturen en trainingsverliezen (losses). Deze architecturale focus belemmert cross-domein vergelijking en verificatie omdat er geen verenigde semantische verklaring is voor wat een hybride model als inferentie-object vertegenwoordigt.
2. Inadequate Onzekerheidsrepresentatie: Er is vaak geen principiële methode om epistemische onzekerheid specifiek binnen het mechanistische deel van het model te representeren of te propageren. Standaardmetrieken zoals testnauwkeurigheid onthullen alleen prestatieverschuivingen post hoc, waardoor ze ongeschikt zijn voor het kwantificeren van onzekerheid tijdens extrapolatie of structurele distributieverschuivingen vóór de inzet (deployment).

Het artikel stelt dat deze problemen voortvloeien uit een gebrek aan een formele scheiding tussen de "logica" (structurele beperkingen) en de "overtuiging" (geleerde plausibiliteit) binnen hybride modellen.

2. Methodologie: Hybrid-to-NeSy (H2N) Translatie

De auteurs stellen een systematisch translatieprocedure voor, Hybrid-to-NeSy (H2N), die hybride mechanistisch–data-gedreven modellen reconstrueert als instanties van Neuro-Symbolische (NeSy) AI, specif으로 adherent aan de algemene definitie van De Smet en De Raedt.

2.1 Het NeSy-raamwerk

Een NeSy-model wordt gedefinieerd als een tupel $(L, \mu, \Omega, b_\theta)$:

• $L$: Een taal met semantiek $\mu$ over een interpretatieruimte $\Omega$.
• $b_\theta$: Een overtuigingsgewichtfunctie (belief weight function).
• Inferentie-functional: Gedefinieerd als $F_{\theta,x}(\phi) = \int_{\Omega'} l(\phi, \omega) b_{\theta,x}(\omega) dm(\omega)$, waarbij een logica-functie $l$ (het evalueren van queries) wordt gecombineerd met de overtuiging $b_\theta$.

2.2 De Translatieprincipes

De H2N-procedure brengt hybride ontwerpen in kaart naar de NeSy-tupel op basis van vijf principes:

1. Mechanistische Structuur als Taal ($L$): Structurele kernvergelijkingen (bijv. balanswetten) en compositiepatronen definiëren de taal en de semantiek.
2. Operationele Semantiek ($\mu, l$): De logica-functie $l$ implementeert toelaatbaarheid of scoring, wat bepaalt wat structureel geldig is.
3. Geleerde Modules als Overtuiging ($b_\theta$): Geleerde componenten induceren een overtuigingsfunctie over onbekende grootheden (parameters, afsluitingen, latente toestanden). Deterministische leerders komen overeen met Dirac-overtuigingen; stochastische leerders met niet-gedegenereerde distributies.
4. Geldigheidsdomeinen als Logica: Harde beperkingen en geldigheidsdomeinen worden aan de logica-zijde geplaatst (het beperken van de integratieruimte $\Omega'$ of via $l$) in plaats van aan de overtuigingszijde. Dit zorgt voor data-onafhankelijke toelaatbaarheid, aangezien natuurkundige wetten niet afhankelijk zouden moeten zijn van de steekproefomvang.
5. Architecturale Factorisatie: Seriële, parallelle en mixture-of-experts patronen worden gespiegeld door factorisaties van $l$ en/of $b_{\theta,x}$.

Deze translatie levert een expliciete inferentie-functional op voor elk hybride ontwerp, waarbij structurele toelaatbaarheid (logica-zijde) wordt gescheiden van geleerde plausibiliteit (overtuigingszijde).

3. Belangrijkste Bijdragen

Het artikel levert vier specifieke bijdragen:

1. Geprincipeerde Translatieprocedure: Een methode om elke hybride modelbeschrijving in kaart te brengen naar een NeSy-tupel $(L, \mu, \Omega, b_\theta)$ met een expliciete inferentie-functional.
2. Mapping Tabel: Een compact referentiewerk (Tabel 1) dat canonieke hybride ontwerp patronen (bijv. seriële afsluiting, parallel residu, mixture-of-experts) in kaart brengt naar hun NeSy-elementen en hun specifieke impact op de inferentie-functional.
3. Evaluatieprotocol met Twee Metrieken: De afleiding van twee metrieken op basis van de logica–overtuiging decompositie:
   • Structural Violation Rate (SVR): Meet de overtuigingsmassa die valt op interpretaties die de structurele beperkingen schenden. Deze bevindt zich aan de logica-zijde en is tolerantie-afhankelijk.
   • Belief Dispersion (BD): Meet de concentratie van de geleerde overtuiging (epistemische onzekerheid). Deze bevindt zich aan de overtuigingszijde, is tolerantie-onafhankelijk, en is nul voor Dirac-overtuigingen.
4. Empirische Instantiatie: Toepassing van H2N op een gestructureerd hybride model voor binaire classificatie onder labelruis, waarbij wordt aangetoond hoe de metrieken onzekerheid kwantificeren die alleen via testnauwkeurigheid niet zichtbaar is.

4. Resultaten: Casestudy over Ruisige Binaire Classificatie

De auteurs hebben H2N geïnstantieerd op gestructureerde Booleaanse netwerken waarbij het mechanistische deel feature-groeperingen definieert en het geleerde deel de waarheidstafels van modules identificeert (met behulp van de NoiseCut-strategie).

4.1 Kwantificering van Onzekerheid in het Mechanistische Deel

• Correlatie met Nauwkeurigheid: Naarmate de labelruis toenam, nam de testnauwkeurigheid af terwijl de Belief Dispersion (BD) toenam. BD en testnauwkeurigheid waren sterk anti-gecorreleerd ($\rho = -0.94$).
• Voorspellende Variabiliteit: Cruciaal was dat de studie vond dat BD de variabiliteit van de testnauwkeurigheid voorspelt. Modellen met een hogere BD vertoonden een grotere standaarddeviatie van seed-naar-seed in de testnauwkeurigheid.
• A Priori Schatting: Omdat BD een functie is van training-labelaantallen en mechanistische structuur, biedt het een a priori schatting van de modelonzekerheid op het moment van inzet, terwijl testnauwkeurigheid dit pas kan rapporteren nadat er gelabelde testdata zijn verzameld.

4.2 Kwantificering van Onzekerheid Tijdens Extrapolatie

• Decompositie: Onder structurele distributieverschuivingen (waarbij specifieke rijen van de tweede laag worden buitengesloten), deelt BD exact op in $BD = BD_{seen} + BD_{unseen}$.
• Vroegtijdige Waarschuwing: $BD_{unseen}$ is berekenbaar op basis van rij-dekking alleen, nog voordat een out-of-distribution (OOD) sample is geobserveerd. In experimenten steeg $BD_{unseen}$ monotoon naarmate het aantal uitgesloten rijen toenam, terwijl de in-distributie nauwkeurigheid hoog bleef en de OOD-nauwkeurigheid instortte.
• Significantie: Dit demonstreert dat H2N de epistemische staat van een model met betrekking tot dekking en extrapolatierisico kan kwantificeren voordat er falen optreedt, een capaciteit die afwezig is in standaard architectuur- en loss-beschrijvingen.

5. Betekenis en Claims

Het artikel claimt dat de H2N-translatie een gedeelde semantische interface biedt voor hybride modellering, wat systematische vergelijking en verificatie over domeinen heen mogelijk maakt.

• Ontkoppeling van Logica en Overtuiging: Door structurele toelaatbaarheid (logica) strikt te scheiden van geleerde plausibiliteit (overtuiging), verheldert het raamwerk welke aannames harde beperkingen zijn en welke data-afhankelijk zijn. Dit maakt gerichte interventies mogelijk: het modificeren van $l$ voor regimeveranderingen versus het modificeren van $b_\theta$ voor onzekerheid.
• Nieuwe Diagnostische Capaciteiten: De metrieken SVR en BD bieden diagnostische instrumenten die onder traditionele architecturale beschrijvingen niet gedefinieerd zijn. Specifiek dient BD als een proxy voor epistemische onzekerheid in het mechanistische component, wat detectie van structurele distributieverschuivingen en extrapolatierisico's mogelijk maakt.
• Bidirectioneel Voordeel: Het werk overbrugt twee velden. Het geeft hybride modelleurs een rigoureus semantisch interface en biedt NeSy-onderzoekers een voorbewerkte catalogus van gestructureerde onzekerheidsontwerpen (bijv. validiteitsenveloppen, residu-controles) afgeleid van engineeringpraktijken.

De auteurs blijven bescheiden over beperkingen en merken op dat de translatie niet uniek is (hoewel principes P1–P5 een canonieke plaatsing vastleggen) en dat diagnostiek voor grote of continue ruimtes afhankelijk is van benaderende inferentie, wat de fouten in de kalibratie overneemt.