Explainable Hierarchical Deep Learning Neural Networks (Ex-HiDeNN)

Each language version is independently generated for its own context, not a direct translation.

De Grote Uitdaging: Het "Zwarte Doos" Probleem

Stel je voor dat je een superkrachtige robot hebt die heel goed kan voorspellen wat er gaat gebeuren. Als je hem vraagt: "Hoeveel vermoeidheid heeft dit metaal na 10.000 cycli?", zegt hij: "Precies 42%." Hij heeft gelijk, maar hij vertelt je niet waarom.

In de wereld van kunstmatige intelligentie (AI) noemen we dit een "zwarte doos". Je ziet de input (metaal) en de output (antwoord), maar wat er binnenin gebeurt, is ondoorzichtig. Voor ingenieurs en wetenschappers is dit gevaarlijk. Ze willen niet alleen een antwoord; ze willen de formule erachter begrijpen. Ze willen weten: "Ah, het is omdat het metaal te heet werd én te veel koper bevatte."

Tot nu toe was het moeilijk om deze formules uit enorme, rommelige datasets te halen. Traditionele methodes waren vaak te simpel (zoals een rechte lijn die niet past) of te complex (zoals een ingewikkeld brein dat niemand begrijpt).

De Oplossing: Ex-HiDeNN (De Slimme Vertaler)

De auteurs van dit artikel hebben een nieuwe methode bedacht genaamd Ex-HiDeNN. Je kunt dit zien als een slimme vertaler die twee stappen doorloopt om een rommelige dataset om te zetten in een mooie, begrijpelijke wiskundige formule.

Stap 1: De "Scheidingstest" (De Huisdier-analogie)

Stel je voor dat je een grote kamer hebt vol met mensen die met elkaar praten.

Scheidingstest: De AI kijkt eerst naar de data en vraagt zich af: "Kunnen we deze mensen in aparte groepen verdelen die niet met elkaar praten, of is het een grote chaos waar iedereen met iedereen praat?"
In wiskundetaal heet dit separabiliteit.
- Als de mensen in groepjes zitten (hoge scheiding), is het makkelijk om voor elke groep apart een regel te bedenken.
- Als het een chaos is (lage scheiding), moeten we de hele kamer als één geheel bekijken.

De Ex-HiDeNN gebruikt een speciale "sensor" (een wiskundige berekening genaamd de Hessian-matrix) om te meten hoe goed de data zich laat verdelen.

Stap 2: De Twee-Stage Bouwstijl

Afhankelijk van wat de sensor in Stap 1 zegt, kiest Ex-HiDeNN de beste strategie:

Scenario A: De data is goed te scheiden (De Legoblokken)
- Analogie: Stel je voor dat je een toren wilt bouwen. Als de data goed te scheiden is, zijn het net losse Legoblokken. Je bouwt voor elke kant van de toren (bijvoorbeeld lengte, breedte, hoogte) apart een klein muurtje.
- De AI bouwt eerst een "tussen-model" (een neurale netwerk) dat de data perfect nabootst. Omdat de data goed te scheiden is, kan de AI dit model opknippen in losse stukken.
- Vervolgens gebruikt de AI een symbolische regressie (een soort slimme zoekmachine) om voor elk los stukje een simpele formule te vinden (bijv. $x^2$ of $\sin(x)$ ).
- Tot slot plakt hij deze simpele formules weer aan elkaar. Het resultaat is één grote, begrijpelijke formule.
Scenario B: De data is een chaos (De Soep)
- Analogie: Als de data niet te scheiden is, is het alsof je een grote pan soep hebt waarin alle ingrediënten door elkaar zitten. Je kunt ze niet los plukken.
- In dit geval kijkt de AI naar de hele pan soep als één geheel en probeert hij de beste formule te vinden die de hele soep beschrijft. Dit is moeilijker, maar de AI gebruikt slimme trucjes om niet vast te lopen in de chaos.

Waarom is dit zo geweldig? (De Voordelen)

Het artikel toont aan dat Ex-HiDeNN beter werkt dan de oude methodes in drie belangrijke situaties:

Het werkt met weinig data:
- Analogie: Stel je voor dat je een recept moet bedenken voor een taart, maar je hebt maar 5 proefjes gedaan. Oude methodes zouden raden of vergeten. Ex-HiDeNN is slim genoeg om uit die 5 proefjes de essentie te halen en het recept te schrijven.
- Voorbeeld: Ze hebben een formule gevonden voor de vermoeidheid van 3D-geprint staal met 25 verschillende ingrediënten, maar met heel weinig meetpunten. Het resultaat was een formule die de wetenschap kon begrijpen.
Het is resistent tegen ruis (Fouten):
- Analogie: Stel je luistert naar een radio met veel statisch geluid (ruis). Een oude radio zou alleen het ruisen horen. Ex-HiDeNN is als een slimme geluidsreducerende koptelefoon: hij hoort het echte signaal (de wetenschap) en negeert het statische geluid (meetfouten).
- Ze toonden aan dat hun methode veel nauwkeuriger is dan andere methodes als de data "vuil" is.
Het ontdekt nieuwe natuurwetten:
- Ze gebruikten het om de Lorenz-systemen (een beroemd chaotisch systeem in de meteorologie) te ontdekken, puur op basis van getallen. De AI schreef de bekende formules voor de chaos zelf op, alsof hij de natuurwetten opnieuw had uitgevonden.

De Resultaten in de Wereld

De auteurs hebben Ex-HiDeNN getest op echte ingenieursproblemen:

Vermoeidheid: Een formule gevonden voor hoe lang 3D-geprint staal meegaat.
Hardheid: Een formule om de hardheid van materiaal te voorspellen op basis van micro-metingen.
Vloeigrens: Een formule die beschrijft hoe metalen vervormen onder druk (de Matsuoka-Nakai oppervlakte).

In al deze gevallen was de gevonden formule niet alleen nauwkeurig, maar ook mooi en simpel, waardoor ingenieurs het direct konden gebruiken in hun ontwerpen.

Conclusie

Ex-HiDeNN is als een slimme tolk die tussen de "zwarte doos" van complexe AI en de "witte doos" van menselijk inzicht staat. Het neemt de ruwe, complexe data, snijdt het op in begrijpelijke stukjes (als dat kan), en schrijft er een heldere, wiskundige formule voor op.

Het is een grote stap naar vertrouwde AI: systemen die niet alleen het antwoord geven, maar je ook uitleggen waarom het antwoord zo is. Dit is cruciaal voor veiligheid, innovatie en het begrijpen van de wereld om ons heen.

Each language version is independently generated for its own context, not a direct translation.

Hieronder volgt een gedetailleerde technische samenvatting van het artikel "Explainable Hierarchical Deep Learning Neural Networks (Ex-HiDeNN)" in het Nederlands.

Titel: Explainable Hierarchical Deep Learning Neural Networks (Ex-HiDeNN)

Auteurs: Reza T. Batley, Chanwook Park, Wing Kam Liu, en Sourav Saha.

1. Probleemstelling

In de moderne data-gedreven wetenschap en engineering zijn complexe input-output relaties vaak niet lineair en moeilijk te vertalen naar eenvoudige analytische vormen. Hoewel diepe neurale netwerken (zoals MLP's, CNN's en GNN's) uitstekende voorspellende kracht hebben, functioneren ze als "black boxes" zonder inzicht in de onderliggende fysische mechanismen. Dit gebrek aan transparantie is een groot probleem voor veiligheidskritieke toepassingen (bijv. luchtvaart en geneeskunde), waar interpretatie en verificatie essentieel zijn.

Aan de andere kant biedt symbolische regressie (het leren van gesloten formules uit data) volledige interpretatie, maar kampt met ernstige beperkingen:

Het zoeken naar een optimale symbolische vorm is een NP-hard probleem met een exponentieel groeiende zoekruimte bij meer variabelen.
Bestaande methoden (zoals genetische programmering) zijn vaak inconsistent, gevoelig voor ruis en hebben moeite met hoge dimensionaliteit.
Ze kunnen overfitting vertonen op ruis in plaats van het onderliggende signaal te vangen.

Er is dus een dringende behoefte aan een methode die de expressiviteit van neurale netwerken combineert met de interpretatie en compactheid van symbolische regressie.

2. Methodologie: Het Ex-HiDeNN Framework

Ex-HiDeNN is een hybride, twee-staps AI-framework dat een continu differentieerbaar surrogaatmodel koppelt aan symbolische regressie. Het proces wordt geleid door een scheidbaarheidsscore (separability score) die de aard van de data analyseert.

Stap 1: C-HiDeNN-TD Surrogaat

De eerste stap gebruikt een C-HiDeNN-TD (Convolutional Hierarchical Deep Learning Neural Network met Tensor Decomposition).

Architectuur: Dit is een interpolerend neuraal netwerk dat gebruikmaakt van tensor-decompositie om de functionele ruimte op te splitsen in één-dimensionale subruimtes.
Functie: Het leert een nauwkeurig, continu differentieerbaar surrogaatmodel dat de data interpoleert.
Voordeel: Door de structuur van het netwerk is het model schaalbaar en kan het lokale afgeleiden (via automatische differentiatie) berekenen, wat cruciaal is voor de volgende stap.

Stap 2: Hessian-scheidbaarheid Analyse

Voordat symbolische regressie wordt toegepast, analyseert Ex-HiDeNN de Hessian-matrix van het geleerde surrogaat.

Er wordt een multiplicatieve scheidbaarheidsscore ( $S^\otimes$ ) berekend. Deze score meet hoe goed de functie kan worden benaderd als een product van univariabele functies (multiplicatief) of een som daarvan (additief).
De score varieert van 0 (sterk gekoppeld/complex) tot 1 (perfect scheidbaar).

Stap 3: Adaptieve Symbolische Regressie (PySR)

Op basis van de score $S^\otimes$ past Ex-HiDeNN de strategie aan en roept de PySR (Python Symbolic Regression) engine aan:

Hoge scheidbaarheid ( $S^\otimes \gtrsim 0.95$ ): De data wordt per dimensie gesampled. Er wordt een univariabele expressie gevonden voor elke dimensie, die vervolgens met elkaar worden vermenigvuldigd. Dit reduceert de zoekruimte van exponentieel naar lineair.
Matige scheidbaarheid ( $0.6 \lesssim S^\otimes \lesssim 0.95$ ): Er wordt een "som-van-producten" structuur gebruikt (gelijk aan een tensor-decompositie), waarbij meerdere multiplicatieve modi worden gecombineerd.
Lage scheidbaarheid ( $S^\otimes \lesssim 0.6$ ): Er wordt geen scheidbare structuur aangenomen. Er wordt een volledige, multidimensionale symbolische regressie uitgevoerd op het globale surrogaat, maar met een slimme samplingstrategie (LHS + LPS) om ruis te filteren.

3. Belangrijkste Bijdragen

Nieuwe Hybrid Architectuur: De introductie van Ex-HiDeNN, die een gestructureerd, continu differentieerbaar surrogaat (C-HiDeNN-TD) combineert met symbolische regressie (PySR).
Pointwise Hessian Score: Een innovatieve methode om een scheidbaarheidsscore te berekenen via automatische differentiatie van het surrogaat, wat de samplingstrategie dynamisch aanstuurt.
Robuustheid en Efficiëntie: Het framework minimaliseert de combinatorische explosie van de zoekruimte en filtert ruis effectief door eerst een glad surrogaat te leren.
Toepassing op Real-world Problemen: Succesvolle toepassing op complexe engineeringproblemen met onbekende fysica, waar traditionele methoden tekortschoten.

4. Resultaten

Benchmark Tests

Ex-HiDeNN werd getest op een standaard benchmark suite (Vladislavleva et al.) en vergeleken met PySR, Symbolic KAN en genetische algoritmen.
Resultaat: Ex-HiDeNN vond exacte functionele vormen voor de meeste testgevallen (inclusief hoge dimensionaliteit) met een RMSE die orders van grootte lager was dan referentiemethoden.
Ruis-resistentie: Bij data met toegevoegde Gaussische ruis (tot $\sigma=0.32$ ) presteerde Ex-HiDeNN 2 tot 10 keer beter dan PySR alleen, dankzij het interpolerende karakter van het surrogaat dat de basis-signalen vasthoudt terwijl ruis wordt genegeerd.
Dynamische Systemen: Het systeem slaagde erin de exacte vergelijkingen van het chaotische Lorenz-systeem te ontdekken uit tijdsreeksdata.

Engineering Toepassingen

Vermoeiingsleefduur (Additief vervaardigd staal):
- Data: 25 input-parameters, zeer schaars (437 experimenten).
- Resultaat: Ontdekking van een gesloten formule met een RMSE van 20 en een $R^2$ van 0.9767 op de testset. De formule gaf fysisch inzicht in de invloed van koolstof, chroom en temperatuur.
Hardheid (Micro-indentatie):
- Data: 6 parameters voor Vickers-hardheid.
- Resultaat: De gevonden formule had een $R^2$ van 0.9999 en een RMSE van slechts 0.066 GPa. Dit was 25 keer nauwkeuriger dan de bestaande SISSO-methode.
Vloeispanning (Matsuoka-Nakai materiaal):
- Resultaat: Ontdekking van een constitutieve wet voor drukgevoelige materialen met een relatieve fout van 2.3% op de testset. De afgeleide formule kwam overeen met de klassieke Matsuoka-Nakai invariantieconditie.

5. Betekenis en Conclusie

Ex-HiDeNN vertegenwoordigt een doorbraak in interpretable machine learning voor wetenschap en engineering. Het lost het fundamentele dilemma op tussen de "black box" aard van diepe netwerken en de beperkte schaalbaarheid van traditionele symbolische regressie.

Vertrouwen: Het levert modellen die niet alleen nauwkeurig zijn, maar ook menselijk begrijpelijk en fysiek interpreteerbaar.
Efficiëntie: Door de zoekruimte te reduceren via scheidbaarheidsanalyse, maakt het het mogelijk om complexe, hoge-dimensionale problemen op te lossen die voorheen ondoenlijk waren.
Toekomst: De auteurs wijzen op beperkingen (afhankelijkheid van de kwaliteit van het eerste surrogaat en de keuze van operatoren in PySR) en plannen de integratie van geavanceerdere surrogaten (zoals KHRONOS) en gradient-based symbolische regressie voor verdere verbetering.

Kortom, Ex-HiDeNN biedt een robuust pad naar "trustworthy AI" waarbij data-gedreven ontdekking leidt tot nieuwe, bruikbare wiskundige wetten voor engineering.