🤖 machine learning

Adversarial Vulnerabilities in Neural Operator Digital Twins: Gradient-Free Attacks on Nuclear Thermal-Hydraulic Surrogates

Deze studie toont aan dat neurale operator-modellen, die als digitale tweelingen voor kernenergiesystemen worden ingezet, kwetsbaar zijn voor onopgemerkte, fysiek plausibele aanvalspunten die leiden tot catastrofale voorspelfouten, waardoor nieuwe diagnostische methoden en robuustheidsgaranties essentieel zijn voordat deze modellen veilig kunnen worden ingezet.

Oorspronkelijke auteurs: Samrendra Roy, Kazuma Kobayashi, Souvik Chakraborty, Rizwan-uddin, Syed Bahauddin Alam

Gepubliceerd 2026-03-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Samrendra Roy, Kazuma Kobayashi, Souvik Chakraborty, Rizwan-uddin, Syed Bahauddin Alam

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: De "Onzichtbare Hack" van de Digitale Tweeling: Waarom slimme AI-simulaties kwetsbaar zijn

Stel je voor dat je een digitale tweeling hebt van een kerncentrale. Dit is een super-snel computerprogramma dat precies weet wat er in de echte kerncentrale gebeurt, zelfs op plekken waar geen sensoren zitten. Het is als een kristallen bol die voorspelt of de temperatuur te hoog wordt, zodat de mensen er veilig kunnen werken.

De onderzoekers van dit artikel hebben ontdekt dat deze kristallen bollen een enorm zwak punt hebben. Ze zijn zo gevoelig dat een hacker met één klein, onzichtbaar duwtje de hele voorspelling kan laten crashen, zonder dat iemand het merkt.

Hier is hoe het werkt, verteld in simpele taal:

1. Het Probleem: De "Onzichtbare Duw"

Normaal gesproken testen we deze AI-modellen door ze duizenden keren te laten rekenen met normale gegevens. Ze doen het dan perfect, met een foutmarge van minder dan 2%. Ze lijken onfeilbaar.

Maar de onderzoekers ontdekten dat je niet hoeft te "blazen" om een kaartenhuis om te gooien. Je hoeft alleen maar één kaartje (een enkel sensorgetal) heel subtiel te verschuiven.

De analogie: Stel je voor dat je een heel zwaar stalen blok duwt. Normaal gesproken moet je heel hard duwen om het te verplaatsen. Maar als je precies op het juiste punt duwt (een zwak punt in de structuur), kun je het blok met één vingerzwaai omver duwen.
In dit geval: Als je de temperatuur van het water in de kerncentrale met slechts een heel klein beetje verandert (binnen de normale, veilige marges), kan de AI ineens denken dat alles veilig is, terwijl de echte reactor aan het smelten is.

2. De Hackers: Geen Supercomputers, maar Slimme Zoekers

Je zou denken dat hackers enorme rekenkracht nodig hebben om dit te doen. Maar deze onderzoekers gebruikten een methode die lijkt op evolutie in een computer.

De analogie: Stel je voor dat je een blindeman bent die een slot moet openen. In plaats van elke sleutel één voor één te proberen (wat eeuwen duurt), laat je 20 mensen tegelijk een willekeurige sleutel proberen. Als die net iets beter past, houden ze die vast en proberen ze kleine variaties. Na een paar minuten hebben ze de perfecte sleutel gevonden.
De onderzoekers lieten deze "blindemannen" (een algoritme genaamd Differential Evolution) zoeken naar het ene getal dat ze moesten veranderen. Ze vonden dat ze vaak maar 1 tot 3 getallen hoefden aan te passen van de 102 die er waren.

3. Het Resultaat: Een Ramp die Niemand Ziet

Wanneer ze dit deden, gebeurde er iets gruwelijks:

De voorspelling van de AI werd 30% tot 60% fout. Dat is alsof de AI zegt dat de temperatuur 100 graden is, terwijl hij in werkelijkheid 300 graden is.
Het gevaarlijkste deel: De AI zag er nog steeds "normaal" uit. Als je de uitkomst van de AI vergelijkt met de echte sensoren, zag het eruit alsof het gewoon een beetje ruis was. De alarmen gingen niet af.
De analogie: Het is alsof een vliegtuigpilot een computer heeft die zegt dat de vleugels perfect zijn, terwijl ze in werkelijkheid afbreken. De computer ziet er nog steeds "groen" uit op het scherm, maar het vliegtuig stort neer.

4. Waarom zijn sommige modellen kwetsbaarder dan anderen?

De onderzoekers keken naar vier verschillende soorten AI-architecturen (soorten "hersenen" voor de computer). Ze ontdekten een interessant patroon:

De "Strakke" Modellen (POD-DeepONet): Deze modellen zijn zo strak gebouwd dat ze niet veel kunnen veranderen. Als je ze duwt, buigen ze een beetje, maar breken ze niet. Ze zijn redelijk veilig, maar niet perfect.
De "Gevoelige" Modellen (S-DeepONet): Deze modellen zijn als een glazen huis. Ze zijn heel goed in het voorspellen van normale situaties, maar als je op het verkeerde raampje duwt, valt het hele huis in duigen. Dit bleek het meest kwetsbare model te zijn.
De "Verspreide" Modellen (MIMONet/NOMAD): Deze zijn als een net van touwen. Je moet op veel plekken tegelijk trekken om ze te verstoren. Ze zijn veiliger tegen één duwtje, maar niet onkwetsbaar.

5. Wat betekent dit voor de toekomst?

De kernboodschap is: We kunnen niet alleen vertrouwen op hoe goed een AI werkt in normale omstandigheden.

Tot nu toe hebben we AI's getest op "nauwkeurigheid" (werkt het goed?). Maar we vergeten "veiligheid" (kan het gekaapt worden?).

De les: Als we AI gaan gebruiken voor kernenergie, het elektriciteitsnet of het klimaat, moeten we eerst testen of er "zwakke plekken" zijn die hackers kunnen vinden.
De oplossing: We moeten AI's bouwen die niet alleen slim zijn, maar ook "stevig". Net als een auto die niet alleen snel is, maar ook veilig bij een crash.

Samenvattend:
Deze studie laat zien dat de slimme computers die we bouwen om onze wereld veilig te houden, eigenlijk heel fragiel zijn. Een hacker hoeft geen supergenie te zijn; hij hoeft alleen maar te weten waar hij heel zachtjes moet duwen om de hele simulatie te laten crashen, terwijl niemand het in de gaten heeft. Het is een waarschuwing: voordat we deze technologie in het echt gebruiken, moeten we eerst de "zwakke plekken" repareren.

Titel

Adversariële Kwetsbaarheden in Neuronale Operator Digital Twins: Gradient-Vrije Aanvallen op Kern-Thermohydraulische Surrogaten

1. Probleemstelling

Neuronale operatoren (zoals DeepONet en FNO) worden steeds vaker gebruikt als de voorspellende kern van digital twins voor veiligheidskritieke systemen, zoals kernenergie-installaties. Deze modellen leren mappingen tussen oneindig-dimensionale functieruimtes en kunnen complexe stromingsvelden (zoals druk en snelheid) in real-time reconstrueren op basis van schaarse sensormetingen.

Hoewel deze modellen hoge nauwkeurigheid tonen op standaard validatiedata, is hun robustheid tegen adversariële perturbaties (kwaadwillige verstoringen) niet onderzocht. Er bestaat een kritieke kennislacune: kunnen deze modellen worden misleid door fysiek plausibele, maar kwaadwillige inputveranderingen die leiden tot catastrofaal fouten in de voorspellingen, zonder dat dit detecteerbaar is door standaard validatiemethoden? De gevolgen van een dergelijke mislukking in een kernreactor (bijv. het overschrijden van thermische limieten zonder alarm) zijn existentieel.

2. Methodologie

De auteurs hebben een nieuw raamwerk ontwikkeld om kwetsbaarheden te analyseren in vier verschillende neurale operator-architecturen: MIMONet, NOMAD, S-DeepONet en POD-DeepONet.

Aanvalsscenario: De studie richt zich op gradient-vrije aanvallen (black-box). Dit is cruciaal omdat industriële digital twins vaak propriëtaire modellen zijn waar de interne gradiënten niet toegankelijk zijn.
Optimalisatie: Er wordt gebruikgemaakt van Differential Evolution (DE), een evolutionair algoritme, om zeer spaarzame perturbaties te vinden. De aanval beperkt zich tot het wijzigen van minder dan 1% van de inputvariabelen (bijv. één enkele sensorwaarde of een paar punten in een warmteflux-profiel).
Fysieke Beperkingen: Een uniek aspect is dat alle perturbaties strikt binnen fysieke grenzen moeten blijven (binnen kalibratiebereiken van sensoren en behoudswetten). Dit zorgt ervoor dat de aanval "stealth" is en niet wordt opgepikt door conventionele anomaliedetectie.
Doel: Het maximaliseren van de relatieve $L_2$ -fout in het voorspelde veld (druk, snelheid) terwijl de inputverandering minimaal en fysiek plausibel blijft.

3. Belangrijkste Bijdragen

Ontdekking van Extreme Kwetsbaarheid: De studie toont aan dat neurale operatoren extreem kwetsbaar zijn voor fysiek plausibele, spaarzame aanvallen. Zelfs het wijzigen van slechts één enkele input (bijv. 1 van de 102 parameters) kan de voorspellingsfout doen stijgen van een geaccepteerd niveau van ~1,5% naar 37–63%.
Het "Two-Factor" Kwetsbaarheidsmodel: De auteurs introduceren een nieuw theoretisch kader dat kwetsbaarheid verklaart via twee factoren:
- Concentratie van Sensitiviteit: Gemeten via de effectieve perturbatiedimensie ( $d_{eff}$ ). Een lage $d_{eff}$ betekent dat de gevoeligheid van het model geconcentreerd is op weinig inputrichtingen.
- Magnitude van Sensitiviteit: De grootte van de Jacobiaan-normen (hoe sterk een inputverandering het outputveld beïnvloedt).
- Inzicht: Een model met extreme concentratie (lage $d_{eff}$ ) is niet per se het meest kwetsbaar als de absolute gevoeligheid laag is (door beperkingen in de outputruimte). Het grootste risico zit in modellen met matige concentratie en hoge versterking.
Gradient-Vrije Superioriteit: De studie demonstreert dat gradient-vrije methoden (DE) vaak beter presteren dan gradient-gebaseerde methoden (zoals PGD) bij architecturen met "gradiënt-pathologieën" (bijv. door discrete basisprojecties of recurrente netwerken), en dit zonder toegang tot de modelinterne parameters.
Onzichtbaarheid voor Validatie: Een schokkende bevinding is dat 100% van de succesvolle single-point aanvallen door standaard z-score anomaliedetectie gaat. De voorspellingen lijken statistisch normaal, ondanks dat ze fysiek onzin zijn in kritieke regio's.

4. Resultaten

Prestatieverval: Op een benchmark van een warmtewisselaar (nucleaire thermohydraulica) veroorzaakten spaarzame aanvallen een instorting van de nauwkeurigheid.
- S-DeepONet bleek het meest kwetsbaar: bij $L_0=3$ (3 inputs gewijzigd) bereikte het een succespercentage van 94,5% voor het bereiken van een fout van >30%. De maximale fout liep op tot 62,8%.
- POD-DeepONet was relatief robuuster (max ~29% succes bij hoge foutdrempels) vanwege zijn laag-rang projectie (POD), die fungeert als een natuurlijke "plafond" voor de maximale fout, ondanks extreme concentratie van sensitiviteit.
- MIMONet en NOMAD toonden een meer verspreide sensitiviteit ( $d_{eff} \approx 32$ ), wat aanvallen moeilijker maakt, maar ze waren toch kwetsbaar bij gecoördineerde multi-punt aanvallen.
Foutverdeling: De fouten zijn niet uniform; ze manifesteren zich als hotspot-verplaatsingen en stroompatroon-inversies in veiligheidskritieke gebieden, terwijl de globale gemiddelde fout soms nog acceptabel lijkt.
Transferbaarheid: Aanvallen zijn grotendeels architectuurspecifiek. Een aanval die werkt op S-DeepONet werkt bijna niet op andere modellen (transfer success < 6%), wat suggereert dat ensemble-methoden een mogelijke verdediging zijn.
Statistische Onzichtbaarheid: De aanvalsinputs blijven binnen de training-distributie (binnen $\pm 1\sigma$ ), waardoor ze ondetecteerbaar zijn voor conventionele sensorvalidatie.

5. Betekenis en Conclusie

Deze studie onthult een fundamenteel blind punt in de huidige implementatie van wetenschappelijk machine learning voor veiligheidskritieke systemen:

Validatie is onvoldoende: Hoge nauwkeurigheid op testdata garandeert geen robustheid tegen adversariële aanvallen.
Intrinsieke Kwetsbaarheid: De kwetsbaarheid is geen bug, maar een inherent gevolg van het leren van operator-mappingen. Hoe nauwkeuriger een model de operator benadert, hoe meer het de sensitiviteitsstructuur van de onderliggende fysica overneemt, wat kwetsbaarheden creëert.
Implicaties voor de Toekomst: Voordat neurale operatoren worden ingezet in kernenergie, energienetwerken of klimaatmodellen, moeten nieuwe protocollen worden ontwikkeld. De auteurs pleiten voor:
- Pre-deployment stress-testing met gradient-vrije methoden.
- Architecturale regularisatie om de concentratie van sensitiviteit te verminderen ( $d_{eff}$ verhogen).
- Fysiek geïnformeerde detectie die kijkt naar energiebalans en behoudswetten in plaats van alleen sensorwaarde-grenzen.

Kortom, de paper waarschuwt dat de huidige "black-box" digital twins zonder extra robuustheidsgaranties een nieuw, onzichtbaar aanvalsoppervlak vormen voor cyberfysieke bedreigingen.