🤖 machine learning

Adversarial Vulnerabilities in Neural Operator Digital Twins: Gradient-Free Attacks on Nuclear Thermal-Hydraulic Surrogates

Die Studie zeigt, dass neuronale Operator-Modelle als digitale Zwillinge für nukleare Systeme extrem anfällig für physikalisch plausible, gradientenfreie Angriffe mit minimalen Eingabeänderungen sind, die zu katastrophalen Vorhersagefehlern führen, ohne von herkömmlichen Anomalieerkennungsmethoden erfasst zu werden.

Ursprüngliche Autoren: Samrendra Roy, Kazuma Kobayashi, Souvik Chakraborty, Rizwan-uddin, Syed Bahauddin Alam

Veröffentlicht 2026-03-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Samrendra Roy, Kazuma Kobayashi, Souvik Chakraborty, Rizwan-uddin, Syed Bahauddin Alam

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der perfekte digitale Zwilling ist verwundbar

Stellen Sie sich vor, Sie bauen einen digitalen Zwilling eines Kernkraftwerks. Das ist wie eine hochmoderne Videospiegelung der echten Anlage im Computer. Anstatt das echte Kraftwerk zu stoppen, um zu testen, wie es sich bei Hitze verhält, nutzen Sie diesen digitalen Zwilling, um Vorhersagen zu treffen. Diese Vorhersagen basieren auf sogenannten Neuralen Operatoren – eine Art KI, die gelernt hat, wie physikalische Gesetze (wie Strömungen und Wärme) funktionieren.

Diese KIs sind unglaublich schnell und genau. Wenn alles läuft, sagen sie mit einer Genauigkeit von fast 99 % voraus, wo die heiße Stelle ist und wie sicher die Anlage ist.

Aber hier kommt das Schreckgespenst:
Die Forscher haben entdeckt, dass diese KIs extrem anfällig für einen sehr speziellen Trick sind. Man kann sie täuschen, indem man nur winzige, fast unsichtbare Änderungen an den Eingabedaten vornimmt.

Die Analogie: Der unsichtbare Fingerabdruck

Stellen Sie sich vor, Sie haben einen perfekten Koch, der eine Suppe kocht. Er schmeckt genau, wie er soll.
Jetzt nehmen Sie einen winzigen Tropfen einer speziellen, geschmacksneutralen Substanz und geben ihn in genau eine Zutat (z. B. nur in den Salzstreuer).

Im echten Leben: Der Koch schmeckt den Unterschied kaum.
Bei der KI: Dieser winzige Tropfen führt dazu, dass der Koch plötzlich glaubt, die Suppe sei giftig oder brennend heiß, obwohl sie eigentlich kalt ist.

Das ist genau das, was die Forscher mit den Neuralen Operatoren gemacht haben. Sie haben nur weniger als 1 % der Eingabedaten (z. B. nur einen einzigen Sensorwert für die Temperatur oder den Druck) minimal verändert.

Das Ergebnis: Die KI, die vorher zu 99 % richtig lag, sagt plötzlich Dinge, die zu 37–63 % falsch sind.
Die Gefahr: Die KI sagt dem Kraftwerksleiter: „Alles sicher! Die Temperatur ist niedrig." In Wirklichkeit ist die Temperatur so hoch, dass die Rohre schmelzen könnten.

Warum ist das so gefährlich? (Der „Geist im Glas")

Das Tückische an diesem Angriff ist, dass er unsichtbar bleibt.

Physikalisch plausibel: Die veränderten Werte sehen völlig normal aus. Sie liegen innerhalb des erlaubten Bereichs (z. B. ist die Temperatur immer noch zwischen 20 und 100 Grad). Kein Alarm geht los, weil die Werte „im grünen Bereich" liegen.
Statistisch unsichtbar: Wenn man die Ausgaben der KI mit normalen Prüfmethoden vergleicht, sieht alles in Ordnung aus. Die KI hat einen Fehler gemacht, aber der Fehler ist so lokalisiert (nur an einer kritischen Stelle), dass der Durchschnittswert immer noch gut aussieht. Es ist, als würde ein Auto bei 200 km/h fahren, aber der Tacho zeigt nur 50 km/h an, weil er an einer einzigen Schraube manipuliert wurde.

Die vier Helden (und ihre Schwächen)

Die Forscher haben vier verschiedene Arten von KI-Architekturen getestet, wie vier verschiedene Architekten, die alle denselben Turm bauen:

POD-DeepONet (Der vorsichtige Architekt):
- Charakter: Er baut alles sehr glatt und geglättet.
- Schwäche: Er ist sehr empfindlich auf einen einzigen Punkt, aber da er alles so stark glättet, kann er nicht ganz verrückt werden. Sein Fehler bleibt begrenzt. Er ist wie ein alter, starrer Baum, der bei starkem Wind knickt, aber nicht umstürzt.
S-DeepONet (Der schnelle, aber nervöse Architekt):
- Charakter: Er verarbeitet Informationen wie eine Kette von Dominosteinen.
- Schwäche: Das ist der größte Verlierer. Wenn man einen Dominostein am Ende der Kette leicht anstößt, kippt die ganze Kette um. Diese KI ist extrem anfällig. Schon eine winzige Änderung führt zu einem katastrophalen Fehler.
MIMONet & NOMAD (Die robusten Architekten):
- Charakter: Sie verteilen die Informationen auf viele Wege.
- Schwäche: Um sie zu täuschen, muss man an vielen Stellen gleichzeitig schrauben. Ein einzelner Angriff reicht nicht. Sie sind wie ein Netz aus vielen Seilen – man muss viele Seile durchschneiden, damit es reißt.

Die neue Entdeckung: Der „Empfindlichkeits-Index"

Die Forscher haben eine neue Messgröße erfunden, die sie $d_{eff}$ nennen. Man kann sich das wie einen „Fokus-Index" vorstellen:

Hat die KI ihre ganze Aufmerksamkeit auf einen einzigen Punkt gerichtet? (Hohe Gefahr, wenn dieser Punkt angegriffen wird).
Oder ist ihre Aufmerksamkeit gleichmäßig verteilt? (Schwerer zu täuschen).

Das Überraschende: Es reicht nicht, nur zu wissen, wo die KI empfindlich ist. Man muss auch wissen, wie stark sie darauf reagiert.

S-DeepONet hat eine mittlere Konzentration, aber eine riesige Verstärkung. Ein kleiner Stoß wird zu einem Erdbeben.
POD-DeepONet hat eine extreme Konzentration, aber eine kleine Verstärkung. Ein Stoß bleibt ein kleiner Wackler.

Was bedeutet das für die Zukunft?

Die Botschaft ist klar: Genauigkeit ist nicht gleich Sicherheit.

Bisher haben wir KIs nur darauf getestet, ob sie im Durchschnitt recht haben (wie bei einer Schulnote). Diese Studie zeigt, dass eine KI mit einer „Note 1,0" trotzdem in einer Notsituation katastrophal versagen kann, wenn jemand sie gezielt manipuliert.

Die Lösung?
Bevor wir diese KIs in echten Kraftwerken oder im Wetter-Service einsetzen, müssen wir sie nicht nur auf Genauigkeit, sondern auch auf Robustheit gegen Manipulation testen. Wir müssen sicherstellen, dass die KI nicht nur „gut rechnen" kann, sondern auch nicht so leicht „verwirrt" werden kann.

Zusammengefasst:
Wir bauen digitale Zwillinge für die sicherheitskritischsten Systeme der Welt. Aber wir haben gerade entdeckt, dass diese Zwillinge wie ein Kartenhaus sind: Ein einziger, winziger Luftzug (eine manipulierte Sensorzahl) kann das ganze Haus zum Einsturz bringen, ohne dass man den Windzug überhaupt bemerkt. Wir müssen diese Häuser jetzt umbauen, damit sie Sturmfest sind.

1. Problemstellung

Neuronale Operatoren (Neural Operators) entwickeln sich schnell zum prädiktiven Kern von digitalen Zwillingen für sicherheitskritische Infrastrukturen wie Kernkraftwerke. Sie ermöglichen die Echtzeit-Rekonstruktion physikalischer Felder (z. B. Druck, Geschwindigkeit, Temperatur) aus spärlichen Sensormessungen und bieten dabei eine Rechengeschwindigkeit, die um Größenordnungen höher ist als bei herkömmlichen CFD-Simulationen (Computational Fluid Dynamics).

Das zentrale Problem, das in diesem Paper adressiert wird, ist die fehlende Robustheit dieser Modelle gegenüber adversariellen Angriffen. Während die Genauigkeit (Accuracy) dieser Modelle auf Validierungsdaten hervorragend ist (relative $L_2$ -Fehler von ca. 1–2 %), ist ihre Anfälligkeit gegenüber gezielten, physikalisch plausiblen Eingabe-Manipulationen unbekannt.

Die Bedrohung: Ein Angreifer könnte über SCADA-Systeme oder Sensor-Manipulationen minimale, aber gezielte Änderungen an den Eingabedaten (z. B. Einlassgeschwindigkeit oder Wandwärmestrom) vornehmen.
Das Risiko: Diese Änderungen müssen physikalischen Grenzen entsprechen (z. B. innerhalb des Kalibrierbereichs der Sensoren), um von herkömmlichen Anomalieerkennungssystemen nicht erkannt zu werden. Dennoch könnten sie zu katastrophalen Vorhersagefehlern führen, die Sicherheitsmargen unterschätzen oder kritische Zustände (wie Überhitzung) verbergen.
Die Lücke: Bisherige Forschung konzentrierte sich auf Klassifizierungsprobleme oder beschränkte Regressionen. Die Robustheit von Operatoren, die Abbildungen zwischen unendlich-dimensionalen Funktionenräumen lernen und physikalische Randbedingungen erfüllen müssen, wurde noch nicht systematisch untersucht.

2. Methodik

Die Autoren entwickelten einen gradientenfreien Angriffsrahmen (Gradient-Free Attack Framework), der speziell für kontinuierliche Regressionsaufgaben mit physikalischen Constraints entwickelt wurde.

Angriffsziel: Vier verschiedene Architekturen neuronaler Operatoren wurden getestet:
1. MIMONet: Direkte Verkettung ohne explizite Operator-Struktur.
2. NOMAD: Multi-Branch-Architektur mit multiplikativer Fusion.
3. S-DeepONet: Nutzt einen sequenziellen GRU-Encoder (Gated Recurrent Unit) für Randbedingungen.
4. POD-DeepONet: Nutzt eine Proper Orthogonal Decomposition (POD) zur Projektion auf einen niedrigdimensionalen Unterraum.
Optimierungsmethode: Anstelle von gradientenbasierten Methoden (wie PGD oder FGSM), die oft White-Box-Zugriff benötigen und bei hochdimensionalen Ausgaben rechenintensiv sind, wurde Differential Evolution (DE) verwendet. Dies ist ein black-box-Optimierungsverfahren, das nur den Vorwärtsdurchlauf des Modells benötigt.
Angriffsparameter:
- Sparsität ( $L_0$ -Norm): Der Angriff verändert extrem wenige Eingabekoordinaten (weniger als 1 % der Eingaben, z. B. nur 1 bis 10 von 102 Sensoren).
- Physikalische Constraints: Alle perturbierten Eingaben bleiben innerhalb der Trainingsverteilung (innerhalb von $\pm 1\sigma$ des Trainingsmittels) und erfüllen physikalische Grenzen (z. B. Temperatur- und Druckbereiche). Dies stellt sicher, dass die Angriffe für Standard-Anomalieerkennung unsichtbar sind.
- Ziel: Maximierung des relativen $L_2$ -Fehlers im vorhergesagten physikalischen Feld (Druck, Geschwindigkeitskomponenten).

3. Wichtige Beiträge und Konzepte

Das Paper führt mehrere neue Konzepte und Metriken ein, um die Verwundbarkeit zu quantifizieren:

Effektive Perturbationsdimension ( $d_{eff}$ ):
Dies ist eine jacobian-basierte Metrik, die die Konzentration der Eingabe-Ausgabe-Sensitivität quantifiziert.
- $d_{eff} \approx 1$ : Die Sensitivität ist auf eine einzige Eingaberichtung konzentriert (hohe Anfälligkeit für Einzel-Punkt-Angriffe).
- $d_{eff} \approx d$ : Die Sensitivität ist gleichmäßig über alle Eingaben verteilt (robust gegen spärliche Angriffe).
Zwei-Faktor-Verwundbarkeitsmodell:
Die Autoren zeigen, dass der Erfolg eines Angriffs nicht nur von der Konzentration ( $d_{eff}$ $d_{e f f}$ ), sondern vom Produkt aus Sensitivitätskonzentration und Sensitivitätsmagnitude (Betrag der Jacobian-Spaltennormen) abhängt.
- Ein Modell kann eine extreme Konzentration haben, aber durch eine niedrige Sensitivitätsmagnitude (oder durch niedrigdimensionale Projektionen) geschützt sein.
- Ein Modell mit moderater Konzentration und hoher Verstärkung ist am anfälligsten.
Gradientenfreie Überlegenheit:
Das Paper demonstriert, dass Differential Evolution bei Architekturen mit „Gradienten-Pathologien" (z. B. durch diskrete Basis-Projektionen oder GRU-Strukturen) besser funktioniert als gradientenbasierte Methoden wie PGD.

4. Ergebnisse

Die Experimente auf einem Benchmark-Problem (Wärmetauscher in einem Kernreaktor) ergaben folgende Schlüsselergebnisse:

Katastrophaler Genauigkeitsverlust:
Trotz einer Validierungsgenauigkeit von ca. 1,5 % konnten durch spärliche Angriffe (Änderung von nur 1–3 Sensoren) relative $L_2$ $L_{2}$ -Fehler von 37 % bis 63 % erzeugt werden.
- S-DeepONet war am anfälligsten (bis zu 63 % Fehler bei $L_0=10$ ), gefolgt von NOMAD und MIMONet.
- POD-DeepONet zeigte eine überraschende Resilienz (Fehler plateau bei ca. 25–30 %), obwohl es die extremste Sensitivitätskonzentration ( $d_{eff} \approx 1$ ) aufwies.
Erklärung der POD-DeepONet-Resilienz:
Die scheinbare Paradoxie wird durch das Zwei-Faktor-Modell gelöst: POD-DeepONet hat zwar eine extreme Konzentration ( $d_{eff} \approx 1$ ), aber die niedrigdimensionale Projektion (POD-Basis) wirkt als „Deckel" (Ceiling), der die maximale Verstärkung des Fehlers begrenzt. Die Sensitivitätsmagnitude ist hier zu gering, um katastrophale Fehler zu erzeugen.
Unsichtbarkeit für Validierungsmetriken:
Ein kritischer Befund ist, dass 100 % der erfolgreichen Einzel-Punkt-Angriffe ( $L_0=1$ ) von Standard-Anomalieerkennungssystemen (basierend auf z-Scores) übersehen wurden. Die perturbierten Ausgaben lagen statistisch innerhalb der normalen Betriebsvariabilität, obwohl sie physikalisch falsche Felder (z. B. Hotspot-Verschiebungen, Strömungsumkehr) vorhersagten.
Architekturspezifische Schwachstellen:
- S-DeepONet ist besonders anfällig, da der GRU-Encoder sequenzielle Abhängigkeiten nutzt; Störungen am Ende der Sequenz (Wärmestrom-Profil) propagieren stark durch den versteckten Zustand.
- Die Angriffe waren kaum zwischen den Architekturen übertragbar (Transferability < 36 %), was darauf hindeutet, dass Ensemble-Methoden eine potenzielle Verteidigung darstellen könnten.

5. Bedeutung und Schlussfolgerung

Dieses Paper legt eine kritische Schwachstelle in der aktuellen Praxis des „Scientific Machine Learning" offen:

Validierung ist unzureichend: Die traditionelle Validierung auf Basis von Testfehler-Metriken (MSE, $L_2$ ) garantiert keine Robustheit gegen adversarielle Angriffe in sicherheitskritischen Anwendungen. Ein Modell kann „produktionsreif" genau sein, aber bei minimalen Eingabestörungen katastrophal versagen.
Fundamentaler Trade-off: Die Autoren beweisen theoretisch, dass eine hohe Approximationsgenauigkeit (Sobolev-Genauigkeit) für Operatoren mit variierender Sensitivität inhärent zu einer adversariellen Verwundbarkeit führt. Man kann nicht einfach „besser lernen", ohne die Anfälligkeit zu erhöhen, es sei denn, man fügt spezifische Regularisierungen hinzu.
Handlungsempfehlungen:
- Vor dem Einsatz von digitalen Zwillingen in der Kerntechnik oder Energieversorgung müssen Robustheitsgarantien über Standard-Validierung hinaus eingeführt werden.
- Architekturen sollten so gestaltet werden, dass sie eine hohe effektive Perturbationsdimension ( $d_{eff}$ ) bei gleichzeitig kontrollierter Sensitivitätsmagnitude aufweisen.
- Defense-Strategien wie Sensitivitäts-Regularisierung während des Trainings, physikbasierte Anomalieerkennung (Überprüfung von Energiebilanzen) und Ensemble-Methoden sind notwendig.

Zusammenfassend zeigt die Studie, dass neuronale Operatoren für sicherheitskritische Anwendungen derzeit nicht als „sicher" gelten können, solange ihre Verwundbarkeit gegenüber physikalisch plausiblen, spärlichen Eingabemanipulationen nicht systematisch adressiert wird.