⚛️ high-energy experiments

MiniFool -- Physics-Constraint-Aware Minimizer-Based Adversarial Attacks in Deep Neural Networks

Dieses Paper führt MiniFool ein, einen physik-beschränkungsbewussten Adversarial-Attack-Algorithmus, der eine Kostenfunktion minimiert, die eine $\chi^2$ -Teststatistik mit der Abweichung des Zielscores kombiniert, um die Robustheit tiefer neuronaler Netze in der Teilchen- und Astropartikelphysik zu bewerten, wie durch Anwendungen auf MNIST, IceCube-Tau-Neutrino-Daten und CMS Open Data demonstriert wird.

Ursprüngliche Autoren: Lucie Flek, Oliver Janik, Philipp Alexander Jung, Akbar Karimi, Timo Saala, Alexander Schmidt, Matthias Schott, Philipp Soldin, Matthias Thiesmeyer, Christopher Wiebusch, Ulrich Willemsen

Veröffentlicht 2026-06-17

📖 4 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Lucie Flek, Oliver Janik, Philipp Alexander Jung, Akbar Karimi, Timo Saala, Alexander Schmidt, Matthias Schott, Philipp Soldin, Matthias Thiesmeyer, Christopher Wiebusch, Ulrich Willemsen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr intelligenten Roboter, der Bilder betrachtet und errät, was darauf zu sehen ist. Vielleicht sieht er ein Foto einer Katze und sagt: „Das ist ein Hund!“ oder betrachtet ein verschwommenes Foto eines Sterns und sagt: „Das ist ein Planet!“

Wissenschaftler in der Welt der Physik (wo sie winzige Teilchen und riesige Sterne untersuchen) nutzen diese Roboter, um gewaltige Mengen an Daten zu verstehen. Aber es gibt ein Problem: Diese Roboter können leicht ausgetrickst werden. Wenn man ein Bild nur auf eine winzige, unsichtbare Weise verändert, könnte der Roboter plötzlich seine Meinung komplett ändern.

Dieses Paper stellt ein neues Werkzeug namens MiniFool vor. Stellen Sie sich MiniFool nicht als einen „Hacker“ vor, der versucht, den Roboter zu brechen, sondern als einen Stress-Test-Inspektor. Seine Aufgabe ist es zu fragen: „Wie viel muss ich die Daten tatsächlich wackeln lassen, bevor der Roboter seine Meinung ändert?“

So funktioniert es, erklärt durch einfache Analogien:

1. Der „Fake“- vs. der „Real“-Trick

Die meisten alten Methoden, um Roboter auszutricksen (genannt „adversarial attacks“), sind wie ein Magier, der ein Kaninchen aus einem Hut zieht. Sie verändern die Daten auf eine Weise, die mathematisch klein, aber physikalisch unmöglich ist.

Der alte Weg: Stellen Sie sich vor, man versucht, einen Roboter auszutricksen, indem man einen Pixel in einem Foto in eine negative Zahl ändert. In der realen Welt kann man kein „negatives Licht“ haben. Aber die alten Tricks kümmerten sich nicht darum; sie wollten nur den Roboter verwirren.
Der MiniFool-Weg: MiniFool ist wie ein strenger Physiklehrer. Er sagt: „Du darfst die Daten nur dann verändern, wenn die Änderung in der realen Welt Sinn ergibt.“ Wenn ein Sensor eine bekannte Fehlertoleranz hat (wie ein Lineal, das etwas ungenau ist), verändert MiniFool die Daten nur innerhalb dieses ungenauen Bereichs. Er fragt: „Kann ich den Roboter allein durch das natürliche ‚Zittern‘ der Messung austricksen?“

2. Der „Spielraum“-Test

Die Forscher verwenden einen speziellen Regler namens „Attack Parameter“. Denken Sie an diesen Regler als an ein Drehrad, das steuert, wie viel „Spielraum“ oder Unsicherheit wir in den Daten zulassen.

Drehen Sie das Rad niedrig (Geringer Spielraum): Wenn der Roboter seine Meinung schon bei einem winzigen, fast unsichtbaren Stoß ändert, bedeutet das, dass der Robote fragil ist. Es ist wie ein Kartenhaus; ein kleiner Windstoß bringt es zum Einsturz.
Drehen Sie das Rad hoch (Hoher Spielraum): Wenn der Roboter seine Meinung erst ändert, wenn man die Daten heftig schüttelt (weit über den natürlichen Fehler des Instruments hinaus), dann bedeutet das, dass der Roboter robust ist. Es ist wie eine Ziegelmauer; es braucht viel, um sie zu bewegen.

3. Drei Tests aus der realen Welt

Das Paper testete MiniFool an drei verschiedenen Dingen, um zu zeigen, dass es überall funktioniert:

Die handgeschriebenen Ziffern (MNIST): Sie zeigten dem Roboter Bilder von Zahlen (wie einer „9“).
- Ergebnis: Wenn der Roboter richtig lag, war er schwer zu täuschen. Wenn er bereits falsch lag (er dachte, eine „9“ sei eine „8“), war es sehr einfach, ihn mit einem winzigen Stoß wieder zur richtigen Antwort zu führen. Dies bewies, dass MiniFool erkennen kann, welche Vermutungen wackelig sind.
Das Eiswürfel-Teleskop (IceCube): Dies ist ein riesiger Detektor in der Antarktis, der nach geisterhaften Teilchen namens Neutrinos sucht. Sie wollten einen spezifischen Typ namens „Tau-Neutrino“ finden.
- Ergebnis: Sie nutzten MiniFool auf echten Daten aus dem Teleskop. Sie fanden heraus, dass die „guten“ Ereignisse (echte Tau-Neutrinos) sehr schwer zu täuschen waren, während die „schlechten“ Ereignisse (Hintergrundrauschen) sehr leicht zu täuschen waren. Dies half ihnen zu verifizieren, dass ihre Entdeckung echt und kein Zufall war.
Der Teilchenbeschleuniger (CMS): Dies ist eine riesige Maschine, die Teilchen zusammenstößt, um schwere „b-Quarks“ zu finden.
- Ergebnis: Sie testeten den Roboter, der diese Teilchen identifiziert. Sie fanden heraus, dass es, wenn der Roboter sicher und korrekt war, einen riesigen „Stoß“ brauchte, um seine Meinung zu ändern. Wenn er falsch lag, reichte ein winziger Stoß, um ihn zu korrigieren.

Das große Fazit

Der Hauptpunkt dieses Papers ist, dass MiniFool Wissenschaftlern hilft, ihren Robotern zu vertrauen.

Indem sie dieses Werkzeug benutzen, können Wissenschaftler eine bestimmte Datenmenge betrachten und sagen: „Ist diese Klassifizierung stark oder ist es nur ein Glückstreffer, der in sich zusammenbrechen würde, wenn die Messung auch nur leicht abweichen würde?“

Es sagt nicht nur, ob man den Roboter austricksen kann; es sagt, wie viel es braucht, um ihn auszutricksen, basierend auf den realen Regeln der Physik. Dies hilft Wissenschaftlern, die soliden, zuverlässigen Entdeckungen von den wackeligen zu unterscheiden.

Technisches Resümee: MiniFool – Ein auf physikalischen Constraints basierender Minimierer für adversarielle Angriffe

Problemstellung

In der Teilchen- und Astroteilchenphysik spielen tiefe neuronale Netze (DNNs) eine immer zentralere Rolle bei der Datenanalyse, insbesondere bei der Klassifizierung von Ereignissen in Signal- und Hintergrundkategorien. Diese Netzwerke werden jedoch auf gelabelten Monte-Carlo-Simulationen trainiert, die subtile Fehlmodellierungen experimenteller Instrumente enthalten können. Solche Fehlmodellierungen können dazu führen, dass Netzwerke nicht-physikalische Merkmale erlernen, was die Leistungsfähigkeit bei der Anwendung auf reale experimentelle Daten verschlechtert.

Standardmäßige Algorithmen für adversarielle Angriffe (z. B. FGSM, PGD, DeepFool) sind darauf ausgelegt, minimale Störungen zu finden, die eine Klassifizierung umkehren. Diese Methoden minimieren jedoch typischerweise Distanzmetriken (wie $L_\infty$ oder $L_2$ ) ohne Berücksichtigung von experimentellen Unsicherheiten oder physikalischen Randbedingungen (z. B. Erhaltungssätze, Nicht-Negativität von Signalen). Infolgedessen stellen die für das Täuschung eines Netzwerks erforderlichen Perturbationen in diesen Standardansätzen oft physikalisch unmögliche Datenereignisse dar. Dies erschwert die statistische und physikalische Interpretation der Erfolgsraten von Angriffen im Kontext experimenteller Physik. Es besteht ein Bedarf an einer Angriffsmethodik, welche die experimentellen Unsicherheiten respektiert, um die Entscheidungen von Netzwerken robust zu bewerten und fehlklassifizierte Ereignisse zu identifizieren.

Methodik: Der MiniFool-Algorithmus

Die Autoren präsentieren MiniFool, einen neuen Algorithmus, der physik-inspirierte adversarielle Angriffe implementiert. Im Gegensatz zu traditionellen Methoden, die nach der absolut minimalen Änderung von Pixel- oder Feature-Werten suchen, minimiert MiniFool eine Kostenfunktion, die die Änderung des Ziel-Klassifizierungswerts gegen die physikalische Plausibilität der Perturbation abwägt, welche durch experimentelle Unsicherheiten quantifiziert wird.

Kernformulierung

Der Algorithmus operiert auf einer Klassifizierungsaufgabe mit $m$ Klassen. Gegeben sei ein Input $\vec{x}_0$ und ein Zielwert $g$ (typischerweise $g=0$ , um eine sichere Klassifizierung umzukehren), sucht MiniFool nach einem adversariellen Input $\vec{x}_a$ , der die Gesamtmetrik $\lambda$ minimiert:

$\lambda(\vec{x}_0; \vec{x}_a; \vec{\theta}) = \eta(\vec{x}_0; \vec{x}_a) + \beta \cdot (f_{i^*}(\vec{x}_a; \vec{\theta}) - g)^2$

Wobei:

$\eta$ (Input-Metrik): Eine quadrierte $L_2$ -Norm der mittleren quadratischen Abweichungen der gestörten Features relativ zu den ursprünglichen Features, normiert durch die experimentelle Unsicherheit $\sigma_i$ jedes Features:
$\eta = \frac{1}{N} \sum_{i=1}^{N} \left( \frac{x_{0,i} - x_{a,i}}{\sigma_i} \right)^2$
Diese Metrik ist analog zu einer $\chi^2$ -Statistik. Sie kann auf korrelierte Features unter Verwendung einer Kovarianzmatrix erweitert werden.
Zielwert-Term: Die quadrierte Differenz zwischen dem Output des Netzwerks für die Zielklasse $f_{i^*}$ und dem gewünschten Wert $g$ .
$\beta$ : Ein abstimmbarer Meta-Parameter (Standardwert 1) zur Neugewichtung der Terme, nützlich falls die Outputs keine normierten Wahrscheinlichkeiten sind.
Angriffsparameter ( $s$ ): Um die Robustheit zu bewerten, werden die nominalen Unsicherheiten $\vec{\sigma}_0$ durch einen Skalar $s$ skaliert ( $\vec{\sigma} = s \cdot \vec{\sigma}_0$ ). Durch das Scannen von $s$ kann bestimmt werden, welche Größenordnung an Unsicherheit erforderlich ist, um eine Klassifizierung umzukehren.

Die Minimierung erfolgt unter Verwendung des Adam-Optimierers. Der Prozess ist rechenintensiver als Gradienten-Vorzeichen-Methoden und benötigt Sekunden pro Ereignis auf einer Workstation, liefert jedoch Lösungen, die statistisch konsistent mit den angenommenen experimentellen Unsicherheiten sind. Der Algorithmus ist sowohl in TensorFlow als auch in PyTorch implementiert.

Wichtige Beiträge und Ergebnisse

Das Paper validiert MiniFool über drei verschiedene Domänen hinweg:

1. MNIST-Ziffernklassifizierung (Warm-up)

Setup: Ein Standard-Feedforward-Netzwerk, trainiert auf 28x28 Graustufenbildern (98%+ Genauigkeit).
Ergebnisse:
- MiniFool konnte Klassifizierungen erfolgreich umkehren (z. B. „9“ zu „4“) und Fehlklassifizierungen korrigieren (z. B. eine fälschlicherweise als „8“ klassifizierte „9“ zu „9“ korrigiert) mit minimalen Perturbationen.
- Robustheitsanalyse: Beim Scannen des Angriffsparameters $s$ zeigten fehlklassifizierte Bilder einen schnellen Abfall der Konfidenzwerte, während korrekt klassifizierte Bilder bis zu viel größeren $s$ -Werten robust blieben. Dies bestätigt, dass falsche Vorhersagen gegenüber Perturbationen, die konsistent mit den Datensicherheiten sind, weniger robust sind.

2. IceCube Tau-Neutrino-Identifikation

Kontext: Identifizierung von astrophysikalischen Tau-Neutrinos ( $\nu_\tau$ ) gegenüber Hintergrund-Elektron-Neutrinos ( $\nu_e$ ) unter Verwendung von 2D-Bildern von Cherenkov-Lichtmustern im IceCube-Detektor.
Setup: Die Angriffe wurden auf simulierte Ereignisse und sieben reale Kandidateneignisse angewendet, die in einer Analyse aus dem Jahr 2024 identifiziert wurden. Die Unsicherheiten wurden als 10 % der aufgezeichneten Amplitude modelliert.
Ergebnisse:
- Für die sieben realen Kandidateneignisse benötigten sechs einen Angriffsparameter von $s \approx 10$ (was eine 100%ige Unsicherheit impliziert), um die Klassifizierung umzukehren, was auf eine hohe Robustheit hindeutet.
- Ein Ereignis kehrte bei $s < 1$ um, was darauf hindeutet, dass es sich wahrscheinlich um ein fehlklassifiziertes Hintergrundereignis handelt.
- Diese Unterscheidung stimmt mit der Hintergrundschätzung von 0,5 Ereignissen in der ursprünglichen Analyse überein und zeigt, dass MiniFool die Reinheit ausgewählter Ereignissamples unabhängig verifizieren kann.

3. CMS B-Jet-Tagging

Kontext: Identifizierung von Jets, die von b-Quarks stammen, unter Verwendung des DeepJet-Netzwerks für CMS Open Data.
Setup: Das Netzwerk verarbeitet über 600 Eingangsgrößen. Aufgrund der Schwierigkeit, spezifische Unsicherheiten für alle Eingänge zu quantifizieren, wurde ein vereinfachtes Modell verwendet, bei dem alle Unsicherheiten auf eins gesetzt und durch $s$ skaliert wurden.
Ergebnisse:
- Stresstest: Die Area Under the Curve (AUC) sank von 0,932 (nominal) auf 0,752, als $s$ anstieg. Eine signifikante Verschlechterung begann bei $s = 3 \times 10^{-4}$ .
- Robustheits-Scan: Für eine Teilmenge von 200 Jets mit hoher initialer Konfidenz ( $P \ge 87\%$ ) benötigten korrekt klassifizierte Jets signifikant größere $s$ -Werte, um umzukehren, verglichen mit anfänglich fehlklassifizierten Jets.
- Dies bestätigt die Generalisierbarkeit des Algorithmus auf hochdimensionale, heterogene Teilchenphysikdaten.

Bedeutung und Ansprüche

Das Paper behauptet, dass MiniFool eine physikalisch sinnvolle Methode bietet, um die Robustheit neuronaler Netzwerkentscheidungen in der Teilchenphysik zu testen. Seine primäre Bedeutung liegt in:

Physikalische Plausibilität: Durch die Einbeziehung experimenteller Unsicherheiten in die Kostenfunktion stellen die resultierenden Perturbationen physikalisch mögliche Datenvariationen dar, im Gegensatz zu Standardangriffen, die nicht-physikalische Artefakte erzeugen können.
Robustheitsbewertung: Die Fähigkeit, den Angriffsparameter $s$ zu scannen, ermöglicht es Forschern, zu quantifizieren, wie viel experimentelle Unsicherheit eine Klassifizierung verträgt, bevor sie versagt. Dies dient als Metrik für die Zuverlässigkeit einzelner Ereignisklassifizierungen.
Detektion von Fehlklassifizierungen: Die Methode unterscheidet konsistent zwischen korrekt und inkorrekt klassifizierten Ereignissen; fehlklassifizierte Ereignisse sind bei kleineren Unsicherheitsskalen „umkehrbar“ als robuste, korrekt klassifizierte Ereignisse.
Allgemeine Anwendbarkeit: Der Algorithmus ist nicht auf einen bestimmten Detektor oder Datentyp beschränkt, wie der Erfolg auf Bilddaten (MNIST), Zeitreihen/2D-Detektordaten (IceCube) und hochdimensionalen kinematischen Daten (CMS) zeigt.

Die Autoren merken an, dass die aktuelle Implementierung langsamer als gradientenbasierte Angriffe ist, aber ein einzigartiges Werkzeug zur Validierung physikalischer Analysen bietet. Sie schlagen vor, dass zukünftige Arbeiten sich auf die Anwendung komplexerer, realistischerer Unsicherheitsmodelle konzentrieren und die Integration dieser Methode in den Trainingsprozess (adversarielles Training) untersuchen sollten, wobei die aktuellen Rechenkosten dies derzeit auf kleinere Datensätze beschränken.