💻 computer science

NeuroTrace: Inference Provenance-Based Detection of Adversarial Examples

Das Paper stellt NeuroTrace vor, ein Framework und einen Datensatz, die auf Inference-Provenance-Graphen basieren, um durch die Analyse des gesamten Informationsflusses während der Inferenz adversarielle Beispiele in neuronalen Netzen effektiv und übertragbar zu erkennen.

Ursprüngliche Autoren: Firas Ben Hmida, Philemon Hailemariam, Kashif Ali Khan, Birhanu Eshete

Veröffentlicht 2026-04-17

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Firas Ben Hmida, Philemon Hailemariam, Kashif Ali Khan, Birhanu Eshete

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen extrem klugen, aber etwas verschlossenen Koch (das ist dein Künstliches Neuronales Netz). Dieser Koch kann Gerichte (z. B. Bilder von Hunden oder Katzen) perfekt erkennen. Aber wenn jemand das Rezept manipuliert – vielleicht indem er eine winzige, unsichtbare Menge Salz hinzufügt, die das Gericht für den Koch zu einem "Giftpilz" macht –, kann der Koch plötzlich einen Hund für eine Katze halten. Das nennt man einen adversarialen Angriff (einen böswilligen Angriff).

Das Problem bisher war: Wir konnten nur sehen, was der Koch am Ende herausgeschrien hat ("Das ist eine Katze!"), aber wir wussten nicht, wie er zu diesem Ergebnis gekommen ist. Der Koch war wie eine Blackbox.

Hier kommt NeuroTrace ins Spiel.

Die Idee: Der "Koch-Protokoll"-Trick

Stell dir vor, statt nur auf das fertige Gericht zu schauen, installieren wir im Restaurant eine Art super-detailliertes Überwachungssystem. Dieses System zeichnet nicht nur das Endergebnis auf, sondern protokolliert jeden einzelnen Schritt des Kochens:

Welcher Gewürzschrank wurde geöffnet?
Welche Schüssel wurde benutzt?
Welche Handbewegung wurde wann gemacht?
Welche Zutaten wurden in welcher Reihenfolge gemischt?

In der Welt der KI nennen wir diese detaillierte Aufzeichnung des Weges einen Inference Provenance Graph (IPG). Es ist wie eine Landkarte, die genau zeigt, wie die Information durch das Gehirn der KI geflossen ist.

Was macht NeuroTrace nun?

Die Forscher von NeuroTrace haben ein Werkzeug gebaut, das diese "Koch-Protokolle" (die Graphen) automatisch erstellt und analysiert.

Der Detektiv (Das System): NeuroTrace schaut sich diese Landkarten an. Bei einem normalen, harmlosen Bild (einem echten Hund) sieht die Landkarte so aus, wie man es erwartet: Der Koch geht logisch von Schritt A zu Schritt B.
Der Betrüger (Der Angriff): Wenn jemand das Bild manipuliert hat, um die KI zu täuschen, sieht die Landkarte plötzlich seltsam aus. Vielleicht hat der Koch plötzlich einen Schrank aufgemacht, den er nie benutzt, oder er hat Zutaten in einer völlig chaotischen Reihenfolge gemischt. Diese "Fehltritte" im Ablauf sind für die KI unsichtbar, aber für das NeuroTrace-System wie ein rotes Tuch.

Die Analogie: Der Labyrinth-Spaziergang

Stell dir vor, die KI ist ein riesiges Labyrinth.

Normale Eingabe: Ein Besucher (das Bild) läuft einen klaren, geraden Weg durch das Labyrinth, der zu einem Ausgang führt.
Adversarialer Angriff: Jemand hat den Besucher manipuliert, sodass er im Labyrinth wild herumhüpft, Wände durchbricht oder in Sackgassen läuft, nur um am Ende trotzdem am falschen Ausgang herauszukommen.

Früher haben Detektive nur geschaut: "Ist er am richtigen Ausgang rausgekommen?" (Das war oft nicht zuverlässig).
NeuroTrace schaut sich den Fußabdruck des Besuchers im Labyrinth an. Selbst wenn er am "falschen" Ausgang rauskommt, verrät ihm der Fußabdruck: "Moment mal, dieser Weg war völlig verrückt! Das ist kein normaler Spaziergang, das ist ein Betrug!"

Warum ist das so cool?

Die Forscher haben herausgefunden, dass diese "Fußabdrücke" (die Graphen) sehr mächtig sind:

Sie funktionieren überall: Ob es um Bilder (wie Hunde und Katzen) oder um Viren-Software geht – das Prinzip ist gleich.
Sie sind hartnäckig: Selbst wenn die Angreifer versuchen, neue Tricks zu erfinden (neue Angriffsarten), bleiben die Fußabdrücke im Labyrinth oft ähnlich verrückt. Das System lernt also nicht nur einen Trick, sondern erkennt das Muster des Betrugs.
Sie sind übertragbar: Ein System, das gelernt hat, Betrug bei "weißen" Angriffen (wo der Angreifer alles über die KI weiß) zu erkennen, kann oft auch "schwarze" Angriffe (wo der Angreifer nichts weiß) aufspüren. Das ist, als würde ein Detektiv, der gelernt hat, wie ein Einbrecher ein Schloss knackt, auch sofort merken, wenn jemand das Fenster aufbricht.

Der Haken (Die Realität)

Es gibt einen kleinen Nachteil: Das Erstellen dieser detaillierten Landkarten kostet Zeit und Speicherplatz. Es ist wie das Filmen eines ganzen Films, nur um zu prüfen, ob der Schauspieler seine Rolle richtig spielt.

Für schnelle, alltägliche Dinge (wie "Schnell, ist das ein Spam-Mail?") ist es vielleicht noch zu langsam.
Für wichtige Dinge (wie "Ist diese Banktransaktion echt?" oder "Ist dieser medizinische Scan sicher?") ist es jedoch perfekt, weil man hier lieber etwas langsamer ist, aber absolut sicher.

Fazit

NeuroTrace ist wie ein neuer, super-scharfer Detektiv, der nicht nur auf das Ergebnis schaut, sondern sich den gesamten Weg der KI genau ansieht. Es hilft uns, die Blackbox-KI etwas durchsichtiger zu machen und uns vor manipulierten Eingaben zu schützen, indem es die "Fehltritte" im Denkprozess der KI erkennt, noch bevor sie zu einem falschen Ergebnis führen.

Die Forscher haben ihre Werkzeuge und Daten sogar kostenlos veröffentlicht, damit andere Detektive (Forscher) damit weiterarbeiten und noch sicherere KI-Systeme bauen können.

1. Problemstellung

Deep Neural Networks (DNNs) sind in ihrer Entscheidungsfindung oft eine „Blackbox". Herkömmliche Methoden zur Erkennung von adversarialen Beispielen (manipulierten Eingaben, die zu falschen Vorhersagen führen) stützen sich meist auf lokalisierte Signale einzelner Schichten (z. B. Logits, Gradienten oder Saliency Maps). Diese Ansätze betrachten Modulkomponenten isoliert und vernachlässigen den informationsflussübergreifenden Kontext (cross-layer information flow) sowie die strukturelle Ausführungsdynamik während des Inferenzvorgangs. Dies führt dazu, dass systemische Störungen, die durch adversarialen Angriffen ausgelöst werden, oft unentdeckt bleiben oder die Detektoren nicht auf neue Angriffsarten verallgemeinern können.

2. Methodik: NeuroTrace Framework

Das Paper stellt NeuroTrace vor, ein Framework zur Analyse der Inferenz-Provenienz (Inference Provenance). Der Kernansatz besteht darin, den Inferenzvorgang nicht als bloße Zahlenfolge, sondern als strukturierten Graphen zu modellieren.

Inference Provenance Graphs (IPGs):
- IPGs sind heterogene Graphen, die den Datenfluss und das Aktivierungsverhalten eines Modells während eines einzelnen Inferenzschritts abbilden.
- Knoten: Repräsentieren Zwischenaktivierungen (z. B. Kanäle in Convolutional Layers oder Neuronen in Fully Connected Layers). Sie enthalten Merkmale wie Aktivierungsstärke, Sparsity und Metadaten.
- Kanten: Kodieren die berechnungsbedingten Abhängigkeiten zwischen den Schichten. Bei parametrischen Schichten werden die gelernten Gewichte als Kantengewichte genutzt; bei nicht-parametrischen Operationen (z. B. Pooling) werden strukturelle Verbindungen dargestellt.
- Subgraph-Extraktion: Nicht alle Knoten werden für jede Eingabe aktiviert. IPGs werden als aktivierte Subgraphen extrahiert, wobei nur Knoten mit einer Aktivierungsstärke über einem Schwellenwert $\tau$ berücksichtigt werden. Dies erzeugt eine kompakte, eingabeabhängige Darstellung.
Das NeuroTrace-Pipeline:
1. Extraktion: Ein Instrumentierungs-Tool (basierend auf PyTorch Forward Hooks) fängt Aktivierungen und Abhängigkeiten während des Vorwärtsdurchlaufs ab und konstruiert den IPG.
2. Repräsentationslernen: Die extrahierten heterogenen Graphen werden mittels Graph Neural Networks (GNNs), speziell einem GraphSAGE-Modell, verarbeitet, um eine globale Graph-Repräsentation zu lernen.
3. Detektion: Ein binärer Klassifikator entscheidet basierend auf der Graph-Repräsentation, ob die Eingabe benign (harmlos) oder adversarial ist.

3. Wichtige Beiträge

Das Paper leistet vier wesentliche Beiträge zur Forschung:

Inferenz-Provenienz als Detektionssignal: Es wird formalisiert, dass die graphbasierte Darstellung der Modellausführung (IPG) eine starke Signatur für adversarialen Eingaben liefert, die über reine Aktivierungssummen hinausgeht.
NeuroTrace-Extraktionsframework: Entwicklung einer reproduzierbaren, PyTorch-basierten Pipeline, die beliebige Modelle instrumentiert und heterogene IPGs generiert, ohne dass eine modellspezifische Anpassung nötig ist.
NeuroTrace-IPG-Datensatz und Benchmark: Veröffentlichung eines umfassenden Datensatzes, der IPGs aus zwei Domänen enthält: Bildklassifizierung (CIFAR-10 mit ResNet-20) und Malware-Erkennung (Cuckoo-DNN, EMBER-DNN). Der Datensatz umfasst sowohl weiße als auch schwarze Kasten-Angriffe.
Verifizierbare Generalisierung: Nachweis, dass auf IPGs basierende Detektoren über verschiedene Angriffsarten und Bedrohungsmodelle hinweg generalisieren.

4. Ergebnisse

Die Evaluation wurde unter verschiedenen Szenarien durchgeführt:

Intra-Angriff-Erkennung: Wenn Detektor und Testdaten derselben Angriffsfamilie (z. B. FGSM, PGD, SPSA) entstammen, erreicht NeuroTrace eine hohe Genauigkeit (meist >96%, oft nahe 100%) und ROC-AUC-Werte nahe 1,0. Dies gilt sowohl für Bild- als auch für Malware-Modelle.
Multi-Angriff-Training: Ein einzelner Detektor, der auf einer Mischung aller bekannten Angriffe trainiert wurde, kann alle diese Angriffe gleichzeitig erkennen, ohne für jeden Angriff neu trainiert werden zu müssen.
Cross-Threat Transfer (Wichtigster Befund): Detektoren, die nur auf White-Box-Angriffen trainiert wurden, funktionieren hervorragend auch bei Black-Box-Angriffen (und umgekehrt). Dies zeigt, dass adversarialen Manipulationen eine gemeinsame strukturelle Abweichung im Inferenzverhalten verursachen, die unabhängig vom spezifischen Angriffsmechanismus ist.
Vergleich mit Baselines: NeuroTrace übertrifft den aktuellen State-of-the-Art Graph-basierten Ansatz (CIGA) signifikant, insbesondere bei komplexen Angriffen wie PGD und APGD.

5. Bedeutung und Implikationen

Transparenz und Auditierbarkeit: NeuroTrace bietet einen neuen Weg, um das Verhalten von ML-Modellen zu verstehen, indem es den tatsächlichen Datenfluss sichtbar macht. Dies ist ein Schritt hin zu transparenteren und überprüfbaren Systemen.
Robustheit: Die Ergebnisse deuten darauf hin, dass adversarialen Angriffe nicht nur die Ausgabe, sondern die gesamte interne Berechnungsstruktur „vergiften". Diese systemischen Störungen sind ein zuverlässiges Detektionssignal.
Praktikabilität und Kosten:
- Die Extraktion von IPGs verursacht einen Overhead (ca. 15–25 ms pro Sample für CIFAR-10 Modelle, Speicherbedarf ca. 0,5–2 MB pro Graph).
- Der Ansatz ist derzeit am besten für Offline-Analysen, forensische Untersuchungen und Szenarien mit hohen Sicherheitsanforderungen geeignet, wo eine geringe Latenz nicht kritisch ist. Für Echtzeitanwendungen sind weitere Optimierungen (z. B. Graph-Kompression) notwendig.
Reproduzierbarkeit: Durch die Veröffentlichung des Codes, des Datensatzes und des Evaluierungsprotokolls wird eine solide Basis für zukünftige Forschung zu provenance-basierten Sicherheitsmethoden geschaffen.

Fazit: NeuroTrace beweist, dass die Analyse der Inferenz-Provenienz mittels heterogener Graphen eine leistungsfähige und übertragbare Methode zur Erkennung adversarialer Beispiele ist, die Lücken in herkömmlichen, schichtlokalen Detektionsansätzen schließt.