💻 computer science

Tensor-Based Batch Fuzzing with Adaptive Perturbation Scaling for Deep Neural Networks

Dieses Paper stellt ein Tensor-basiertes Batch-Fuzzing-Framework für tiefe neuronale Netze vor, das eine adaptive, spezifikationsbewusste Perturbationsskalierung und batched Constraint-Einbettung nutzt, um im Vergleich zu traditionellen sequentiellen Ansätzen eine signifikant höhere Durchsatzrate und Verletzungserkennungsraten zu erreichen.

Ursprüngliche Autoren: Guanqin Zhang, Yulei Sui

Veröffentlicht 2026-06-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Guanqin Zhang, Yulei Sui

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Qualitätskontrolleur für eine Flotte von selbstfahrenden Autos. Ihr Job ist es, „Bugs“ (Fehler) in deren Gehirnen (Deep Neural Networks) zu finden, indem Sie ihnen knifflige Situationen vorsetzen – wie ein Stoppschild, das ein bisschen wie ein Geschwindigkeitsbegrenzungsschild aussieht, oder ein Fußgänger mit einem seltsamen Outfit. Wenn das Auto verwirrt wird und einen Fehler macht, haben Sie einen Bug gefunden.

Das Paper stellt eine neue, superschnelle Methode vor, um diese Inspektion durchzuführen, genannt Tensor-Based Batch Fuzzing. So funktioniert es, erklärt durch einfache Analogien.

Die alte Art: Die Schlange hintereinander

Stellen Sie sich vor, die alte Methode des Testens ist wie eine einzelne Kassiererin im Supermarkt.

Ein Kunde nach dem anderen: Die Kassiererin (der Computer) scannt einen Kunden (ein Testbild) nach dem anderen, prüft, ob er korrekt bezahlt hat, und geht dann zum nächsten über.
Einheitliche Regeln: Die Kassiererin wendet auf jeden Artikel in der Tasche dieselbe Regel an. Wenn eine Tasche ein winziges, zerbrechliches Ei und einen schweren Ziegelstein enthält, behandelt die Kassiererin beide mit der gleichen „Sanftheit“ oder „Kraft“. Das ist ineffizient; es könnte das Ei zerquetschen oder zu schwach sein, um den Ziegelstein zu bewegen.
Der Engpass: Selbst wenn die Kassiererin schnell ist, kann sie immer nur eine Person zur Zeit bearbeiten. Wenn Sie 100 Kunden haben, dauert es 100 Mal länger, als wenn Sie alle gleichzeitig bearbeiten könnten.

Die neue Art: Das Super-Fließband

Die Autoren haben ein neues System entwickelt, das wie ein riesiges, automatisiertes Fließband mit einem Förderband funktioniert.

Batch-Verarbeitung (Das Förderband): Anstatt eines einzelnen Kunden setzt das System 100 Kunden (100 Testbilder) gleichzeitig auf das Band. Der Computer verarbeitet alle 100 in einem einzigen „Durchgang“. Da moderne Computerchips darauf ausgelegt sind, viele Dinge gleichzeitig zu tun (wie ein Chor, der gemeinsam singt, statt einer einzelnen Person), ist dies unglaublich schnell.
Ergebnis: Das Paper behauptet, dass diese neue Methode 40 Mal schneller ist als die alte Methode der Einzelabfertigung.

Die „Adaptive“ Magie: Maßgeschneiderte Handschuhe

Die zweite große Verbesserung ist, wie das System die Testbilder verändert.

Das alte Problem: Stellen Sie sich vor, Sie versuchen, einen Schlüssel in ein Schloss zu drehen. Wenn das Schloss eng ist, benötigen Sie winzige, präzise Bewegungen. Wenn das Schloss locker ist, können Sie wild herumwackeln. Die alte Methode verwendete für jedes Schloss das gleiche „Wackelmaß“, unabhängig davon, ob das Schloss eng oder locker war. Das bedeutete, dass sie entweder Zeit mit lockeren Schlössern verschwendete oder die engen Schlösser nicht knacken konnte.
Die neue Lösung (Adaptive Skalierung): Das neue System schaut sich jedes spezifische Schloss (jeden Teil des Bildes) und seine spezifischen Regeln (die „Spezifikation“) an.
- Wenn ein Teil des Bildes eine weite, lockere Regel hat, gibt das System ihm ein großes Wackeln.
- Wenn ein Teil eine enge, strenge Regel hat, gibt es ihm ein winziges, präzises Wackeln.
Die Analogie: Es ist, als würde ein Schneider 100 verschiedene Handschuhe für 100 verschiedene Hände gleichzeitig anfertigen, anstatt jedem die gleiche Größe zu geben. Dies ermöglicht es dem System, die „kniffligen“ Bereiche viel effektiver zu erkunden.

So funktioniert es Schritt für Schritt

Vorbereitung: Das System nimmt eine Liste von Regeln (Spezifikationen) und legt sie um das KI-Modell. Man kann sich das wie das Anlegen eines maßgeschneiderten „Testgerüsts“ um das Gehirn des Autos vorstellen.
Selektion: Es wählt eine Gruppe von Testfällen (einen „Batch“) aus, die basierend auf der bisherigen Leistung vielversprechend aussehen.
Mutation (Das Wackeln): Es wendet das „maßgeschneiderte Wackeln“ (adaptive Skalierung) auf alle 100 Testfälle gleichzeitig an.
Der Test: Es lässt alle 100 in einem Rutsch durch das KI-Gehirn laufen.
Das Urteil: Es prüft sofort: „Hat einer dieser 100 einen Fehler verursacht?“ Wenn ja, speichert es diesen Fehler. Wenn nein, behält es diejenigen, die „interessant“ waren (also einen neuen Teil des Gehirns aktiviert haben), und versucht es erneut.

Die Ergebnisse

Die Autoren haben dies an drei verschiedenen Bildersätzen (Traffic Signs, Cifar100 und TinyImageNet) unter Verwendung verschiedener KI-Modelle getestet.

Geschwindigkeit: Sie fanden heraus, dass die neue Methode Tests 40 Mal schneller durchführen kann als die alte Methode.
Erfolg: In der gleichen Zeit findet die neue Methode 4 Mal mehr Bugs (Fehler) als die alte Methode.
Warum? Es ist nicht nur schneller; es ist auch klüger. Durch die Anpassung der „Wackelgröße“ für jeden spezifischen Teil des Bildes findet es Bugs, die die alte „Einheitsgröße“-Methode übersehen hat.

Zusammenfassung

Das Paper präsentiert ein Werkzeug, das aufhört, KI-Modelle einzeln zu testen, und stattdessen beginnt, sie in massiven Gruppen zu testen. Es hört auch auf, einen „Einheitsansatz“ bei der Veränderung der Testbilder zu verwenden, und passt die Änderungen stattdessen individuell an die spezifischen Regeln jedes Tests an. Das Ergebnis ist ein System, das Bugs in KI-Gehirnen viel schneller und gründlicher findet als je zuvor.

Technisches Resümee: Tensor-basiertes Batch-Fuzzing mit adaptiver Perturbationsskalierung für tiefe neuronale Netze

Problemstellung

Tiefe neuronale Netze (DNNs) werden zunehmend in sicherheitskritischen Bereichen wie dem autonomen Fahren und der medizinischen Diagnostik eingesetzt. Ihre opaken, hochdimensionalen Parameterräume erschweren jedoch eine systematische Zuverlässigkeitsbewertung. Bestehende Coverage-gesteuerte Fuzzing-Frameworks für DNNs, wie DeepHunter und TensorFuzz, leiden unter zwei primären Einschränkungen:

Sequenzieller Verarbeitungsengpass: Das traditionelle Fuzzing folgt einem „Ein-Input-pro-Iteration“-Paradigma, das aus dem klassischen Software-Fuzzing übernommen wurde. Dieser Ansatz versäumt es, die inhärente tensorisierte Natur der DNN-Inferenz zu nutzen, bei der die Hardware-seitige Parallelität es ermöglicht, Batches von Inputs mit nahezu demselben Kernel-Launch-Overhead wie einen einzelnen Input zu verarbeiten. Während einige Tools (z. B. TensorFuzz) Batching zur Modellbewertung nutzen, bleiben ihre Mutations- und Feedback-Mechanismen oft sequenziell oder auf NumPy-Basis, was zu einem unterausgenutzten Durchsatz führt.
Ineffizienz durch uniforme Perturbation: Die meisten Ansätze wenden einen festen, globalen Perturbationsradius ( $\epsilon$ ) über alle Input-Dimensionen an. In der Praxis definieren Spezifikationen für Eingaben oft nicht-uniforme, pro-Dimension-gebundene Grenzen (z. B. via VNNLib). Eine uniforme Schrittweite zwingt den Fuzzer dazu, entweder locker beschränkte Dimensionen unter zu explorieren oder eng beschränkte Dimensionen über zu explorieren, was zu ineffizienten Suchräumen führt.

Methodik

Die Autoren schlagen ein Spezifikations-bewusstes Batch-Fuzzing-Framework vor, das das Fuzzing-Paradigma von der sequenziellen Input-Ebene zur Batch-Spezifikations-Ebene verschiebt. Der Kern des Ansatzes umfasst drei zentrale technische Komponenten:

1. Wrapped Model Architecture

Das Framework bettet Input-Constraints und Output-Eigenschaftsprüfungen direkt in das neuronale Netz als nicht-trainierbare Schichten ein, wodurch ein „Wrapped Model“ ( $M_{wrapped}$ ) entsteht.

InputSpecLayer: Kodiert pro-Sample Input-Bounds ( $[l, u]$ ) und erzwingt Constraints des zulässigen Bereichs mittels Projektion ( $\Pi_{[\Phi]}$ ) während des Forward-Passes.
OutputSpecLayer: Führt vektorisierte Eigenschaftsprüfungen (z. B. Top-1 Klassifikationsrobustheit) für alle Samples in einem Batch simultan durch.
Diese Architektur ermöglicht es, dass der gesamte Fuzzing-Loop (Seed-Selektion, Mutation, Inferenz, Coverage-Tracking und Feedback) auf einem Batch von $B$ Spezifikationsinstanzen in einem einzigen Forward-Pass operiert, indem die Spezifikationen als primäre Tensor-Dimensionen behandelt werden.

2. Adaptive Perturbation Scaling

Um die Einschränkungen fester Perturbationsbudgets zu adressieren, führen die Autoren einen Skalierungsmechanismus ein, der Mutations-Schrittweiten aus den spezifikationsdefinierten zulässigen Bereichen unter Verwendung eines gemeinsamen Skalierungsfaktors $s \in (0, 1]$ ableitet.

Isotrope Skalierung: Berechnet eine globale skalare Schrittweite $\eta = \bar{r} \cdot s$ , wobei $\bar{r}$ der mittlere zulässige Bereich über alle Dimensionen und Samples ist. Dies überträgt eine uniforme Perturbationsmagnitude.
Anisotrope Skalierung: Berechnet einen pro-Dimension-Schrittweiten-Tensor $S_{b,d} = (u_{b,d} - l_{b,d}) \cdot s$ . Dies weist Dimensionen mit weiten Grenzen größere Schritte und eng beschränkten Dimensionen feinere Schritte zu, was eine konsistente Exploration unter heterogenen Constraints ermöglicht.

3. Tensor-basierte Fuzzing-Pipeline

Der Fuzzing-Prozess wird in vier Phasen ausgeführt, die alle auf Batches von Tensoren der Größe $B$ operieren:

Seed Selection: Stichprobenartige Auswahl von $B$ Seeds aus einem Korpus basierend auf einer energie-gewichteten Multinomial-Selektion, wobei Inputs priorisiert werden, die zuvor neue Coverage oder Verletzungen ausgelöst haben.
Mutation: Wendet eine ausgewählte Strategie (Gradient/PGD, Boundary oder Random) auf den gesamten Batch an. Die Mutationsrichtung wird mit dem adaptiven Skalierungsfaktor (skalar oder Tensor) kombiniert und zurück in den zulässigen Bereich projiziert.
Execution: Führt einen einzelnen gebatchten Forward-Pass durch $M_{wrapped}$ durch. PyTorch-Hooks erfassen intermediäre Aktivierungen für das Coverage-Tracking, während der OutputSpecLayer Eigenschaftsverletzungen flaggt.
Feedback: Aktualisiert pro-Sample Energie-Scores basierend auf Coverage-Gewinnen und dem Status der Verletzung sowie die Wiedereinfügung interessanter Seeds in den Korpus.

Zentrale Beiträge

Das Paper fasst seine Beiträge wie folgt zusammen:

Spezifikations-bewusstes Batch-Framework: Eine vereinheitlichte datenparallele Pipeline, die auf der Ebene von Spezifikationsinstanzen statt auf individuellen Inputs operiert. Durch die Einbettung von Constraints direkt in das Modell-Execution-Verfahren evaluiert es $B$ Spezifikationen in einem einzigen Forward-Pass, was die Effizienz signifikant steigert.
Adaptive Perturbation Scaling: Ein Schema, das Mutationsmagnituden aus den spezifikationsdefinierten Bounds ableitet und sowohl isotrope (globale Skalar) als auch anisotrope (pro-Dimension-Tensor) Skalierung unterstützt, um heterogene Input-Constraints effektiv zu handhaben.
Implementierung und Evaluierung: Eine PyTorch-Implementierung, die auf sechs Netzwerken über drei Benchmarks (TrafficSigns, Cifar100, TinyImageNet) mit über 400 Spezifikationen evaluiert wurde.

Experimentelle Ergebnisse

Das Framework wurde gegen eine sequenzielle Baseline (die das DeepHunter-Paradigma von „Ein-Input-pro-Iteration“ simuliert) unter einem festen Zeitbudget evaluiert.

Durchsatz: Der tensor-basierte Batch-Ansatz erreichte einen bis zu 40-fach höheren Durchsatz als die sequenzielle Baseline. Beispielsweise lag der Speedup bei Cifar100 und TinyImageNet bei 34–40×, während TrafficSigns eine 5-fache Verbesserung zeigte (zugeschrieben der leichteren Netzwerkarchitektur, die es der Baseline ermöglichte, schneller zu laufen).
Entdeckung von Verletzungen (Violations): Unter demselben Zeitbudget entdeckte der Batch-Ansatz 4-mal mehr Verletzungen als die sequenzielle Baseline.
- Auf TrafficSigns fanden die Batch-Methoden ~75.000 Verletzungen im Vergleich zu ~19.000 für die Baseline.
- Auf Cifar100 fanden die Batch-Methoden ~61.000 Verletzungen im Vergleich zu ~14.000 für die Baseline.
Zeit bis zur ersten Verletzung (TTFV): Der Batch-Ansatz identifizierte das erste Gegenbeispiel innerhalb von 0,06–1,2 Sekunden, während die sequenzielle Baseline oft dem 60-Sekunden-Timeout nahe kam, bevor sie die erste Verletzung fand.
Anisotrop vs. Isotrop: Die anisotrope Skalierung zeigte besondere Vorteile bei Benchmarks mit heterogenen Constraints (z. B. TinyImageNet) und bei kleineren Skalierungsfaktoren ( $s$ ), wobei sie die isotrope Skalierung in spezifischen Konfigurationen um bis zu 38 % übertraf.
Auswirkung der Batch-Größe: Eine statistische Analyse (Mann-Whitney-U-Test) bestätigte, dass die Erhöhung der Batch-Größe $B$ den Ertrag an Verletzungen signifikant verbessert, obwohl die Verfeinerung pro Instanz abnimmt, wenn $B$ wächst, was auf einen Trade-off zwischen Durchsatz und Verfeinerung hindeutet.

Bedeutung und Ansprüche

Das Paper behauptet, dass seine primäre Bedeutung darin liegt, die inhärenten Einschränkungen sequenzieller und uniformer Perturbationsansätze beim DNN-Fuzzing zu überwinden. Durch das Anheben des Fuzzing-Loops auf die Tensorebene und die Integration von Spezifikations-Constraints direkt in die Modell-Execution erreicht das Framework erhebliche Verbesserungen sowohl im Testing-Durchsatz als auch in der Entdeckung von Gegenbeispielen.

Die Autoren betonen, dass das sequenzielle Paradigma zwar bei einem durch die Batch-Größe ( $B \times 60s$ ) skalierten Budget letztlich Verletzungen finden kann, sein „Ein-Input-pro-Iteration“-Design die Generierung von Gegenbeispielen jedoch signifikant langsamer in der Wandzeit (Wall-Clock Time) macht. Die vorgeschlagene Methode zeigt, dass die Behandlung von Spezifikationen als primäre Tensor-Dimensionen die gleichzeitige Verarbeitung mehrerer Mutationsketten ermöglicht, was zu einem Gewinn von „4-mal mehr Verletzungen“ innerhalb desselben realen Zeitfensters führt. Die Arbeit positioniert sich als komplementärer Ansatz zur formalen Verifikation, der konkrete Gegenbeispiele schnell liefert, anstatt exhaustive Sicherheitszertifikate zu erstellen.