💻 computer science

Tensor-Based Batch Fuzzing with Adaptive Perturbation Scaling for Deep Neural Networks

Dit artikel introduceert een op tensoren gebaseerd batch-fuzzingframework voor diepe neurale netwerken dat gebruikmaakt van adaptieve, specificatiebewuste perturbatieschaling en gebatteerde constraint-embedding om aanzienlijk hogere doorvoer en detectiepercentages van schendingen te bereiken in vergelijking met traditionele sequentiële benaderingen.

Oorspronkelijke auteurs: Guanqin Zhang, Yulei Sui

Gepubliceerd 2026-06-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Guanqin Zhang, Yulei Sui

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een kwaliteitscontroleur bent voor een vloot zelfrijdende auto's. Je taak is om "bugs" te vinden in hun hersenen (Deep Neural Networks) door ze lastige situaties voor te werpen — zoals een stopbord dat een beetje op een snelheidsbord lijkt, of een voetganger met een vreemde outfit. Als de auto in de war raakt en een fout maakt, heb je een bug gevonden.

Dit artikel introduceert een nieuwe, supersnelle manier om deze inspectie uit te voeren, genaald Tensor-Based Batch Fuzzing. Zo werkt het, uitgelegd aan de hand van eenvoudige analogieën.

De Oude Manier: De Enkele Rij

Stel je voor dat de oude methode van testen lijkt op een enkele kassier bij een supermarkt.

Eén klant tegelijk: De kassier (de computer) scant één klant (één testafbeelding) tegelijk, controleert of de betaling correct is uitgevoerd, en gaat dan naar de volgende.
Uniforme regels: De kassier past exact dezelfde regel toe op elk item in de tas. Als een tas een klein, breekbaar ei en een zware baksteen bevat, hanteert de kassier met dezelfde "zachtheid" of "kracht" elk item. Dit is niet efficiënt; het zou het ei kunnen pletten of te zwak zijn om de baksteen te verplaatsen.
De bottleneck: Zelfs als de kassier snel is, kan hij slechts één persoon tegelijk verwerken. Als je 100 klanten hebt, duurt het 100 keer langer dan wanneer je ze allemaal tegelijkertijd zou kunnen verwerken.

De Nieuwe Manier: De Super-Assemblagelijn

De auteurs hebben een nieuw systeem gebouwd dat werkt als een enorme, geautomatiseerde assemblagelijn met een lopende band.

Batchverwerking (De Lopende Band): In plaats van één klant, plaatst het systeem 100 klanten (100 testafbeeldingen) tegelijk op de band. De computer verwerkt alle 100 in één enkele "veeg". Omdat moderne computerchips zijn ontworpen om veel dingen tegelijk te doen (zoals een koor dat samen zingt in plaats van één persoon tegelijk), is dit ongelooflijk snel.
Resultaat: Het artikel beweert dat deze nieuwe methode 40 keer sneller is dan de oude methode waarbij men één voor één werkt.

De "Adaptieve" Magie: Op Maat Gemaakte Handschoenen

De tweede grote verbetering is hoe het systeem de testafbeeldingen verandert.

Het Oude Probleem: Stel je voor dat je probeert een sleutel in een slot te bewegen. Als het slot strak zit, heb je kleine, precieze bewegingen nodig. Als het slot los zit, kun je wild heen en weer bewegen. De oude methode gebruikte dezelfde "bewegingsgrootte" voor elk slot, ongeacht of het slot strak of los zat. Dit betekende dat er ofwel tijd werd verspild aan losse sloten, of dat men de strakke sloten niet kon breken.
De Nieuwe Oplossing (Adaptive Scaling): Het nieuwe systeem kijkt naar elk specifiek slot (elk deel van de afbeelding) en de specifieke regels daarvan (de "specificatie").
- Als een deel van de afbeelding een brede, losse regel heeft, geeft het systeem een grote beweging.
- Als een deel een strakke, strikte regel heeft, geeft het systeem een kleine, precieze beweging.
De Analogie: Het is also-of een kleermaker voor 100 verschillende handen tegelijkertijd op maat gemaakte handschoenen maakt, in plaats van iedereen dezelfde maat handschoen te geven. Dit stelt het systeem in staat om de "lastige" gebieden veel effectiever te verkennen.

Hoe het Stap voor Stap Werkt

Voorbereiding: Het systeem neemt een lijst met regels (specificaties) en wikkelt deze rond het AI-model. Denk hierbij aan het plaatsen van een aangepaste "testharnas" rond de hersenen van de auto.
Selectie: Het kiest een groep testgevallen (een "batch") die veelbelovend lijken op basis van eerdere prestaties.
Mutatie (De Beweging): Het past de "op maat gemaakte beweging" (adaptive scaling) toe op alle 100 testgevallen tegelijkertijd.
De Test: Het voert alle 100 door de AI-hersenen in één keer uit.
Het Oordeel: Het controleert direct: "Heeft één van deze 100 een fout veroorzaakt?" Zo ja, dan wordt die fout opgeslagen. Zo nee, dan behoudt het systeem de gevallen die "interessant" waren (zoals het activeren van een nieuw deel van de hersenen) en probeert het opnieuw.

De Resultaten

De auteurs hebben dit getest op drie verschillende sets afbeeldingen (Traffic Signs, Cifar100 en TinyImageNet) met diverse AI-modellen.

Snelheid: Ze ontdekten dat de nieuwe methode tests 40 keer sneller kon verwerken dan de oude manier.
Succes: In dezelfde hoeveelheid tijd vond de nieuwe methode 4 keer meer bugs (fouten) dan de oude methode.
Waarom? Het is niet alleen sneller; het is ook slimmer. Door de "bewegingsgrootte" aan te passen aan het specifieke deel van de afbeelding, vindt het bugs die de oude, "one-size-fits-all" methode miste.

Samenvatting

Het artikel presenteert een hulpmiddel dat stopt met het testen van AI-modellen één voor één en begint met het testen van deze in enorme groepen. Het stopt ook met het gebruiken van een "one-size-fits-all" benadering voor het veranderen van de testafbeeldingen, en past in plaats daarvan de wijzigingen aan om ze op maat te maken voor de specifieke regels van elke test. Het resultaat is een systeem dat bugs in AI-hersenen veel sneller en grondiger vindt dan voorheen.

Technische Samenvatting: Tensor-gebaseerde Batch Fuzzing met Adaptieve Perturbatie-schaling voor Deep Neural Networks

Probleemstelling

Deep Neural Networks (DNN's) worden steeds vaker ingezet in veiligheidskritische domeinen zoals autonoom rijden en medische diagnose. De opake, hoogdimensionale parameterruimtes van deze netwerken maken systematische betrouwbaarheidsbeoordeling echter moeilijk. Bestaande coverage-guided fuzzing frameworks voor DNN's, zoals DeepHunter en TensorFuzz, lijden onder twee primaire beperkingen:

Sequentiële Verwerkingsbottleneck: Traditionele fuzzing volgt een "één-input-per-iteratie"-paradigma dat afkomstig is van klassieke softwarefuzzing. Deze aanpak slaagt er niet in om de inherente tensoriserende aard van DNN-inferentie te benutten, waarbij hardwarematige parallellisme toestaat dat batches inputs worden verwerkt met nagenoeg dezelfde kernel-launch overhead als een enkele input. Hoewel sommige tools (bijv. TensorFuzz) batching gebruiken voor modelevaluatie, blijven hun mutatie- en feedbackmechanismen vaak sequentieel of gebaseerd op NumPy, wat leidt tot onderbenutte doorvoer.
Inefficiëntie door Uniforme Perturbatie: De meeste benaderingen passen een vaste, globale perturbatieradius ( $\epsilon$ ) toe over alle inputdimensies. In de praktijk definiëren inputspecificaties vaak niet-uniforme, per dimensie begrensde waarden (bijv. via VNNLib). Een uniforme stapgrootte dwingt de fuzzer om ofwel te onder-exploreren in losjes geconstreerde dimensies, ofwel te over-exploreren in strikt geconstreerde dimensies, wat resulteert in een inefficiënte zoekruimte.

Methodologie

De auteurs stellen een Specification-Aware Batch Fuzzing framework voor dat de fuzzing-paradigma verschuift van sequentiële input-niveau mutatie naar batch-specificatie-niveau executie. De kern van de aanpak bestaat uit drie belangrijke technische componenten:

1. Wrapped Model Architectuur

Het framework nestelt inputrestricties en output-eigendomscontroles direct in het neurale netwerk als niet-trainbare lagen, waardoor een "wrapped model" ( $M_{wrapped}$ ) ontstaat.

InputSpecLayer: Codeert per-sample inputgrenzen ( $[l, u]$ ) en handhaaft de grenzen van het haalbare gebied via projectie ( $\Pi_{[\Phi]}$ ) tijdens de forward pass.
OutputSpecLayer: Voert vectorgestuurde eigendomscontroles uit (bijv. top-1 classificatie robuustheid) voor alle samples in een batch simultaan.
Deze architectuur maakt het mogelijk dat de gehele fuzzing-loop (seed selectie, mutatie, inferentie, coverage tracking en feedback) opereert op een batch van $B$ specificatie-instanties in een enkele forward pass, waarbij specificaties worden behandeld als first-class tensordimensies.

2. Adaptieve Perturbatie-schaling

Om de beperkingen van vaste perturbatiebudgetten aan te pakken, introduceren de auteurs een schalingsmechanisme dat mutatiestapgroottes afleidt uit de door de specificatie gedefinieerde haalbare bereiken met behulp van een gedeelde schatiefactor $s \in (0, 1]$ .

Isotrope Schaling: Berekent een globale scalaire stapgrootte $\eta = \bar{r} \cdot s$ , waarbij $\bar{r}$ het gemiddelde haalbare bereik over alle dimensies en samples is. Dit broadcast een uniforme perturbatie-magnitude.
Anisotrope Schaling: Berekent een per-dimensie stapgrootte tensor $S_{b,d} = (u_{b,d} - l_{b,d}) \cdot s$ . Dit wijst grotere stappen toe aan dimensies met bredere grenzen en fijnere stappen aan strikt geconstreerde dimensies, wat consistente exploratie mogelijk maakt onder heterogene restricties.

3. Tensor-gebaseerde Fuzzing Pipeline

Het fuzzingproces wordt uitgevoerd in vier fasen, die allemaal opereren op batched tensors van grootte $B$ :

Seed Selectie: Samplet $B$ seeds uit een corpus op basis van energie-gewogen multinomiale selectie, waarbij prioriteit wordt gegeven aan inputs die eerder nieuwe coverage of schendingen hebben getriggerd.
Mutatie: Past een gekozen strategie toe (Gradient/PGD, Boundary, of Random) op de gehele batch. De mutatierichting wordt gecombineerd met de adaptieve schalingsfactor (scalaire of tensor) en geprojecteerd terug op het haalbare gebied.
Executie: Voert een enkele gebatched forward pass uit door $M_{wrapped}$ . PyTorch hooks leggen tussenliggende activaties vast voor coverage tracking, terwijl de OutputSpecLayer eigendomschendingen signaleert.
Feedback: Update per-sample energiewaarden op basis van coverage winst en de status van schendingen, en herplaatst interessante seeds in het corpus.

Belangrijkste Bijdragen

Het paper vat de bijdragen als volgt samen:

Specification-Aware Batch Framework: Een verenigde data-parallelle pipeline die opereert op het niveau van specificatie-instanties in plaats van individuele inputs. Door restricties in het model te integreren, evalueert het $B$ specificaties in een enkele forward pass, wat de efficiëntie aanzienlijk verbetert.
Adaptieve Perturbatie-schaling: Een schema dat mutatie-magnitudes afleidt van de door specificaties gedefinieerde grenzen, waarbij zowel isotrope (globale scalaire) als anisotrope (per-dimensie tensor) schaling wordt ondersteund om heterogene inputrestricties effectief te behandelen.
Implementatie en Evaluatie: Een PyTorch implementatie geëvalueerd op zes netwerken over drie benchmarks (TrafficSigns, Cifar100, TinyImageNet) met meer dan 400 specificaties.

Experimentele Resultaten

Het framework werd geëvalueerd tegenover een sequentieel baseline (die de DeepHunter "één-input-per-iteratie"-paradigma simuleert) onder een vast tijdsbudget.

Doorvoer: De tensor-gebaseerde batch-aanpak bereikte tot wel 40× hogere doorvoer dan de sequentiële baseline. Bijvoorbeeld, op Cifar100 en TinyImageNet was de versnelling 34–40×, terwijl TrafficSigns een 5× verbetering zag (toe te schrijven aan de lichtere netwerkarchitectuur waardoor de baseline sneller kon draaien).
Ontdekking van Schendingen: Onder hetzelfde tijdsbudget ontdekte de batch-aanpak 4× meer schendingen dan de sequentiële baseline.
- Op TrafficSigns vonden de batch-methoden ~75.000 schendingen vergeleken met ~19.000 voor de baseline.
- Op Cifar100 vonden de batch-methoden ~61.000 schendingen vergeleken met ~14.000 voor de baseline.
Tijd tot de Eerste Schending (TTFV): De batch-aanpak identificeerde het eerste tegenvoorbeeld binnen 0,06–1,2 seconden, terwijl de sequentiële baseline vaak de 60-seconden timeout naderde voordat de eerste schending werd gevonden.
Anisotroop versus Isotroop: Anisotrope schaling toonde bijzondere voordelen op benchmarks met heterogene restricties (bijv. TinyImageNet) en bij kleinere schalingsfactoren ( $s$ ), waarbij het isotrope schaling met tot wel 38% overtrof in specifieke configuraties.
Impact van Batchgrootte: Statistische analyse (Mann-Whitney U test) bevestigde dat het verhogen van de batchgrootte $B$ de opbrengst van schendingen significant verbetert, hoewel de per-instantie verfijning afneemt naarmate $B$ groeit, wat wijst op een trade-off tussen doorvoer en verfijning.

Betekenis en Claims

Het paper claimt dat de primaire betekenis ligt in het overwinnen van de inherente beperkingen van sequentiële en uniforme perturbatie-benaderingen in DNN-fuzzing. Door de fuzzing-loop naar het tensorniveau te tillen en specificatie-restricties direct in de modelexecutie te integreren, bereikt het framework substantiële verbeteringen in zowel de testdoorvoer als de ontdekking van tegenvoorbeelden.

De auteurs benadrukken dat hoewel het sequentiële paradigma uiteindelijk schendingen kan ontdekken mits het budget wordt geschaald met de batchgrootte ( $B \times 60s$ ), de "één-input-per-iteratie" ontwerpen de generatie van tegenvoorbeelden aanzienlijk vertraagt in de werkelijke tijd (wall-clock time). De voorgestelde methode laat zien dat het behandelen van specificaties als first-class tensordimensies de gelijktijdige verwerking van meerdere mutatieketens mogelijk maakt, wat leidt tot een winst van "4× meer schendingen" binnen hetzelfde reële tijdsvenster. Het werk positioneert zich als een complementaire benadering van formele verificatie, door concrete tegenvoorbeelden snel te leveren in plaats van volledige veiligheidscertificaten.