🤖 machine learning

Enhancing Adversarial Transferability through Block Stretch and Shrink

Dit artikel stelt FRO voor, een frontend-responsgerichte inputtransformatiemethode die de adversariële transfereerbaarheid verbetert door blokgewijze stretch-and-shrink en perspectiefdeformatie-operatoren te gebruiken om de frontend-responsen van modellen te verrijken via een impliciet ensembleperspectief.

Oorspronkelijke auteurs: Quan Liu, Feng Ye, Chenhao Lu, Shuming Zhen, Guanliang Huang, Lunzhe Chen, Xudong Ke

Gepubliceerd 2026-07-14

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Quan Liu, Feng Ye, Chenhao Lu, Shuming Zhen, Guanliang Huang, Lunzhe Chen, Xudong Ke

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een piepkleine, onzichtbare sticker op de lens van een beveiligingscamera te plakken. Als je hem op precies de juiste plek plaatst, kan de camera in de war raken en denken dat een stopbord een snelheidslimietbord is. Dit is wat hackers doen met "adversarial attacks" op AI. Maar hier komt het lastige deel bij: als je je sticker ontwerpt om Camera A te misleiden, werkt het misschien niet op Camera B, zelfs als ze hetzelfde lijken.

Lange tijd probeerden onderzoekers deze stickers werkend te krijgen op elke camera door de afbeelding te draaien, te rekken of te spinnen op willekeurige manieren voordat ze aan de AI werden getoond. Het idee was: "Als we de AI een heleboel verschillende versies van de sticker laten zien, leert hij misschien een truc die bij iedereen werkt."

Maar een nieuw artikel van Quan Liu en zijn team suggereert dat we het verkeerd hebben bekeken. Ze beargumenteren dat het simpelweg anders maken van de afbeelding niet de magische sleutel is. In plaats daarvan ligt het echte geheim in hoe de "voordeur" van de AI (de vroege verwerkingsfase) op die veranderingen reageert.

Het Mysterie van de "Voordeur"

Denk aan een AI-model als een huis met twee verdiepingen.

De Voordeur (Frontend): Dit is waar de AI de afbeelding als eerste ziet. Het is als een uitsmijter die ID-bewijzen controleert. Het kijkt naar vormen, randen en texturen.
De Woonkamer (Backend): Dit is waar de AI zijn uiteindelijke beslissing neemt, zoals "Dat is een kat!" of "Dat is een hond!"

Eerdere studies dachten dat als je de afbeelding er maar vreemd genoeg uit liet zien (diversiteit), de uitsmijter in de war zou raken en de truc op andere huizen ook zou werken. Maar Liu's team zegt: "Wacht eens even." Alleen omdat de afbeelding er voor jou anders uitziet, betekent niet dat de uitsmijter het ook anders ziet. Als de uitsmijter bij Huis A en de uitsmijter bij Huis B beide op dezelfde manier op een gedraaide afbeelding reageren, faalt je truc.

Het artikel suggereert dat om een sticker te maken die bij iedereen werkt, je de reactie van de uitsmijter op een specifieke manier moet beïnvloeden. Je moet "Frontend Response"-veranderingen creëren die uniek genoeg zijn om interessant te zijn, maar tegelijkertijd vergelijkbaar genoeg zodat andere uitsmijters ze ook zullen opmerken.

Ontmoet FRO: De Dubbelzinnige Trickster

Om dit op te lossen, creëerde het team een nieuwe methode genaamd FRO (Frontend Response-Oriented). In plaats van de afbeelding alleen maar willekeurig te draaien, gebruikt FRO twee specifieke zetten om de voordeur van de AI precies op de juiste plekken te prikkelen:

De Local Scaling Operator (De "Rekbare Blokken" Beweging): Stel je voor dat de afbeelding is gemaakt van Lego-blokjes. Deze operator grijpt een paar blokjes hier en daar en rekt ze uit of krimpt ze in. Het verandert de lokale textuur en de grootte van kleine details zonder het hele plaatje te verpesten. Het is alsof je inzoomt op een specifiek deel van een gezicht om de poriën te zien, en dan weer uitzoomt, maar dan alleen op één wang.
De Projection Operator (De "Diverende Spiegel" Beweging): Deze neemt de hele afbeelding en geeft het een zachte, coherente perspectiefverschuiving, alsof je naar een gebouw kijkt vanuit een vreemde hoek. Het verandert de globale vorm en hoe dingen in de ruimte zijn gerangschikt, maar het houdt de hele scène een enkele, logische weergave.

Door deze twee bewegingen te combineren, creëert FRO een set van "getransformeerde weergaven". Het is alsof je de AI vraagt: "Wat als het oor van deze kat uitgerekt was? Wat als de hele kat zijwaarts leunde?" De AI moet al deze licht verschillende versies verwerken en hun reacties combineren om de beste manier te vinden om de AI te misleiden.

Werkt het? De Cijfers Liegen Niet

Het team heeft dit getest op een subset van de beroemde ImageNet-dataset. Ze hebben niet alleen gegokt; ze hebben de cijfers gedraaid.

De Opstelling: Ze gebruikten een "white-box" model (een model waarvan ze de binnenkant konden zien) om de aanvallen te genereren, en testten deze vervolgens op "black-box" modellen (modellen waarvan ze de binnenkant niet konden zien).
De Competitie: Ze vergeleken FRO met andere populaire methoden zoals DeCoWA, CWT, SIA, SID en OPS.
Het Resultaat: FRO versloeg de anderen consequent. Wanneer het werd getest op een mix van verschillende AI-architecturen (inclusief CNN's en Vision Transformers), behaalde FRO de hoogste succespercentages in 6 van de 11 doelmodellen.
- Bijvoorbeeld, tegen een model genaamd ResNet-50 behaalde FRO een succespercentage van 95,6%, terwijl de op één na beste 93,2% was.
- Tegen Inception-v3 behaalde het 96,3%, waarmee het de runner-up met 96,2% versloeg.
- Zelfs tegen lastige, verdedigde modellen (AI die getraind is om aanvallen te weerstaan), slaagde FRO erin om in 96,2% van de gevallen door te breken tegen een specifiek verdedigd model, waarmee het iedereen overtrof.

Wat Ze Hebben Uitgesloten

Het artikel is heel duidelijk over wat niet werkt als de belangrijkste verklaring.

Het is niet alleen "Image Diversity": De auteurs beargumenteren dat het niet genoeg is om de afbeelding er alleen maar anders uit te laten zien. Als de voordeur van de AI er niet anders op reageert, faalt de truc.
Het is niet alleen "Semantic Preservation": Hoewel het behouden van de betekenis van de afbeelding (zoals een kat er als een kat laten uitzien) belangrijk is, is dat niet de reden waarom de aanval werkt. De reden is hoe de voordeur op de veranderingen reageert.
Het is niet "Hypothesis Space Augmentation": Ze suggereren dat het simpelweg toevoegen van meer mogelijkheden aan de wiskunde niet de sleutel is; de sleutel is de specifieke respons van de voordeur.

Hoe Zeker Zijn Ze?

Het artikel is vrij zelfverzekerd, maar ze zijn voorzichtig met hun bewoordingen. Ze hebben deze resultaten gedemonstreerd via experimenten op een ImageNet-subset. Ze hebben het niet alleen gesimuleerd; ze hebben de aanvallen daadwerkelijk uitgevoerd en de succespercentages gemeten.

Ze introduceerden ook een nieuwe manier om zaken te meten, genaamd de "unified implicit ensemble size" (laten we dat N noemen). Ze ontdekten dat het aantal getransformeerde weergaven ertoe doet. Wanneer ze verschillende aantallen testten (zoals N = 10, 17, 21, 26, 37 en 101), bleef FRO sterk, zelfs met kleinere aantallen, wat suggereert dat hun methode efficiënt is.

De auteurs suggereren dat hun aanpak werkt omdat het zich richt op de "gedeelde front-end factoren" die zowel CNN's (de ouderwetse AI) als ViTs (de nieuwe AI) gebruiken. Ze hebben aangetoond dat FRO de "kloof" in hoe verschillende AI-modellen op deze transformaties reageren verkleint, wat de aanval overdraagbaarder maakt.

De Kern van het Verhaal

Dit artikel suggereert dat om de hersenen van een AI te hacken, je niet alleen willekeurige verstoringen naar haar toe moet gooien. Je moet begrijpen hoe de "voordeur" informatie verwerkt. Door een slimme mix van lokale rek en globale perspectiefverschuivingen te gebruiken, creëert FRO een "universele sleutel" die op veel verschillende AI-sloten past.

De auteurs stellen voor dat dit "Frontend Response"-perspectief het ontbrekende puzzelstukje is. Hoewel ze het probleem van AI-beveiliging niet voor altijd hebben opgelost (en dat ook niet beweren), hebben ze een aanzienlijk betere manier getoond om deze aanvallen te creëren, waarmee ze bewijzen dat het begrijpen van de vroege reacties van de AI het echte geheime ingrediënt is.

Technische Samenvatting: Frontend Response-Oriented Input Transformation voor Transferable Adversarial Attacks (FRO)

Probleemstelling
Deep Neural Networks (DNN's) zijn kwetsbaar voor adversariële voorbeelden, waarbij onmerkbare perturbaties leiden tot misclassificatie. Hoewel white-box aanvallen effectief zijn, lijden ze vaak aan een beperkte transfereerbaarheid naar black-box doelmodellen. Aanvalsmethoden gebaseerd op inputtransformaties proberen de transfereerbaarheid te verbeteren door gradiënten te aggregeren over meerdere getransformeerde weergaven van een input. Bestaande verklaringen voor hun effectiviteit—zoals beelddiversiteit, semantische preservatie, aandachtsvariantie of hypotheseruimte-augmentatie—focussen echter primair op beeldniveau-kenmerken of hoogwaardige modelresponsen. Deze benaderingen negeren de cruciale rol van de model-frontend (vroege feature-encoding). Visueel onderscheidende transformaties induceren niet noodzakelijkerwijs nuttige of transfereerbare verschillen na frontend-encoding; als meerdere weergaven bijna identieke frontend-responsen produceren, blijven de resulterende gradiënten redundant. Bovendien missen bestaande vergelijkingen tussen transformatiemethoden vaak eerlijkheid omdat ze variëren in het aantal getransformeerde weergaven (ensemble-omvang), waardoor de voordelen van transformatiedesign worden verward met de voordelen van het simpelweg vergroten van de ensemble-schaal.

Methodologie
Het artikel stelt FRO (Frontend Response-Oriented input transformation) voor, een methode die geworteld is in een impliciet ensemble-perspectief.

Impliciet Ensemble Formulering: De auteurs herinterpreteren inputtransformatie-gebaseerde aanvallen als een functioneel impliciet ensemble. Gegeven een bronmodel $f_s$ en transformaties $\{T_i\}$ , optimaliseert de aanval over een set composiete leden $\{f_s \circ T_i\}$ . In tegenstelling tot conventionele ensembles die verschillende modelparameters gebruiken, gebruikt dit impliciete ensemble dezelfde bronmodel maar verschillende pre-model operatoren. De diversiteit van dit ensemble wordt niet bepaald door modelparameters, maar door de frontend-respons diversiteit die door de transformaties wordt geïnduceerd.
Frontend Respons Perspectief: De auteurs stellen dat transformaties voor transfereerbaarheid responsverschillen moeten induceren in de bron-frontend die niet puur bron-specifiek zijn, maar gedeeltelijk gedeeld worden met heterogene doelarchitecturen (bijv. CNN's en Vision Transformers).
Gedeelde Frontend Factoren: Door middel van een voorlopige analyse identificeren de auteurs twee factoren die gemeenschappelijk zijn voor zowel CNN- als ViT-frontends waar transformaties zich op moeten richten:
- Local Content Sampling: Hoe lokale schaal, textuurdensiteit en grensposities worden gepresenteerd aan de receptieve velden of patch-tokens.
- Spatial Organization: Globale geometrie, objectvorm en ruimtelijke lay-out.
FRO Operatoren: Om deze factoren te verstoren, gebruikt FRO twee complementaire operatoren:
- Local Scaling Operator: Partitioneert de afbeelding in blokken en past willekeurige stretch-and-shrink operaties toe op individuele blokken. Dit verandert de lokale schaal, textuurdensiteit en grensposities terwijl de globale beeldgrootte behouden blijft.
- Projection Operator: Past een globaal coherente perspectivische deformatie (kanteling en brandpuntsafstandvariaties) toe op de gehele afbeelding. Dit wijzigt de globale geometrie, objectvorm en ruimtelijke lay-out.
- Generatieproces: Bij elke iteratie worden $N$ getransformeerde weergaven gegenereerd door sequentieel de Local Scaling en Projection operatoren te samplen. Gradiënten van deze weergaven worden geaggregeerd om de adversariële perturbatie bij te werken.
Unified Implicit Ensemble Size ( $N$ ): Om eerlijke vergelijkingen te garanderen, definiëren de auteurs $N$ als de verenigde hoeveelheid getransformeerde weergaven die wordt gebruikt voor gradiëntaggregatie. Dit maakt het mogelijk om prestatieverschillen toe te schrijven aan het transformatiedesign in plaats van aan de ensemble-schaal.
Evaluatiemetriek (T-FRDM): Om de cross-architectuur consistentie te kwantificeren, introduceert het artikel een Transformation-induced Front-end Response Dissimilarity Matrix (T-FRDM). In plaats van ruwe heterogene features te vergelijken, vergelijkt het de relaties (dissimilariteitsstructuren) tussen de respons-displacements van getransformeerde weergaven in CNN- en ViT-frontends. Een kleinere kloof tussen deze relatiematrices duidt op een betere preservatie van responsfactoren over architecturen heen.

Belangrijkste Bijdragen

Theoretische Herinterpretatie: Het artikel formuleert inputtransformatie-gebaseerde aanvallen als een getransformeerde-input impliciet ensemble en introduceert het frontend-respons perspectief om adversariële transfereerbaarheid te verklaren, waarbij de focus verschuift van beelddiversiteit naar hoe transformaties worden gecodeerd door de vroege lagen van het model.
FRO Algoritme: De voorstel van FRO, die Local Scaling en globaal coherente Projection combineert om complementaire lokale en globale frontend-respons variaties te induceren.
Unified Evaluatie Protocol: De introductie van een verenigde impliciete ensemble-omvang $N$ om de effecten van transformatiedesign te ontkoppelen van de ensemble-schaal, wat eerlijkere vergelijkingen tussen inputtransformatie-gebaseerde aanvallen mogelijk maakt.
Analyse Tool: De ontwikkeling van een relatie-gebaseerde metriek (T-FRDM) om cross-architectuur frontend-respons consistentie te meten zonder de ruwe feature-ruimtes uit te lijnen.

Experimentele Resultaten
Experimenten werden uitgevoerd op een ImageNet-subset met diverse bronmodellen (ResNet-18/101, DenseNet-121, Inception-v3, ViT-B/16) en doelmodellen (6 CNN's en 5 Vision Transformers).

Transfereerbaarheid: FRO presteerde consequent beter dan state-of-the-art inputtransformatie-gebaseerde aanvallen (DeCoWA, CWT, SIA, SID, OPS) over diverse bron- en doelarchitecturen. Het behaalde de beste black-box resultaten op 6 van de 11 doelmodellen en behield sterke prestaties, zelfs met kleinere ensemble-omvang (bijv. $N=10$ ).
Robuustheid tegen Defenses: FRO demonstreerde superieure transfereerbaarheid tegen verdedigde modellen, inclusief ensemble adversarial training, randomized smoothing (RS), feature squeezing (HGD), neural representation purifiers (NRP), adversarial training (AT) en diffusie-gebaseerde purificatie (DiffPure). Het behaalde de hoogste succesratio in 8 van de 9 verdedigde settings.
Ablatie Studies: De studie bevestigde dat de specifieke hyperparameters voor de Local Scaling en Projection operatoren (bijv. blokgrootte, kantelhoek) de prestaties significant beïnvloeden. Het valideerde ook dat het vergroten van $N$ over het algemeen de prestaties verbetert, maar dat het ontwerp van FRO een hoge efficiëntie biedt, zelfs bij lagere $N$ .
Frontend Analyse: De T-FRDM analyse toonde aan dat FRO responsrelaties in de bron-frontend induceert die consistenter worden behouden in de doel-frontend vergeleken met andere methoden, wat de theoretische motivatie van het artikel ondersteunt.

Significantie
Het artikel beweert dat de primaire significantie van FRO ligt in de verschuiving van perspectief: in plaats van inputtransformaties louter te zien als beeldaugmentatie of diversiteitsgeneratoren, zouden ze ontworpen moeten worden om frontend-respons factoren te verstoren die relevant zijn voor heterogene architecturen. Door expliciet te mikken op lokale content sampling en ruimtelijke organisatie—factoren die gedeeld worden door zowel CNN's als ViT's—genereert FRO perturbaties die minder gevoelig zijn voor bron-overfitting. Het werk suggereert dat het ontwerpen van transformaties vanuit het perspectief van front-end respons ensembles een effectievere strategie is voor het verbeteren van adversariële transfereerbaarheid dan het uitsluitend vertrouwen op beeldniveau-diversiteit of semantische preservatie. De introductie van de verenigde ensemble-omvang $N$ biedt bovendien een rigoureus kader voor toekomstig onderzoek in dit domein.