🤖 machine learning

Steal the Patch Size: Adversarially Manipulate Vision-Language Models

Dit artikel introduceert "Steal the Patch Size", een black-box aanval die op taakniveau optredende zijkanaal-nauwkeurigheidsdalingen in vision-language modellen exploiteert om private tokenizer-configuraties, zoals patchgrootte en preprocessing-pipelines, te herstellen, wat derhalve gerichte adversariële manipulatie mogelijk maakt.

Oorspronkelijke auteurs: Kai Hu, Akash Bharadwaj, Weichen Yu, Matt Fredrikson

Gepubliceerd 2026-07-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kai Hu, Akash Bharadwaj, Weichen Yu, Matt Fredrikson

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert het geheime recept van de soep van een beroemde chef te raden, maar je mag de keuken, de ingrediënten of de aantekeningen van de chef niet zien. Je kunt alleen de soep bestellen, proeven en vragen: "Hoe smaakt dit?"

Dit artikel beschrijft een slimme truc waarbij onderzoekers de soep van moderne AI-beeldoplossers (genaamd Vision-Language Models) "proefden" om hun geheime recept te achterhalen. Specifiek slaagden ze erin om twee verborgen details te stelen:

De "Patch Size": Hoe de AI een afbeelding opdeelt in kleine vierkante tegeltjes voordat hij ernaar kijkt.
De "Preprocessing": Of de AI elke afbeelding platdrukt tot een specifieke grootte of ze anders afhandelt op basis van hun oorspronkelijke vorm.

Hier is hoe ze het deden, met behulp van eenvoudige analogieën.

Het "Aardbei"-probleem

Je weet hoe sommige mensen moeite hebben met het tellen van de letter "r" in het woord "strawberry"? Dat komt omdat het brein het hele woord ziet, en niet de individuele letters.

Dit onderzoek vond dat AI-modellen een vergelijkbaar probleem hebben met afbeeldingen. De meeste AI-modellen bekijken een plaatje niet als een continue afbeelding; ze hakken het in een raster van kleine vierkantjes (patches), zoals een mozaïek. Als de AI de afbeelding opdeelt in 16x16 pixel vierkantjes, behandelt hij elk vierkantje als één enkel "woord" (of token).

De Valstrik: Het Rasterspel

De onderzoekers creëerden een simpel spel om de AI te misleiden. Ze lieten de AI een afbeelding zien van een gekleurd raster (zoals een schaakbord) en vroegen: "Hoeveel vakjes zitten er in dit raster?"

Mensen kunnen dit direct beantwoorden. Maar de AI begon op een zeer vreemde, voorspelbare manier te falen:

Wanneer de vakjes van het raster een bepaalde grootte hadden, kreeg de AI het goed.
Wanneer de vakjes van het raster iets groter of kleiner waren, kreeg de AI het fout.
Wanneer de vakjes van het raster precies even groot waren als de verborgen "hak-tegels" van de AI, werd de AI volledig blind en faalde hij jammerlijk.

Waarom? Stel je voor dat de hak-tegels van de AI perfect zijn uitgelijnd met de rasterlijnen. De AI kijkt naar één tegel en ziet slechts één egale kleur. Hij ziet nooit de lijn waar de kleuren veranderen, omdat de lijn precies tussen de tegels valt. Het is alsof je de rand van een bakstenen muur probeert te zien door alleen naar de stenen te kijken, en nooit naar de voegmortel. De AI verliest het vermogen om te tellen.

De Roof: De Geheimen Stelen

Door duizenden verschillende rastergroottes te testen, observeerden de onderzoekers deze "blinde vlekken".

Het vinden van de Tegelgrootte: Ze merkten op dat de AI telkens faalde wanneer de rastergrootte een veelvoud was van een specifiek getal (bijv. 14, 28, 42). Dit vertelde hen dat de verborgen "hak-tegel" van de AI precies 14 pixels breed was.
Het vinden van de Resize-regel: Sommige AI-modellen drukken elke afbeelding plat tot een vaste grootte (zoals 512x512) voordat ze de afbeelding opdelen. Anderen gaan anders om met verschillende formaten.
- Als de AI afbeeldingen platdrukt, verdwijnen de "blinde vlekken" wanneer je alleen de rastergrootte verandert.
- Maar de onderzoekers voegden een truc toe: ze plaatsten het raster in een groter, leeg canvas (padding). Door de grootte van dit lege canvas te veranderen, konden ze de AI dwingen om afbeeldingen op voorspelbare manieren plat te drukken. Dit onthulde de exacte grootte waarnaar de AI afbeeldingen platdrukte (bijv. 512 pixels).

Het Resultaat: Ze kennen de Geheimen

Met deze methode slaagden de onderzoekers erin om de verborgen instellingen van grote AI-modellen zoals GPT-4o, Claude en Qwen te raden. Ze hadden geen code nodig om te hacken; ze stelden alleen de juiste vragen en keken waar de AI over struikelde.

Waarom is dit belangrijk? (De "Gerichte" Aanval)

Het artikel laat zien dat het weten van deze geheimen een "chirurgische" aanval mogelijk maakt.

Stel je voor dat je een specifieke AI wilt misleiden om een stopbord te zien als een snelheidsbord, maar je wilt een andere AI niet misleiden.

Zonder het geheim: Je maakt een generieke truc die misschien op beide werkt, of op geen van beide.
Met het geheim: Je weet precies hoe de eerste AI zijn afbeeldingen opdeelt. Je kunt een truc maken die perfect werkt voor die specifieke hak-stijl, terwijl het voor de tweede AI (die anders hakte) volkomen normaal lijkt.

Het is alsof je weet dat de tumblers van een specifiek slot 14 mm breed zijn. Je kunt een sleutel maken die alleen dat slot opent, terwijl alle andere sloten onaangetast blijven.

Samenvatting

Het paper bewijst dat de "onzichtbare" manier waarop AI-modellen afbeeldingen verwerken een vingerafdruk achterlaat. Door eenvoudige vragen te stellen over rasters, kunnen onderzoekers de interne instellingen van het model terugontwerpen. Dit onthult dat de "implementatiedetails" van hoe AI de wereld ziet, eigenlijk geheime sleutels zijn die, als ze gestolen worden, aanvallers in staat stellen om zeer specifieke en gevaarlijke trucs tegen die modellen uit te voeren.

Technische Samenvatting: Steel de Patch-grootte: Adversariële Manipulatie van Vision-Language Modellen

Probleemstelling

Gedeployed Vision-Language Modellen (VLM's) vertrouwen op complexe, vaak ongedocumenteerde visuele preprocessing-pipelines. Deze pipelines omvatten kritieke architecturale en systeemniveau ontwerpkeuzes zoals de visuele patch-grootte ( $P$ ), input-resizing strategieën, padding/cropping-regels en doelresoluties ( $S$ ). Hoewel deze parameters een significante impact hebben op de efficiëntie, nauwkeurigheid en robuustheid van het model, worden ze doorgaans behandeld als private informatie voor de tijd van implementatie en worden ze niet onthuld via API's of documentatie.

Dit artikel adresseert een "blind spot" in black-box VLM's: het onvermogen van deze modellen om triviale taken (zoals het tellen van rastercellen) uit te voeren wanneer specifieke structurele uitlijningen optreden tussen de inputafbeelding en het interne tokenisatie-raster van het model. De auteurs stellen dat deze fouten niet willekeurig zijn, maar een deterministisch, taak-niveau zijkanaal (side channel) vormen, geïnduceerd door ViT-stijl patchificatie. De kernonderzoeksvraag is of de private architecturale en preprocessing-parameters van black-box VLM's systematisch kunnen worden hersteld via louter API-toegang, zonder toegang tot gradiënten, interne activaties of trainingsdata.

Methodologie

De voorgestelde aanval, getiteld Patch-Size Matching (PSM), maakt gebruik van de geometrische relatie tussen de input-rastergrenzen en het interne patch-raster van het model.

1. Het Mechanisme: Patch-Size Matching (PSM)

De meeste VLM's tokeniseren afbeeldingen met behulp van een Vision Transformer (ViT) die inputs opdeelt in niet-overlappende $P \times P$ patches.

Het Fenomeen: Wanneer een synthetische rasterafbeelding met celgrootte $D$ wordt verwerkt, en als de effectieve celgrootte in de inputruimte van de tokenizer ( $D_{eff}$ ) een geheel getal is van de patch-grootte ( $D_{eff} = kP$ ), dan vallen de rastergrenzen exact tussen de patches.
Het Gevolg: Omdat de binnenkant van elke rastercel een constante kleur heeft, bevatten patches die volledig binnen een cel vallen geen randinformatie. Het tokenisatieproces onderdrukt hierdoor visuele aanwijzingen voor de grenzen, waardoor het model "blind" wordt voor de rasterstructuur.
Het Signaal: Terwijl de rastercelgrootte $D$ wordt gescand, vertoont de nauwkeurigheid van het model op een raster-teltaak periodieke dalingen (dalen) telkens wanneer $D_{eff}$ overeenkomt met een veelvoud van $P$ .

2. De Drie-Fasen Black-Box Aanval

De auteurs stellen een systematische procedure voor om verborgen parameters te herstellen onder onbekende resizing- en padding-condities:

Fase 1: Unpadded Sweep (Dynamische vs. Vaste Resolutie)
De aanvaller bevraagt het model met rasterafbeeldingen van variërende celgroottes $D$ zonder padding.
- Als het model een dynamische resolutie gebruikt, verschijnen de periodieke nauwkeurigheidsdalen direct, wat de directe inferentie van de patch-grootte $P$ uit de periodiciteit van de dalingen mogelijk maakt.
- Als het model een vaste resolutie gebruikt (inputs resized naar een doel $S$ ), wordt de periodiciteit vertroebeld omdat $D$ niet-lineair wordt geschaald.
Fase 2: Herstel van Periodiciteit via Zero-Padding
Voor modellen waarvan wordt vermoed dat ze een vaste resolutie gebruiken, plaatst de aanvaller de rasterafbeelding in een groter canvas $L \times L$ met behulp van zero-padding (waarbij de inhoud linksboven wordt verankerd).
- Dit introduceert een controleerbare schaalfactor. Als het model $L \times L$ resizes naar een vaste doel $S$ , wordt de effectieve celgrootte $D_{eff} = (S/L)D$ .
- Door $D$ te scannen voor verschillende canvasgroottes $L$ , observeert de aanvaller dat de periode van de nauwkeurigheidsdalingen $T(L)$ lineair schaalt met $L$ .
- Dit maakt het herstel van de schaleratio $S/P$ mogelijk via de relatie $S/P = L/T(L)$ .
Fase 3: Consistentiecheck voor Doelresolutie
Fase 2 levert een kandidaat-set van $(S, P)$ -paren op. Om de ware doelresolutie $S$ te identificeren:
- Voert de aanvaller een hypothesetest uit waarbij de output-consistentie van het model wordt vergeleken.
- De logica is dat als het interne doel van het model $S$ is, het vooraf resizen van een afbeelding naar $S$ vóór het bevragen, meer consistente antwoorden zal opleveren dan het vooraf resizen naar een onjuiste kandidaat $S'$ .
- Een statistische competitie selecteert de unieke $S$ die consequent de maximale antwoordconsistentie maximaliseert.

3. Statistische Validatie

Om subjectieve interpretatie van nauwkeurigheidsdalingen te vermijden, maken de auteurs gebruik van een non-parametrische permutatietest (Welch-stijl) om de statistische significantie van de geobserveerde periodiciteit te bepalen, om er zeker van te zijn dat de geïdentificeerde perioden geen artefacten van ruis zijn.

Belangrijkste Resultaten

De aanval werd geëvalueerd over open-source modellen (Qwen-VL varianten, InternVL) en propriëtaire modellen (GPT-4.1-mini, GPT-4o, Claude 3.7, Claude 4.5).

Parameterherstel: De methode slaagde erin patch-groottes en preprocessing-gedragingen te herstellen.
- Qwen3-VL 30B: Identificeerde dynamische resolutie met $P=16$ .
- Claude 3.7: Identificeerde dynamische resolutie met $P=14$ .
- GPT-4.1-mini: Identificeerde dynamische resolutie met $P=16$ .
- GPT-4o: Identificeerde fixed-resolution preprocessing. Via het driefasenproces hebben de auteurs een doelresolutie van $S=512$ en een patch-grootte van $P=16$ afgeleid.
Robuustheid: De aanval bleef effectief, zelfs wanneer modellen onbekende resizing, padding of dynamische resolutie strategieën toepasten.
Kosten: De aanval vereist ongeveer $4.8 \times 10^4$ queries (ongeveer $10^7$ tokens) voor hoge betrouwbaarheidsintervallen, wat onder typische API-prijzen ongeveer $\$ 10\text{--}$50$ kost.

Betekenis en Implicaties

Het artikel stelt dat het herstellen van deze "implementatiedetails" niet louter een academische oefening is, maar een noodzakelijke voorwaarde voor geavanceerde security-aanvallen.

Preprocessing-bewuste Transfer Attacks: Het kennen van de exacte preprocessing-pipeline stelt aanvallers in staat om adversariële perturbaties te ontwerpen die de vervorming (aliasing) veroorzaakt door resizing en padding vermijden, wat de transferabiliteit aanzienlijk verbetert.
Model-gerichte Adversariële Manipulatie: De auteurs demonstreren dat gelekte parameters het creëren van adversariële voorbeelden mogelijk maken die specifiek een doelmodel manipuleren terwijl ze benigne blijven voor andere modellen met andere pipelines.
- Experimenteel Bewijs: In een experiment met gerichte aanvallen op de NIPS 2017 dataset, bereikte een aanval die specifiek voor GPT-4o was ontworpen (met de herstelde $S=512, P=16$ ) een succespercentage van 86,5% op GPT-4o, terwijl het succespercentage op Claude 3.7 daalde naar 4,5%. Omgekeerd slaagde een aanval gericht op Claude 3.7 wel tegen Claude 3.7 (18,5%), maar faalde het tegen GPT-4o.

Conclusie

De auteurs concluderen dat ViT-stijl patchificatie een detecteerbaar signatuur creëert in black-box gedrag, waardoor private implementatie-details lekken. Zij stellen dat "implementatiedetails" in de visuele frontend beveiligingsrelevante geheimen zijn. Het artikel suggereert dat mitigaties zoals gerandomiseerde/stochastische preprocessing, grens-behoudende tokenisatie, of query-controles noodzakelijk zijn om dergelijke lekken van parameters en de daaropvolgende model-gerichte manipulaties te voorkomen.