💻 computer science

Adversarial Evasion Attacks on Computer Vision using SHAP Values

Dit artikel introduceert een witte-doosaanval op computer-visionmodellen die SHAP-waarden gebruikt om onopvallende adversarial evasion-aanvallen te genereren die, vooral in scenario's met verborgen gradiënten, robuuster blijken dan de Fast Gradient Sign Method.

Oorspronkelijke auteurs: Frank Mollard, Marcus Becker, Florian Roehrbein

Gepubliceerd 2026-04-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Frank Mollard, Marcus Becker, Florian Roehrbein

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🕵️‍♂️ De Basis: Wat is er aan de hand?

Stel je voor dat je een slimme robot hebt die foto's kan herkennen. Hij ziet een kat en zegt: "Dat is een kat!" Maar wat als je die robot kunt bedriegen? Wat als je de foto zo een klein beetje aanpast dat de robot denkt: "Oh, dit is een hond!" terwijl jij en ik er niets van merken?

Dit noemen onderzoekers een adversariale aanval. Het is alsof je een magische bril opzet die de robot gek maakt, maar voor het blote oog onzichtbaar blijft.

In dit papier onderzoeken de auteurs een nieuwe manier om zo'n aanval uit te voeren. Ze gebruiken een slimme techniek genaamd SHAP-waarden om de robot te misleiden. Ze vergelijken dit met een bekende, oudere methode (FGSM) en ontdekken dat hun nieuwe methode veel effectiever is.

🧠 De Oude Methode: De "Blindelings Duw" (FGSM)

De bekende methode (FGSM) werkt als een blinde duw.
Stel je voor dat de robot een bal op een helling heeft. De oude methode kijkt naar de helling (de 'gradiënt') en duwt de bal gewoon in de richting die de helling aangeeft, met een vaste kracht.

Het probleem: Soms is de helling niet duidelijk, of is de robot zo slim dat hij de duw niet voelt (dit noemen ze "gradient masking"). De duw werkt dan niet, of werkt zelfs averechts. Het is alsof je tegen een muur duwt zonder te weten of er een deur achter zit.

🔍 De Nieuwe Methode: De "Slimme Analyse" (SHAP)

De auteurs gebruiken hier SHAP-waarden. Dit is een techniek die uitlegt waarom de robot iets ziet.
Stel je voor dat je een schilderij bekijkt. De SHAP-methode kijkt niet naar de hele helling, maar naar elk individueel penseelstreekje (elk pixel).

Hoe het werkt: De SHAP-methode zegt: "Dit rode stukje op de neus is heel belangrijk voor het herkennen van de kat. Dit blauwe stukje op de achtergrond is juist heel belangrijk om te zeggen dat het geen hond is."
De aanval: In plaats van blind te duwen, kijkt de aanval precies naar die belangrijke stukjes. Ze veranderen die specifieke pixels een klein beetje, zodat de robot zijn vertrouwen verliest.

De Creatieve Analogie: De "Neutrale Zone"
De onderzoekers ontdekten iets fascinerends. Als je kijkt naar de pixels, is er een "neutrale zone" (rond de waarde 0,4 of 0,3).

Pixels die heel donker of heel licht zijn, hebben een grote invloed op wat de robot denkt.
Pixels die halverwege zitten (grijs), hebben bijna geen invloed.

De aanval werkt door de belangrijke pixels (die de robot laat denken "dit is een kat") naar die neutrale zone te duwen. Het is alsof je de belangrijkste bewijsstukken uit een rechtszaak verwijdert of vage maakt, zodat de rechter (de robot) niet meer kan beslissen of het een kat of een hond is.

⚔️ De Wedstrijd: Wie wint er?

De auteurs hebben de oude methode (FGSM) en de nieuwe SHAP-methode tegen elkaar laten strijden op verschillende foto's (katten, honden, gezichten, cijfers).

Onzichtbaarheid: Beide methoden zijn zo subtiel dat mensen geen verschil zien. De foto's lijken hetzelfde.
Effectiviteit:
- De oude methode (FGSM) faalt vaak. Soms werkt hij, soms niet. Het is als een munt gooien.
- De nieuwe methode (SHAP) werkt veel consistenter. Bij gezichten van mensen slaagde de SHAP-aanval in 98% van de gevallen, terwijl de oude methode maar in 69% slaagde.

Waarom wint SHAP?
Omdat SHAP niet afhankelijk is van de wiskundige "helling" die soms verdwijnt of verward raakt. SHAP kijkt gewoon naar de feitelijke invloed van elk pixel. Zelfs als de robot probeert zich te verstoppen (gradient masking), ziet SHAP nog steeds welke pixels belangrijk zijn en kan die neutraliseren.

💡 Wat betekent dit voor de toekomst?

Dit onderzoek is een waarschuwing en een hulpmiddel:

Het gevaar: Zelfs de slimste AI's kunnen op een heel subtiele manier worden bedrogen.
De oplossing: Om AI veilig te maken, moeten we deze aanvalsmethoden begrijpen. De auteurs suggereren dat toekomstige AI-modellen "balancerder" moeten worden. Ze mogen niet te afhankelijk zijn van één klein stukje van de foto, maar moeten het plaatje als geheel zien.

Kortom: De onderzoekers hebben een nieuwe "hack" gevonden die werkt als een chirurgische ingreep in plaats van een brute klap. Ze gebruiken een slimme analyse (SHAP) om de zwakke plekken van een robot te vinden en die precies te raken, waardoor de robot de boodschap verliest, terwijl wij er niets van merken.

Titel: Adversariele Ontwijkingsaanvallen op Computervisie met behulp van SHAP-waarden

Auteurs: Frank Mollard, Marcus Becker, Florian Röhrbein
Context: 10e bwHPC Symposium (2026)

1. Het Probleem

Dieplerningmodellen, zoals kunstmatige neurale netwerken (ANN), zijn kwetsbaar voor adversariële aanvallen. Deze aanvallen zijn ontworpen om de prestaties van het model te ondermijnen door de output-gevoeligheid te verlagen of misclassificaties te veroorzaken.

Ontwijkingsaanvallen (Evasion Attacks): Deze vinden plaats tijdens de inferentiefase. De aanvalslager manipuleert de invoerdata (bijv. een afbeelding) met onwaarneembare verstoringen (perturbaties). Hierdoor wordt het algoritme misleid, terwijl het voor het menselijk oog onzichtbaar blijft.
Huidige beperkingen: De meest bekende methode, de Fast Gradient Sign Method (FGSM), gebruikt de gradiënt van de verliesfunctie om de invoer te manipuleren. Een nadeel hiervan is dat FGSM de grootte van de invloed van individuele pixels negeert en alleen het teken van de gradiënt gebruikt. Dit kan leiden tot inefficiënte aanpassingen, vooral in scenario's met "gradiëntmaskering" (waarbij gradiënten onbetrouwbaar of verdwijnend zijn).

2. Methodologie

De auteurs stellen een nieuwe witte-kast (white-box) aanval voor die in plaats van gradiënten, SHAP-waarden (SHapley Additive exPlanations) gebruikt om de aanval te sturen.

SHAP-waarden: Dit zijn post-hoc uitlegbare methoden die kwantificeren hoe sterk individuele invoervariabelen (pixels) bijdragen aan de uiteindelijke output van het model. Ze voldoen aan wiskundige eigenschappen zoals lokale nauwkeurigheid en consistentie.
De "Butterfly-pattern": Uit analyse van diverse datasets (dierengezichten, menselijke gezichten, MNIST) bleek een patroon: pixels met een waarde in het midden van het bereik (bijv. rond 0,4 of 0,3) hebben een neutrale invloed (SHAP-waarde ≈ 0). Pixels aan de uitersten (zeer donker of zeer licht) hebben een sterke positieve of negatieve invloed.
De Aanvalsstrategie:
1. Bereken de SHAP-waarden ( $\phi$ ) voor elke pixel.
2. Identificeer pixels met een sterke positieve of negatieve invloed op de huidige classificatie.
3. Verschuif deze pixels naar het "neutrale gebied" (waar $\phi \approx 0$ ).
4. Formule: De nieuwe pixelwaarde $x'$ wordt berekend als:
  $x' = x + \varepsilon \cdot \begin{cases} -|\phi| & \text{als } x \geq 1-h \land V \\ |\phi| & \text{als } x \leq h \land V \end{cases}$
  Waarbij $V$ de drempel is voor sterke invloeden en $h$ zorgt dat alleen pixels met een verhoogde absolute waarde worden gemanipuleerd.
5. Het doel is om zowel de positieve als de negatieve bewijzen voor een klasse te "neutraliseren", waardoor de zekerheid van het model instort en misclassificatie optreedt.

3. Belangrijkste Bijdragen

Innovatieve Aanvalsvector: Het is de eerste studie die SHAP-waarden expliciet gebruikt als basis voor een witte-kast adversariële aanval in plaats van gradiënten.
Robuustheid: De methode lost het probleem van gradiëntmaskering op. Omdat SHAP-waarden de feitelijke bijdrage van variabelen meten en niet afhankelijk zijn van de afgeleide van een verliesfunctie, werken ze zelfs bij modellen met complexe of niet-gladde verliesfuncties.
Efficiëntie: In tegenstelling tot FGSM, dat vaak de hele afbeelding beïnvloedt, concentreert de SHAP-aanval zich op de specifieke, meest invloedrijke regio's. Dit maakt de aanval subtieler en effectiever.

4. Resultaten

De auteurs vergeleken hun SHAP-aanval met de iteratieve FGSM (volgens Kurakin et al.) op vier verschillende datasets en architecturen (o.a. EfficientNetB7, CNN's).

Visuele Onwaarneembaarheid: Beide methoden konden onwaarneembare aanpassingen genereren.
Misclassificatiepercentages: De SHAP-aanval presteerde over het algemeen beter dan FGSM:
- Animal Faces: SHAP 73% misclassificatie vs. FGSM 52%.
- Menselijke Gezichten: SHAP 98% misclassificatie vs. FGSM 69%.
- MNIST: SHAP 60% vs. FGSM 34%.
- Opmerking: Bij "Cats and Dogs Filtered" presteerde FGSM iets beter (98% vs 89%), wat aangeeft dat FGSM soms effectief kan zijn, maar SHAP over het algemeen consistenter is.
Stabiliteit: FGSM toonde instabiliteit; in sommige gevallen nam de classificatie-veiligheid zelfs toe door de aanval (door verkeerde gradiëntrichtingen). SHAP-aanvallen leidden consequent tot een vermindering van de waarschijnlijkheid van de aangevallen klasse.

5. Betekenis en Conclusie

Kwetsbaarheid van Uitlegbaarheid: De studie toont aan dat methoden die zijn ontworpen om modellen transparant en uitlegbaar te maken (zoals SHAP), ook kunnen worden gebruikt om de zwakke plekken van diezelfde modellen te vinden en uit te buiten.
Noodzaak voor Defensie: Dieplerningmodellen zijn extreem gevoelig voor subtiele wijzigingen in invoerdata. Er is een dringende behoefte aan robuustere modellen die minder afhankelijk zijn van individuele pixels en beter kunnen generaliseren.
Berekeningskosten: Een beperking van de SHAP-aanval is de hoge rekenintensiteit. Het berekenen van SHAP-waarden vereist het evalueren van vele subsets van data, wat veel rekenkracht vraagt, vooral bij hoge resolutie en complexe modellen. Dit maakt de aanval in de praktijk soms minder schaalbaar dan FGSM, tenzij er toegang is tot HPC-omgevingen.

Samenvattend: De paper bewijst dat het gebruik van SHAP-waarden voor het genereren van adversariële voorbeelden een krachtigere en robuustere methode is dan traditionele gradiëntgebaseerde methoden, vooral in scenario's waar gradiënten misleidend zijn. Dit onderstreept het dual-use karakter van uitlegbaarheidsinstrumenten in de AI-beveiliging.