🤖 machine learning

Large-scale Testing Global Optimization Methods with Black-box Adversarial Attacks

Dit artikel stelt black-box adversarial attacks voor als een grootschalige, moderne benchmark voor globale optimalisatie om de beperkingen van bestaande kleinschalige, verouderde analytische functiesets aan te pakken, waarbij de effectiviteit van diverse evolutionaire algoritmen en metaheuristieken bij het oplossen van deze hoogdimensionale uitdagingen wordt aangetoond.

Oorspronkelijke auteurs: Wojciech Zarzecki, Jarosław Arabas

Gepubliceerd 2026-08-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wojciech Zarzecki, Jarosław Arabas

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om dieren te herkennen. Je laat het de robot duizenden foto's van paarden, katten en honden zien totdat hij heel goed wordt in het raden. Maar wat als iemand de robot zou kunnen foppen? Wat als iemand een minuscuul, onzichtbaar stipje "ruis" aan een foto van een paard zou kunnen toevoegen, waardoor de robot plotseling denkt dat hij naar een kat kijkt? Dit wordt een adversarial attack genoemd. Het is als een goocheltruc voor computers: het menselijk oog ziet een paard, maar de computerhersenen zien een kat vanwege een geheim, wiskundige duwtje.

Om uit te zoeken hoe deze trucs werken (of hoe je ze kunt stoppen), moeten wetenschappers verschillende "zoekstrategieën" testen. Stel je voor dat je in een enorm, mistig bergmassief bent op zoek naar het diepste dal. Sommige zoekstrategieën zijn als wandelen in een rechte lijn totdat je tegen een muur loopt; andere zijn als het uitzenden van een zwerm bijen om elke nis en elk hoekje te verkennen. Decennialang hebben wetenschappers deze strategieën getest met eenvoudige, verzonnen bergen (wiskundige functies) die makkelijk te tekenen waren, maar misschien niet lijken op de echte wereld. De grote vraag is: zijn deze oude, eenvoudige tests goed genoeg om ons te vertellen welke zoekstrategie eigenlijk de beste is voor de rommelige, complexe wereld van moderne AI?

Dit artikel, geschreven door Wojciech Zarzecki en Jarosław Arabas van de Polytechnische Universiteit Warschau, zegt "Nee, dat zijn ze niet." De auteurs stellen dat het probleem van het foppen van een AI (de adversarial attack) eigenlijk een perfecte, real-world test is voor deze zoekstrategieën. Ze behandelen de aanval als een gigantische puzzel: vind de kleinste, meest onzichtbare verandering aan een afbeelding die de computer kan misleiden. Ze testten verschillende "zwerm" zoekmethoden (zoals Evolutionaire Algoritmen en Grey Wolf Optimizers) om te zien welke van deze methoden deze puzzel het beste kon oplossen.

Hier is wat zij vonden:

De puzzel is lastig
Eerst wilden de auteurs bewijzen dat dit geen eenvoudige puzzel is met slechts één antwoord. Ze gebruikten een lokale zoekmethode (een strategie die alleen naar de directe omgeving kijkt) op duizenden afbeeldingen. Ze ontdekten dat wanneer ze vanuit verschillende willekeurige punten begonnen, ze bij verschillende "oplossingen" uitkwamen. Sommige oplossingen veranderden een paar pixels hier, andere veranderden een paar pixels daar. Dit bewees dat de landschap "multimodaal" is, wat betekent dat het veel verschillende dalen en pieken heeft, en niet slechts één. Het is geen gladde glijbaan naar de bodem; het is een grillig, verwarrend berglandschap waar je in een kleine kuil kunt vast komen zitten die niet de diepste is. Dit bevestigt dat je krachtige "globale" zoekmethoden nodig hebt om de beste truc te vinden.

De zoekers
Het team onderwierp verschillende zoekalgoritmen aan de test op twee beroemde beelddatasets: CIFAR-10 (kleine afbeeldingen van 32x32 pixels) en ImageNet (enorme, hoogresolutie afbeeldingen). Ze gaven elk algoritme een budget van hoeveel keer het naar de afbeelding mocht "kijken" om te zien of deze gefopt was.

De "hebzuchtige" zoekers: Sommige methoden, zoals de INFO optimizer, gedroegen zich een beetje als een hebzuchtige lokale zoektocht. Ze vonden oplossingen snel, maar bleven vaak steken met zwakkere trucs (lagere succespercentages).
De "zwerm" zoekers: Methoden zoals DE (Differential Evolution), GEN (Genetic Algorithm) en SHADE waren veel beter. Ze verkenden de ruimte grondiger. Bijvoorbeeld, op de CIFAR-10 dataset, wanneer de toegestane "ruis" (perturbatie) werd ingesteld op 0.2, slaagde de GEN methode erin de computer in 97.40% van de gevallen te misleiden, terwijl SHADE dit deed in 89.61% van de gevallen.
De "wolf" had moeite: De GWO (Grey Wolf Optimizer) had het moeilijk wanneer de regels streng waren. Zonder een speciale "regularisatie"-instelling (een regel om de ruis klein te houden), slaagde deze slechts in ongeveer 10–15% van de gevallen. Echter, toen de auteurs een specifieke regel toevoegden om de ruis te balanceren, haalde de GWO in en presteerde veel beter.

De grootte doet ertoe
De grootte van de afbeelding maakte een enorm verschil. Op de kleinere CIFAR-10 afbeeldingen was zelfs een minuscule hoeveelheid toegestane ruis (0.01) bijna onmogelijk te gebruiken; de algoritmen faalden bijna volledig. Maar op de enorme ImageNet afbeeldingen was diezelfde kleine hoeveelheid ruis zelfs nog moeilijker te gebruiken (0% succes voor iedereen). Echter, zodra ze een beetje meer ruis toelieten (0.1 of 0.2), werden de algoritmen zeer effectief. Op ImageNet met 0.2 ruis behaalde het DE algoritme een succespercentage van 100%, wat betekent dat het de computer op elke afbeelding die het probeerde kon misleiden.

De conclusie
Het artikel suggereert dat het gebruiken van deze "black-box" adversarial attacks een fantastische manier is om te testen hoe goed globale optimalisatiemethoden werkelijk zijn. Het is een moeilijkere, realistischere uitdaging dan de oude, eenvoudige wiskundige problemen. De resultaten laten zien dat hoewel sommige methoden beter zijn dan andere, het vakgebied nog volop in ontwikkeling is. De auteurs beweerden niet dat ze het "perfecte" algoritme hadden gevonden; in plaats daarvan boden ze een nieuwe speeltuin waar onderzoekers hun instrumenten kunnen testen. Ze merkten ook op dat ze in de toekomst niet alleen willen testen op het verwarren van de computer, maar ook op het laten kiezen van een specifiek fout antwoord, en dat ze een andere manier van "ruis" meten zouden kunnen gebruiken die meer lijkt op wat een menselijk oog zou opmerken.

Kortom, de auteurs hebben succesvol aangetoond dat het misleiden van een AI een complexe, meerkante bergbeklimming is, en hoewel sommige zoekteams (zoals GEN en SHADE) momenteel de beste wandelaars zijn, is er nog veel terrein te verkennen.

Technische Samenvatting: Grootschalige Testen van Globale Optimalisatiemethoden met Black-box Adversarial Attacks

Probleemdefinitie
De auteurs identificeren een stagnatie in de ontwikkeling van globale optimalisatiemethoden door de afhankelijkheid van benchmarksuites die bestaan uit een beperkt aantal analytische functies, waarvan er vele dateren uit de jaren 1970 en 1980 (bijv. Ackley, Griewank, Rosenbrock). Deze "synthetische" problemen riskeren de ontwikkeling van methoden te bevoordelen (bias). Het artikel stelt voor dat Black-Box Adversarial Attacks (BBAA) op beeldclassificatiemodellen dienen als een robuuste, hoogdimensionale benchmark voor globale optimalisatie.

In een BBAA-scenario probeert een aanvaller een perturbatievector $\delta$ te vinden die wordt toegevoegd aan een invoerbeeld $x$ , zodanig dat de classificatie van het model verandert (misclassificatie), terwijl de perturbatie voor mensen onwaarneembaar blijft. Het probleem wordt geformuleerd als een begrensd minimalisatieprobleem waarbij de objectieve functie $L(\delta)$ de negatieve log-waarschijnlijkheid van de grondwaarheid-klasse combineert met een $L_2$ -regularisatieterm om de grootte van de perturbatie te minimaliseren:
$L(\delta) = -\log p_{c(x)}(x + \delta) - \alpha\|\delta\|_2^2$
De toegestane verzameling is een hyperkubus $[-\epsilon, \epsilon]^n$ , waarbij $n$ overeenkomt met het aantal pixels (bijv. 3.072 voor CIFAR-10, 150.528 voor ImageNet).

Methodologie
Om de BBAA te valideren als een globaal optimalisatieprobleem, hebben de auteurs eerst aangetoond dat het multimodaal is. Ze gebruikten een lokale zoekmethode, Stochastic Growth Attack met Binary Search Refinement (SGA-BSR), over 100 onafhankelijke runs met verschillende willekeurige seeds per afbeelding. De resultaten toonden aan dat onafhankelijke runs convergeerden naar verschillende perturbatievectoren met variërende objectieve waarden, wat het bestaan van talrijke lokale optima en de noodzaak van globale zoekstrategieën bevestigt.

De kern van de experimentele fase omvatte het testen van verschillende metaheuristische globale optimalisatie-algoritmen op BBAA-taken met behulp van twee datasets: CIFAR-10 en ImageNet. De gebruikte modellen waren een standaard pre-trained ResNet-18 voor ImageNet en een aangepaste VGG-achtige architectuur voor CIFAR-10. De geteste optimalisatie-algoritmen waren onder meer:

Klassieke Evolutionaire Algoritme (GEN)
Differential Evolution varianten: DE, JADE, SADE, SHADE
Grey Wolf Optimizer (GWO)
INFO (Efficiënte Optimizer gebaseerd op de Gewogen Gemiddelde van Vectoren)

Experimenten werden uitgevoerd met variërende hyperparameters:

$\epsilon$ (Maximale perturbatie): 0.01, 0.1, 0.2
$\alpha$ (Regularisatiewicht): 0.0, 0.1, 1.0, 10.0, 100.0
Budget: Populatiegrootte van 500 en 500 iteraties per run.

Belangrijkste Resultaten
De experimenten leverden de volgende observaties op:

Multimodaliteit: De SGA-BSR lokale zoekmethode produceerde diverse oplossingen over de runs heen, wat bevestigt dat het BBAA-landschap zeer multimodaal is.
Impact van Hyperparameters:
- De perturbatielimiet $\epsilon$ was de meest beslissende factor. Bij $\epsilon=0.01$ faalden de meeste optimizers in het slagen op beide datasets. De succesratio's namen significant toe bij $\epsilon=0.1$ en $\epsilon=0.2$ .
- Het regularisatiewicht $\alpha$ had een niet-monotoon effect. Een gematigde waarde ( $\alpha=0.1$ ) verbeterde de prestaties over het algemeen door een balans te vinden tussen het overschrijden van de beslissingsgrens en het minimaliseren van de perturbatie.
Algoritme Prestaties:
- GEN (Genetic Algorithm) en SHADE behaalden consistent hoge succesratio's terwijl ze een lage perturbatiekracht ( $L_2$ -norm) behielden.
- GWO presteerde slecht zonder regularisatie (bijna nul succes bij een lage $\epsilon$ ) maar verbeterde aanzienlijk met $\alpha=0.1$ , waardoor het de andere populatiegebaseerde methoden bij benaderde.
- INFO gedroeg zich als een hebzuchtige (greedy) lokale zoekmethode, waarbij het stagneerde bij lagere succesratio's, maar wel een efficiëntie in queries demonstreerde.
- DE en GWO neigden naar de hoeken van het toegestane gebied, waarschijnlijk door een gebrek aan zelf-adaptieve mechanismen die wel aanwezig zijn in SADE, JADE of SHADE.
Dataset Vergelijking: Aanvallen waren uniform gemakkelijker op ImageNet dan op CIFAR-10 bij gelijke $(\epsilon, \alpha)$ instellingen. De auteurs schrijven dit toe aan de hogere inputdimensie en de grotere labelset van ImageNet, wat statistisch gezien de marge tot de dichtstbijzijnde concurrerende klasse verkleint.

Betekenis en Bijdragen
Het artikel beweert een stap te zetten naar het afstemmen van globaal optimalisatieonderzoek op de uitdagingen van moderne machine learning. De primaire bijdragen zijn:

Benchmark Voorstel: Het vestigen van BBAA als een waardevolle, hoogdimensionale benchmark voor globale optimalisatie die verder gaat dan traditionele synthetische functies.
Empirische Validatie: Het demonstreren dat BBAA een multimodaal probleem is dat globale zoekcapaciteiten vereist, geverifieerd door lokale zoekexperimenten.
Prestatie Baseline: Het bieden van een vergelijkende efficiëntieanalyse van verschillende metaheuristieken (inclusclusief klassieke EAs, DE-varianten, GWO en INFO) op BBAA-taken zonder uitgebreide parameterafstemming.
Open Framework: Het vrijgeven van een framework waarmee de gemeenschap nieuwe optimalisatiemethoden tegen deze adversariële uitdagingen kan testen.

De auteurs concluderen dat hoewel huidige methoden veelbelovend zijn, toekomstig werk zich moet richten op het afstemmen van deze methoden voor hogere efficiëntie, het uitbreiden van het portfolio van optimizers, en het potentieel herformuleren van de objectieve functie om perceptuele verliestermen op te nemen die menselijke zichtbare vervorming beter reflecteren.

Meer zoals dit