🤖 machine learning

Random Logit Scaling: Defending Deep Neural Networks Against Black-Box Score-Based Adversarial Example Attacks

Dit artikel introduceert Random Logit Scaling (RLS), een plug-and-play post-processing verdediging die effectief zwart-doos score-gebaseerde adversariële aanvallen tegengaat door logits willekeurig te schalen om aanvallers te verwarren terwijl de modelnauwkeurigheid behouden blijft, en legt tegelijkertijd de kwetsbaarheid van de state-of-the-art AAA-verdediging voor adaptieve aanvallen bloot.

Oorspronkelijke auteurs: Hamid Dashtbani, Mehdi Dousti Gandomani, AmirMahdi Sadeghzadeh

Gepubliceerd 2026-07-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Hamid Dashtbani, Mehdi Dousti Gandomani, AmirMahdi Sadeghzadeh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de wereld van kunstmatige intelligentie voor als een gigantische, superintelligente bibliotheek waar computers leren om dingen te herkennen—zoals het spotten van een kat op een foto of het identificeren van een liedje. Lange tijd waren deze computers als verlegen studenten die alleen vragen beantwoordden als je ze het tekstboek liet zien (de interne code). Maar in de echte wereld stellen we ze vaak gewoon vragen en krijgen we antwoorden zonder te zien hoe ze denken. Dit wordt een "black box" genoemd.

Het probleem begint wanneer een ondeugende hacker probeert de computer te misleiden. Ze hoeven niet in te breken in de bibliotheek; ze hoeven alleen maar een minuscule, bijna onzichtbare verandering in een afbeelding te fluisteren—zoals het toevoegen van een paar stofjes aan een foto van een panda. Voor onze ogen ziet het nog steeds uit als een panda, maar de computer schreeuwt plotseling: "Dat is een broodrooster!" Dit wordt een "adversarial attack" genoemd. Dit is een enorm probleem, want als we deze slimme systemen er niet op kunnen vertrouwen dat ze de wereld correct zien, kunnen we ze niet gebruiken voor belangrijke taken zoals zelfrijdende auto's of medische diagnoses. Hackers hebben slimme manieren gevonden om dit te doen, zelfs wanneer ze de hersenen van de computer niet kunnen zien, simpelweg door de computer steeds opnieuw vragen te stellen en te kijken hoe hij van gedachten verandert.

Maak nu kennis met de helden van dit verhaal: een team van onderzoekers die besloot terug te vechten met een truc van hun eigen. Ze noemen hun nieuwe verdediging "Random Logit Scaling" (RLS). Denk aan de hersenen van de computer als een chef die een soep proeft en beslist of deze "zeer zout" of "licht zout" is. Normaal gesproken geeft de chef een precies getal, zoals "8 van de 10". Maar de hacker gebruikt dat getal om precies uit te rekenen hoe ze het recept moeten aanpassen om de soep naar iets anders te laten smaken.

Het idee van de onderzoekers is simpel maar briljant: wat als de chef liegt? Elke keer dat de hacker vraagt: "Hoe zout is dit?", besluit de chef willekeurig het antwoord met een geheim getal te vermenigvuldigen. Soms zegt de chef "16 van de 10" (waardoor het lijkt alsof het superzout is), en andere keren "0,8 van de 10" (waardoor het lijkt alsof het nauwelijks zout is). De chef weet nog steeds dat de soep zout is, dus serveert hij nog steeds het juiste gerecht (het juiste antwoord), maar de getallen die hij uitroept zijn volledig door elkaar gehusseld.

Dit is waar de magie gebeurt. De hacker, die probeert een wiskundige puzzel op te lossen om de computer te misleiden, merkt plotseling dat de aanwijzingen die hij krijgt alle kanten op gaan. De ene seconde gaan de getallen omhoog, de volgende seconde gaan ze omlaag, en het patroon is zo chaotisch dat de hacker volledig in de war raakt. Het is alsof je probeert een verborgen schat te vinden wanneer de kaart de locatie van de X elke keer dat je kijkt, verandert. De onderzoekers hebben dit getest tegen enkele van de slimste, meest agressieve hackers ter wereld. Ze ontdekten dat deze simpele truc het succespercentage van de hackers drastisch deed dalen—soms wel met maar liefst 80%—zonder de computer langzamer of minder nauwkeurig te maken in zijn werkelijke taak.

Echter, het artikel waarschuwt ons ook dat niet alle verdedigingen perfect zijn. Ze keken naar een andere populaire verdediging genaamd "AAA", die probeert de getallen op een specifieke, voorspelbare manier te hervormen om hackers te verwarren. De onderzoekers lieten zien dat als een hacker bekend is met deze truc, hij zich kan aanpassen en erdoorheen kan breken, een beetje zoals een slotenmaker die het specifieke patroon van een nieuw slot leert. Maar de Random Logit Scaling-verdediging is anders omdat deze pure willekeur gebruikt, wat het veel moeilijker maakt om te voorspellen of te breken.

Kortom, het artikel suggereert dat door een laag van willekeurige ruis toe te voegen aan de vertrouwensscores van de computer, we een "fog of war" (mist van de oorlog) voor aanvallers kunnen creëren. De computer blijft scherp en accuraat, maar de hacker blijft tastend in het duister, niet in staat om het pad te vinden om de computer te misleiden. Het is een lichtgewicht, gemakkelijk te gebruiken schild dat geen herstructurering van de hele computer vereist, maar slechts een simpele aanpassing aan de manier waarop hij zijn antwoorden geeft. Hoewel het de getallen verandert die de computer uitroept (wat belangrijk kan zijn voor sommige zeer specifieke taken), houdt het de uiteindelijke beslissing correct en maakt het het extreem moeilijk voor hackers om problemen te veroorzaken.

Technische Samenvatting: Random Logit Scaling (RLS)

Probleemstelling

Deep neural networks (DNN's) worden steeds vaker ingezet in kritieke domeinen zoals beeldclassificatie, gezichtsherkenning en malware-detectie. Deze modellen blijven echter kwetsbaar voor adversarial example-aanvallen, waarbij inputs worden verstoord met nauwelijks waarneembare ruis om misclassificatie te veroorzaken. Hoewel vroeg onderzoek zich richtte op white-box scenario's, hebben recente ontwikkelingen krachtige black-box score-gebaseerde aanvallen voortgebracht. In deze scenario's hebben aanvallers geen toegang tot modelparameters, maar kunnen ze het model bevragen om betrouwbaarheidsscores (waarschijnlijkheidsvectoren) te verkrijgen. Opvallende aanvallen, zoals de Square-attack, kunnen succesvolle adversarial examples genereren met slechts tientallen queries, wat een aanzienlijke bedreiging vormt voor de betrouwbare inzetbaarheid van ML-modellen.

Bestaande verdedigingen kampen met een kritiek dilemma. Adversarial Training (AT) verbetert de robuustheid, maar gaat vaak ten koste van de nauwkeurigheid op benigne samples en brengt hoge computationele kosten met zich mee. Ensemble-methoden vergroten de robuustheid, maar verhogen de opslag- en implementatieoverhead. Randomisatie-gebaseerde verdedigingen (bijv. het toevoegen van ruis aan inputs of logits) bieden een lichter alternatief, maar leiden frequent tot verminderde modelnauwkeurigheid en significante verstoring van betrouwbaarheidsscores, wat nadelig kan zijn in toepassingen die afhankelijk zijn van gekalibreerde waarschijnlijkheden. Bovendien is gebleken dat deterministische verdedigingen zoals Adversarial Attack on Attackers (AAA) kwetsbaar zijn voor adaptieve aanvallen.

Methodologie

1. Random Logit Scaling (RLS)

De primaire bijdrage van dit werk is Random Logit Scaling (RLS), een plug-and-play, post-processing verdediging die specifiek is ontworpen voor black-box score-gebaseerde aanvallen.

Mechanisme: RLS werkt door de output-logits ( $z$ ) van het model te schalen met een willekeurige coëfficiënt ( $m$ ) die wordt getrokken uit een continue uniforme verdeling $U(a, b)$ , waarbij $a, b > 0$ . De geschaalde logits worden gedefinieerd als $z' = m \times z$ .
Kernintuïtie: De verdediging beoogt de aanvaller te verwarren door gefalsificeerde betrouwbaarheidsscores te produceren, terwijl de rangorde van de klassen behouden blijft. Omdat de schalfactor $m$ positief is, blijft de relatieve volgorde van de logits ongewijzigd, waardoor de voorspelde label (top-1 klasse) hetzelfde blijft. Echter, de absolute waarden van de logits en de verschillen tussen klassen fluctueren willekeurig bij elke query.
Impact op aanvallen:
- Gradiëntschatting: Aanvallen die vertrouwen op zeroth-order optimalisatie (bijv. NES, ZOO) proberen gradiënten te schatten op basis van scoreverschillen. RLS introduceert ruis in deze scoreverschillen, wat leidt tot gefalsificeerde gradiëntschattingen.
- Random Search: Aanvallen zoals de Square-attack gebruiken zoekmethoden om richtingen te vinden die de loss reduceren. RLS zorgt ervoor dat de objectieffunctiewaarden onvoorspelbaar fluctueren (bijv. een query met een kleine $m$ kan een misleidend lage score opleveren), waardoor de aanvaller wordt misleid om suboptimale richtingen te kiezen of geldige richtingen over te slaan.
Implementatie: RLS vereist geen hertraining van het onderliggende model. Het is een lichtgewicht, moeiteloze toevoeging die bovenop elk bestaand ML-model kan worden geïmplementeerd.

2. De Pendulum Attack

Om de kwetsbaarheid van bestaande niet-gerandomiseerde verdedigingen aan te tonen, introduceren de auteurs een nieuwe adaptieve aanval genaamd de Pendulum attack, die gericht is op AAA-sine (een state-of-the-art verdediging die de loss-functie hervormt naar een sine-achtige curve).

Mechanisme: Standaard aanvallen raken gevangen in lokale minima gecreëerd door de sine-vormige loss-functie. De Pendulum attack overwint dit door iteratief van richting te wisselen. Als de aanvaller de loss niet voor $k$ opeenvolgende iteraties kan verlagen, wisselt hij naar de tegenovergestelde richting (het verhogen van de loss). Als de aanveler de loss niet voor een volgende $k$ iteraties kan verhogen, wisselt hij weer terug. Deze oscillatie stelt de aanvaller in staat om lokale minima en maxima gegenereerd door de verdediging te ontsnappen.
Resultaat: Deze adaptieve strategie omzeilt AAA-sine succesvol, waarbij de attack success rate met meer dan 35% toeneemt vergeleken met standaard aanvallen.

Belangrijkste Bijdragen

Voorstel van RLS: Een lichtgewicht, moeiteloze verdediging die het succespercentage van state-of-the-art black-box score-gebaseerde aanvallen aanzienlijk vermindert terwijl de modelnauwkeurigheid behouden blijft.
Analyse van Logit Scaling: Het artikel biedt een theoretische en empirische analyse die laat zien hoe willekeurige logit scaling de objectieffuncties corrumpeert die worden gebruikt door zowel gradiënt-gebaseerde als zoek-gebaseerde aanvallers, zonder de voorspelde klasse te wijzigen.
Adaptieve Aanval (Pendulum): De introductie van de Pendulum attack demonstreert de kwetsbaarheid van deterministische verdedigingen zoals AAA voor adaptieve strategieën, wat het voordeel van gerandomiseerde verdedigingen zoals RLS benadrukt.
Uitgebreide Evaluatie: Uitgebreide experimenten op de CIFAR-10 en ImageNet datasets met zes SOTA aanvallen (NES, Bandit, Square, SignHunter, ZO-signSGD, en BruSLe) over $\ell_\infty$ , $\ell_2$ , en $\ell_0$ normruimtes.

Experimentele Resultaten

De auteurs hebben RLS geëvalueerd tegen vier baselines: Random Noise Defense (iRND), Randomized Feature Defense (RFD), Boundary Defense (oRND), en AAA.

Robuustheid: RLS presteert aanzienlijk beter dan de baselines in het weerstaan van aanvallen. Zo verminderde RLS op de CIFAR-10 dataset met ResNet-18 de success rate van de Square attack van 100% (geen verdediging) naar 59,85% (met bereik 0,5–10) en verder naar 43,05% (met bereik 0,5–1000). Tegen de Bandit attack verminderde RLS de success rates tot zo laag als 1,56%.
Nauwkeurigheidbehoud: In tegen tegenstelling tot iRND, RFD en oRND, die nauwkeurigheidsdalingen veroorzaken variërend van 0,32% tot 3,95%, handhaaft RLS een 0% nauwkeurigheidsverlies over alle geteste modellen en configuraties omdat het de klasse-rangorde behoudt.
Distortie van Betrouwbaarheidsscores: Hoewel RLS de betrouwbaarheidsscores wel distorteert, veroorzaakt het over het algemeen minder distortie (gemeten door de L2-norm van de verschillen in de waarschijnlijkheidsvector) dan iRND en RFD. De paper merkt echter op dat RLS de Expected Calibration Error (ECE) meer verhoogt dan RFD en AAA, maar minder dan iRND.
Query Efficiëntie: RLS dwingt aanvallers om aanzienlijk meer queries te gebruiken om succesvol te zijn. Bijvoorbeeld, tegen de Square attack op ResNet-18 steeg het gemiddelde aantal queries dat nodig is voor een succesvolle aanval van ~115 (geen verdediging) naar ~735 (RLS 0,5–10).

Betekenis en Claims

Het artikel claimt dat RLS een unieke oplossing biedt voor de robustness-performance trade-off. Door de verdediging los te koppelen van het trainingsproces en gebruik te maken van randomisatie die de klasse-rangorde behoudt, maakt RLS de inzet van test-time verdedigingen mogelijk zonder:

Het opofferen van de modelnauwkeurigheid op benigne samples.
Het dragen van de computationele overhead van adversarial training of ensemble-methoden.
Het vereisen van complexe architecturale wijzigingen.

De auteurs positioneren RLS als bijzonder geschikt voor toepassingen waarbij het behoud van top-1 voorspellingsnauwkeurigheid van cruciaal belang is. Ze erkennen een trade-off: hoewel RLS de robuustheid verbetert, kan de distortie van betrouwbaarheidsscores extra kalibratietechnieken vereisen voor toepassingen die zwaar afhankelijk zijn van precieze waarschijnlijkheidsinschattingen (bijv. medische diagnose of out-of-distribution detectie). Het werk concludeert dat gerandomiseerde verdedigingen zoals RLS een veerkrachtiger barrière vormen tegen adaptieve aanvallers dan deterministische methoden zoals AAA.