Faults That Fortify: CNN Adversarial Robustness via GPU Undervolting

Moderne computers zijn bijzonder goed geworden in zien. Ze kunnen een tumor identificeren in een medische scan, een voetganger herkennen op een drukke straat, of door miljoenen foto's zoeken om een specifiek gezicht te vinden. Deze vaardigheid komt voort uit een type software dat een neuraal netwerk wordt genoemd, dat is ontworpen om de manier waarop het menselijk brein informatie verwerkt na te bootsen. Deze systemen leren door naar enorme hoeveelheden data te kijken en hun interne instellingen aan te passen totdat ze nauwkeurige voorspellingen kunnen doen. Dit leerproces is echter ongelooflijk veeleisend. Het vereist krachtige, energieverslindende computerchips die aanzienlijke hitte genereren en grote hoeveelheden elektriciteit verbruiken. Bovendien zijn deze systemen fragiel. Een persoon kan een minuscule, bijna onzichtbare verandering aan een afbeelding aanbrengen — iets wat een mens nooit zou opmerken — en de computer kan er plotseling van overtuigd zijn dat een stopbord een snelheidsbord is. Deze kwetsbaarheid, bekend als een adversarial attack (adversariële aanval), vormt een serieus risico voor veiligheidskritische toepassingen zoals zelfrijdende auto's. Onderzoekers zoeken al lang naar manieren om deze systemen zowel veiliger tegen dergelijke trucjes als efficiënter in hun energieverbruik te maken, waarbij ze deze twee doelen vaak als afzonderlijke uitdagingen behandelen.

Een team van onderzoekers aan de George Mason University en andere instellingen heeft een manier ontdekt om beide problemen tegelijk aan te pakken door iets te doen dat tegenintuïtief klinkt: ze hebben de computerchip tijdens het leren doelbewust verzwakt. In plaats van de grafische processor op zijn standaard, volledige vermogen te laten draaien, hebben ze de elektrische spanning die erdoorheen wordt geleverd verlaagd. In de wereld van de elektronica is spanning de druk die elektriciteit door een circuit duwt. Wanneer je deze druk vermindert, worden de transistors binnen de chip, die fungeren als kleine schakelaars, minder betrouwbaar. Ze kunnen iets te vroeg of iets te laat aan- of uitschakelen, wat kleine, willekeurige fouten in de berekeningen veroorzaakt. Normaal gesproken doen ingenieurs er alles aan om deze fouten te voorkomen, omdat ze een systeem kunnen laten crashen of onbruikbare gegevens kunnen produceren. Maar in dit specifieke onderzoek behandelden de onderzoekers deze glitches niet als fouten, maar als een kenmerk.

Het team zette een reeks experimenten op met drie verschillende soorten beeldherkenningsmodellen, variërend van een eenvoudig, klassiek ontwerp tot een complexer, moderner ontwerp. Ze trainden deze modellen op twee standaard sets afbeeldingen: één met handgeschreven cijfers en een andere met kleine, kleurrijke plaatjes van alledaagse objecten zoals katten, honden en vliegtuigen. Voor elk model voerden ze twee versies van het trainingsproces uit. In de eerste versie draaide de computerchip op zijn normale, stabiele spanning. In de tweede versie hadden de onderzoekers de spanning zorgvuldig genoeg verlaagd om een constante stroom van kleine, willekeurige rekenfouten te introduceren, maar niet zo veel dat de training volledig zou mislukken. Ze ontdekten dat de chip op een spanning van ongeveer 0,8 volt kon werken, af van de standaard 1,03 volt, zonder kapot te gaan. Deze vermindering van de elektrische druk leidde tot een aanzienlijke daling in het energieverbruik, waarbij de meest efficiënte modellen bijna 39 procent minder stroom gebruikten dan hun standaard tegenhangers.

De resultaten van deze aanpak waren verrassend. Wanneer de onderzoekers hun modellen testten tegen geavanceerde aanvallen die bedoeld waren om hen te misleiden, presteerden de modellen die getraind waren met de zwakkere, "ruizige" spanning consequent beter dan de modellen die onder normale omstandigheden waren getraind. De willekeurige fouten die tijdens de leerfase werden geïntroduceerd, fungeerden als een vorm van onzichtbaar trainingsgewicht. Net zoals een gewichtheffer die traint met iets ongelijkmatige gewichten wellicht een beter evenwicht en kracht ontwikkelt, leerde het neurale netwerk om kleine verstoringen te negeren en zich te concentreren op de essentiële kenmerken van de afbeeldingen. Dit maakte het uiteindelijke model veel moeilijker te misleiden. De onderzoekers testten dit door de modellen duizenden licht aangepaste afbeeldingen te voeden, ontworpen om de computer te verwarren, en de modellen die getraind waren met de lagere spanning behielden hun nauwkeurigheid veel langer dan de standaardmodellen.

Deze verbetering bleef ook waar wanneer de modellen al werden getraind met geavanceerde beveiligingstechnieken die specifiek zijn ontworpen om aanvallen te bestrijden. Meestal maakt het toevoegen van extra beveiligingsmaatregelen een systeem trager en duurder in gebruik. Hier ontdekten de onderzoekers dat de eenvoudige handeling van het verlagen van de spanning de beveiligingstraining zelfs effectiever maakte. De modellen die onder de lagere spanning waren getraind, waren niet alleen robuuster tegen aanvallen, maar vereisten ook minder energie om te creëren. De onderzoekers observeerden dat de fouten veroorzaakt door de lagere spanning zeer specifiek waren. Ze beïnvloedden vooral de minst belangrijke delen van de getallen die de computer berekende, waardoor een milde, willekeurige ruis ontstond in plaats van een catastrofale fout. Deze ruis was klein genoeg zodat de computer nog steeds de juiste antwoorden kon leren, maar frequent genoeg om het systeem te dwingen een meer stabiele manier te vinden om over de data na te denken.

De studie suggereert dat er een 'sweet spot' bestaat in de werking van hardware waarbij een beetje instabiliteit juist kan leiden tot grotere betrouwbaarheid. Door een gecontroleerde hoeveelheid fouten te accepteren tijdens de trainingsfase, waren de onderzoekers in staat om systemen te bouwen die zowel taaiere als groenere zijn. Deze aanpak vereist geen wijziging in de softwarecode of de algoritmen die worden gebruikt om de computer te onderwijzen; het houdt simpelweg in dat men een knop op de hardware omdraait om het vermogen te verlagen. Hoewel de onderzoekers opmerkten dat de voordelen iets minder uitgesproken waren in de grootste en meest complexe modellen, waarschijnlijk omdat die modellen meer lagen hebben om de kleine fouten te absorberen, was de algemene trend duidelijk. Het werk opent een nieuw pad voor het maken van kunstmatige intelligentie veerkrachtiger en duurzamer, en laat zien dat je soms, om een systeem sterker te maken, het een beetje moet laten struikelen terwijl het leert.