Multi-Task Consistency-based Detection of Adversarial Attacks

Stel je voor dat je een auto bestuurt die de wereld ziet via een camera, niet alleen met ogen. Deze auto gebruikt een speciaal soort computerbrein genaamd een Deep Neural Network (DNN) om te begrijpen wat hij ziet. Het moet verkeerslichten herkennen, borden lezen en andere auto's vinden om veilig te kunnen rijden. Maar hier komt het lastige gedeelte bij: deze computerbreinen kunnen worden bedrogen. Als iemand een minuscuul, bijna onzichtbaar stipje "ruis" aan een plaatje toevoegt — zoals een paar pixels die op een heel specifieke manier zijn verschoven — kan de computer denken dat een stopbord een snelheidsbord is, of ziet hij een voetganger helemaal niet. Dit wordt een "adversarial attack" genoemd, en het is als een goocheltruc van een illusionist voor computers. Omdat deze trucjes zo gemakkelijk kunnen voorkomen, zijn ingenieurs wanhopig op zoek naar een beveiligingssysteem dat kan detecteren wanneer iemand probeert het brein van de auto te misleiden voordat er een gevaarlijke fout wordt gemaakt.

Dit artikel introduceert een slimme nieuwe bewaker voor die zelfrijdende auto's. In plaats van te proberen het computerbrein onverwoestbaar te maken (wat moeilijk en duur is), stellen de auteurs een "teamwork"-aanpak voor. Ze merkten op dat als je twee verschillende computermodellen vraagt om naar dezelfde afbeelding te kijken — het ene getraind om dozen rond objecten te tekenen (Object Detection) en het andere getraind om de exacte vorm van die objecten te schilderen (Instance Segmentation) — ze meestal perfect met elkaar overeenstemmen. Maar wanneer een sluwe aanvaller probeert de boel te bedriegen met een trucje, beginnen de twee modellen met elkaar te discussiëren. De één ziet misschien een auto, terwijl de ander niets ziet, of ze zijn het niet eens over waar de auto zich precies bevindt. De auteurs hebben een systeem gebouwd dat naar deze discussie luistert. Als de twee modellen te veel van mening verschillen, schreeuwt het systeem: "Hé, deze afbeelding is gemanipuleerd!" en stopt het de auto met het gebruiken van die slechte data.

De onderzoekers testten dit idee met een enorme dataset van rijscènes genaamd BDD100k. Ze creëerden duizenden verraderlijke, "vergiftigde" afbeeldingen met een krachtige aanvallingsmethode genaamd PGD (Projected Gradient Descent) en keken hoe hun nieuwe systeem reageerde. Ze ontdekten dat hun "disagreement detector" ongelooflijk goed was in zijn werk. Wanneer ze hun systeem tegenover de aanvallers zetten, identificeerde het de bedrieglijke afbeeldingen maar liefst 99,9% van de tijd. Dit is een enorme score, wat betekent dat het systeem bijna nooit wordt gefopt.

Wat dit nog interessanter maakt, is hoe ze ontdekten welke modellen het beste samenwerken. Ze testten veel verschillende combinaties, zoals het koppelen van een model met een "ResNet50"-brein aan een model met een "ResNet101"-brein. Ze ontdekten dat de beste paren eigenlijk modellen zijn die van binnen erg op elkaar lijken. Het klinkt vreemd, toch? Je zou denken dat twee verschillende modellen beter zouden zijn, maar het artikel laat zien dat wanneer twee vergelijkbare modellen worden aangevallen, ze op verschillende manieren in de war raken, wat een luid en duidelijk argument creëert dat makkelijk te spotten is. Als de modellen te verschillend zijn, kunnen ze de aanval misschien volledig negeren of op dezelfde manier falen, waardoor het moeilijker is om te zien of er iets mis is.

Het team probeerde ook hun eigen detector te slim af te zijn. Ze creëerden een super-slimme "adaptive attacker" die probeerde beide modellen tegelijk te misleiden, terwijl hij hen dwong om het eens te worden over het foute antwoord. Zelfs met deze geavanceerde listigheid werkte de detector nog steeds goed en ontmaskerde de aanval in 95% van de gevallen. Dit suggereert dat hoewel aanvallers proberen te coördineren, de natuurlijke verschillen in hoe modellen informatie verwerken het zeer moeilijk maken om het hele team te misleiden.

Vergeleken met andere beveiligingsmethoden is deze aanpak als een lichtgewicht, snel lopende bewaker in plaats van een zware, trage tank. Andere methoden vereisen vaak het opnieuw trainen van het hele computerbrein of het toevoegen van enorme hoeveelheden extra code, wat de auto vertraagt. De auteurs vergeleken hun systeem met een beroemde verdediging genaamd "RobustDet". Hoewel RobustDet het model iets moeilijker te misleiden maakte, was het enorm groot (643 MB) en traag (11 frames per seconde). De nieuwe detector was echter veel kleiner (350 MB) en twee keer zo snel (20 frames per seconde), terwijl hij bijna elke aanval wist te vangen.

Kortom, dit artikel beweert niet een onverwoestbaar schild te hebben gebouwd. In plaats daarvan biedt het een slimme, efficiënte manier om te luisteren naar de barsten in het pantser. Door te letten op inconsistenties tussen twee verschillende manieren om de wereld te zien, kan het systeem detecteren wanneer de realiteit digitaal is aangepast. De auteurs suggereren dat deze methode een sleutelstuk in de puzzel kan zijn voor het veiliger maken van zelfrijdende auto's, waarbij ze bewijzen dat soms de beste manier om een leugenaar te betrappen is door hem met iemand anders te laten praten.