Detecting Backdoors in Object Detection via Pre-NMS Prediction Distribution Shift
Het artikel introduceert DistScan, een framework voor de detectie van backdoors in objectdetectiemodellen dat scène-niveau aanvallen identificeert door afwijkingen in de klasseverdelingen van pre-NMS voorspellingen op schone inputs te meten, waarbij het een significant hogere nauwkeurigheid bereikt dan bestaande methoden zonder dat kennis van de trigger of toegang tot het model vereist is.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne wereld werken camera's en computers samen om de fysieke wereld te zien. Ze identificeren auto's, voetgangers en verkeersborden in realtime, een technologie die zelfrijdende voertuigen aanstuurt en de openbare veiligheid bewaakt. Deze systemen vertrouwen op kunstmatige intelligentie-modellen die getraind zijn om specifieke objecten te herkennen. Echter, deze modellen kunnen geheim worden gecompromitteerd voordat ze ooit worden gebruikt. Een kwaadwillende actor kan het trainingsproces vergiftigen, waarbij een trigger wordt verborgen die het model dwingt zich vreemd te gedragen wanneer het een specifiek patroon ziet, zoals een kleine sticker of een bepaalde kleur. Op normale dagen werkt het systeem perfect, maar op het moment dat de verborgen trigger verschijnt, kan het er bijvoorbeeld niet in slagen een persoon te zien of een nepobject te verzinnen waar niets bestaat. Dit is een backdoor-aanval (achterdeur-aanval). Het gevaar schuilt in het feit dat het model normaal lijkt en functioneert totdat de trigger aanwezig is, waardoor het bijna onmogelijk is om dit via standaardtesten te ontdekken.
Onderzoekers worstelen al lang met het vinden van deze verborgen gebreken, vooral in complexe systemen die veel objecten tegelijkertijd detecteren. Bestaande methoden proberen vaak de verborgen trigger terug te ontwerpen (reverse-engineering) of zoeken naar specifieke eigenaardigheden in hoe de software is gebouwd, maar deze benaderingen falen vaak wanneer de aanval een hele scène beïft in plaats van slechts één object. Een nieuwe studie introduceert een andere manier om naar deze problemen te kijken. In plaats van te zoeken naar de verborgen trigger zelf, onderzochten de onderzoekers de interne gewoonten van het model. Ze ontdekten dat wanneer een model geheim is vergiftigd, de interne voorspellingen van het model verschuiven op een manier die de training verraden, zelfs wanneer het naar een volkomen schone afbeelding kijkt zonder trigger.
Het team, onder leiding van Longtian Wang en Zhengyu Zhao, heeft een methode ontwikkeld genaamd DistScan om deze gecompromitteerde modellen te vangen. Hun aanpak rust op een eenvoudige observatie over hoe deze computervisie-systemen leren. Wanneer een model wordt getraind op een grote set afbeeldingen, leert het niet alleen hoe objecten eruitzien, maar ook hoe gebruikelijk elk object is. Als een dataset veel foto's van auto's bevat en zeer weinig van fietsen, verwacht het model van nature meer auto's te zien. Deze verwachting wordt onderdeel van de interne logica van het model. De onderzoekers ontdekten dat wanneer een aanvaller een backdoor injecteert, deze interne balans wordt verstoord. Het model begint bepaalde objecten vaker of minder vaak te voorspellen dan het zou moeten, zelfs wanneer het naar een normale, veilige afbeelding kijkt.
Om dit te testen, hadden de onderzoekers niet de kennis nodig van hoe de verborgen trigger eruitzag, noch hoefden ze de originele trainingsdata te zien of toegang te hebben tot de interne code van het model. Ze voerden simpelweg een klein aantal schone afbeeldingen in het model en observeerden wat het voorspelde voordat het een definitieve beslissing nam. Ze telden hoe vaak het model elk type object raadde. In een gezond model kwamen deze gissingen overeen met de natuurlijke frequentie van objecten in de echte wereld. In een vergiftigd model waren de gissingen scheefgetrokken, wat een duidelijke onbalans liet zien die daar niet thuishoorde. Door de voorspellingen van het model te vergelijken met de bekende statistieken van de trainingsdata, kon het systeem een model als gevaarlijk markeren als de cijfers niet klopten.
De onderzoekers testten deze methode op twee belangrijke soorten detectiesystemen en twee grote, standaard datasets die door wetenschappers wereldwijd worden gebruikt. Ze creëerden honderden modellen, waarvan sommige schoon waren en andere geheim vergiftigd met drie verschillende soorten aanvallen. Deze aanvallen omvatten trucs die objecten lieten verdwijnen, trucs die het model dingen lieten zien die er niet waren, en trucs die veranderden wat een object werd genoemd. De nieuwe methode, DistScan, identificeerde de vergiftigde modellen succesvol met een gemiddelde nauwkeurigheid van bijna 97 procent. In contrast hiermee faalden de beste bestaande methoden volledig in veel van deze scenario's, waarbij ze vaak niet beter presteerden dan willekeurige gokken. De studie toonde aan dat DistScan even goed werkte op verschillende soorten modelarchitecturen, wat bewees dat de verschuiving in voorspellingspatronen een universeel teken is van een backdoor.
Een van de meest significante bevindingen was dat deze methode werkt, zelfs wanneer de aanval is ontworpen om onzichtbaar te zijn voor traditionele detectietools. Sommige moderne aanvallen zijn "scène-niveau" aanvallen, wat betekent dat een enkele verborgen trigger het model doet ontsporen over de gehele afbeelding, waardoor elk object dat het tegelijkertijd ziet wordt beïnvloed. Eerdere tools faalden hier omdat ze gebouwd waren om een enkele, gelokaliseerde trigger te vinden die een enkel object beïnvloedt. DistScan slaagde omdat het naar het grote plaatje keek: de algemene distributie van wat het model dacht te zien. De onderzoekers visualiseerden deze verschillen en ontdekten dat de voorspellingen van vergiftigde modellen een duidelijke cluster vormden die ver af lag van de voorspellingen van gezonde modellen, wat een duidelijke scheiding creëerde die gemakkelijk te meten was.
De studie onderzocht ook hoe de test het meest effectief gemaakt kon worden door aan te passen hoe de afbeeldingen aan het model werden gepresenteerd. Ze ontdekten dat voor sommige typen systemen het invoeren van volledige afbeeldingen het beste werkte, terwijl voor andere het tonen van uitgesneden afbeeldingen van enkele objecten betrouwbaarder was. Dit zorgde ervoor dat de test overeenkwam met de manier waarop het model oorspronlijk getraind was om de wereld te zien. Ze bepaalden ook het juiste niveau van vertrouwen om zwakke gissingen eruit te filteren, zodat alleen betekenisvolle voorspellingen werden geteld. Door deze zorgvuldige aanpassingen bleef de methode robuust en accuraat in alle verschillende scenario's die ze testten.
Dit werk biedt een praktische tool voor iedereen die de veiligheid van een objectdetectiesysteem moet verifiëren voordat het in gebruik wordt genomen. Het vereist geen speciale kennis van de aanval, geen toegang tot de interne gewichten van het model en geen extra trainingstijd. Door simpelweg te controleren of de interne verwachtingen van het model overeenkomen met de realiteit van de data waarop het getraind is, biedt DistScan een betrouwbare manier om verborgen gevaren te spotten. De onderzoekers hopen dat deze aanpak de focus van beveiligingsonderzoek zal verschuiven naar deze distributionele signalen, wat een bredere en meer principiële verdediging biedt tegen de groeiende dreiging van backdoor-aanvallen in kritieke veiligheidstoepassingen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.