Detecting Trojaned DNNs via Spectral Regression Analysis

Technische Samenvatting: Detectie van Trojanized DNN's via Spectrale Regressieanalyse

Probleemstelling
Deep Neural Networks (DNN's) worden steeds vaker ingezet als evoluerende softwareartefacten die continue fijnafstemming ondergaan om nieuwe data op te nemen en zich aan te passen aan veranderende omgevingen. Deze evolutionaire workflow introduceert een aanzienlijk veiligheidsrisico: als de update-data niet volledig betrouwbaar is, kunnen tegenstanders vergiftigde samples injecteren om Trojaanse paarden (backdoors) te implanteren tijdens het fijnafstemmingsproces. Een met Trojanen besmet model behoudt een hoge nauwkeurigheid op schone invoer, maar vertoont door de aanvaller gekozen gedrag wanneer een specifieke, vaak onmerkbaar, trigger aanwezig is.

Bestaande verdedigingsmechanismen staan voor kritieke beperkingen. Benaderingen die controle over het trainingsproces veronderstellen (bijvoorbeeld data-sanitatie) zijn niet toepasbaar in supply-chain-scenario's waarbij de verdediger alleen een voorgetraind of bijgewerkt model ontvangt. Verdedigingen op het moment van inferentie vertrouwen vaak op het reconstrueren van triggerpatronen, een aanname die faalt tegen geavanceerde, invoer-afhankelijke of feature-ruimte-triggers. Bovendien proberen veel offline detectiemethoden triggers te reverse-engineeren zonder kennis van de vorm, locatie of zichtbaarheid van de trigger, waardoor ze kwetsbaar zijn voor diverse aanvalsstrategieën.

Methodologie: MIST
De auteurs stellen MIST (Model Incremental Spectra Tracking) voor, een aanpak voor Trojan-detectie die de focus verschuift van reconstructie van triggers op invoerniveau naar analyse van interne modelrepresentaties tijdens evolutie. MIST behandelt modelupdates als regressiegebeurtenissen, waarbij wordt beoordeeld of de door fijnafstemming veroorzaakte interne veranderingen consistent zijn met een onschuldige evolutie of wijzen op kwaadaardige modificatie.

De kern van MIST berust op Spectrale Analyse van pre-activaties. In plaats van individuele neuronactivaties te analyseren (die instabiel zijn over trainingsruns heen), vat MIST pre-activaties per laag samen als kansverdelingen (spectra). Deze spectra bieden een stabiele karakterisering van geleerde representaties die resistent is tegen ruis bij hertraining, maar gevoelig voor systematische veranderingen.

De methodologie werkt in twee fasen:

1. Tracking van Schone Spectra: Het systeem vestigt een referentieverdeling van spectrale veranderingen (Clean Spectra Distances Distribution, of CSDD) door onschuldige fijnafstemmingsovergangen te simuleren. Met behulp van een vertrouwd schone dataset traint het systeem herhaaldelijk een basismodel en stemt het dit fijn, waarbij de $L_2$-afstand wordt berekend tussen de pre-activatiespectra van het basismodel en het fijngestemde model voor elke klasse. Dit bouwt een statistische basislijn op van hoe onschuldige updates de interne toestand van het model veranderen.
2. Anomalie-detectie: Wanneer een nieuwe modelupdate ($M_{i+1}$) wordt geproduceerd vanuit een vorige checkpoint ($M_i$) met behulp van potentieel onbetrouwbare data, berekent MIST de spectrale afstand tussen de twee versies met behulp van een kleine, vertrouwde schone subset van de nieuwe data. Vervolgens berekent het de gekwadrateerde Mahalanobis-afstand van deze waargenomen verandering tegen de referentie-CSDD. Als de afwijking een statistisch afgeleide drempelwaarde overschrijdt (gebaseerd op een $\chi^2$-verdeling), wordt de update gemarkeerd als met Trojanen besmet.

Cruciaal is dat MIST geen kennis vereist van de trigger, de vergiftigde data of de aanvalstrategie. Het veronderstelt de beschikbaarheid van een schone referentiecheckpoint en een kleine schone subset van de update-data voor observatie, maar niet voor hertraining.

Belangrijkste Bijdragen

• Regressie-gebaseerd Perspectief: Het artikel herformuleert Trojan-detectie als een regressieprobleem over modelupdates, waarbij kwaadaardige modificaties worden gekarakteriseerd als abnormale afwijkingen in spectrale evolutie in plaats van als problemen van triggerreconstructie.
• MIST-techniek: De voorstelling van een praktische detectietechniek gebaseerd op pre-activatiespectra die fijngestemde updates valideert tegen een schone referentie.
• Uitgebreide Evaluatie: Een rigoureuze empirische studie over vier datasets (CIFAR-10, SVHN, GTSRB, CelebA) en acht verschillende Trojan-aanvallen (waaronder BadNet, Blended, Input-Aware, Refool, SIG, SSBA, TrojanNN en WaNet), waarbij MIST wordt vergeleken met drie state-of-the-art detectoren (Neural Cleanse, ABS, FeatuRE).

Experimentele Resultaten

• Spectrale Scheidbaarheid (RQ1): Spectrale afstanden scheiden met betrouwbare wijze Trojanized-modellen van schone fijngestemde modellen, met een gemiddelde ROC-AUC van 0,95 over alle aanval-datasetcombinaties. Dit bevestigt dat het plaatsen van Trojaanse paarden interne spectrale veranderingen induceert die verschillen van onschuldige evolutie.
• Detectie-effectiviteit (RQ2): In scenario's met een eenmalige update bereikt MIST een gemiddelde detectienauwkeurigheid van 0,95, wat significant beter is dan state-of-the-art baselines (FeatuRE: 0,75, ABS: 0,73, Neural Cleanse: 0,64). MIST vertoont een gunstig foutenprofiel met zeer lage rates voor vals-positieven, waardoor het geschikt is voor het valideren van modelupdates zonder vaak onschuldige exemplaren te verwerpen.
• Robuustheid (RQ3): Onder meervoudige stappen van onschuldige evolutie blijft MIST effectief met een gemiddelde nauwkeurigheid van 0,89. Prestatievermindering is geleidelijk en begrensd, en manifesteert zich voornamelijk als een toename van vals-positieven (door opgehoopte onschuldige drift) in plaats van gemiste detecties (vals-negatieven).

Betekenis en Claims
Het artikel claimt dat spectrale evolutie een stabiel en weinig aannames vereisend signaal biedt voor het detecteren van kwaadaardige modelupdates. Door zich te richten op veranderingen in de interne toestand in plaats van externe triggerpatronen, biedt MIST een robuuste verdediging tegen een breed scala aan Trojan-aanvallen, inclusief die met complexe of onzichtbare triggers. De auteurs benadrukken dat deze aanpak bijzonder geschikt is voor implementatieomgevingen waar modellen continu worden bijgewerkt en moeten worden gevalideerd voordat ze opnieuw worden ingezet, mits een schone referentiecheckpoint beschikbaar is. De resultaten suggereren dat spectrale analyse een fundamentele signatuur van kwaadaardige modificatie vastlegt die behouden blijft zelfs naarmate modellen evolueren, en biedt zo een betrouwbare alternatief voor verdedigingen gebaseerd op triggerreconstructie.