Technische Samenvatting: HTell - Snelle en Lichtgewicht Achterdeurdetectie via Willekeurige Hoofdsonderzoek

1. Probleemstelling

Diepe neurale netwerken (DNN's) die worden ingezet in veiligheidskritieke toepassingen zijn kwetsbaar voor achterdeuraanvallen, waarbij modellen zich normaal gedragen op onschadelijke invoer maar een door de aanvaller gespecificeerd doellabel voorspellen wanneer een verborgen trigger aanwezig is. Naarmate platformen voor het delen van modellen van derden groeien, is de mogelijkheid om vooraf getrainde modellen te auditeren zonder toegang tot de originele trainingsdata of -pipelines kritiek geworden.

Bestaande methoden voor detectie na training ondervinden twee primaire beperkingen:

1. Hoge Rekenkosten: Veel state-of-the-art detectoren vertrouwen op gradiëntgebaseerde triggerreconstructie of optimalisatie in de latente ruimte (bijv. NC, BARBIE). Deze methoden vereisen vaak uren of zelfs dagen om een enkel model te inspecteren, wat een ernstig efficiëntieverschil creëert met moderne aanvallen die achterdeuren in milliseconden kunnen injecteren.
2. Beperkte Robuustheid: Huidige detectoren vertonen vaak gevoeligheid voor specifieke datasets, architecturen, triggerpatronen en vergiftigingspercentages. Veel ervan vereisen toegang tot schone data, surrogaatdata of modelgradiënten, wat hun toepasbaarheid beperkt in praktische "data-vrije" auditscenario's waar alleen het verdachte model beschikbaar is.

2. Methodologie: HTell

De auteurs stellen HTell voor, een snelle, lichtgewicht en data-vrije achterdeurdetector die de focus van detectie verschuift van het reconstrueren van diverse triggerpatronen naar het inspecteren van hun verenigde manifestatie in de voorspellingshoofd van het model.

Kernintuïtie

Terwijl de modelruggengraat kenmerken extrahert, bepaalt het voorspellingshoofd ($H$) de uiteindelijke logits. De auteurs observeren dat achterdeurimplantatie de beslissingsregio van de doelfklasse in de latente ruimte neigt te vergroten of te vervormen. Bijgevolg is de kans groter dat willekeurige latente sondes die rechtstreeks in het hoofd worden ingevoerd, worden geclassificeerd als het achterdeerdoel of abnormaal geconcentreerde reacties produceren in vergelijking met onschadelijke modellen, die gebalanceerde reacties over de klassen heen vertonen.

Algoritmische Werkstroom

1. Architectuurbewuste Sondegeneratie:

   • HTell vereist geen echte data. In plaats daarvan queryt het de modelruggengraat met een kleine batch willekeurige invoerruis om een grove activeringsrange ($S_{noise}$) te schatten.
   • Op basis van de activerings eigenschappen van de netwerkarchitectuur genereert het isotrope willekeurige latente sondes ($h_{probe}$):
     • Uniforme Sondes ($U[0, 1]$): Gebruikt voor modellen met niet-negatieve activeringen (bijv. ReLU-gebaseerde hoofden zoals VGG, ResNet).
     • Gaussische Sondes ($N(0, \sigma^2)$): Gebruikt voor modellen met getekende of genormaliseerde activeringen (bijv. BatchNorm, LayerNorm). De variantie $\sigma$ is afgeleid van de waargenomen activeringsrange.
     • Speciaal Geval: Voor architecturen zoals SqueezeNet die Global Average Pooling (GAP) gebruiken, worden Gaussische sondes gebruikt om ervoor te zorgen dat sterke positieve reacties de poolingsoperatie overleven.

2. Hoofdsonderzoek en Analyse:

   • De gegenereerde sondes worden rechtstreeks in het hoofd van het model ($H$) gevoerd, waarbij de ruggengraat wordt omzeild.
   • Het hoofd voorspelt logits en kansen voor alle klassen.
   • HTell analyseert klassenspecifieke reactiestatistieken met behulp van twee indicatoren:
     • Gemiddelde Class Zekerheid ($r_{mean}$): De gemiddelde voorspelde waarschijnlijkheid voor elke klasse over alle sondes.
     • Class Kans Norm ($r_{l2}$): De L2-norm van het kansvector, die de concentratie van de verdeling kwantificeert.
   • Beslissingsregel: Als de maximale reactiestatistiek voor een klasse een gekalibreerde drempel $\tau$ overschrijdt, wordt het model gemarkeerd als achterdeur-bevattend, en wordt die klasse geïdentificeerd als het doel.

3. Belangrijkste Bijdragen

• Verenigde Hoofd-niveau Manifestatie: Het paper identificeert dat diverse achterdeuraanvallen, ongeacht triggerpatroon of injectiemethode, een verenigde manifestatie delen: een abnormale concentratie van reacties op de doelfklasse onder willekeurig latente sondering.
• HTell Framework: Een lichtgewicht detector die geen echte data, geen surrogaatdata, geen gradiënten en geen parameteroptimalisatie vereist. Het werkt uitsluitend door het modelhoofd te queryen met willekeurige ruis.
• Grootschalige Benchmark: De auteurs hebben een uitgebreide benchmark samengesteld met meer dan 6.000 achterdeur-bevattende modellen en 700 schone modellen. Dit dekt 4 datasets (MNIST, CIFAR10, GTSRB, TinyImageNet), 14 architecturen (van ondiepe CNN's tot Vision Transformers) en 21 soorten aanvallen (inclusief patch, gemengde, kenmerkrum-ruimte, schone-label, SSL en parameter-modificatie aanvallen).

4. Experimentele Resultaten

Geëvalueerd op de grootschalige benchmark, toont HTell superieure prestaties in zowel nauwkeurigheid als efficiëntie:

• Detectienauwkeurigheid: HTell bereikt een 99,03% True Positive Rate (TPR) en een 2,11% False Positive Rate (FPR) gemiddeld. Het behoudt hoge nauwkeurigheid over diverse triggers (adaptieve patches, LOTUS), vergiftigingspercentages en netwerkgroottes.
• Efficiëntie: De gemiddelde detectielatentie is 12,69 ms per model op een NVIDIA RTX 3090 GPU. Dit vertegenwoordigt een reductie in tijdkosten van meer dan 30.000× in vergelijking met representatieve gradiëntgebaseerde detectoren (bijv. NC, BARBIE), die vaak uren nodig hebben.
• Robuustheid:
  • HTell presteert beter dan baselines (NC, FeatureRE, DF-TND, DQ, FreeEagle, MM-BD, BARBIE) over alle geteste datasets en architecturen.
  • Het detecteert effectief complexe aanvallen, waaronder adaptieve patch-aanvallen, schone-label-aanvallen (via een variant HTell-SIM) en achterdeuren voor zelftoezichtleren (SSL).
  • Het blijft effectief zelfs in scenario's met een "vergiftigd modeldierentuin" waar de kalibratieset zelf achterdeur-bevattende modellen kan bevatten.
• Adaptieve Aanvallen: Het paper merkt op dat HTell kan worden omzeild als een aanvaller de hoofdparameters bevriest of regulariseert om overeen te komen met andere klassen. De auteurs suggereren echter dat het verplaatsen van het sondepunt naar het laatste kenmerkblok van de ruggengraat de detectiesnelheid in dergelijke gevallen kan herstellen.

5. Betekenis en Claims

Het paper beweert dat willekeurig hoofdsonderzoek een nauwkeurige, robuuste en uiterst efficiënte oplossing biedt voor grootschalige, data-vrije auditing van achterdeur-modellen. Door de rekenkundige overhead van triggerreconstructie en gradiëntbackpropagatie te vermijden, adresseert HTell de kritieke asymmetrie tussen de snelheid van moderne achterdeurinjectie en de traagheid van bestaande detectiemethoden.

De auteurs positioneren HTell als een praktisch hulpmiddel voor betrouwbare DNN-implementatie, waardoor het snel screenen van modelopslag mogelijk wordt waar toegang tot trainingsdata of gradiënten niet beschikbaar is. Hoewel de methode voornamelijk is gevalideerd op beeldclassificatie, bespreken de auteurs de potentiële uitbreiding naar objectdetectie en versterkend leren, waarbij wordt opgemerkt dat taakspecifieke sondepunten voor die domeinen vereist zullen zijn.