Technische Samenvatting: Van Interne Diagnose naar Externe Auditering

1. Probleemstelling

Deep Neural Networks (DNN's) blijven fundamenteel kwetsbaar voor backdoor-aanvallen, waarbij tegenstanders trainingsdata vergiftigen om verborgen triggers te implanteren die het gedrag van het model op specifieke inputs kapen, terwijl de prestaties op legitieme data behouden blijven. Het dreigingslandschap is geëvolueerd van opvallende patronen naar sluwe dynamische, clean-label en clean-image strategieën, waardoor traditionele detectie steeds moeilijker wordt.

In "Model-as-a-Service"-scenario's missen verdedigers vaak toegang tot schone trainingsdata of de interne gewichten van het slachtoffermodel, wat noodzaakt tot data-vrije verdediging tijdens de testtijd (data-free test-time defense). Huidig onderzoek wordt beperkt door het interne diagnoseparadigma, dat lijdt onder twee fundamentele kwetsbaarheden:

1. Model Reparatie Methoden: Deze inspecteren de interne eigenschappen van het slachtoffermodel (bijv. neuronale activatie-traces, Channel Lipschitzness). Ze falen tegen geavanceerde dynamische aanvallen die triggers expliciet optimaliseren om deze interne anomalieën te onderdrukken.
2. Input Robuustheid Methoden: Deze vertrouwen op input-perturbaties of consistentiecontroles. Ze falen tegen natuurlijke backdoors (bijv. clean-image aanvallen) waarbij de trigger een robuust semantisch kenmerk is dat via perturbatie niet te onderscheiden is van legitieme kenmerken.

De kernuitdaging is het ontwikkelen van een verdediging die robuust is over diverse aanvalmodaliteiten zonder afhankelijk te zijn van de interne staten van het gecompromitteerde model of fragiele aannames over de input.

2. Methodologie: PRISM

De auteurs stellen PRISM voor (Prototype Refinement & Inspection via Statistical Monitoring), een paradigmaverschuiving van interne diagnose naar Online Externe Semantische Auditering. Deze aanpak ontkoppelt de verdediging van het gecompromitteerde model door een universeel, vooraf getraind Vision-Language Model (VLM) te gebruiken als een onafhankelijke, "schone" auditor.

PRISM werkt als een test-time wrapper rondom het verdachte slachtoffermodel met een drie-pijler architectuur:

A. Dual Stream Inference Framework

Voor elke binnenkomende test-sample $x$ initieert het systeem twee gelijktijdige forward passes:

1. Victim Stream: Verwerkt $x$ door het potentieel gecompromitteerde model $f_S$ om voorspellingen en logits te verkrijgen.
2. Auditor Stream: Verwerkt $x$ door een bevroren, vertrouwbaar Universeel VLM (bijv. CLIP, Qwen-VL). Het VLM fungeert als een "Universele Docent", die een semantisch verificatiesignaal biedt op basis van zijn enorme, open-world kennis, die statistisch onafhankelijk is van de vergiftigde distributie van het slachtoffer.

B. Hybride VLM Docent

Om de domeingap tussen algemene VLMs en gespecialiseerde downstream-taken te overbruggen, gebruikt PRISM een hybride verankeringmechanisme:

• Statische Tekst Anchors: Bieden hoogwaardige semantische begeleiding via cosine similarity met vooraf gedefinieerde tekstlabels.
• Dynamische Visuele Prototypes: Augmenteren de auditor met klasse-centra ($C$) die online worden geleerd van de teststream.
• Fusie: De uiteindelijke VLM-logits ($S_{VLM}$) zijn een gewogen fusie van tekstgebaseerde en prototype-gebaseerde gelijkenissen:
  $$S_{VLM} = \lambda \cdot \text{Sim}(z_{img}, C) + (1 - \lambda) \cdot \text{Sim}(z_{img}, T)$$
  Dit stelt de auditor in staat om zich aan te passen aan de specifieke feature-distributie van de teststream zonder dat er gelabelde trainingsdata nodig zijn.

C. Adaptieve Router via Statistische Monitoring

De kernbeslissingslogica bepaalt of de voorspelling van het slachtoffer wordt geaccepteerd of wordt afgewezen ten gunste van het VLM. Dit wordt beheerst door een logit margin discrepancy metriek ($\Delta$):
$$\Delta = \exp\left(S_{VLM}^{\hat{y}_S} - \max_{i \neq \hat{y}_S} S_{VLM}^i\right)$$
waarbij $\hat{y}_S$ de voorspelde klasse van het slachtoffer is. Een kleine $\Delta$ duidt op een sterke discrepantie (potentiële aanval), terwijl een grote $\Delta$ wijst op alignment.

Om de niet-Gaussische, scheve aard van de $\Delta$-distributie te hanteren, gebruikt PRISM een Adaptieve Drempelwaarde afgeleid via de Cornish-Fisher expansie:
$$\tau_k = \mu_k + \left(\zeta + \frac{\gamma_k}{6}(\zeta^2 - 1)\right) \cdot \sigma_k$$
waarbij $\mu_k, \sigma_k, \gamma_k$ de lopende gemiddelde, standaarddeviatie en skewness zijn voor klasse $k$, en $\zeta$ een basisvertrouwencoëfficiënt is.

D. Online Update Mechanisme

PRISM gebruikt een Cumulative Moving Average (CMA) om statistische momenten en visuele prototypes bij te werken. Cruciaal is dat updates alleen plaatsvinden wanneer een sample als schoon is gecertificeerd (d.w.z. $\Delta > \tau$). Dit selectieve update-mechanisme, gecombineerd met de statistische traagheid van CMA, zorgt voor robuustheid tegen distributieverschuivingen en voorkomt dat vergiftigde samples de verdedingstoestand corrumperen.

3. Belangrijkste Bijdragen

1. Nieuw Paradigma (Externe Semantische Auditering): Het artikel identificeert de faalmodi van interne diagnose en stelt het gebruik van universele VLMs voor als onafhankelijke, externe auditors, wat de verdediging effectief ontkoppelt van gecompromitteerde slachtoffermodellen zonder toegang tot gewichten of trainingsdata te vereisen.
2. Online Adaptief Framework (PRISM): Een test-time framework dat generieke VLMs transformeert tot effectieve auditors via een Hybride VLM Docent (het overbruggen van de domeingap) en een Adaptieve Router (het vermijden van statische drempels via statistische monitoring).
3. Superieure Generalisatie en Robuustheid: PRISM bereikt state-of-the-art prestaties over 17 datasets en 11 aanvalstypen, wat een unieke robuustheid demonstreert tegen geavanceerde clean-image en adaptieve aanvallen waar traditionele paradigma's falen.

4. Experimentele Resultaten

Evaluatie werd uitgevoerd over 17 datasets (inclusief CIFAR-10, CIFAR-100, ImageNet, GTSRB en domeinspecifieke datasets) en 11 state-of-the-art backdoor-aanvallen (Classic, Dynamic, Clean-Label, en Clean-Image).

• Prestaties: PRISM onderdrukt de Attack Success Rate (ASR) succesvol tot < 1% op CIFAR-10 en blijft consistent onder de 15% voor alle 11 aanvalstypen, terwijl het tegelijkertijd de Clean Accuracy (CA) verbetert of behoudt.
• Vergelijking: Het presteert beter dan bestaande data-vrije verdedigingen (bijv. CLP, ScaleUp, ZIP, Refine), die vaak volledig falen tegen Clean-Image (FLIP, GCB) of Dynamische aanvallen. Naïve VLM-baselines bereiken een lage ASR maar lijden onder catastrofale CA-dalingen (bijv. >70% op GTSRB), terwijl PRISM deze kloof overbrugt.
• Efficiëntie: Op een NVIDIA A100 GPU bereikt PRISM (gebruikmakend van CLIP) een inferentie-latentie van 12,5 ms per afbeelding, waarmee het tot de meest efficiënte verdedigingen behoort.
• Robuustheid:
  • VLM Architecturen: PRISM behoudt een lage ASR (<10%) bij zowel embedding-modellen (CLIP, SigLIP) als generatieve modellen (Qwen, LLaVA).
  • Dataset Schaal: Het blijft effectief over datasetgroottes die variëren met drie ordes van grootte (200 tot 10.000 afbeeldingen).
  • Adaptieve Aanvallen: PRISM weerstaat online adaptieve strategieën (Flooding, Periodic, Mixed) waarbij de tegenstander probeert de teststream te manipuleren, waarbij de ASR < 20% blijft.
  • Auditor Compromis: In een "Trust Chain"-scenario waarbij een gespecialiseerde auditor is gecompromitteerd door een backdoor, kan een zwakkere maar schone generalistische VLM de stream saneren en de veiligheid herstellen.

5. Betekenis en Claims

Het artikel claimt dat PRISM vaststelt dat het ontkoppelen van verdediging door externe semantische auditering niet alleen haalbaar, maar essentieel is voor de volgende generatie modelbeveiliging.

• Paradigmaverschuiving: Het beweegt weg van de fragiele aanname dat backdoors opvallende interne voetafdrukken achterlaten of dat triggers gevoelig zijn voor input-perturbaties. In plaats daarvan maakt het gebruik van de statistische onafhankelijkheid van foundation modellen om semantische discrepanties te detecteren.
• Praktijkgerichtheid: Door op een data-vrije, test-time manier te opereren zonder modelgewichten te wijzigen, adresseert PRISM de kritieke beperkingen van Model-as-a-Service-implementaties waarbij verdedigers geen toegang hebben tot trainingsdata of model-internals.
• Schaalbaarheid: Het framework is model-agnostisch en kan worden uitgebreid naar andere taken (bijv. beeldbeschrijving) door de logit-margin gating aan te passen aan sequence-level confidence, wat een schaalbare weg biedt voor AI-veiligheidsmonitoring in kritieke domeinen zoals de gezondheidszorg en autonoom rijden.

De auteurs concluderen dat hoewel het paradigma rust op de statistische onafhankelijkheid van de auditerende VLM, het een robuuste bescherming biedt tegen evoluerende dreigingen, inclusief sluwe clean-image en dynamische aanvallen, waarmee het een nieuwe standaard zet voor model-agnostische verdediging.