Technische Samenvatting: Backbone is All You Need

Probleemstelling

De snelle vooruitgang van door AI gegenereerde synthetische afbeeldingen heeft de ontwikkeling van robuuste detectiesystemen noodzakelijk gemaakt. Hoewel Vision Transformers (ViTs) de hoeksteen zijn geworden van moderne deepfake-detectie vanwege hun vermogen om te generaliseren over onzichtbare generatorklassen, blijft een kritieke kwetsbaarheid grotendeels onontdekt. De meeste huidige detectoren vertrouwen op bevroren, vooraf getrainde ViT-backbones met slechts een ondiepe classificatiekop die is getraind voor de specifieke taak.

Bestaand onderzoek naar adversariële aanvallen heeft zich voornamelijk gericht op witte-doos-aanvallen (volledige toegang tot modelgewichten en logits) of transferabiliteit tussen verschillende architecturen. De specifieke kwetsbaarheid van grijze-doos-aanvallen—waarbij een adversary kennis heeft van de bevroren ViT-backbone maar geen toegang heeft tot de classificatiekop van de doel-detecteur, de trainingsdata of specifieke augmentatiestrategieën—is echter over het hoofd gezien. Dit artikel stelt dat kennis van de backbone alleen voldoende kan zijn om de betrouwbaarheid van de detector te ondermijnen.

Methodologie: Surrogate Iterative Adversarial Attack (SIAA)

De auteurs stellen de Surrogate Iterative Adversarial Attack (SIAA) voor, een grijze-doos-aanval die volledig binnen de feature-ruimte van de doel-detecteur werkt. De aanval veronderstelt alleen kennis van de vooraf getrainde ViT-backbone en de bijbehorende gewichten.

De methodologie wordt geïmplementeerd in twee distincte fasen:

Fase 1: Training van de Surrogate Feature-Processing (FP) Head

Om de kloof te overbruggen tussen de onbekende doel-classificatiekop en de bekende backbone, trainen de auteurs een surrogaatmodel bestaande uit:

1. Bevroren Componenten: De doel-ViT-backbone ($F(\cdot)$) en de CLIP-tekstencoder ($G(\cdot)$).
2. Trainbare Component: Een Feature-Processing (FP) Head ($H(\cdot)$) bestaande uit twee lineaire takken:
   • $L_t$: Verwerkt tekst-embeddings afgeleid van prompts (bijvoorbeeld "De afbeelding is echt" versus "De afbeelding is nep").
   • $L_v$: Verwerkt visuele features die door de ViT-backbone zijn geëxtraheerd.

De FP-Head wordt getraind met een multi-term contrastive loss om visuele features ($v'$) en tekstuele features ($t'$) uit te lijnen in een gedeelde embedding-ruimte. Het doel is om de beslissingsgrenzen van de onbekende doel-classificatiekop te benaderen door visuele features te clusteren rond hun overeenkomstige tekstuele embeddings. De lossfunctie omvat:

• $L_{pull}$: Minimaliseert de afstand tussen visuele features en ground-truth tekst-embeddings.
• $L_{push}$: Dwingt een marge af tegen de tekst-embeddings van de adversariële klasse.
• $L_{text}$: Zorgt voor scheiding tussen de twee tekst-embedding-clusters.

Fase 2: Implementatie en Optimalisatie van Perturbaties

Zodra de FP-Head is getraind, genereert de aanval adversariële voorbeelden zonder toegang tot de logits van het doel.

• Doelfunctie: In plaats van cross-entropy op logits te maximaliseren, optimaliseert SIAA een aangepaste op afstand gebaseerde doelfunctie $J$ in de surrogaat feature-ruimte:
  $$J = \|v' - t'_y\|^2 - \|v' - t'_{1-y}\|^2$$
  Het maximaliseren van $J$ duwt de visuele representatie weg van de ground-truth-klasse en richting de adversariële doelklasse.
• Optimalisatie: Een Projected Gradient Descent (PGD)-algoritme updatet iteratief de invoerafbeelding $I_j$ om $J$ te maximaliseren, onderworpen aan een $\ell_\infty$-norm-beperking ($\epsilon = 8/255$) om onopgemerkt te blijven.

Belangrijkste Bijdragen

1. Nieuwe Aanvalsvector: Introductie van SIAA, de eerste grijze-doos-aanval die specifiek is ontworpen om bevroren ViT-backbones in forensisch onderzoek naar synthetische afbeeldingen te exploiteren zonder kennis van de classificatiekop.
2. Exploitatie van Feature-ruimte: Aantonen dat adversariële perturbaties effectief kunnen worden geoptimaliseerd in een surrogaat feature-ruimte die is uitgelijnd via tekst-afbeelding contrastive learning, waardoor toegang tot logits niet nodig is.
3. Uitgebreide Evaluatie: Systematische beoordeling van de aanval onder verschillende niveaus van grijze-doos-kennis, inclusief few-shot learning-scenario's, onbekende data-augmentaties en dataset-mismatches.
4. Transferabiliteitsanalyse: Evaluatie van cross-model transferabiliteit over verschillende ViT-backbones (CLIP, Swin, DINOv2).

Experimentele Resultaten

De auteurs hebben SIAA geëvalueerd tegen detectoren gebaseerd op CLIP-, Swin- en DINOv2-backbones met behulp van de Synthbuster-dataset.

• Prestaties versus Baselines: SIAA presteerde aanzienlijk beter dan bestaande grijze-doos-baselines (PGD-ViT en een lineaire variant PGD-L).
  • Tegen CLIP- en Swin-detectoren bereikte SIAA aanvalssuccespercentages (ASR) van respectievelijk 1,00 en 0,99, met post-aanval AUC's dicht bij 0,00, wat effectief overeenkomt met de prestaties van witte-doos-PGD-aanvallen.
  • Tegen DINOv2 bereikte SIAA een ASR van 0,56. De auteurs schrijven de hogere veerkracht van DINOv2 toe aan zijn zelf-superviserende trainingsdoelen en het gebruik van register-tokens, die een gladdere loss-landschap creëren.
• Robuustheid tegen Misalignement (Ablatiestudies):
  • Variaties in Classificatiekop: SIAA behield een ASR $\geq 0,98$ zelfs wanneer de diepte van de classificatiekop van de doel-detecteur varieerde (1, 2 of 3 lagen).
  • Few-Shot Learning: Met slechts 100 echte en 100 neppe trainingsstalen bereikte SIAA een ASR van 0,985.
  • Onbekende Augmentatie: Wanneer augmentatiestrategieën onbekend waren, bleef de ASR hoog op 0,96.
  • Dataset Mismatch: In het meest restrictieve scenario (verschillende trainingsdataset en onbekende augmentatie) bereikte SIAA nog steeds een ASR van 0,70, waarbij meer dan 50% van de correct geclassificeerde afbeeldingen succesvol werd aangevallen.
• Transferabiliteit:
  • Perturbaties geoptimaliseerd op CLIP of Swin vertoonden goede transferabiliteit naar elkaar (ASR $\approx 0,56$).
  • Perturbaties geoptimaliseerd op DINOv2 toonden matige transferabiliteit naar CLIP (ASR 0,31) en Swin (ASR 0,28), ondanks dat DINOv2 als doel zeer resistent is.

Betekenis en Beweringen

Het artikel stelt dat de afhankelijkheid van bevroren foundation-modellen in forensisch onderzoek naar synthetische afbeeldingen een "subtiele maar kritieke kwetsbaarheid" introduceert. De belangrijkste bevinding is dat kennis van de backbone alleen voldoende is om de betrouwbaarheid van de detector te ondermijnen, vaak met aanvalssuccespercentages die vergelijkbaar zijn met witte-doos-aanvallen.

De auteurs benadrukken dat deze kwetsbaarheid blijft bestaan, zelfs onder omstandigheden van totale misalignement wat betreft trainingsdata, augmentatie en architectuur van de classificatiekop. Bijgevolg pleit het artikel voor een dringende noodzaak om veerkrachtigere verdedigingen te ontwikkelen die niet alleen vertrouwen op de aanname dat het verbergen van de classificatiekop voldoende beveiliging biedt. Het werk onderstreept dat de feature-ruimte van bevroren ViT's, wanneer uitgelijnd met semantische prompts, voorspelbaar genoeg is om te worden geëxploiteerd door adversaries met beperkte toegang.