The Deployment Gap in AI Media Detection: Platform-Aware and Visually Constrained Adversarial Evaluation

1. Het Probleem: De "Deployment Gap"

Recente AI-media-detectoren (systemen die onderscheid maken tussen echte en gegenereerde beelden) rapporteren vaak bijna perfecte prestaties (bijv. AUC ≈ 0,99) onder schone, laboratoriumomstandigheden. Het paper stelt echter dat er een significante "deployment gap" (implementatiekloof) bestaat tussen deze laboratoriumresultaten en de betrouwbaarheid in de echte wereld.

In de praktijk worden gegenereerde afbeeldingen zelden in hun originele vorm verbruikt. Voordat ze op sociale platforms worden gedeeld, ondergaan ze diverse transformaties zoals:

• Hergrootte (resizing)
• Compressie (bijv. JPEG)
• Opnieuw coderen
• Schermopnames (screenshot-style distortions)

Deze transformaties veranderen de statistische signalen waarop forensische detectoren vertrouwen. Bestaande studies modelleren deze realistische omstandigheden vaak niet, waardoor de gerapporteerde robuustheid de werkelijke prestaties onder realistische omstandigheden sterk overschat.

2. Methodologie

De auteurs introduceren een platform-bewust (platform-aware) adversariaal evaluatiekader dat specifiek is ontworpen om deze kloof te overbruggen.

• Bedreigingsmodel (Threat Model):

  • De aanval wordt geoptimaliseerd door een differentieerbare benadering van een "deployments-pijplijn" ($T$) heen. Dit betekent dat de perturbaties (verstorende ruis) worden getraind om effectief te blijven na het ondergaan van transformaties zoals herschaling en compressie.
  • Het doel is om de zekerheid van de detector te minimaliseren onder deze getransformeerde invoer.

• Visueel Gecombineerde Perturbaties:

  • In tegenstelling tot traditionele adversariale aanvallen die ruis over het hele beeld verspreiden, beperken de auteurs de perturbaties tot lokaal, visueel plausibele gebieden.
  • Specifiek worden perturbaties beperkt tot "meme-stijl banden" (bijv. boven- of onderstrepen van het beeld). Dit simuleert realistische gebruikersmodificaties (zoals tekst toevoegen of filters) en voorkomt onrealistisch ruispatroon over het volledige frame.

• Aanvalstypen:

  1. Per-image attacks: Een unieke perturbatie wordt geoptimaliseerd voor elke individuele invoer.
  2. Universele perturbaties: Een enkele perturbatie wordt geoptimaliseerd die werkt over meerdere invoerbeelden heen, wat gedeelde kwetsbaarheidsrichtingen in het model onthult.
  • Beide typen gebruiken Projected Gradient Descent (PGD) met Expectation over Transformation (EOT) om rekening te houden met de stochastische aard van de platformtransformaties.

• Experimentele Opstelling:

  • Dataset: Een gebalanceerde dataset van echte beelden (STL-10) en synthetische beelden gegenereerd door Stable Diffusion (10 verschillende prompts).
  • Detectoren: Een CLIP-gebaseerde detector (ViT-backbone) en een ResNet-18 classifier. Beide bereiken onder schone omstandigheden een AUC van ~0,99.
  • Transformaties: Herschaling, JPEG-compressie en screenshot-achtige vervormingen.

3. Belangrijkste Resultaten

De resultaten tonen aan dat de robuustheid van detectoren onder realistische omstandigheden dramatisch afneemt, zelfs met strikte visuele beperkingen.

• Afname van Prestaties:

  • Onder schone omstandigheden: AUC ≈ 0,996.
  • Onder platform-bewuste aanvallen (per-image, onderband): AUC daalt naar 0,705.
  • De misclassificatie van fake naar real (synthetische beelden die als echt worden bestempeld) stijgt van 5,5% naar 78% bij per-image aanvallen.

• Universele Kwetsbaarheden:

  • Zelfs onder strikte ruimtelijke beperkingen (alleen in een band) bestaan er universele perturbaties. Deze verminderen de AUC naar 0,923 en veroorzaken een misclassificatie van ~35% van fake naar real. Dit onthult dat er gedeelde kwetsbaarheidsrichtingen zijn in de besluitvorming van de modellen.

• Calibratie-inzinking (Calibration Collapse):

  • Naast het verlies aan nauwkeurigheid, zien de auteurs een ernstige afname in de betrouwbaarheid van de voorspellingen.
  • De Expected Calibration Error (ECE) neemt toe (van 0,167 naar 0,250).
  • Detectoren worden "zelfverzekerd fout" (confidently incorrect): ze geven een hoge waarschijnlijkheid voor het verkeerde label (echt) aan gemanipuleerde synthetische beelden. Dit is kritiek voor moderatiesystemen die vertrouwen op confidence-scores.

• Statistische Betekenis:

  • Bootstrap-analyses (95% betrouwbaarheidsintervallen) bevestigen dat de waargenomen degradatie statistisch significant is en niet toe te schrijven is aan steekproeffouten.

4. Bijdragen

1. Conceptuele Inzicht: Het identificeren en formaliseren van de "deployment gap" tussen laboratorium-robustheid en real-world betrouwbaarheid in AI-media-detectie.
2. Nieuw Kader: De introductie van een evaluatiekader dat platformtransformaties expliciet integreert in de adversariale trainingslus.
3. Visuele Beperkingen: Het bewijzen dat beperkingen tot visueel plausibele gebieden (meme-banden) voldoende zijn om detectoren te misleiden, wat de relevantie van deze aanval voor sociale media onderstreept.
4. Calibratie-analyse: Het aantonen dat aanvallen niet alleen de nauwkeurigheid, maar ook de betrouwbaarheid (calibratie) van de modellen ondermijnen.
5. Open Source: De publicatie van het evaluatiekader om gestandaardiseerde robuustheidstests te faciliteren.

5. Significantie en Conclusie

Het paper concludeert dat huidige benchmarks voor AI-media-detectie gevaarlijk optimistisch zijn omdat ze realistische delingscondities negeren. De auteurs pleiten ervoor dat platform-bewuste adversariale evaluatie een standaardcomponent moet worden van toekomstige beveiligingsbenchmarks.

Zonder rekening te houden met hoe content daadwerkelijk wordt verwerkt op platforms (compressie, herschaling, gebruikersmodificaties), krijgen ontwikkelaars en beleidsmakers een verkeerd beeld van de veiligheid van hun systemen. De bevindingen suggereren dat toekomstige detectorontwikkeling "deployment-aware robustness" als een primair doel moet zien, in plaats van alleen te focussen op schone nauwkeurigheid.