Technische Samenvatting: Robuustheid van AI-kunstdetectoren onder Generatorverschuiving

Probleemstelling

De snelle vooruitgang van tekst-naar-beeld generatieve modellen, met name de overgang van op U-Net gebaseerde latent diffusion-architecturen (bijv. Stable Diffusion 2.1) naar Diffusion Transformer (DiT) architecturen (bijv. Stable Diffusion 3.5), heeft een aanzienlijk beveiligings- en vertrouwensvraagstuk gecreëerd. Hoewel moderne modellen beelden produceren die steeds minder te onderscheiden zijn van menselijke kunstwerken, wat zorgen baart over auteursrecht, desinformatie en fraude, zijn de meeste bestaande AI-kunstdetectoren getraind en geëvalueerd op dezelfde generatiefamilies die ze bedoeld zijn te detecteren.

Dit creëert een kwetsbaarheid voor "generatorverschuiving" (generator shift). Detectoren presteren mogelijk goed op in-distributie (ID) data, maar falen wanneer ze worden geconfronteerd met afbeeldingen van nieuwere, ongeziene architecturen. Het artikel definieert een "opkomend-generator dreigmodel" waarbij een verdediger een vaste detector exploiteert die getraind is op oudere modellen (LDM, SD2.1) tegen een synthetische media-producent die een nieuwere, publiekelijk beschikbare generator gebruikt (SD3.5m). Het primaire operationele risico is een vals negatief: de detector classificeert AI-gegenereerde inhoud onterecht als door mensen gecreëerd, waardoor het detectiemechanismen kan omzeilen. Deze foutmodus vereist geen geavanceerde tegenstander die adversariële perturbaties ontwerpt; het vloeit simpelweg voort uit de adoptie van een nieuwere generatie architectuur.

Methodologie

Dataset Constructie

Om deze dreiging te evalueren, hebben de auteurs een prompt-gealigneerde out-of-distribution (OOD) dataset geconstrueerd:

• In-Distributie (ID) Trainingsdata: Afgeleid van de AI-ArtBench dataset, bevattende 120.000 afbeeldingen over 10 kunststijlen. Dit omvat 40.000 menselijke kunstwerken en 80.000 AI-gegenereerde afbeeldingen van Latent Diffusion (LDM) en Stable Diffusion 2.1 (SD2.1). De dataset was gebalanceerd naar 4.000 afbeeldingen per stijl per bronklasse om frequentiebias te elimineren.
• Out-of-Distribution (OOD) Testdata: Een nieuwe dataset van 10.000 afbeeldingen gegenereerd met behulp van Stable Diffusion 3.5 Medium (SD3.5m).
  • Constructie-pipeline: Om semantische vergelijkbaarheid te garanderen, gebruikten de auteurs een "reverse prompting"-pipeline. Ze selecteerden 10.000 uit de dataset gehouden menselijke kunstwerken (1.000 per stijl), gebruikten CLIP Interrogator om tekstuele prompts te genereren die deze afbeeldingen beschrijven, voegden deze prompts aan met stijl-tags, en genereerden vervolgens nieuwe afbeeldingen met SD3.5m.
  • Kwaliteitscontrole: De dataset werd gevalideerd met behulp van CLIPScore, Fréchet Inception Distance (FID), Kernel Inception Distance (KID) en LPIPS om prompt-alignment en visuele diversiteit te waarborgen, terwijl de distributionele scheiding van de menselijke referentieset behouden bleef.

Detector Architectuur en Training

Vijf deep learning backbones werden geëvalueerd als binaire classificators (Mens vs. AI) onder een frozen-backbone, linear-probe paradigma:

1. ResNet-18 en ResNet-50 (Residual CNNs)
2. EfficientNet-B0 (Compound-scaled CNN)
3. ConvNeXt-Base (Gemoderniseerde CNN met Transformer-geïnspireerd ontwerp)
4. CLIP ViT-L/14 (Vision Transformer getraind op 400M beeld-tekst paren)

Trainingsprotocol:

• De backbone-gewichten waren bevroren (pre-trained op ImageNet-1K of CLIP).
• Een enkele lineaire classificatiekop werd getraind bovenop de geëxtraheerde features.
• Verliesfunctie: Gewogen binaire cross-entropy om klassenimbalans aan te pakken.
• Drempelwaarde selectie: Geoptimaliseerd op een validatieset om gebalanceerde accuratesse te maximaliseren, en vervolgens vastgezet voor alle testevaluaties om een vast geplaatst scenario te simuleren.

Evaluatiemetrieken

Prestaties werden gemeten op drie disjuncte sets: Validatie, ID Test (LDM/SD2.1) en OOD Test (SD3.5m). Belangrijke metrieken omvatten Gebalanceerde Accuratesse, Precisie, Recall (specifiek voor AI-detectie), False Negative Rate (FNR) en ROC-AUC. Daarnaast werd Grad-CAM gebruikt om ruimtelijke attributie voor foutgevallen te analyseren.

Belangrijkste Resultaten

In-Distributie Prestaties

Alle vijf de detectoren behaalden sterke prestaties op de ID testset (afbeeldingen van LDM en SD2.1).

• CLIP ViT-L/14 presteerde het best met een gebalanceerde accuratesse van 0.9969 en een FNR van 0.3%.
• ConvNeXt-Base volgde met 0.9727 gebalanceerde accuratesse.
• CNN-gebaseerde modellen (ResNet, EfficientNet) toonden lagere maar nog steeds hoge prestaties (bereik van 0.92–0.96).
• De modellen onderscheidden succesvol tussen menselijke en AI-afbeeldingen uit de trainingsgeneratorfamilies.

Out-of-Distribution (Generatorverschuiving) Prestaties

Wanneer geëvalueerd op de SD3.5m dataset, leden alle modellen aan een substantiële prestatievermindering, wat de kwetsbaarheid voor generatorverschuiving bevestigt.

• Prestatiedegradatie: De gebalanceerde accuratesse daalde aanzienlijk bij alle modellen.
  • CLIP ViT-L/14: Daalde van 0.9969 naar 0.7829 (een daling van 21.4 procentpunt).
  • ResNet-18: Daalde van 0.9260 naar 0.6688 (een daling van 25.7 procentpunt).
• Asymmetrische Foutmodus: De degradatie werd gekenmerkt door een scherpe toename in False Negatives (gemiste AI-detecties), terwijl False Positives (het onterecht als AI classificeren van menselijke kunst) laag bleven.
  • Voor CLIP ViT-L/14 steeg de False Negative Rate op SD3.5m naar 43.24%, wat betekent dat bijna de helft van de nieuwe AI-afbeeldingen als menselijk werd geclassificeerd.
  • De False Positive Rate bleef laag (0.19%), wat aangeeft dat de detectoren conservatief bleven in het labelen van menselijke kunst als AI.
• Model Rangschikking: CLIP ViT-L/14 bleef het meest robuuste model overall, gevolgd door ConvNeXt-Base. Desondanks miste zelfs het beste model een aanzienlijk deel van de SD3.5m afbeeldingen.

Stijl-gebaseerde Analyse

Prestaties varieerden aanzienlijk per kunststijl:

• Realisme was de moeilijkste stijl, met een gemiddelde OOD recall van slechts 0.337 (detectoren misten ~66% van de AI-afbeeldingen).
• Ukiyo-e was de makkelijkste stijl, met een gemiddelde OOD recall van 0.758. De auteurs schrijven dit toe aan de kenmerkende visuele structuur van Ukiyo-e (vlakke kleuren, dikke contouren) die zelfs in de nieuwe generator detecteerbaar blijft.
• Grad-CAM Analyse: Visualisaties toonden aan dat voor ID true positives, modellen zich concentreerden op specifieke lokale cues (gezichten, texturen). Voor OOD false negatives waren de activatiekaarten zwakker, diffuser en vaak gericht op perifere regio's, wat suggereert dat de specifieke forensische cues geleerd van LDM/SD2.1 niet overdraagbaar zijn naar SD3.5m.

Betekenis en Claims

Het artikel claimt dat sterke in-distributie accuratesse geen voldoende indicator is voor de robuustheid van een detector wanneer de onderliggende generatieve architectuur verandert. De studie benadrukt een kritieke "generalisatiekloof" in huidige AI-kunstdetectiesystemen.

De belangrijkste implicaties die de auteurs trekken zijn:

1. Evasie via Architectuurverschuiving: De dreiging vereist geen adversariële aanvaller die perturbaties ontwerpt. Simpelweg overstappen naar een nieuwere, publiekelijk beschikbare generator (zoals SD3.5) is voldoende om de betrouwbaarheid van de detector te degraderen, wat een "laagdrempelig" evasiepad creëert.
2. Operationeel Risico: Het primaire risico is het vals negatief. In real-world workflows (bijv. content moderatie, fraudecontrole) zorgt dit ervoor dat synthetische inhoud ongedetecteerd als door mensen gecreëerd wordt doorgegeven, wat vertrouwen en veiligheid ondermijnt.
3. Defensiestrategie: AI-kunstdetectoren moeten niet worden behandeld als statische, op zichzelf staande oplossingen. De auteurs pleiten voor een gelaagde defensie waarbij beeldgebaseerde detectie slechts één component is, aangevuld met provenance metadata, watermerken, drift monitoring en periodieke her-evaluatie tegen opkomende generatoren.
4. Beperkingen: De studie is bescheiden in haar reikwijdte en merkt op dat zij een specifieke verschuiving (U-Net naar DiT) evalueert en een frozen-backbone benadering gebruikt. Zij claimt niet dat fine-tuning of andere adaptatiemethoden het probleem noodzakelijkerwijs zouden oplossen, maar stelt de basis kwetsbaarheid vast die verdere research naar robuuste, adaptieve detectiesystemen motiveert.