Technische Samenvatting: Data-provenance voor Autoregressieve Beeldgeneratie

Probleemstelling

Beeld-autoregressieve modellen (IAR's) hebben een opmerkelijke fotorealistische kwaliteit bereikt door het paradigma van de volgende-token-voorspelling uit Large Language Models (LLM's) aan te passen. Echter, omdat deze modellen inhoud genereren die visueel niet te onderscheiden is van natuurlijke afbeeldingen, vormen ze aanzienlijke risico's met betrekking tot desinformatie, fraude en de "vervuiling" van trainingsdatasets (wat leidt tot model collapse). Bestaande provenance-methoden, zoals watermerken en fingerprinting, vereisen doorgaans integratie in het trainings- of generatieproces van het model. Deze methoden zijn vaak niet toepasbaar op inhoud die al zonder markeringen is gepubliceerd of op modellen die van nature geen watermerken ondersteunen. Bovendien schieten veel bestaande reconstructiegebaseerde benaderingen tekort bij het omgaan met de stochastische aard van IAR's of vereisen ze specifieke toegang tot het model die niet altijd beschikbaar is.

De kernuitdaging die door dit werk wordt aangepakt is post-hoc data-provenance: het vermogen om een afbeelding robuust terug te leiden naar de genererende IAR zonder het model, het generatieproces of de afbeelding zelf te wijzigen, en zonder hulpinformatie zoals tekstprompts of klassenlabels te vereisen.

Methodologie

De auteurs stellen een model-agnostisch, post-hoc framework voor dat gebruikmaakt van inherente artefacten die worden geïntroduceerd door het proces van vector-gekwantiseerde tokenisatie dat uniek is voor IAR's. Het framework steunt op twee complementaire signalen: QuantLoss en EncLoss.

1. Kernobservatie: Kwantisatie-artefacten

IAR's coderen afbeeldingen als sequenties van discrete tokens uit een vaste codeboek (vocabulaire). De auteurs observeren dat de token-representaties van door IAR gegenereerde afbeeldingen consistent dichter bij de codeboek-items liggen dan die van natuurlijke afbeeldingen. Dit komt doordat gegenereerde afbeeldingen direct worden geconstrueerd vanuit deze discrete items, terwijl natuurlijke afbeeldingen door henzelf moeten worden benaderd.

2. De componenten van het framework

Het framework werkt in drie hoofdfasen:

• Decoder Inversie ($D^{-1}$):
  Standaard encoders ($E$), getraind op natuurlijke afbeeldingen, zijn niet optimaal voor het inverteren van de decoder ($D$) van gegenereerde afbeeldingen. De auteurs trainen een inverse decoder ($D^{-1}$) door deze te initialiseren met de oorspronkelijke encoder-gewichten en deze vervolgens te finetunen op afbeeldingen gegenereerd door de doel-IAR. Dit model leert om een gegenereerde afbeelding met hoge getrouwheid terug te mappen naar de latente feature map ($f_Z$).

• QuantLoss (Codeboekafstand):
  Dit signaal meet de afstand tussen de door de inverse decoder herstelde feature map ($f$) en de her-gekwantiseerde versie daarvan ($f_Z$).

  • Proces: $x \xrightarrow{D^{-1}} f \xrightarrow{Q} t \xrightarrow{Q^{-1}} f_Z$.
  • Signaal: $L_{Quant} = \|f - f_Z\|^2$.
  • Logica: Voor door de doel-IAR gegenereerde afbeeldingen komt $f$ nauw aan bij de codeboek-items, wat resulteert in een minimale kwantisatiefout. Voor natuurlijke afbeeldingen of afbeeldingen van andere modellen is de uitlijning slecht, wat resulteert in een hoge fout.
  • Multi-scale Optimalisatie: Voor multi-scale IAR's (bijv. VAR) introduceren de auteurs een geoptimaliseerd token-zoekalgoritme met behulp van gradiëntafdaling om de combinatie van tokens over verschillende schalen te vinden die de reconstructiefout minimaliseert, wat gegenereerde features verder onderscheidt van natuurlijke features.

• EncLoss (Reconstructie-verliesratio):
  Dit signaal vangt het informatieverlies op wanneer een afbeelding wordt gecomprimeerd naar de latente ruimte en weer terug.

  • Proces: $Rec(x) = D(D^{-1}(x))$.
  • Signaal: Om fout-positieven door afbeeldingen met een lage complexiteit te voorkomen, stellen de auteurs een gekalibreerde loss voor, geïnspireerd door AEDR: $L_{Cal}^{Enc} = \frac{\|Rec(x) - x\|^2}{\|Rec(Rec(x)) - Rec(x)\|^2}$.
  • Logica: Gegenereerde afbeeldingen vertonen feature-consistentie, wat leidt tot een lage verliesratio, terwijl natuurlijke afbeeldingen vaak hogere ratio's laten zien door artefacten van informatiecompressie.

• Gecombineerd Signaal:
  Het uiteindelijke provenance-signaal is het product van de twee: $L_{Comb} = L_{Quant} \times L_{Cal}^{Enc}$.

Belangrijkste Bijdragen

1. Eerste Post-Hoc Framework voor IAR's: Het artikel introduceert de eerste methode die in staat is om door IAR gegenereerde afbeeldingen toe te schrijven aan hun bronmodel zonder dat modificaties aan de training of het generatieproces van het model nodig zijn. Het is toepasbaar op reeds gepubliceerde, ongemerkte inhoud.
2. Nieuwe Provenance-signalen: Het werk identificeert en formaliseert QuantLoss (gebaseerd op codeboek-nabijheid) en EncLoss (gebaseerd op reconstructie-consistentie) als robuuste indicatoren van IAR-generatie. Het toont aan dat het combineren van deze signalen leidt tot bijna perfecte detectie.
3. Uitgebreide Evaluatie: Het framework wordt uitgebreid geëvalueerd op een diverse set van state-of-the-art IAR's (VAR, RAR, LlamaGen, Taming, Infinity) en een vector-gekwantiseerd diffusiemodel (VQ-Diffusion).

Experimentele Resultaten

De auteurs rapporteren uitgebreide empirische evaluaties met de volgende bevindingen:

• Detectieprestaties: De methode bereikt bijna 100% True Positive Rate (TPR) bij een 1% False Positive Rate (FPR) voor alle geteste IAR's en datasets (ImageNet, LAION, MS-COCO, en afbeeldingen gegenereerd door andere modellen). Dit presteert aanzienlijk beter dan baselines zoals naive reconstructie-loss, LatentTracer en AEDR, die vaak falen in het onderscheiden tussen verschillende IAR's of natuurlijke afbeeldingen.
• Robuustheid: Het framework vertoont een sterke veerkracht tegen veelvoorkomende beeldverwerkingstechnieken, waaronder JPEG-compressie, resizing, ruis, en aanpassingen in helderheid/contrast. Wanneer de inverse decoder wordt gefinetuned met data-augmentaties, verbetert de robuustheid verder en wordt een hoge TPR behouden, zelfs onder sterke aanvallen.
• Efficiëntie: De methode is computationeel efficiënt. Na een eenmalige finetuning van de inverse decoder (een kleine overhead vergeleken met model pre-training), duurt het attributieproces minder dan 10 milliseconden per afbeelding voor de meeste modellen, wat sneller is dan bestaande reconstructiegebaseerde baselines.
• Adaptieve Aanvallen: Zelfs onder adaptieve adversariële aanvallen waarbij een tegenstander probeert afbeeldingen te verstoren om detectie te ontwijken, behoudt het met augmentatie getrainde framework een aanzienlijk hogere robuustheid dan baseline-methoden.

Betekenis en Claims

Het artikel claimt een praktische en schaalbare oplossing te bieden voor de verantwoorde inzet en audit van autoregressieve generatieve modellen. Door gebruik te maken van de inherente "vingerafdruk" die achterblijft door het discrete tokenisatieproces, maakt de methode betrouwbare bronattributie mogelijk zonder de beeldkwaliteit aan te tasten of toegang tot het generatieproces te vereisen.

De auteurs benadrukken dat deze aanpak cruciaal is voor:

• Voorkomen van Model Collapse: Door synthetische data betrouwbaar te identificeren, helpt het de contaminatie van trainingsdatasets met gegenereerde inhoud te voorkomen.
• Bestrijden van Desinformatie: Het maakt het mogelijk om schadelijke of misleidende inhoud toe te schrijven aan specifieke modelfamilies.
• Post-Hoc Auditing: Het werkt op inhoud die al is gepubliceerd, waarmee het een gat vult dat door watermerkmethoden wordt achtergelaten die voorafgaande integratie vereisen.

Het werk concludeert dat hoewel adaptieve aanvallen de prestaties kunnen verslechteren, het voorgestelde framework een robuust defensiemechanisme biedt dat breed toepasbaar is op bestaande en toekomstige IAR-architecturen.