IncreFA: Breaking the Static Wall of Generative Model Attribution

Probleemstelling

De snelle evolutie van AI-generatieve modellen (zoals diffusion-, adversarial- en autoregressieve modellen) heeft de bestaande methoden voor beeldattributie (het identificeren van het oorspronkelijke generatiemodel van een gegenereerd beeld) verouderd gemaakt.

• Dynamische Doelwitten: Nieuwe modellen verschijnen bijna maandelijks, waardoor statische attributiemodellen (die zijn getraind op een vaste set bekende modellen) snel verouderd raken.
• Beperkingen van Bestaande Aanpakken:
  • Watermerken: Vereisen samenwerking van ontwikkelaars en kunnen de beeldkwaliteit beïnvloeden.
  • Classificatie-gebaseerde methoden: Werken vaak onder de aanname van een gesloten set (closed-set) en falen bij het herkennen van nieuwe, onbekende modellen of bij het onderscheiden van subtiele architecturale varianten binnen dezelfde familie.
  • Incrementeel Leren (CIL): Traditionele methoden voor incrementeel leren gaan uit van onafhankelijke klassen. Bij generatieve modellen zijn klassen echter hiërarchisch verbonden (bijv. verschillende versies van Stable Diffusion delen statistieken), wat leidt tot negatieve overdracht en catastrofale vergetelheid.
  • Open-set detectie: Bestaande methoden zijn vaak slecht in het onderscheiden van "gezien" modellen van "ongezien" (nieuwe) modellen.

Het kernprobleem is dus niet alleen het herkennen van bekende modellen, maar het continue aanpassen van het attributiesysteem aan nieuwe modellen zonder kennis van het verleden te verliezen, terwijl het ook in staat is om onbekende modellen te detecteren.

Methodologie: IncreFA

IncreFA (Incremental Framework for Attribution) is een raamwerk dat attributie herschrijft als een gestructureerd incrementeel leerprobleem. Het benut de inherente hiërarchie tussen generatieve modellen en koppelt deze aan continue adaptatie. Het systeem bestaat uit twee wederzijds versterkende mechanismen:

1. Hiërarchische Constraints (Hiërarchische Beperkingen)

In plaats van modellen als onafhankelijke klassen te behandelen, erkent IncreFA dat modellen families vormen (bijv. GANs, Diffusions, Autoregressive).

• Leren van Orthogonale Priors: Het systeem leert "leerbare orthogonale priors" (doelvectoren) die de latent space structureren.
• Fin-granulaire Orthogonaliteit: Voor elk specifiek model wordt een prototype geleerd dat orthogonaal moet zijn ten opzichte van andere modellen, maar wel binnen de familie kan delen.
• Grof-granulaire Regularisatie: Op familieniveau worden prototypes geleerd die de gedeelde architecturale invariants van een familie vastleggen.
• Doel: Dit zorgt ervoor dat modellen binnen dezelfde familie dicht bij elkaar blijven (kennisdeling), terwijl verschillende families orthogonaal (gescheiden) blijven in de latent space. Dit voorkomt dat updates voor een nieuw model de representatie van een verwant, eerder geleerd model verstoren.

2. Latent Memory Bank (Latente Geheugenbank)

Om catastrofale vergetelheid te voorkomen en open-set detectie te verbeteren, gebruikt IncreFA een geheugenbank die geen ruwe beelden, maar compacte latent features opslaat.

• Efficiëntie: Het opslaan van latent features in plaats van ruwe beelden vermindert het geheugengebruik met meer dan twee orde van grootte.
• Random Mixing voor Ongeziene Simulatie: Het systeem mengt latent features van verschillende klassen willekeurig om pseudo-ongeziene samples te genereren. Deze samples liggen in gebieden met lage dichtheid nabij de besluitgrenzen.
• Open-set Calibratie: Door deze gemengde samples te gebruiken tijdens training, wordt de classifier getraind om lage vertrouwensscores te geven aan onbekende inputs. Dit verbetert de detectie van modellen die niet in de trainingsset zaten.

Totale Doelfunctie

De totale loss functie combineert:

1. Klassificatieverlies (supervised learning).
2. Hiërarchische regularisatie (L1 en L2) voor structuurbehoud.
3. Replay-verlies (via de Latent Memory Bank).
4. Open-set calibratieverlies (om onbekende detectie te optimaliseren).

Belangrijkste Bijdragen

1. Conceptuele Verschuiving: IncreFA definieert attributie opnieuw als een gestructureerd incrementeel leerprobleem, in plaats van een statische classificatietask.
2. IABench Benchmark: De auteurs hebben een nieuwe benchmark ontwikkeld genaamd Incremental Attribution Benchmark (IABench). Deze bevat 28 generatieve modellen die tussen 2022 en 2025 zijn uitgebracht, inclusief GANs, Diffusions en Autoregressive modellen, met een tijdsgebonden trainings- en testopzet.
3. Hiërarchisch Incrementeel Leren: Het introduceren van hiërarchische orthogonale priors om de complexe, overlappende verdelingen van generatieve families te hanteren.
4. Open-set Bewustzijn: Een effectieve methode voor het detecteren van onbekende generatieve modellen (unseen detection) door middel van latent mixing en calibratie.

Resultaten

IncreFA is geëvalueerd op IABench onder een tijdsgebonden open-set protocol (waarbij de nieuwste families als "ongezien" worden behandeld).

• State-of-the-Art Prestaties: IncreFA behaalde de hoogste attributie-accuratie in vergelijking met bestaande incrementele leer-methoden (zoals ICaRL, Foster, DualPrompt, MOS) en klassieke attributiemethoden.
  • Gemiddelde Attributie-accuratie: 99.97% (in statische settings) en 78.80% in de laatste incrementele stap (waarbij andere methoden vaak onder de 40% zakken).
  • Ongeziene Detectie (Unseen Detection): IncreFA bereikte een detectiepercentage van 98.93% voor onbekende modellen, wat aanzienlijk hoger is dan de concurrentie.
• Stabiliteit: De methoden toonde een veel stabielere prestatie over de tijdlijn, zonder de drastische dalingen die bij andere methoden optreden bij het introduceren van nieuwe families.
• Ablatie Studies: Experimenten bevestigden dat zowel de hiërarchische constraints als de latent memory bank essentieel zijn voor de prestaties. Zonder deze componenten daalt de prestatie sterk.

Betekenis en Impact

IncreFA biedt een fundamentele oplossing voor het "bewegende doelwit"-probleem in de forensische analyse van AI-gegenereerde content.

• Toekomstbestendigheid: Het systeem kan meegroeien met de snelle evolutie van generatieve AI zonder dat volledige hertraining nodig is.
• Vertrouwen en Accountability: Door betrouwbare attributie en het vermogen om onbekende (mogelijk kwaadaardige) modellen te detecteren, draagt het bij aan de veiligheid en het vertrouwen in digitale media.
• Efficiëntie: Door het gebruik van latent memory in plaats van ruwe beelden, is het systeem schaalbaar en praktisch toepasbaar in real-world scenario's met beperkte opslagcapaciteit.

Kortom, IncreFA breekt de "statische muur" van bestaande attributiemethoden door een adaptief, hiërarchisch en open-set bewust raamwerk te introduceren dat essentieel is voor de toekomst van AI-forensiek.