Technische Samenvatting: FiSeR: Fine-Grained Source Representations voor Cross-Domain AI Beelddetectie

Probleemstelling

Detectoren van synthetische afbeeldingen in de echte wereld vertonen vaak een sterke prestatie binnen hun trainingsdomein, maar lijden onder significante generalisatiefouten bij domeinverschuivingen (bijv. wanneer ze ongeziene generatoren of natuurlijke beeldbronnen tegenkomen). Hoewel bestaande benchmarks zoals AIGIBench en Chameleon deze degradatie benadrukken, blijft de onderliggende oorzaak een kritieke flessenhals.

Door middel van ongesuperviseerde UMAP-projecties van intermediaire kenmerken van populaire detectoren (bijv. ResNet50-Detection, CLIP-Detection), observeren de auteurs dat natuurlijke en synthetische afbeeldingen vaak gedeeltelijk scheidbaar blijven in de kenmerkruimte, zelfs op ongeziene datasets. Echter, de uiteindelijke classificatieprestaties dalen scherp. Deze discrepantie suggereert dat het falen punt niet de backbone feature-representatie zelf is, maar eerder de classificatiekop (classification head), die overfit is op domeinspecifieke artefacten. Bijgevolg komt de geleerde beslissingsgrens op de bron-domein niet overeen met de geometrie van de kenmerken in het doel-domein.

Methodologie

Om dit aan te pakken, stellen de auteurs FiSeR (Fine-Grained Source Representations) voor, een framework dat ontworpen is om overdraagbare representaties te leren die de identiteit van de generator behouden terwijl ze een robuuste scheidbaarheid tussen natuurlijke en synthetische afbeeldingen handhaven. De methode bestaat uit drie kerncomponenten:

1. Hiërarchisch Supervised Contrastive Learning

De kern van FiSeR is een tweelaags contrastief leersysteem dat de embedding-ruimte gezamenlijk optimaliseert:

• Coarse-Grained Objective: Een standaard contrastieve verliesfunctie die de gelijkenis maximaliseert tussen samples met hetzelfde binaire label (natuurlijk vs. synthetisch) en de gelijkenis minimaliseert tussen verschillende labels. Dit zorgt voor een globale scheiding tussen echte en nep content.
• Fine-Grained Objective: Een secundaire contrastieve verliesfunctie die specifiek wordt toegepast op synthetische afbeeldingen. Het moedigt aan dat samples gegenereerd door dezelfde bron (generator-identiteit) dichter bij elkaar liggen, terwijl samples van verschillende generatoren juist van elkaar worden weggeduwd. Dit behoudt de structurele informatie van diverse generatiemechanismen, waardoor wordt voorkomen dat het model alle synthetische afbeeldingen samenvoegt in één enkele, domeinspecifieke cluster.

De totale verliesfunctie combineert deze objectives, gewogen door een hyperparameter $\lambda$:
$$L(x_i; \theta) = L_y(x_i; \theta) + \lambda \cdot \mathbb{I}[y_i = \text{synthetic}] \cdot L_{src}(x_i; \theta)$$
waarbij $L_y$ de coarse binaire verliesfunctie is en $L_{src}$ de fine-grained bronverliesfunctie.

2. Lichtgewicht Plug-and-Play Classificatiekop

Tijdens de inferentie wordt de backbone encoder bevroren. In plaats van te vertrouwen op een vaste, potentieel overfitte kop, koppelt FiSeR een lichtgewicht, taakspecifieke classificatiekop die is geconstrueerd met behulp van een kleine support set (few-shot) uit het doel-domein. Ondersteunde koppen zijn onder meer:

• Niet-parametrische methoden: $k$-Nearest Neighbors ($k$-NN) en Prototypical Classification.
• Parametrische methoden: Lineaire classifiers en Support Vector Machines (SVM).

Deze aanpak stelt de beslissingsgrens in staat om zich aan te passen aan de distributie van het doel-domein met minimale gelabelde data (bijv. 10 shots per klasse) zonder de backbone opnieuw te trainen.

3. k-NN Graph Homophily Metric

Om de kwaliteit van de representatie kwantitatief te evalueren zonder afhankelijk te zijn van specifieke classifiers, introduceren de auteurs de k-NN graph homophily score. Deze metriek meet het aandeel van de dichtstbijzijnde buren in de embedding-ruimte die dezelfde bron-label delen (natuurlijk vs. synthetisch of specifieke generator). Een hogere score geeft aan dat de representatie de lokale buurtstructuur behoudt, wat dient als een stabiele proxy voor de potentie van few-shot generalisatie.

Belangrijkste Bijdragen

1. Observatie van Feature Stabiliteit: Het artikel onthult dat de cross-domein prestatiedaling in AI-beelddetectie niet noodzakelijkerwijs te wijten is aan een instorting van de intermediaire representaties. In plaats daarvan behoudt de feature-ruimte vaak een exploiteerbare scheidbare structuur, en ligt het primaire falen bij de mismatch tussen de op de bron getrainde classificatiekop en het doel-domein.
2. Hiërarchisch Contrastief Framework: De auteurs stellen een nieuw leersysteem voor dat zowel coarse (natuurlijk vs. synthetisch) als fine-grained (generator-identiteit) restricties afdwingt. Dit leert representaties die zowel discriminerend als bron-bewust zijn, wat de overdraagbaarheid verbetert.
3. Kwantitatieve Metriek voor Scheidbaarheid: De introductie van de k-NN graph homophily score biedt een classifier-agnostische methode om de scheidbaarheid van representaties te kwantificeren, die volgens de auteurs sterk correleert (Pearson $r \approx 0,94$) met de prestaties van een few-shot SVM.

Experimentele Resultaten

De methode werd geëvalueerd op vijf uitdagende benchmarks: WildFake (trainingsbron), Community Forensics, AIGIBench, Chameleon, en GenImage.

• Cross-Domain Generalisatie: Getraind uitsluitend op WildFake, bereikte FiSeR een gemiddelde AUROC van 98,23 over vier out-of-distribution (OOD) testsets. Dit vertegenwoordigt een verbetering van +10,22 AUROC ten opzichte van de sterke baseline DIRE (88,01) onder dezelfde instellingen.
• Few-Shot Adaptatie: Wanneer de backbone werd bevroren en een SVM werd aangepast op slechts 10 gelabelde samples per klasse uit het doel-domein, verbeterde Fi서 de AUROC met +10,64 op AIGIBench en +17,41 op Chameleon, gemiddeld over 12 veelgebruikte detectoren.
• Robuustheid: FiSeR behield een hoge AUROC onder veelvoorkomende perturbaties (Gaussian blur, JPEG-compressie, cropping), terwijl baselines zoals AIDE en DIRE een significante degradatie vertoonden, met name onder JPEG-compressie.
• Ablatie Studies: Het verwijderen van de fine-grained objective verminderde de cross-domein prestaties aanzienlijk, wat bevestigt dat het behoud van de generator-identiteit cruciaal is voor generalisatie. Omgekeerd was de coarse-grained objective alleen onvoldoende voor optimale resultaten.

Betekenis en Claims

Het artikel claimt dat de sleutel tot robuuste cross-domein AI-beelddetectie ligt in het leren van fine-grained, bron-discriminatieve representaties, in plaats van te vertrouen op domeinspecifieke artefacten. Door de feature-lering (via hiërarchisch contrastief leren) te ontkoppelen van de beslissingsgrens (via lichtgewicht few-shot adaptatie), bereikt FiSeR state-of-the-art prestaties op moeilijke benchmarks.

De auteurs benadrukken dat hun aanpak aantoont dat lichtgewicht adaptatie met een beperkt aantal doel-samples de robuustheid onder domeinverschuivingen aanzienlijk kan verbeteren. Dit suggereert dat de flessenhals in huidige detectoren vaak de rigide classificatiekop is, en niet de feature extractor. Het werk biedt een pad naar stabielere detectie in real-world scenario's waar generatoren en datadistributies constant evolueren, zonder dat uitgebreide hertraining of toegang tot doel-domeindata tijdens de initiële trainingsfase vereist is.