Dimensional Coactivation for Representational Consistency in Frozen Vision Foundation Models

Technische Samenvatting: Dimensionale Co-activatie voor Representatieve Consistentie in Bevroren Visuele Fundamentmodellen

1. Probleemdefinitie: Representatieve Consistentie (RC)

Het artikel adresseert een lacune in de evaluatie van bevroren visuele fundamentmodellen. Hoewel deze modellen bekend staan om het extraheren van kenmerken, stellen de auteurs dat ze ook een geleerd coördinatenstelsel opleggen om visuele structuur te organiseren. Het centrale probleem is Representatieve Consistentie (RC): het vaststellen of een enkel bevroren model een enkele invoer intern coherent representeert over zijn semantische subregio's heen.

In tegenstelling tot standaard similariteitsmaten (zoals CKA, RSA) die representaties vergelijken over verschillende modellen, lagen of distributies heen, is RC een intra-stuk, intra-model, inter-regio meting. Het vraagt of semantische regio's van dezelfde fysieke identiteit (bijvoorbeeld ogen, neus en mond van een gezicht) binnen de kenmerkruimte van het model gecoördineerd blijven. De auteurs betogen dat synthetische afbeeldingen (deepfakes) lokaal plausibele regio's kunnen reproduceren, maar falen in het handhaven van de representatieve structuur die ze verbindt, waardoor een interne inconsistentie ontstaat die detecteerbaar is door een bevroren model dat is getraind op realistische afbeeldingen.

2. Methodologie: Dimensionale Co-activatie (DCA)

Om RC te meten, introduceren de auteurs Dimensionale Co-activatie (DCA), een per-dimensie operator die is ontworpen om de specifieke eigenschappen van een bevroren coördinatenstelsel te behouden.

Kernmechanisme:
Gegeven twee semantische regio's $r_1$ en $r_2$ met bemonsterde patch-token matrices $F_{r_1}, F_{r_2} \in \mathbb{R}^{K \times D}$, berekent DCA de co-activatie van dezelfde kenmerkdimensies over deze regio's heen:
$$\text{DCA}(F_{r_1}, F_{r_2})[d] = \frac{1}{K} \sum_{k=1}^{K} F_{r_1}[k, d] \cdot F_{r_2}[k, d]$$
Dit resulteert in een vector van grootte $D$ (de kenmerkdimensie), die de diagonaal van het cross-regio patch-token product voorstelt. Voor een gezicht klinkt de methode DCA-vectoren voor de paren ogen-mond, ogen-neus en mond-neus samen om een 3.072-dimensionale vingerafdruk te vormen (met $D=1024$).

Beperkingenbevrijding:
Een kritisch aspect van de methodologie is het bewuste vermijden van standaard similariteitsvoorverwerkingsstappen, termed "beperkingenbevrijding". De auteurs betogen dat operaties die nuttig zijn voor cross-model vergelijking, niet overeenkomen met intra-stuk meting:

• Geen Centering: De gemiddelde activatie wordt behouden omdat deze identiteitscoherentie kan coderen in plaats van bias.
• Geen L2-normalisatie: De grootte wordt behouden omdat sterkere dimensies zwaardere identiteitsladingen kunnen dragen.
• Geen Volledige Gram-koppeling: Off-diagonale cross-dimensie interacties worden verworpen om ruis te vermijden en de diagonale structuur te behouden waar het bevroren coördinatenstelsel leesbaar is.

Pijplijn:

1. Kenmerkextractie: Een bevroren DINOv3 ViT-L/16 backbone extraheren intermediaire block-18 patch-tokens (het vermijden van de uiteindelijke genormaliseerde tokens).
2. Regio-toewijzing: Een bevroren FaRL parser wijst tokens toe aan semantische regio's (ogen, mond, neus).
3. Vingerafdrukgeneratie: DCA-vectoren worden berekend voor de "ogen-mond-neus" (EMN) drietal.
4. Validatie: Een lichtgewicht lineaire probe (logistische regressie) wordt getraind alleen op de brondataset (FF++ c23) om het vermogen van de vingerafdruk te evalueren om inconsistentie in doeldatasets (CelebDF-v2, DFD) zero-shot te detecteren.

3. Belangrijkste Bijdragen

1. Definitie van RC: Het artikel definieert Representatieve Consistentie als een distincte meetas voor bevroren fundamentmodellen, met focus op intra-stuk coherentie in plaats van inter-model similariteit.
2. DCA-operator: Het stelt DCA voor als een per-dimensie instrument dat cross-regio coherentie meet zonder de kenmerkruimte in scalaire samenvattingen te laten instorten of standaard normalisatiebeperkingen toe te passen.
3. Beperkingenbevrijding: Het demonstreert dat het verwijderen van centering, L2-normalisatie en cross-dimensie koppeling niet slechts een vereenvoudiging is, maar een noodzaak voor het behoud van het coherentiesignaal in een vast coördinatenstelsel.
4. Backbone-afhankelijkheid: Het valideert dat het succes van RC-meting afhankelijk is van de stabiliteit van het per-dimensie coördinatenstelsel van de backbone (bijvoorbeeld DINOv3) in plaats van alleen de regio-extractiepijplijn.

4. Experimentele Resultaten

De methode werd gevalideerd met cross-dataset deepfake-detectie, waarbij modellen getraind op FF++ c23 zero-shot werden geëvalueerd op CelebDF-v2 en DFD.

• Prestatie: De EMN DCA-vingerafdruk behaalde 0,9106 AUC op CelebDF-v2 en 0,9289 AUC op DFD.
• Ablatie van Beperkingen: Het opnieuw introduceren van standaard beperkingen degradeerde de prestaties ernstig:
  • Het toevoegen van centering liet CelebDF-v2 AUC zakken naar 0,459.
  • Het toevoegen van L2-normalisatie liet het zakken naar 0,862.
  • Het toevoegen van volledige Gram-koppeling (cross-dimensie) liet het zakken naar 0,478.
• Backbone-gevoeligheid: Het vervangen van DINOv3 door FaRL (een supervised parsing-model) liet de CelebDF-v2 AUC instorten naar 0,582, wat aangeeft dat FaRL het stabiele per-dimensie coördinatenstelsel mist dat vereist is voor RC.
• Regio-selectie: Het "ogen-mond-neus" drietal bleek optimaal. Het opnemen van haar (ruimtelijk variabel) of huid (het verdunnen van het signaal) verlaagde de prestaties.
• Schaal versus Vector: Het reduceren van de DCA-vingerafdruk tot scalaire samenvattingen (bijvoorbeeld gemiddelde DCA, cosinus-similariteit) resulteerde in AUC's tussen 0,47 en 0,66, wat bewijst dat het discriminatieve signaal verspreid is over kenmerkdimensies en verloren gaat bij aggregatie.

5. Betekenis en Claims

Het artikel positioneert DCA niet als een universele deepfake-detectormethode die superieur is aan alle bestaande methoden, maar als een meetprincipe dat een specifiek type signaal onthult: relationele, kenmerk-dimensionale en backbone-afhankelijke coherentie.

• Meten boven Detectie: De primaire bijdrage is de demonstratie dat bevroren fundamentmodellen meetbare "coherentieresiduen" bevatten die deepfakes blootleggen zonder fine-tuning. Het signaal is relationeel (hoe regio's interageren) in plaats van regionaal (hoe een enkele regio eruitziet).
• Stabiliteit van Coördinatenstelsel: De resultaten suggereren dat modellen zoals DINOv3, getraind met self-distillation, een stabiel coördinatenstelsel ontwikkelen waar dezelfde semantische factoren dezelfde dimensies activeren over ruimtelijke posities heen. Deze eigenschap is essentieel voor RC-meting en ontbreekt in modellen die zijn geoptimaliseerd voor categorische grenzen (zoals FaRL).
• Beperkingen: De auteurs merken bescheiden op dat de methode momenteel specifiek is voor gezichten, afhankelijk is van een specifieke blockdiepte (block 18) die empirisch is geselecteerd, en niet is gevalideerd tegen moderne op diffusie gebaseerde manipulaties of demografische robuustheid. Het artikel presenteert het werk als een fundamenteel meetinstrument in plaats van een inzetbaar forensisch model.