Dimensional Coactivation for Representational Consistency in Frozen Vision Foundation Models

Sintesi Tecnica: Coattivazione Dimensionale per la Coerenza Rappresentazionale nei Modelli Fondamentali Visivi Congelati

1. Definizione del Problema: Coerenza Rappresentazionale (RC)

Il documento affronta una lacuna nella valutazione dei modelli fondamentali visivi congelati. Sebbene sia noto che questi modelli estraggano caratteristiche, gli autori ipotizzano che impongano anche un sistema di coordinate appreso per organizzare la struttura visiva. Il problema centrale è la Coerenza Rappresentazionale (RC): determinare se un singolo modello congelato rappresenta un singolo input come internamente coerente attraverso le sue sotto-regioni semantiche.

A differenza delle misure di similarità standard (ad esempio, CKA, RSA) che confrontano rappresentazioni tra modelli diversi, livelli o distribuzioni, la RC è una misurazione intra-campione, intra-modello, inter-regione. Essa chiede se le regioni semantiche della stessa identità fisica (ad esempio, occhi, naso e bocca di un volto) rimangano coordinate nello spazio delle caratteristiche del modello. Gli autori sostengono che le immagini sintetiche (deepfake) possano riprodurre regioni localmente plausibili ma fallire nel mantenere la struttura rappresentativa che le collega, creando un'incoerenza interna rilevabile da un modello congelato addestrato su immagini del mondo reale.

2. Metodologia: Coattivazione Dimensionale (DCA)

Per misurare la RC, gli autori introducono la Coattivazione Dimensionale (DCA), un operatore per-dimensione progettato per preservare le proprietà specifiche di un sistema di coordinate congelato.

Meccanismo Principale:
Date due regioni semantiche $r_1$ e $r_2$ con matrici di patch-token campionati $F_{r_1}, F_{r_2} \in \mathbb{R}^{K \times D}$, la DCA calcola la coattivazione delle stesse dimensioni di caratteristiche attraverso queste regioni:
$$\text{DCA}(F_{r_1}, F_{r_2})[d] = \frac{1}{K} \sum_{k=1}^{K} F_{r_1}[k, d] \cdot F_{r_2}[k, d]$$
Ciò risulta in un vettore di dimensione $D$ (la dimensione della caratteristica), rappresentante la diagonale del prodotto patch-token inter-regione. Per un volto, il metodo concatena i vettori DCA per le coppie occhi-bocca, occhi-naso e bocca-naso per formare un impronta digitale tridimensionale da 3.072 dimensioni (utilizzando $D=1024$).

Liberazione dai Vincoli:
Un aspetto critico della metodologia è l'evitamento deliberato delle fasi di pre-processing di similarità standard, definite "liberazione dai vincoli". Gli autori sostengono che le operazioni utili per il confronto tra modelli siano inadeguate per la misurazione intra-campione:

• Nessuna Centraggio: L'attivazione media è preservata perché potrebbe codificare la coerenza dell'identità piuttosto che un bias.
• Nessuna Normalizzazione L2: La magnitudine è preservata perché dimensioni più forti potrebbero portare carichi di identità più pesanti.
• Nessun Accoppiamento Gram Completo: Le interazioni incrociate tra dimensioni fuori diagonale sono scartate per evitare rumore e preservare la struttura diagonale dove il sistema di coordinate congelato è leggibile.

Pipeline:

1. Estrazione delle Caratteristiche: Un backbone congelato DINOv3 ViT-L/16 estrae i token patch del blocco intermedio 18 (evitando i token normalizzati finali).
2. Assegnazione delle Regioni: Un parser congelato FaRL assegna i token alle regioni semantiche (occhi, bocca, naso).
3. Generazione dell'Impronta Digitale: I vettori DCA sono calcolati per la tripla "occhi-bocca-naso" (EMN).
4. Validazione: Una sonda lineare leggera (regressione logistica) è addestrata solo sul dataset sorgente (FF++ c23) per valutare la capacità dell'impronta digitale di rilevare incoerenze nei dataset target (CelebDF-v2, DFD) in modalità zero-shot.

3. Contributi Chiave

1. Definizione della RC: Il documento definisce la Coerenza Rappresentazionale come un asse di misurazione distinto per i modelli fondamentali congelati, focalizzandosi sulla coerenza intra-campione piuttosto che sulla similarità inter-modelli.
2. Operatore DCA: Propone la DCA come strumento per-dimensione che misura la coerenza inter-regione senza collassare lo spazio delle caratteristiche in riassunti scalari o applicare vincoli di normalizzazione standard.
3. Liberazione dai Vincoli: Dimostra che rimuovere centraggio, normalizzazione L2 e accoppiamento incrociato tra dimensioni non è semplicemente una semplificazione, ma una necessità per preservare il segnale di coerenza in un sistema di coordinate fissato.
4. Dipendenza dal Backbone: Convalida che il successo della misurazione RC dipende dalla stabilità del sistema di coordinate per-dimensione del backbone (ad esempio, DINOv3) piuttosto che dal solo pipeline di estrazione delle regioni.

4. Risultati Sperimentali

Il metodo è stato validato utilizzando il rilevamento di deepfake tra dataset, dove modelli addestrati su FF++ c23 sono stati valutati in modalità zero-shot su CelebDF-v2 e DFD.

• Prestazioni: L'impronta digitale EMN DCA ha raggiunto un AUC di 0,9106 su CelebDF-v2 e un AUC di 0,9289 su DFD.
• Ablazione dei Vincoli: Reintrodurre vincoli standard ha degradato severamente le prestazioni:
  • Aggiungere il centraggio ha fatto scendere l'AUC di CelebDF-v2 a 0,459.
  • Aggiungere la normalizzazione L2 l'ha fatto scendere a 0,862.
  • Aggiungere l'accoppiamento Gram completo (incrociato tra dimensioni) l'ha fatto scendere a 0,478.
• Sensibilità del Backbone: Sostituire DINOv3 con FaRL (un modello di parsing supervisionato) ha fatto crollare l'AUC di CelebDF-v2 a 0,582, indicando che FaRL manca del sistema di coordinate per-dimensione stabile richiesto per la RC.
• Selezione delle Regioni: La tripla "occhi-bocca-naso" è risultata ottimale. Includere i capelli (variabili spazialmente) o la pelle (che diluisce il segnale) ha ridotto le prestazioni.
• Scalare vs Vettoriale: Ridurre l'impronta digitale DCA a riassunti scalari (ad esempio, DCA media, similarità coseno) ha portato ad AUC compresi tra 0,47 e 0,66, dimostrando che il segnale discriminativo è distribuito attraverso le dimensioni delle caratteristiche e viene perso nell'aggregazione.

5. Significato e Affermazioni

Il documento posiziona la DCA non come un rilevatore universale di deepfake superiore a tutti i metodi esistenti, ma come un principio di misurazione che rivela un tipo specifico di segnale: coerenza relazionale, per-dimensione di caratteristica e dipendente dal backbone.

• Misurazione oltre il Rilevamento: Il contributo principale è la dimostrazione che i modelli fondamentali congelati contengono "residui di coerenza" misurabili che espongono i deepfake senza fine-tuning. Il segnale è relazionale (come interagiscono le regioni) piuttosto che regionale (come appare una singola regione).
• Stabilità del Sistema di Coordinate: I risultati suggeriscono che modelli come DINOv3, addestrati con auto-distillazione, sviluppano un sistema di coordinate stabile dove gli stessi fattori semantici attivano le stesse dimensioni attraverso posizioni spaziali. Questa proprietà è essenziale per la misurazione RC ed è assente nei modelli ottimizzati per confini categoriali (come FaRL).
• Limitazioni: Gli autori notano modestamente che il metodo è attualmente specifico per i volti, si basa su una specifica profondità del blocco (blocco 18) selezionata empiricamente e non è stato convalidato contro manipolazioni moderne basate sulla diffusione o sulla robustezza demografica. Il documento inquadra il lavoro come uno strumento di misurazione fondamentale piuttosto che come un modello forense deployabile.