Riepilogo Tecnico: Quando gli Occhi Tradiscono l'IA

Enunciato del Problema

I recenti progressi nei modelli generativi (ad es. Stable Diffusion 3, FLUX.1, DALL·E 3, Midjourney v6) hanno efficacemente eliminato gli artefatti di basso livello che in precedenza costituivano la base primaria per il rilevamento dei contenuti generati dall'IA (AIGC). Segnali come anomalie di frequenza, tracce di upsampling e impronte digitali a livello di pixel sono ora in gran parte mitigati, causando il crollo dei rilevatori consolidati (NPR, UnivFD, AIDE) a prestazioni vicine al caso su dataset contemporanei incentrati sulle persone. Inoltre, il panorama delle minacce si è spostato verso falsi di "modifica parziale", dove i modelli di inpainting rigenerano regioni localizzate di fotografie autentiche. Questi falsi mantengono le statistiche fotometriche globali dell'immagine originale, eludendo i rilevatori che si basano su indizi distribuiti globalmente.

Il documento sostiene che il rilevamento richiede un passaggio dall'analisi statistica di basso livello a un asse di coerenza semantica di alto livello. Nello specifico, ipotizza che, mentre i generatori possono produrre volti localmente fotorealistici, faticano a mantenere la coerenza geometrica dello sguardo sociale nelle interazioni tra più persone.

Metodologia

1. Coerenza dello Sguardo Sociale come Indizio Semantico

Gli autori definiscono la Coerenza dello Sguardo Sociale come la coerenza reciproca della direzione dello sguardo, dell'allineamento testa-occhio e del posizionamento della pupilla tra gli individui che interagiscono. A differenza di lavori precedenti che trattano lo sguardo come un target di riconoscimento delle azioni o si concentrano su priori anatomici intra-facciali (ad es. irregolarità nella forma della pupilla), questo lavoro tratta lo sguardo come una predizione forense falsificabile. Le fotografie autentiche soddisfano queste relazioni geometriche per costruzione, whereas i modelli di inpainting contemporanei le violano sistematicamente nella regione dell'occhio.

2. Costruzione del Dataset Personalizzato per lo Sguardo

Per isolare l'indizio dello sguardo dalle impronte digitali confondenti del generatore, gli autori hanno costruito il dataset Custom Gaze (46.830 immagini accoppiate).

• Preservazione dell'Identità a Livello di Coppia: Ogni immagine falsa è generata da un'immagine sorgente reale (derivata dal dataset OI Mutual Gaze) rigenerando solo la regione dell'occhio utilizzando FLUX.1-Fill. L'identità di base, la scena, l'illuminazione e la composizione globale rimangono invarianti.
• Blocco delle Scorciatoie: Questa struttura accoppiata impedisce ai modelli di apprendere impronte digitali globali specifiche del generatore (ad es. residui spettrali specifici di FLUX) come scorciatoia, costringendo il modello a fare affidamento sulle differenze anatomicamente fondate nella regione dell'occhio.
• Mascheratura: Una maschera specifica ($M_{eye}$) che copre la banda verticale $[0.25h, 0.55h]$ del riquadro di delimitazione del viso è utilizzata per l'inpainting.

3. Supervisione delle Didascalie Composita a Blocchi

Il documento introduce uno schema di supervisione innovativo per iniettare uno scheletro di ragionamento nell'addestramento dei Modelli Linguaggio-Visione (VLM), in particolare FakeVLM (LLaVA-v1.5 + Vicuna-7B).

• Struttura: Invece di una generazione libera o di una classificazione binaria, il modello è addestrato a produrre una didascalia a 5 blocchi: Decisione $\to$ Scena $\to$ Metodo (ragionamento basato sullo sguardo) $\to$ Prova $\to$ Conclusione.
• Diversità Composita: Lo scheletro di ragionamento (il flusso logico) è invariante, ma la lessicalizzazione superficiale varia. Campionando da pool macro di 5 varianti per 4 posizioni, il sistema genera 1.250 didascalie uniche da soli 20 voci di pool macro.
• Razionale: Questo design disaccoppia la coerenza del ragionamento dalla diversità dell'output, prevenendo il collasso modale e assicurando che il modello interiorizzi il percorso di ragionamento specifico "centrato sullo sguardo" invece di ricorrere a spiegazioni basate sulla texture.

4. Protocollo di Addestramento

• Fine-Tuning Misto: Il modello è affinato su una miscela del dataset Custom Gaze e del dataset esistente FakeClue (supervisione incentrata sulla texture) per prevenire il collasso distribuzionale su categorie non personali.
• Selezione del Checkpoint: Gli autori selezionano il checkpoint in base alla Precisione Bilanciata (BA) piuttosto che alla perdita di validazione, notando un significativo disaccoppiamento in cui la minimizzazione della perdita non correla con le prestazioni bilanciate per classe.
• Architettura: Il fine-tuning efficiente dei parametri (LoRA) è applicato al codificatore visivo e all'LLM, con un fine-tuning completo sul proiettore linguaggio-visivo.

Contributi Chiave

1. Un Nuovo Asse di Rilevamento (C1): L'introduzione della Coerenza dello Sguardo Sociale come asse di rilevamento semantico ortogonale ai paradigmi di basso livello. Gli autori forniscono un resoconto meccanico in quattro passaggi che ne spiega la trasferibilità trasversale ai generatori:

   • Blocco della scorciatoia di modifica accoppiata: Previene la memorizzazione delle impronte digitali del generatore.
   • Trasferimento di difficoltà da difficile a facile: L'addestramento su modifiche parziali (difficili) migliora le prestazioni sulla sintesi completa (facile).
   • Preservazione del priori CLIP: Sfrutta le rappresentazioni pre-addestrate CLIP condivise tra i generatori.
   • Debolezza spettrale condivisa della famiglia Diffusion: Sfrutta le debolezze spettrali coerenti nelle strutture perioculari tra i generatori basati su diffusione.

2. Design della Supervisione (C2): La proposta della Supervisione delle Didascalie Composita a Blocchi, che utilizza uno scheletro di ragionamento fisso con variazione superficiale per costringere il modello ad articolare perché un'immagine è falsa basandosi sulla geometria dello sguardo, piuttosto che prevedere semplicemente un'etichetta.

3. Validazione Cross-Architettura (C3): Dimostrazione che l'indizio dello sguardo è agnostico rispetto all'architettura. Il design della supervisione migliora un VLM da 7B parametri (FakeVLM) e un backbone solo visivo (Effort) su più benchmark, dimostrando che il segnale non è specifico di una singola architettura di modello.

Risultati Sperimentali

Il metodo è stato valutato su tre benchmark: Custom Gaze (falsi difficili di modifica parziale), COCOAI Person (AIGC a persona singola) e COCOAI Interaction (interazione tra più persone).

• Miglioramenti delle Prestazioni:
  • Sul sottoinsieme COCOAI Interaction (il benchmark diagnostico principale), il metodo proposto ha migliorato la Precisione Bilanciata (BA) dal 67,8% al 71,5% (+3,7 pp) rispetto all'origine FakeVLM, con un guadagno massiccio in Macro-F1 (+7,5 pp) e MCC (+13,3 pp).
  • Su COCOAI Person, la BA è migliorata dall'83,0% all'84,3% (+1,3 pp).
  • Su Custom Gaze, il metodo ha raggiunto prestazioni quasi perfette (99,9% BA), saturando il limite della distribuzione interna.
• Confronto con le Baseline:
  • I rilevatori di basso livello (AIDE, NPR, UnivFD) sono crollati a prestazioni quasi casuali (BA $\le$ 51,5%) sul sottoinsieme di interazione.
  • Il modello proposto da 7B ha superato il concorrente da 13B parametri SIDA-13B di +14,4 pp in BA media e +30,5 pp in MCC, dimostrando che il design della supervisione supera il numero di parametri.
• Analisi della Matrice di Confusione: I guadagni sono stati guidati da un sostanziale recupero delle classificazioni "falso" (+17 sul sottoinsieme di interazione) con un degrado quasi nullo nella classificazione "reale", escludendo un artefatto di "prevedi-tutto-falso".
• Trasferimento Cross-Architettura: Il fine-tuning del backbone solo visivo Effort sul dataset Custom Gaze ha prodotto pattern simili di saturazione della distribuzione interna e trasferimento cross-distribuzione, confermando l'indipendenza dell'indizio dall'architettura VLM.

Significato e Affermazioni

Il documento afferma che, man mano che gli artefatti di basso livello si ritirano, la coerenza socio-semantica diventa la frontiera critica per il rilevamento AIGC. Il significato di questo lavoro risiede in:

1. Spostamento del Paradigma: Spostare il rilevamento dalle statistiche dei pixel alle relazioni geometriche di alto livello (coerenza dello sguardo) che i modelli di diffusione attuali non riescono a imporre esplicitamente.
2. Supervisione Efficace: Dimostrare che come si chiede a un modello di spiegare la sua previsione (ragionamento strutturato vs. libero o binario) è tanto consequenziale quanto l'architettura del modello stesso.
3. Robustezza: Fornire prove che un indizio derivato da un singolo generatore (FLUX.1-Fill) e da un compito specifico (modifica parziale dell'occhio) può generalizzare a scenari di sintesi di immagini complete multi-generatore tra diverse famiglie di modelli.

Gli autori riconoscono le limitazioni, inclusa la specializzazione di dominio (solo incentrata sulle persone), la dipendenza da un singolo inpainter per la costruzione del dataset e una tendenza verso la "fiducia eccessiva nelle carte" (eccessiva affidamento sugli indizi dello sguardo) negli scenari a persona singola, che suggeriscono potrebbero essere mitigati da meccanismi di gating principiali nel lavoro futuro.