Riassunto Tecnico: CoCoVideo e CoCoDetect

1. Definizione del Problema

Il rapido avanzamento dei contenuti generati dall'intelligenza artificiale (AIGC) ha portato a una falsificazione video sempre più sofisticata, ponendo sfide significative al discorso pubblico e alla sicurezza sociale. Sebbene il rilevamento dei deepfake abbia progredito, gli attuali metodi affrontano due criticità fondamentali:

1. Gap di Qualità del Dataset: I benchmark esistenti (ad es., GenBuster, GenVidBench) si affidano pesantemente a modelli di generazione video open-source. Questi modelli producono output con una fedeltà visiva inferiore e una minore coerenza di movimento/scena rispetto ai sistemi commerciali all'avanguardia. Di conseguenza, i modelli addestrati su tali dati tendono a sovra-adattarsi (overfitting) a pattern generativi di bassa qualità e non riescono a generalizzare verso i video AIGC commerciali ad alta fedeltà.
2. Limitazioni Metodologiche: I metodi di rilevamento tradizionali si concentrano spesso su specifiche architetture generative o su indizi di manipolazione a basso livello (ad es., artefatti visivi, anomalie di frequenza). Essi faticano a sfruttare indizi semantici di alto livello, come la logica fisica e la coerenza della scena, che sono cruciali per distinguere le falsificazioni di alta qualità prive di evidenti artefatti a basso livello.

2. Metodologia

Il documento introduce una soluzione a due fronti: un nuovo dataset di alta qualità (CoCoVideo-26K) e un nuovo framework di rilevamento (CoCoDetect).

2.1. Dataset CoCoVideo-26K

CoCoVideo-26K è un benchmark contrastivo, basato su modelli commerciali, progettato per colmare il divario di qualità tra i dati di ricerca e le minacce del mondo reale.

• Composizione dei Dati: Il dataset comprende 26.000 clip video organizzate in coppie "reale–falso" semanticamente allineate.
  • Video Reali: Estratti da OpenVid-1M, filtrati per scene reali ad alta fedeltà (~13.000 clip).
  • Video Falsi: Generati utilizzando 13 distinti modelli commerciali di generazione video all'avanguardia (ad es., Sora, Kling, Runway Gen4, Jimeng 3.0, Midjourney v7). Ogni modello contribuisce con 1.000 video.
• Struttura Contrastiva: Ogni video reale è accoppiato con un corrispettivo sintetico generato dallo stesso primo fotogramma e dallo stesso prompt testuale. Ciò garantisce un rigoroso allineamento semantico, permettendo un'analisi dettagliata delle differenze in termini di texture, movimento e coerenza della scena sotto condizioni di contenuto identiche.
• Scala e Diversità: Il dataset copre categorie diverse tra cui interazioni umane, preparazione del cibo, crescita delle piante e paesaggi naturali, con una durata costante di circa 5 secondi e frame rate di 24–30 FPS.

2.2. Framework CoCoDetect

CoCoDetect è un framework di rilevamento che integra l'apprendimento contrastivo con un meccanismo di ragionamento basato su un Modello Linguistico Multimodale (MLLM) con gating della confidenza.

• Backbone: Il sistema utilizza una rete R3D-18 per estrarre rappresentazioni spazio-temporali da batch di video in input.
• Architettura Dual-Head:
  1. Confidence Head: Un MLP a tre strati seguito da un'attivazione Sigmoid restituisce un punteggio di confidenza ($p \in [0, 1]$) che indica la probabilità che un video sia reale.
  2. Projection Head: Un MLP a due strati mappa le caratteristiche in uno spazio di embedding a 128 dimensioni per l'apprendimento contrastivo.
• Funzione di Perdita (Loss Function):
  • Confidence Loss: Binary Cross-Entropy (BCE) per la classificazione dell'autenticità.
  • Paired Contrastive Loss: A differenza del tradizionale apprendimento contrastivo supervisionato che raggruppa tutti i campioni della stessa classe, questa perdita impone specificamente la separazione tra coppie reale–falso semanticamente allineate (che condividono lo stesso primo fotogramma e prompt). Utilizza una penalità hinge per garantire che la similarità del coseno tra una coppia reale-falso rimanga al di sotto di una specifica soglia, senza vincolare i campioni non accoppiati.
• Inferenza MLLM con Gating della Confidenza:
  • Meccanismo di Routing: Durante l'inferenza, se il punteggio di confidenza $p$ cade in un intervallo di incertezza (definito dalla soglia $\tau$), il campione viene instradato a un MLLM (LLaVA-NeXT-Video-7B). I campioni ad alta confidenza vengono classificati direttamente dal backbone.
  • Ragionamento MLLM: Per i casi incerti, l'MLLM analizza i fotogrammi chiave e il punteggio di confidenza per ragionare sulla plausibilità fisica e sulla coerenza della scena. Produce un JSON strutturato contenente un giudizio binario, un punteggio di confidenza semantica e una spiegazione in linguaggio naturale.
  • Fusione Decisionale: L'output dell'MLLM viene mappato nello stesso spazio semantico della confidenza del backbone e fuso tramite una strategia di pesatura adattiva per produrre la classificazione finale.

3. Contributi Chiave

1. Benchmark CoCoVideo-26K: L'istituzione di un dataset di alta qualità caratterizzato da coppie contrastive reale–falso provenienti da 13 modelli commerciali, fornendo un nuovo standard per valutare il rilevamento AIGC in condizioni realistiche e ad alta fedeltà.
2. Framework CoCoDetect: Un'architettura innovativa che combina l'apprendimento contrastivo dual-head (per la discriminazione a livello di texture) con un meccanismo MLLM con gating della confidenza (per il ragionamento a livello semantico), consentendo un giudizio sistematico attraverso entrambi i livelli di caratteristiche.
3. Validazione Empirica: Esperimenti esaustivi che dimostrano prestazioni allo stato dell'arte sul test set CoCoVideo e forti capacità di generalizzazione su molteplici benchmark open-source pubblici.

4. Risultati Sperimentali

4.1. Prestazioni su CoCoVideo-26K

Sul test set proposto, CoCoDetect ha raggiunto le migliori prestazioni medie in termini di Accuratezza (90,69%), F1-score (90,62%), Recall (89,95%) e AUC (95,93%), superando solidi baseline come DeMamba, VideoMAE e 3D ResNeXt.

• Osservazione: Il metodo ha mostrato una strategia decisionale conservativa, dando priorità alla precisione rispetto al recall in alcuni modelli, riducendo efficacementamente i falsi allarmi attivando selettivamente l'MLLM per i casi incerti.
• Limitazione: Le prestazioni sono leggermente diminuite su modelli come Jimeng e Veo3 dove le incongruenze di risoluzione tra le coppie reali e false hanno interrotto l'allineamento semantico.

4.2. Generalizzazione Cross-Dataset

Valutato su cinque benchmark pubblici (GVD, GVF, GenVideo, GenVidBench, GenBuster), CoCoDetect ha dimostrato una robusta generalizzazione:

• Ha ottenuto l'accuratezza più elevata su quattro dei cinque benchmark.
• Su GenBuster, che utilizza versioni precedenti degli stessi modelli commerciali, CoCoDetect ha mantenuto prestazioni elevate, suggerando che il modello faccia meno affidamento su specifici artefatti generativi e più su indizi semantici e di texture generalizzabili.
• Su GenVideo, le prestazioni in termini di F1-score sono diminuite a causa della prevalenza di clip brevi e quasi statiche nel dataset, che hanno interrotto la coerenza temporale necessaria per l'analisi del movimento dell'MLLM.

4.3. Studi di Ablazione

Gli esperimenti di ablazione hanno confermato la necessità di entrambi i componenti:

• Rimuovendo il Projection Head (apprendimento contrastivo), l'AUC è scesa dal 95,93% al 91,39%.
• Rimuovendo l'MLLM (affidandosi solo ai punteggi di confidenza), l'AUC è scesa al 95,46%.
• Il modello completo ha ottenuto i punteggi più alti, validando il fatto che le caratteristiche contrastive a basso livello e il ragionamento semantico ad alto livello lavorano in sinergia.

4.4. Casi di Studio

• Alta Confidenza: La rete contrastiva ha identificato correttamente gli evidenti artefatti di texture senza l'intervento dell'MLLM.
• Bassa Confidenza (Recupero): In casi ambigui, l'MLLM ha identificato con successo errori semantici (ad es., un ponte sospeso interpretato erroneamente come un camino) che il backbone aveva mancato, correggendo la previsione.
• Caso di Fallimento: In scene naturali semplici con artefatti sottili e nessuna evidente incongruenza semantica, entrambi i moduli hanno fallito, evidenziando l'attuale difficoltà nel rilevare falsificazioni in ambienti a bassa complessità.

5. Significato e Rivendicazioni

Il documento afferma che CoCoVideo-26K colma il critico divario tra i dataset di ricerca e le minacce AIGC commerciali del mondo reale, fornendo un benchmark più affidabile per l'addestramento e la valutazione. CoCoDetect è presentato come un framework robusto che supera i limiti del rilevamento puramente basato sulla texture integrando il ragionamento semantico per i casi incerti.

Gli autori sottolineano che il loro approccio valida l'efficacia della combinazione tra apprendimento contrastivo a grana fine e verifica semantica ad alto livello. Concludono che, sebbene il metodo dimostri prestazioni allo stato dell'arte e una forte generalizzazione, il lavoro futuro si concentrerà sull'espansione del dataset con modalità audio e annotazioni semantiche più ricche per migliorare ulteriormente il rilevamento di contenuti AIGC affidabili.