Riepilogo Tecnico: VendorBench-100

Problematica

La rapida democratizzazione della generazione di media sintetici ha spostato l'onere del rilevamento dei deepfake dai laboratori forensi specializzati alle piattaforme generali e ai singoli individui. Attualmente, tre distinti paradigmi competono per colmare questo vuoto di rilevamento, ma sono raramente valutati sotto un protocollo comune, rendendo impossibile il confronto diretto tra:

1. API Commerciali: Servizi proprietari che offrono un rilevamento "black-box" con affermazioni di accuratezza non verificate.
2. Modelli Vision-Language Zero-Shot (LLM): Modelli multimodali general-purpose utilizzati tramite prompt ad hoc per il rilevamento di falsificazioni senza un addestramento specifico.
3. Rilevatori Open-Source: Un ecosistema frammentato di checkpoint accademici e classificatori della comunità che richiedono infrastrutture locali.

I benchmark esistenti valutano tipicamente questi paradigmi in isolamento, spesso utilizzando dataset ampi e omogenei che non riescono a riflettere il "contenuto disordinato e avversariale" che circola nel mondo reale. Inoltre, le metriche di valutazione standard come l'accuratezza grezza sono fuorvianti su dataset sbilanciati, e vi è una mancanza di framework unificati per valutare se la capacità di ranking di un modello (potere discriminativo) si traduca in decisioni affidabili al punto di operatività (accuratezza della soglia predefinita).

Metodologia

Gli autori introducono VendorBench-100, un benchmark unificato trans-paradigma progettato per valutare 36 modelli rappresentativi attraverso i tre paradigmi (5 API commerciali, 7 Vision LLM zero-shot e 24 rilevatori open-source) utilizzando un singolo corpus avversariale fisso.

Il Corpus

• Composizione: Un set curato di 100 immagini (79 false, 21 reali).
• Filosofia di Design: Ottimizzato per la difficoltà piuttosto che per la scala. Ogni immagine è stata selezionata manualmente per sondare distinti e poco esplorati modi di fallimento (failure modes), piuttosto che per fornire potenza statistica per l'addestramento.
• Tassonomia dei Casi Limite (Edge-Case): Le 79 immagini false spaziano in otto famiglie distinte:
  1. Sfuocatura da face-swap live (intrecciata con motion blur da webcam).
  2. Face swap online quasi-duplicati (le statistiche globali rimangono autentiche).
  3. Still da text-to-video con letterboxing (la colorazione cinematografica imita il post-processing).
  4. Cuciture di compositing di avatar AI (contorni luminosi ignorati dai detector di frequenza).
  5. Output totalmente sintetico da text-to-image (alta risoluzione, fotorealistico).
  6. Edizioni fotografiche AI on-device di scene reali (sintesi localizzata in sfondi autentici).
  7. Manipolazioni a provenienza opaca (strumenti sconosciuti).
  8. Frame di dataset di ricerca compressi (bassa risoluzione, pelle cerosa e sfumata).
• Anti-Leakage: Le immagini vengono servite con nomi di file numerici neutri per evitare che i modelli (specialmente gli LLM) inferiscano le etichette dai metadati.

Protocollo di Valutazione

• Schema Unificato: Tutti i modelli sono normalizzati in un record di output condiviso contenente un'etichetta hard (FAKE/REAL), un punteggio di confidenza $P(fake) \in [0, 1]$ e un flag di successo.
• Metriche:
  • Metrica Primaria: Coefficiente di Correlazione di Matthews (MCC). Scelto perché lo sbilanciamento delle classi (79:21) rende l'accuratezza grezza banalmente manipolabile (ad esempio, un predittore "sempre fake" ottiene un'accuratezza del ~79% ma un MCC di 0.00). L'MCC tiene conto del bilanciamento delle classi e richiede che le prestazioni su entrambe le classi siano elevate.
  • Tie-Breaker: ROC-AUC. Una misura indipendente dalla soglia della capacità di ranking.
  • Metriche Secondarie: Accuratezza, F1, Precisione, Recall, Specificità e Coverage.
• Esecuzione: Le API commerciali sono state interrogate live; i Vision LLM sono stati interrogati zero-shot con uno schema forense condiviso; i rilevatori open-source sono stati eseguiti localmente su GPU.

Contributi Chiave

1. Benchmark Cross-Paradigma: Il primo confronto unificato di 36 modelli tra i track commerciali, LLM e open-source utilizzando un singolo corpus avversariale e uno schema di normalizzazione.
2. Costruzione del Corpus Avversariale: Un dataset deliberatamente difficile di 100 immagini organizzato attorno a otto specifiche famiglie di modalità di fallimento, accompagnato da un registro di provenienza e protocolli anti-leakage.
3. Analisi della Divergenza delle Metriche: L'identificazione di una consistente e critica divergenza tra la potenza di ranking (ROC-AUC) e la qualità del punto di operatività (MCC), dimostrando che una forte discriminazione dei punteggi non garantisce decisioni affidabili alla soglia predefinita.
4. Riproducibilità: Rilascio dell'intero framework di valutazione, delle prove per singola immagine e dei risultati aggregati.

Risultati

La valutazione rivela un panorama complesso dove l'appartenenza al paradigma predice il tipico comportamento, ma non riesce a predire la capacità del singolo modello:

• Ordine dei Paradigmi: Le API commerciali raggiungono generalmente la migliore performance mediana, seguite dai Vision LLM, con il track open-source che segue in termini di mediana.
• Eccezioni: Singoli modelli open-source possono superare i migliori Vision LLM nella pura capacità di ranking. Nello specifico, il modello open-source DRCT ha raggiunto un ROC-AUC di 0.866, superando tutti i Vision LLM (il migliore essendo Claude Opus 4.8 a 0.791).
• La "Trappola dell'Accuratezza": Diversi modelli hanno ottenuto punteggi ingannevolmente alti di accuratezza o F1 scegliendo la classe maggioritaria ("fake"). Ad esempio, zai_glm52 (Vision LLM) ha ottenuto un'accuratezza del 71% e un F1 di 0.83 ma una specificità dello 0% e un MCC negativo (-0.152), indicando che ha segnalato tutte le immagini reali come fake.
• Il Risultato della Divergenza: La scoperta centrale del documento è il disconnessione tra ROC-AUC e MCC:
  • TruthScan (Commerciale): Ha raggiunto il ROC-AUC più alto (0.915) ma il peggior MCC tra le API commerciali (-0.130) perché la sua soglia predefinita ha classificato quasi ogni immagine come fake.
  • Neural Defend (Commerciale): Ha raggiunto l'MCC più alto (0.876) ma un ROC-AUC vicino al caso (0.516), indicando un'eccellente calibrazione decisionale nonostante una debole separazione sottostante dei punteggi.
  • Implicazione: Un modello può essere un eccellente ranker (alto AUC) ma un cattivo decisore (basso MCC) alla sua soglia di rilascio, e viceversa.

Significato e Claim

Il documento sostiene che VendorBench-100 sposti fondamentalmente il focus della valutazione dalle classifiche isolate dei singoli leaderboard a una comprensione più sfumata del comportamento dei detector.

• Il Disaccordo tra le Metriche è Centrale: La divergenza tra la capacità di ranking e la qualità del punto di operatività è presentata come un risultato più significativo rispetto al semplice rango di un modello. Dimostra che riportare solo una metrica (ad esempio, AUC o Accuratezza) può caratterizzare sistematicamente in modo errato l'utilità reale di un modello.
• Guida Pratica: Per i professionisti, il benchmark suggerisce che le decisioni di acquisto devono pesare sia l'MCC che il ROC-AUC. Affidarsi a una singola metrica può portare all'adozione di un modello che è o inaffidabile (alto AUC, basso MCC) o conservativo fino all'inutilità (basso AUC, alta specificità ma bassa recall).
• Sfumatura del Paradigma: Sebbene le API commerciali guidino mediamente la classifica, lo studio confuta l'idea che i rilevatori open-source siano universalmente inferiori, mostrando che metodi accademici attentamente progettati (come DRCT) rimangono competitivi con i modelli foundation general-purpose.
• Limitazioni: Gli autori dichiarano esplicitamente che i risultati sono segnali diagnostici da un singolo, piccolo (100 immagini), corpus avversariale. Non pretendono che questi risultati rappresentino stime di accuratezza a livello di popolazione o che sia stato eseguito un test di significatività statistica su tutti i 630 confronti a coppie possibili. Il corpus è inteso come un test di stress per far emergere i modi di fallimento piuttosto che come un benchmark di popolazione.

In conclusione, il documento sostiene che il campo debba muoversi verso valutazioni unificate, riproducibili e multi-metrica che diano priorità a confronti equi tra i paradigmi rispetto ai punteggi isolati dei leaderboard.