Why Fake ? Unveiling the Semantic Vocabulary of Deepfake Detectors

Sintesi Tecnica: Svelare il Vocabolario Semantico dei Rilevatori di Deepfake

Problema
La tecnologia Deepfake (DF) pone una minaccia critica all'integrità delle informazioni, rendendo necessari metodi di rilevamento robusti. Tuttavia, l'approccio prevalente nel rilevamento dei deepfake si basa sulla classificazione binaria (reale vs falso), che manca della trasparenza e della giustificazione richieste per applicazioni ad alto rischio, come i procedimenti legali. Sebbene l'Explainable Deepfake Detection (XDFD) sia emerso per affrontare questo problema, le tecniche esistenti soffrono di limitazioni significative: i metodi di localizzazione spazio-temporale producono spesso evidenze visive grossolane (ad esempio, evidenziando l'intero volto invece di artefatti specifici), mentre i metodi di spiegazione testuale mancano spesso di un preciso ancoraggio spaziale o non riflettono l'evidenza sottostante utilizzata dal rilevatore. Inoltre, molti approcci XDFD attuali richiedono modifiche architettoniche, obiettivi di addestramento ausiliari o annotazioni umane, creando compromessi tra interpretabilità e prestazioni predittive.

Metodologia
Questo lavoro propone un framework di Intelligenza Artificiale Spiegabile (XAI) post-hoc che analizza rilevatori di deepfake black-box allo stato dell'arte senza modificare la loro architettura o richiedere un nuovo addestramento. L'approccio tecnico centrale utilizza le Coppie di Direzioni di Codifica-Decodifica (EDDP), una tecnica basata sull'ipotesi della rappresentazione lineare.

1. Estrazione dei Concetti: Il metodo assume che i concetti (caratteristiche indicative di immagini reali o false) siano codificati nello spazio latente del modello come combinazioni lineari di embedding di concetti. Applicando l'EDDP alle attivazioni di uno strato specifico (il 12° blocco residuo di una rete Xception pre-addestrata su FaceForensics++), gli autori apprendono congiuntamente:

   • Direzioni di Decodifica ($W$): Vettori che fungono da rilevatori di concetti.
   • Direzioni di Codifica ($S$): Vettori che rappresentano le direzioni specifiche nello spazio latente in cui i concetti sono codificati.
   • Soglie ($b$): Confini decisionali per l'attivazione dei concetti.

2. Visualizzazione e Quantificazione:

   • Mappe di Presenza dei Concetti (CPM): Mappe binarie generate applicando le direzioni di decodifica a patch spaziali, sovracampionate per mostrare dove sono presenti specifici concetti.
   • Mappe di Contributo dei Concetti (CCM): Mappe di calore spazialmente consapevoli che quantificano l'influenza di ciascun concetto sul logit di predizione finale, distinguendo tra mera presenza e contributo causale.

3. Validazione e Analisi:

   • Sensibilità RCAV: Gli score dei vettori di attivazione dei concetti relativi (Relative Concept Activation Vector) sono utilizzati per determinare se un concetto orienta il modello verso classificazioni "Reale" o "Falso".
   • Mappatura Semantica: L'Intersection over Union (IoU) mappa le direzioni astratte dei concetti verso regioni facciali reali (es. naso, occhi, bocca).
   • Valutazione della Fedeltà (Faithfulness): Gli autori utilizzano il "concept cloning" (trapianto dei coefficienti dei concetti da un campione target a un campione base di origine) e interventi mirati (aggiunta/rimozione di concetti per invertire le predizioni) per verificare che i concetti identificati siano i driver primari della decisione del modello.

Contributi Chiave

• Primo XAI basato su concetti post-hoc per i Deepfake: Questa è la prima applicazione di XAI post-hoc basata su concetti specificamente nel dominio del rilevamento dei deepfake, evitando la necessità di riaddestramento del modello o supervisione a livello di artefatto.
• Scoperta del Vocabolario Semantico: Il lavoro svela con successo un "vocabolario semantico" di 16 concetti interni appresi dal rilevatore, mappando attivazioni latenti astratte a caratteristiche interpretabili dall'uomo (es. "bocca-falsa", "occhi-reali", "collo-falso").
• Comprensione Globale e Locale: Il framework consente una comprensione globale del modello identificando quali concetti guidano le predizioni, mentre le CCM forniscono spiegazioni locali basate su concetti e spazialmente consapevoli che individuano specifici artefatti di manipolazione.
• Analisi Controfattuale: Il metodo facilita l'analisi "what-if", dimostrando le relazioni causali tra specifici concetti e gli output del modello attraverso interventi sistematici.

Risultati

• Identificazione dei Concetti: L'analisi ha rivelato concetti distinti che orientano costantemente il modello verso il "Falso" (es. $c_1, c_3, c_9, c_{10}, c_{12}, c_{14}$) e altri verso il "Reale" (es. $c_0, c_5, c_7, c_8, c_{11}$). Alcuni concetti sono risultati non discriminanti.
• Ancoraggio Semantico: La mappatura quantitativa tramite IoU ha confermato che i concetti si allineano con specifiche regioni facciali (es. $c_5$ correla con il naso, $c_{12}$ con occhi falsi).
• Fedeltà: L'esperimento di concept cloning ha raggiunto un'accuratezza dell'87,34% nel riprodurre le predizioni target, e gli interventi mirati sui campioni classificati erroneamente hanno ottenuto un tasso di successo del 99,8% nel correggere l'output del modello. Ciò conferma che i coefficienti dei concetti appresi catturano le caratteristiche essenziali utilizzate per la classificazione.
• Specificità della Manipolazione: Lo studio ha osservato che certi concetti esibiscono un'alta specificità per particolari tecniche di generazione di deepfake (es. $c_3$ e $c_9$ sono altamente prevalenti in DeepFakes e Face2Face), indicando che il rilevatore apprende artefatti inerenti a specifici processi generativi.

Significato e Rivendicazioni
Il documento sostiene che questo approccio fornisca una comprensione più profonda delle strategie di rilevamento dei deepfake, andando oltre le predizioni binarie per rivelare le caratteristiche intrinseche apprese durante l'addestramento. Ancorando la logica di classificazione a regioni facciali identificabili e fornendo un meccanismo per guidare le predizioni del modello, il lavoro abilita sistemi di rilevamento più trasparenti e affidabili. Gli autori sottolineano che il loro metodo offre un allineamento stretto tra spiegazione e funzione decisionale, migliorando la fedeltà senza l'onere operativo del riaddestramento o dei vincoli architettonici.

Limitazioni
Gli autori riconoscono con modestia diverse limitazioni:

• Sebbene il rilevatore stesso non venga riaddestrato, il modello EDDP deve comunque essere appreso sullo spazio di rappresentazione specifico del modello target.
• Il numero di concetti è un iperparametro definito manualmente, il che comporta il rischio di ridondanza o di un segnale insufficiente se non selezionato correttamente.
• I concetti identificati sono ottimizzati per l'architettura specifica del modello (Xception) e il dataset (FaceForensics++) utilizzati; potrebbero non essere direttamente trasferibili ad altri modelli o dataset senza un processo di addestramento separato.