Leave No Stone Unturned: Uncovering Holistic Audio-Visual Intrinsic Coherence for Deepfake Detection

Hieronder volgt een gedetailleerde technische samenvatting van het paper "Leave No Stone Unturned: Uncovering Holistic Audio-Visual Intrinsic Coherence for Deepfake Detection" in het Nederlands.

1. Het Probleem

De snelle vooruitgang van generatieve AI heeft geleid tot hyper-realistische audio-visuele deepfakes, wat een ernstige bedreiging vormt voor persoonlijke veiligheid en sociaal vertrouwen. Bestaande detectiemethoden hebben echter twee fundamentele tekortkomingen:

• Eenzijdige afhankelijkheid: De meeste methoden vertrouwen óf op artefacten binnen één modale (alleen beeld of alleen audio) óf op specifieke discrepanties tussen audio en video (zoals lip-sync fouten). Ze benutten niet gezamenlijk de intrinsieke coherentie binnen en tussen modaliteiten.
• Gebrek aan generalisatie: Detectoren die zijn getraind op artefacten van specifieke generatoren (bijv. oude GANs) presteren slecht bij nieuwe, onbekende forgeries van state-of-the-art modellen (zoals Sora, Veo, Kling).
• Verouderde benchmarks: Bestaande datasets bevatten voornamelijk forgeries van oudere technologieën en missen hoge-fidelity forgeries van moderne text-to-video (T2V) en image-to-video (I2V) modellen.

2. Methodologie: HAVIC

De auteurs stellen HAVIC (Holistic Audio-Visual Intrinsic Coherence) voor, een tweestapsraamwerk dat is ontworpen om robuustheid en generalisatie te bereiken door te focussen op "intrinsieke coherentie" in plaats van specifieke artefacten.

A. Drie Niveaus van Coherentie

Het model leert drie niveaus van coherentie:

1. Modale-specifieke structurele coherentie: Logische structuur binnen één modale (bijv. fysiek realistische vervormingen in video of akoestische consistentie in audio).
2. Inter-modale micro-coherentie: Precieze segment-gewijze uitlijning tussen audio en video (bijv. synchronisatie van fonemen met lipbewegingen).
3. Inter-modale macro-coherentie: Semantische consistentie op het niveau van het gehele voorbeeld (bijv. de audio beschrijft een gebeurtenis die visueel ook gebeurt).

B. Het Trainingsproces

Het proces bestaat uit twee fasen:

Fase 1: Pre-training op Holistische Coherentie Priors (Self-Supervised)
Het model wordt voorgeprogrammeerd op een groot aantal echte video's (geen labels) om de bovengenoemde coherentie-priors te leren via drie zelf-superviserende taken:

• Modale-specifieke Hiërarchische Reconstructie: Een variant van Masked Autoencoders (MAE) waarbij gemaskeerde tokens worden gereconstrueerd uit hiërarchische encoder-features. Dit leert structurele plausibiliteit binnen elke modale.
• Fijngestelde Audio-Visuele Contrastieve Loss: Audio en video worden opgedeeld in tijdssegmenten. Het model leert om positieve paren (zelfde segment) te onderscheiden van negatieve paren, met een "soft negative" strategie om intra-sample variatie te respecteren. Dit leert micro-coherentie.
• Cross-modale Semantische Reconstructie: Het model probeert de globale semantische representatie van de ene modale te reconstrueren op basis van de andere (bijv. audio naar video). Dit leert macro-coherentie.

Fase 2: Holistische Adaptieve Aggregatie Classificatie (Fine-tuning)
Na pre-training wordt het model fijngefineerd op gelabelde deepfake-data:

• Adaptive Feature Aggregation (AFA): Een module die dynamisch leert welke features het belangrijkst zijn voor de detectie. Omdat forgeries variëren (soms zit de fout in lage details, soms in hoge semantiek, soms in cross-modal discrepanties), weegt deze module hiërarchische unimodale features en interactie-bewuste features adaptief.
• Classificatie: Een hoofdclassificator voegt de geaggregeerde features samen om een voorspelling te doen. Er zijn ook hulp-classificatoren voor elke modale apart om te voorkomen dat het model te veel afhankelijk wordt van slechts één modale.

3. Belangrijkste Bijdragen

1. HAVIC Framework: Een nieuw tweestapsraamwerk dat eerst leert wat "echt" is door intrinsieke coherentie-priors te modelleren, en vervolgens adaptief features aggregeert voor detectie.
2. HiFi-AVDF Dataset: De auteurs introduceren een nieuwe, uitdagende benchmark-dataset genaamd HiFi-AVDF.
   • Bevat 1.905 unieke personen met zowel echte als gegenereerde video's.
   • Gebruikt de nieuwste commerciële generatoren: Veo 3.1, Kling 2.5, Seedance 1.0, Pixverse V5, WAN 2.5 en Sora 2.
   • Ondersteunt zowel Text-to-Video (T2V) als Image-to-Video (I2V) forgeries, wat een significant verschil is met eerdere datasets die voornamelijk op face-swapping en audio-driven methoden waren gebaseerd.
3. Superieure Prestaties: Het framework presteert aanzienlijk beter dan de state-of-the-art (SOTA) methoden, vooral in cross-dataset scenario's.

4. Resultaten

De experimenten tonen aan dat HAVIC aanzienlijk beter presteert dan bestaande methoden (zoals AVFF, PIA, RealForensics):

• Intra-dataset (FakeAVCeleb): HAVIC bereikt 99.8% ACC en 99.9% AUC.
• Cross-dataset (KoDF): HAVIC behaalt 99.2% AP en 98.9% AUC, wat een verbetering is van +3.5% AP ten opzichte van de beste concurrent.
• Cross-dataset op HiFi-AVDF (De meest uitdagende test):
  • Hier presteren alle methoden slechter vanwege de hoge kwaliteit van de forgeries.
  • HAVIC behaalt echter nog steeds 75.41% AP en 75.77% AUC.
  • Dit is een verbetering van +9.39% AP en +9.37% AUC ten opzichte van de beste bestaande methoden.
• Robuustheid: Het model presteert ook goed wanneer audio ontbreekt (alleen visuele input), wat aantoont dat het sterke visuele priors heeft geleerd.

5. Betekenis en Conclusie

Dit paper is significant omdat het de focus verschuift van het jagen op specifieke artefacten (die snel verouderd raken) naar het begrijpen van de fundamentele, intrinsieke coherentie van de werkelijkheid.

• Generalisatie: Door te focussen op wat "echt" is in plaats van wat "nep" is, kan HAVIC beter omgaan met nieuwe generatieve modellen waarvoor het niet specifiek is getraind.
• Nieuwe Benchmark: De HiFi-AVDF dataset stelt de gemeenschap in staat om detectiemethoden te testen tegen de scherpste rand van generatieve AI (T2V/I2V), wat essentieel is voor de toekomstige strijd tegen desinformatie.
• Toekomstperspectief: Hoewel HAVIC een grote stap voorwaarts is, tonen de resultaten op HiFi-AVDF aan dat er nog ruimte is voor verbetering, aangezien zelfs dit model moeite heeft met de meest realistische forgeries. Dit onderstreept de noodzaak van blijvend onderzoek naar robuuste detectie tegen geavanceerde adversarial attacks.

Kortom, HAVIC biedt een holistische aanpak die "geen steen ongemoeid laat" door zowel de interne structuur als de onderlinge samenhang van audio en video te analyseren, wat leidt tot een veel robuustere deepfake-detectie.