Leveraging large multimodal models for audio-video deepfake detection: a pilot study

Deze pilotstudie introduceert AV-LMMDetect, een op Qwen 2.5 Omni gebaseerd groot multimodaal model dat via gefaseerde fine-tuning en prompt-gebaseerde classificatie nieuwe state-of-the-art resultaten behaalt voor de detectie van audio-video deepfakes.

De kern

Stel je voor dat je op een feestje bent en iemand een verhaal vertelt. Je kijkt naar hun gezicht, luistert naar hun stem en probeert te raden of ze de waarheid spreken of een leugen. Soms klopt het verhaal niet met de lippenbewegingen, of klinkt de stem net iets te mechanisch. Dat is precies wat computers moeten doen bij het opsporen van deepfakes: nepvideo's waarbij stem en beeld kunstmatig zijn gegenereerd.

Deze paper beschrijft een nieuwe, slimme manier om die nepvideo's te vangen. Hier is de uitleg in gewone taal, met een paar leuke vergelijkingen:

1. Het Probleem: De "Oude Politieagenten"

Vroeger hadden we speciale "politieagenten" (oude computerprogramma's) die alleen keken naar het beeld of alleen naar de geluidsspoor.

• De ene agent keek alleen naar de lippen: "Zie je dat die lippen niet bewegen met de woorden? Dat is nep!"
• De andere agent luisterde alleen naar de stem: "Die stem klinkt als een robot, dat is nep!"

Het probleem is dat deze agenten vaak verward raken als ze iets nieuws zien. Ze zijn getraind op specifieke trucs. Als de dieven een nieuwe manier vinden om nepvideo's te maken, weten deze oude agenten het niet meer. Ze zijn als een sleutel die maar één deur kan openen.

2. De Oplossing: De "Super-Detective"

De auteurs van dit artikel hebben een Super-Detective gebouwd. Ze noemen hem AV-LMMDetect.
In plaats van een simpele agent, is dit een enorm slimme "brein" (een groot multimodaal model, gebaseerd op Qwen 2.5 Omni) dat zowel kan kijken als kan luisteren, en bovendien kan redeneren.

Stel je voor dat je deze detective een video geeft en vraagt: "Is dit filmpje echt of nep?"
Hij kijkt niet alleen naar losse details, maar naar het geheel. Hij denkt: "Hé, de man zegt 'hallo', maar zijn lippen bewegen alsof hij 'hallo' zegt in een andere taal, en zijn stem klinkt alsof hij uit een andere wereld komt. Dit is nep!"

3. Hoe leer je deze Detective? (De Twee-Stappen Training)

Je kunt zo'n super-detective niet zomaar uit de kast halen; je moet hem eerst trainen. De auteurs gebruiken een slimme tweestaps-training:

• Stap 1: De "Lego-blokjes" aanpassen (LoRA Alignment)
  Stel je voor dat je een volwassen detective hebt die alles al weet over de wereld, maar nog nooit een deepfake heeft gezien. In deze stap geven we hem een paar simpele instructies: "Als je een video ziet, antwoord dan alleen met 'Echt' of 'Nep'." We veranderen de detective zelf niet, we plakken alleen een paar kleine, flexibele "Lego-blokjes" (LoRA) op hem zodat hij de regels van het spel begrijpt. Dit is snel en goedkoop.

• Stap 2: De "Oefenman" (Volledige Training)
  Nu de detective de regels kent, gaan we hem echt laten oefenen. We laten hem duizenden voorbeelden van echte en neppe video's zien. In deze stap laten we zijn "ogen" (beeldherkenning) en "oren" (geluidsherkenning) volledig open om te leren hoe nepvideo's er precies uitzien. Hij leert de subtiele verschillen die een mens of een oude computer niet ziet.

4. De Resultaten: Waarom is dit zo goed?

De testresultaten zijn indrukwekkend:

• Op bekende tests: De Super-Detective doet het net zo goed als de beste specialisten die er nu zijn.
• Op onbekende tests (De echte uitdaging): Dit is waar het echt schittert. Als ze de detective een video laten zien van een nep-methode die hij nooit eerder heeft gezien (bijvoorbeeld een nieuwe AI-technologie of een andere taal), faalt de oude "politieagent" vaak. De Super-Detective blijft echter kalm en zegt: "Dit voelt niet goed, dit is nep."

In de paper zien we dat de oude methoden bij onbekende video's soms 40% fouten maakten (ze dachten dat nep echt was). De nieuwe detective maakte maar 15% fouten.

Conclusie

Kortom: De auteurs hebben een slimme, lerende detective gebouwd die niet alleen kijkt of luistert, maar ook denkt. Door hem eerst de regels te leren en hem dan te laten oefenen met duizenden voorbeelden, kan hij nepvideo's opsporen die voor andere systemen onzichtbaar zijn.

Het is alsof we zijn overgestapt van een sleutel die maar één deur opent, naar een meester-dief die elke deur kan openen, zodat we precies kunnen zien welke deuren (video's) nep zijn.

Technische samenvatting

Probleemstelling

Met de snelle vooruitgang van generatieve modellen is de realiteit van synthetische media (deepfakes) toegenomen, wat een ernstige bedreiging vormt voor mediabewustzijn en publiek vertrouwen. Bestaande methoden voor het detecteren van audio-visuele deepfakes (AVD) hebben twee belangrijke beperkingen:

1. Visuele beperking: Veel huidige detectoren zijn visueel gebaseerd (bijv. CNN's) en missen cross-modale inconsistenties tussen audio en video.
2. Schaalbaarheid en Generalisatie: Bestaande multimodale systemen zijn vaak kleine, taakspecifieke modellen. Hoewel ze goed presteren op gecureerde testsets, generaliseren ze slecht naar nieuwe domeinen, onbekende manipulatiemethoden of open-set scenario's.
3. Beperking van Audio-only LLM's: Hoewel grote taalmodellen (LLM's) voor audio veelbelovend zijn, kunnen ze geen visuele aanwijzingen benutten en worstelen ze met mismatches tussen audio en video.

Het paper stelt de vraag of een Supervised Fine-Tuned (SFT) Large Multimodal Model (LMM) kan dienen als een universele, robuuste detector voor audio-visuele deepfakes.

Methodologie: AV-LMMDetect

De auteurs introduceren AV-LMMDetect, een model gebaseerd op Qwen 2.5 Omni. In plaats van een complexe, hand-gemaakte architectuur te bouwen, wordt de detectieopdracht herformuleerd als een prompt-gebaseerde ja/nee-classificatie: "Is dit video echt of nep?".

Het model doorloopt een twee-fasen trainingsstrategie om efficiëntie en prestaties te balanceren:

1. Fase 1: LoRA-Alignement (Lightweight):

   • De visuele en audio-encoders worden bevroren (frozen).
   • Er wordt alleen LoRA (Low-Rank Adaptation) toegepast op de taalcomponent van het model.
   • Doel: Het taalmodel efficiënt afstemmen op de deepfake-detectietaken via specifieke instructies ("Beantwoord alleen 'Real' of 'Fake'"), terwijl de algemene kennis van het model behouden blijft.

2. Fase 2: Volledige Fine-Tuning van Encoders:

   • De visuele en audio-encoders worden vrijgegeven (unlocked).
   • Er wordt een volledige fine-tuning uitgevoerd over alle modaliteiten.
   • Doel: Het maximaliseren van cross-modale synergie. Het model leert specifieke multimodale representaties en kan subtiele inconsistenties tussen audio en video detecteren die kenmerkend zijn voor deepfakes.

Formulering als Vraag-Antwoord:
De detectie wordt omgezet in een binair vraag-antwoord taak. Het model krijgt een video met audio en de prompt: "Gegeven de video, beoordeel of deze Echt of Nep is." Het model genereert een antwoord uit een beperkt vocabulaire ("Real" of "Fake"). De classificatie is gebaseerd op de waarschijnlijkheid van deze twee tokens.

Belangrijkste Bijdragen

• Eerste SFT-LMM voor AVD: AV-LMMDetect is het eerste toezicht-gefine-tuned grote multimodale model dat audio-visuele deepfake-detectie uitvoert via prompt-classificatie.
• Twee-fasen trainingsstrategie: Een innovatieve aanpak (LoRA-alignement gevolgd door volledige encoder-tuning) die zowel efficiëntie behoudt als sterke cross-modale prestaties levert.
• State-of-the-art Generalisatie: Het bewijst dat LMM's, wanneer correct gefine-tuned, superieure generalisatievermogen hebben ten opzichte van traditionele kleine modellen, vooral in open-set scenario's.

Resultaten

Het model is getest op twee uitdagende benchmarks: FakeAVCeleb en MAVOS-DD.

1. FakeAVCeleb (Intra-manipulatie):

   • AV-LMMDetect bereikte 98,02% nauwkeurigheid en 99,2% AUC.
   • Dit presteert vergelijkbaar met de huidige state-of-the-art (SOTA) methode AVFF (98,6% nauwkeurigheid) en overtreft traditionele visuele methoden (zoals Xception met ~68%) en andere audio-visuele baselines aanzienlijk.

2. MAVOS-DD (Generalisatie/Open-Set):

   • Dit dataset bevat deepfakes in 8 talen en 7 generatiemethoden.
   • In het meest uitdagende scenario (Open-set full), behaalde AV-LMMDetect 85,09% nauwkeurigheid, 0,92 AUC en 0,96 mAP.
   • Dit is een nieuw state-of-the-art resultaat, significant beter dan de basis Qwen 2.5 Omni (32,26% nauwkeurigheid zonder fine-tuning) en andere gefine-tuned methoden zoals AVFF (77,68% nauwkeurigheid).

3. Ablatie-studie:

   • De studie toont aan dat beide trainingsfasen essentieel zijn. Alleen LoRA (Fase 1) gaf 73,40% nauwkeurigheid, alleen encoder-tuning (Fase 2) gaf 80,61%, maar de combinatie bereikte 85,09%.
   • De "Zero-shot" (zonder fine-tuning) prestatie was slechts 32,26%, wat de noodzaak van gespecialiseerde training onderstreept.

4. Confusiematrix Analyse:

   • In het open-set scenario had AV-LMMDetect slechts 14,9% false negatives (nep als echt gemist) en 7,5% false positives, wat aanzienlijk beter is dan concurrenten zoals AVFF (28,0% false negatives) en TALL (40,1% false negatives).

Betekenis en Conclusie

De studie demonstreert dat Supervised Fine-Tuned Large Multimodal Models een veelbelovende en haalbare route zijn voor robuuste en generaliseerbare audio-visuele deepfake-detectie.

• Over de beperkingen van kleine modellen heen: In plaats van het bouwen van nieuwe, specifieke architecturen voor elke nieuwe deepfake-techniek, kunnen grote modellen worden aangepast om een breed scala aan manipulaties te detecteren.
• Cross-modale redenering: Door gebruik te maken van de redeneercapaciteiten van grote modellen, kunnen systemen beter omgaan met onbekende generatiemodellen en taalvariaties.
• Toekomstperspectief: AV-LMMDetect vult en breidt bestaande pipelines uit, en suggereert dat de toekomst van forensische detectie ligt in het benutten van de kracht van grote multimodale modellen in plaats van puur op handmatige kenmerken of kleine netwerken.