Leveraging large multimodal models for audio-video deepfake detection: a pilot study

Cette étude présente AV-LMMDetect, un modèle multimodal de grande taille basé sur Qwen 2.5 Omni et affiné par supervision, qui traite la détection de deepfakes audio-visuels comme une tâche de classification par prompt et établit un nouvel état de l'art sur le jeu de données Mavos-DD.

L'essentiel

🕵️‍♂️ Le Problème : Les Super-Faux qui nous trompent

Imaginez que vous recevez une vidéo de votre grand-mère qui vous demande de l'argent d'urgence. Elle a l'air normal, elle parle avec sa voix habituelle... mais en réalité, c'est un deepfake (une super-falsification). Les nouvelles technologies permettent de créer des vidéos et des voix si réalistes qu'il est presque impossible de les distinguer du vrai à l'œil nu ou à l'oreille seule.

Jusqu'à présent, les détecteurs étaient comme des chefs de cuisine spécialisés :

• L'un ne regardait que les yeux (la vidéo).
• L'autre ne regardait que la bouche (l'audio).
• Le problème ? Si le faux est très bon, ces spécialistes se trompent souvent, surtout s'ils rencontrent un type de faux qu'ils n'ont jamais vu auparavant. Ils manquent de "culture générale".

🚀 La Solution : AV-LMMDetect, le "Grand Détective Polyglotte"

Les chercheurs de Tencent et de l'Université Fudan ont créé un nouveau détecteur appelé AV-LMMDetect. Au lieu d'entraîner un petit robot sur une seule tâche, ils ont pris un Géant de l'Intelligence Artificielle (un modèle multimodal appelé Qwen 2.5 Omni) et lui ont donné une mission précise.

Imaginez ce modèle comme un détective privé ultra-intelligent qui a lu tous les livres du monde, vu des millions de films et écouté toutes les musiques. Il a une culture générale énorme.

Au lieu de lui montrer des milliers d'exemples de faux pour qu'il apprenne par cœur, on lui pose simplement une question directe, comme un jeu de rôle :

"Voici cette vidéo avec son son. Selon toi, est-ce que c'est Vrai ou Faux ?"

🎓 La Méthode : L'Entraînement en Deux Étapes

Pour transformer ce géant intelligent en expert en détection de mensonges, ils ont utilisé une méthode en deux temps, un peu comme l'apprentissage d'un nouvel instrument de musique :

1. Étape 1 : La "Leçon de Base" (LoRA Alignment)
   Imaginez que vous avez un pianiste virtuose (le modèle de base). Vous ne voulez pas qu'il réapprenne à jouer du piano, vous voulez juste qu'il apprenne à jouer votre chanson spécifique.
   Ici, on "gèle" la mémoire du modèle (ses yeux et ses oreilles) et on lui apprend juste à répondre par "Vrai" ou "Faux" en suivant des instructions précises. C'est rapide et efficace.

2. Étape 2 : La "Pratique Intensive" (Full Fine-tuning)
   Maintenant, on débloque tout ! On laisse le modèle utiliser ses yeux et ses oreilles au maximum pour analyser la vidéo en détail. C'est comme si le pianiste commençait à improviser et à sentir les micro-incohérences entre le mouvement des lèvres et le son de la voix. C'est là qu'il apprend à repérer les petits détails qui trahissent un faux (par exemple, un son qui ne correspond pas tout à fait au mouvement des lèvres).

🏆 Les Résultats : Pourquoi c'est impressionnant ?

Les chercheurs ont testé leur détective sur deux terrains d'entraînement très difficiles (des bases de données de faux vidéos).

• Le modèle de base (sans entraînement) : C'était comme un touriste perdu. Il disait souvent : "Je ne sais pas, je ne peux pas dire." (32% de réussite).
• Le modèle entraîné (AV-LMMDetect) : C'est devenu un expert. Il a réussi à repérer les faux avec une précision de 85% dans les cas les plus difficiles, battant tous les autres détecteurs existants.

L'analogie finale :
Les anciens détecteurs étaient comme des gardiens de sécurité qui ne regardaient que la porte d'entrée. Si le voleur entrait par la fenêtre, ils ne voyaient rien.
AV-LMMDetect, lui, est un gardien qui a une vue à 360 degrés, qui entend tout, et qui a assez de bon sens pour dire : "Attends, ce visage bouge trop vite par rapport à la voix, c'est un faux !"

En résumé

Cette étude montre que pour arrêter les super-faux de demain, il ne faut pas créer de petits robots spécialisés, mais utiliser de grands intelligences artificielles que l'on forme à poser les bonnes questions et à écouter attentivement à la fois l'image et le son. C'est une victoire majeure pour la sécurité de nos médias !

Résumé technique

1. Problématique et Contexte

La détection de deepfakes audio-vidéo (AVD) est devenue une priorité critique pour garantir l'intégrité des médias et la confiance du public, face à la capacité croissante des générateurs modernes à fabriquer des discours et des vidéos convaincants.

• Limites des approches actuelles : La plupart des détecteurs multimodaux existants sont des modèles de petite taille, spécifiques à une tâche. Bien qu'ils fonctionnent bien sur des tests curatés, ils souffrent d'une mauvaise évolutivité et d'une faible capacité de généralisation face à des domaines ou des techniques de falsification nouveaux.
• Limites des modèles unimodaux : Les systèmes basés uniquement sur la vidéo ignorent les incohérences inter-modales (entre l'audio et la vidéo), tandis que les modèles basés uniquement sur l'audio (comme ALLM4ADD) ne peuvent pas exploiter les indices visuels ni gérer les décalages audio-vidéo.
• Opportunité : Les Grands Modèles Multimodaux (LMM), tels que Qwen 2.5 Omni, offrent un potentiel prometteur pour la détection de deepfakes s'ils sont reformulés et affinés correctement, mais leur application directe sans ajustement spécifique montre des résultats incertains (incapacité à trancher entre "Vrai" et "Faux").

2. Méthodologie : AV-LMMDetect

Les auteurs proposent AV-LMMDetect, le premier modèle multimodal de grande taille (LMM) affiné par apprentissage supervisé (SFT) pour la détection de deepfakes audio-vidéo de bout en bout.

A. Reformulation de la tâche

Au lieu d'utiliser une architecture de classification traditionnelle, la détection est reformulée comme une tâche de réponse à une question binaire (Question Answering).

• Prompt : "Étant donné la vidéo, évaluez si elle est Réelle ou Fausse ?" (Given the video, please assess if it's Real or Fake?)
• Sortie : Le modèle doit générer l'un des deux tokens contraints : "Real" (ID 12768) ou "Fake" (ID 52317).

B. Stratégie d'entraînement en deux étapes

Pour adapter efficacement le modèle de base (Qwen 2.5 Omni) à la tâche de détection tout en préservant ses connaissances générales, une stratégie en deux phases est adoptée :

1. Étape 1 : Alignement LoRA (Low-Rank Adaptation)
   • Les encodeurs vidéo et audio sont gelés.
   • Seules des couches LoRA légères sont entraînées pour aligner les capacités de raisonnement du modèle linguistique sur la tâche de détection.
   • L'objectif est d'apprendre au modèle à répondre strictement par "Real" ou "Fake" via des instructions spécifiques.
2. Étape 2 : Affinage complet des encodeurs Audio-Vidéo
   • Les encodeurs vidéo et audio sont débloqués.
   • Un affinage complet (Full Fine-Tuning) est effectué sur toutes les modalités.
   • Cette étape maximise la synergie inter-modale, permettant au modèle d'apprendre des représentations multimodales spécifiques à la tâche et de capturer les incohérences subtiles entre l'audio et la vidéo caractéristiques des manipulations.

3. Contributions Clés

1. Premier LMM SFT pour l'AVD : Introduction d'AV-LMMDetect, un modèle unifié capable de juger simultanément les flux audio et visuels via une classification par prompt.
2. Stratégie d'entraînement hybride : Une approche en deux étapes (LoRA → Affinage complet) qui équilibre l'efficacité computationnelle et la performance de détection inter-modale.
3. Généralisation supérieure : Démonstration que les LMM affinés peuvent surpasser les pipelines traditionnels, en particulier dans des scénarios "Open-set" (modèles et langues non vus lors de l'entraînement).

4. Résultats Expérimentaux

L'évaluation a été menée sur deux benchmarks majeurs : FakeAVCeleb et MAVOS-DD.

Performance sur FakeAVCeleb

• AV-LMMDetect atteint 98,02 % de précision et 99,2 % d'AUC.
• Ces résultats sont comparables à l'état de l'art (SOTA) actuel (AVFF : 98,6 % de précision) et surpassent nettement les méthodes purement visuelles (ex: Xception à 67,9 %) et la plupart des méthodes audio-vidéo baselines.

Performance sur MAVOS-DD (Scénarios Open-Set)

C'est sur ce dataset multilingue et multi-modèle que la supériorité du modèle est la plus marquée, notamment dans le scénario le plus difficile "Open-set full" (combinaison de nouveaux modèles de génération et de nouvelles langues) :

• Précision (Acc) : 85,09 % (contre 32,26 % pour le modèle de base Qwen 2.5 Omni non affiné).
• AUC : 0,92.
• mAP : 0,96.
• Le modèle établit un nouveau record (SOTA) sur MAVOS-DD, surpassant les méthodes précédentes comme AVFF, MRDF et TALL, qui montrent une dégradation significative dans les scénarios ouverts.

Analyse par Ablation

L'étude ablation confirme que les deux étapes sont essentielles :

• Zero-shot (aucun affinage) : 32,26 % de précision.
• Étape 1 seule (LoRA) : 73,40 %.
• Étape 2 seule (Affinage encodeurs) : 80,61 %.
• Combinaison (Étape 1 + 2) : 85,09 %.

Analyse de la Matrice de Confusion

Dans le scénario Open-set full, AV-LMMDetect présente le taux de faux négatifs le plus faible (14,9 %) comparé à AVFF (28,0 %) et TALL (40,1 %), démontrant une robustesse supérieure face aux modèles de génération inconnus.

5. Signification et Conclusion

Cette étude démontre que les Grands Modèles Multimodaux (LMM) affinés par apprentissage supervisé (SFT) constituent une voie viable et puissante pour la détection de deepfakes audio-vidéo.

• Avantage principal : Contrairement aux petits modèles spécifiques, les LMM offrent une capacité de généralisation exceptionnelle grâce à leurs données d'entraînement massives et à leur structure intrinsèque de données appariées vidéo-audio.
• Impact : La méthode AV-LMMDetect comble le fossé entre la recherche académique sur les petits modèles et les besoins de déploiement à grande échelle, offrant une solution robuste capable de s'adapter aux nouvelles techniques de falsification sans nécessiter de réentraînement complet de zéro pour chaque nouvelle menace.

En résumé, transformer la détection de deepfakes en une tâche de dialogue (Question-Réponse) exploitant la puissance de raisonnement des LMM représente une avancée significative pour la forensique multimodale.