Generating Attribution Reports for Manipulated Facial Images: A Dataset and Baseline

1. Problématique et Contexte

L'évolution rapide des modèles génératifs (notamment les modèles de diffusion) a considérablement augmenté le réalisme des images synthétiques, soulevant des préoccupations majeures concernant la désinformation et les violations de la vie privée. Bien que la recherche sur la détection des falsifications (deepfakes) ait évolué de la classification binaire vers la localisation fine des régions falsifiées, les méthodes actuelles présentent des limites critiques :

• Manque d'interprétabilité : Les modèles existants produisent souvent des masques binaires (pixels falsifiés vs non falsifiés) sans fournir de contexte sémantique. Ils ne répondent pas à la question "Pourquoi" une région est considérée comme falsifiée.
• Insuffisance pour l'humain : Face à des falsifications visuellement indistinguables de la réalité, les masques binaires seuls offrent peu d'indices aux experts humains pour vérifier les anomalies subtiles (textures de peau, incohérences d'éclairage, asymétries).
• Absence de rapports explicatifs : Il n'existe pas de tâche standardisée ni de jeu de données permettant de générer simultanément une localisation précise et une explication textuelle naturelle ("Pourquoi" et "Où").

2. Méthodologie

Les auteurs proposent une approche unifiée comprenant la création d'un nouveau jeu de données et d'un modèle de base (baseline).

A. Le Jeu de Données : MMTT (Multi-Modal Tamper Tracing)

C'est le premier jeu de données à grande échelle conçu spécifiquement pour la génération de rapports d'attribution de falsification.

• Échelle : 152 217 échantillons dérivés de 100 000 images faciales d'origine (CelebAMask-HQ et FFHQ).
• Paradigmes de manipulation : Trois types de falsifications sont simulés pour créer une diversité de défis :
  1. Échange de visage (Face Swapping) : Utilisation du modèle E4S.
  2. Édition de visage (Face Editing) : Utilisation de StyleCLIP et HFGI pour modifier des attributs (sourcils, yeux, etc.).
  3. Inpainting d'image : Utilisation de modèles basés sur des Transformers (MAT) et de diffusion (SDXL) pour réparer ou remplacer des zones.
• Annotations de haute qualité :
  • Masques Ground-Truth : Déduits algorithmiquement du processus de génération, garantissant une précision pixel parfaite.
  • Descriptions textuelles : Rédigées par 30 annotateurs humains suivant un protocole rigoureux. Les annotateurs décrivent uniquement les incohérences visuelles dans les zones falsifiées (textures, contours, asymétries) sans faire référence à l'image originale. Le corpus contient plus de 4 millions de mots.

B. Le Modèle : ForgeryTalker

ForgeryTalker est un cadre unifié "end-to-end" basé sur l'architecture InstructBlip, conçu pour générer conjointement un masque de localisation et un rapport textuel.

• Architecture :

  • Encodeur partagé : Combine un encodeur visuel (Vision Transformer) et un Q-Former pour extraire des représentations multimodales sensibles aux falsifications.
  • Réseau d'invite de falsification (Forgery Prompter Network - FPN) : Un module spécialisé (basé sur ViT avec des branches convolutionnelles et des convolutions coordonnées) qui identifie les régions suspectes et génère des mots-clés (prompts) pour guider le modèle.
  • Décodeurs doubles :
    1. Décodeur de Masque : Utilise le Two-way Transformer de SAM (Segment Anything Model) pour prédire le masque de falsification binaire.
    2. Grand Modèle de Langage (LLM) : Génère le rapport textuel explicatif en s'appuyant sur les prompts du FPN et les caractéristiques visuelles.

• Stratégie d'entraînement en deux étapes :

  1. Pré-entraînement sensible à la falsification : Optimisation conjointe de l'encodeur, du Q-Former et des décodeurs via quatre objectifs : modélisation de langage masqué (MLM), modélisation de langage (LM), localisation de falsification (perte de segmentation) et alignement inter-modale (contraste).
  2. Génération de rapports d'attribution : Le FPN est entraîné pour prédire les régions clés, puis figé. Le reste du modèle est affiné (fine-tuning) pour améliorer la précision du masque et la qualité du texte généré.

3. Contributions Clés

1. Nouvelle Tâche et Jeu de Données : Introduction de la "Génération de rapports d'attribution de falsification" (Forgery Attribution Report Generation) et publication de MMTT, le premier benchmark à grande échelle associant des masques pixel-perfect et des descriptions textuelles riches.
2. Cadre Unifié (ForgeryTalker) : Proposition d'une architecture capable de raisonner de manière cohérente entre la vision et le langage pour fournir à la fois la localisation ("Où") et l'explication ("Pourquoi").
3. Benchmark Complet : Évaluation rigoureuse sur MMTT, démontrant que la tâche de localisation et d'explication est complémentaire et que le modèle proposé surpasse les méthodes existantes.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données MMTT et comparées à des modèles de pointe (InstructBLIP, LISA, SCA, etc.) et à des modèles VLM généraux (Qwen, LLaVA).

• Génération de rapports (Report Generation) :

  • ForgeryTalker obtient le meilleur score CIDEr de 59,3, surpassant largement InstructBLIP (51,7) et LISA-7B (44,1).
  • Il domine également sur les métriques BLEU et ROUGE-L, prouvant sa capacité à générer des descriptions textuelles précises et pertinentes.
  • En mode "Zero-shot" sur un autre jeu de données (DQ_F++), le modèle maintient des performances supérieures (CIDEr 113,3), démontrant une bonne généralisation.

• Localisation de falsification (Forgery Localization) :

  • Le modèle atteint un IoU (Intersection over Union) de 73,67 et une Précision de 91,43, les meilleures performances parmi tous les modèles comparés.
  • Contrairement aux modèles qui ont tendance à sur-segmenter (prédire trop de faux positifs), ForgeryTalker produit des masques plus précis et concis.

• Études d'ablation :

  • La suppression du FPN fait chuter le score CIDEr à 51,7, confirmant que l'identification préalable des régions clés est cruciale pour la qualité du texte.
  • L'étape de pré-entraînement améliore significativement à la fois la localisation (+7,8% d'IoU) et la qualité sémantique des rapports.
  • La diversité des types de manipulation dans MMTT est essentielle : l'édition de visage améliore la qualité du texte, tandis que l'inpainting est crucial pour la précision des contours.

5. Signification et Impact

Ce travail marque un tournant dans la forensique multimédia en passant d'une simple détection binaire à une analyse explicative.

• Confiance et Transparence : En fournissant des preuves textuelles détaillées (ex: "la texture de la peau du nez manque de réalisme", "les contours de l'oreille gauche sont flous"), le système aide les humains à comprendre et à faire confiance aux résultats de détection.
• Nouveau Standard : MMTT établit une nouvelle référence pour l'évaluation des modèles de détection de deepfakes, obligeant la communauté à développer des modèles capables de raisonner sémantiquement sur les artefacts visuels.
• Applications : Ces rapports peuvent être utilisés pour l'audit de contenu, la modération de plateformes, ou l'assistance aux enquêteurs en criminalistique numérique.

En résumé, l'article propose une solution complète (données + modèle) pour rendre la détection des falsifications faciales non seulement précise, mais aussi intelligible et justifiable par le langage naturel.