Résumé Technique : Injection Résiduelle Profonde pour une Perception des Signaux Forensiques à Spectre Complet dans les Modèles de Langage Multimodaux de Grande Taille

1. Énoncé du Problème

L'avancement rapide des images générées par IA (AIGI) a créé une crise de la confiance numérique, nécessitant des mécanismes de détection robustes. Bien que les Modèles de Langage Multimodaux (MLLM) offrent un raisonnement sémantique et une interprétabilité solides, ils font face à une limitation critique dans les tâches forensiques : l'incapacité de détecter les artefacts de générateurs de bas niveau sans compromettre leurs capacités sémantiques pré-entraînées.

Les approches existantes reposent souvent sur des détecteurs experts externes pour compenser les faiblesses des MLLM ou tentent de fine-tuner directement les MLLM. Cependant, les auteurs identifient un conflit de représentation fondamental :

• Apprentissage Sémantique vs Artefacts : Les MLLM pré-entraînés sont optimisés pour les caractéristiques sémantiques de haut niveau (style, contenu, logique). Forcer ces modèles à apprendre des traces de générateurs subtiles et de bas niveau via un fine-tuning standard (par exemple, LoRA ou le fine-tuning complet) perturbe les représentations sémantiques établies.
• Le Dilemme : Le fine-tuning standard échoue à récupérer efficacement les artefacts de bas niveau, tandis qu'un fine-tuning agressif (fine-tuning complet) entraîne un « oubli catastrophique » des connaissances sémantiques centrales du modèle, le rendant inefficace pour les tâches de détection générale.

2. Méthodologie : Deep-VRM (Deep Visual Residual MLLM)

Pour résoudre le conflit entre la préservation sémantique et la détection d'artefacts, les auteurs proposent Deep-VRM, une nouvelle architecture basée sur l'Injection Résiduelle Profonde.

2.1. Insight Central : Stratification Fonctionnelle par Couche

À travers une analyse de sonde linéaire sur des MLLM pré-entraînés (spécifiquement Qwen-2.5-VL-7B), les auteurs ont découvert une stratification fonctionnelle au sein des couches du modèle :

• Couches de Début à Milieu (Couches 1–16) : Ces couches sont critiques pour la formation de représentations sémantiques stables. Elles convergent rapidement sur les tâches sémantiques mais restent stagnantes lorsqu'elles sont confrontées à la détection d'artefacts de bas niveau. Forcer ces couches à apprendre les artefacts perturbe la convergence sémantique.
• Couches Tardives : Ces couches sont responsables du raisonnement de haut niveau et de l'intégration de l'information.

2.2. Conception de l'Architecture

Deep-VRM emploie une architecture visuelle à double branche avec une stratégie d'Injection Résiduelle pour découpler les processus d'apprentissage :

1. Chemin Sémantique Gelé ($V_o$) : L'encodeur visuel original et les premières couches du LLM (jusqu'à la couche $K-1$) restent gelés. Cela préserve la perception sémantique pré-entraînée et empêche l'oubli catastrophique.
2. Chemin d'Artefact Adapté ($V_a$) : Une branche visuelle parallèle équipée d'adaptateurs LoRA est entraînée pour extraire les indices visuels spécifiques aux artefacts.
3. Injection Résiduelle : Au lieu d'aligner les caractéristiques au niveau de l'entrée, les caractéristiques d'artefacts extraites par $V_a$ sont injectées directement dans les états cachés intermédiaires du LLM (à la couche $K$).
   • La formule d'injection est : $\tilde{h}^{(K-1)}_v = \alpha \cdot h^{(K-1)}_v + \beta \cdot V_a(I)$, où $\alpha$ et $\beta$ sont des facteurs d'échelle (fixés à 0,5).
   • Cette « Voie Verte » contourne les couches précoces dominées par la sémantique, permettant au modèle de n'apprendre les traces de bas niveau qu'après la convergence des caractéristiques sémantiques.

2.3. Stratégie d'Entraînement

Le processus d'entraînement est divisé en deux étapes :

• Étape 1 (Alignement Sémantique) : Fine-tuner le composant LLM en utilisant un jeu de données ($D_1$) axé sur les indices sémantiques pour activer les connaissances pré-entraînées pour la détection d'AIGI.
• Étape 2 (Raffinement Sensible aux Artefacts) : Introduire un jeu de données ($D_2$) axé sur les traces de générateurs (créées via la reconstruction VAE pour éliminer l'interférence sémantique). Les premières couches du LLM restent gelées, tandis que la branche résiduelle ($V_a$) et les couches du LLM de $K$ à $N$ sont optimisées. Cela permet au modèle de modéliser conjointement le raisonnement sémantique et les indices forensiques au niveau du signal.

3. Principales Contributions

1. Découverte du Conflit de Représentation : L'article révèle systématiquement que les MLLM natifs ne peuvent pas apprendre des artefacts de bas niveau généralisables sans modifier agressivement l'espace de caractéristiques, ce qui compromet l'extraction sémantique. Il établit qu'une détection efficace nécessite de découpler l'apprentissage des artefacts de la préservation sémantique.
2. Architecture Deep-VRM : Une nouvelle méthode qui injecte des caractéristiques spécifiques aux artefacts directement dans les couches profondes du LLM, contournant les couches précoces dominées par la sémantique. Cela permet d'atteindre une intégration optimale des caractéristiques sans recourir à des détecteurs experts externes.
3. Performance de l'État de l'Art : La méthode atteint des performances supérieures uniquement sur la base du MLLM, démontrant une robustesse de généralisation dans des contextes « in-the-wild » où les artefacts de bas niveau sont souvent dégradés par le post-traitement.

4. Résultats Expérimentaux

Les auteurs ont évalué Deep-VRM à travers plusieurs benchmarks, notamment GenImage, SynthBuster, AIGI-Bench et WildRF (un dataset reflétant les conditions réelles des réseaux sociaux).

• Généralisation : Deep-VRM a atteint des résultats de l'état de l'art (SOTA) sur la plupart des benchmarks. Par exemple, sur le jeu de données GenImage, il a obtenu une précision moyenne de 97,42 %, surpassant les modèles forensiques spécialisés comme OMAT (94,63 %) et DRCT (83,53 %).
• Robustesse « Wild » : Sur le benchmark WildRF, qui teste la robustesse face à la compression et au redimensionnement, Deep-VRM a atteint 89,51 %, surpassant nettement la méthode suivante la plus performante (AIDE à 59,49 %) ainsi que les modèles forensiques spécialisés.
• Comparaison avec les MLLM : Comparé aux MLLM à usage général (ex: Qwen-2.5-VL-7B, LLaVA-1.5) qui peinent avec la détection (50–68 % de précision) et aux MLLM forensiques spécialisés (Forensic-Chat, 88,75 %), Deep-VRM a atteint la précision moyenne la plus élevée de 93,28 %.
• Études d'Ablation :
  • Profondeur d'Injection : L'injection à la profondeur $K=16$ a produit le meilleur équilibre. Une injection superficielle ($K=4$) a perturbé l'encodage sémantique, tandis qu'une injection très profonde ($K=20$) a laissé un nombre insuffisant de couches pour le raisonnement conjoint.
  • Gel des Premières Couches : Le gel des premières couches était crucial pour éviter l'oubli des connaissances sémantiques, augmentant les performances sur les jeux de données « wild » de plus de 5 % par rapport au fine-tuning complet.
  • Coefficients de Fusion : Un réglage équilibré de $\alpha=0,5, \beta=0,5$ a fourni le meilleur compromis entre la préservation de la représentation sémantique et l'introduction des indices d'artefacts.

5. Signification et Revendications

L'article affirme que Deep-VRM comble avec succès le fossé entre l'analyse sémantique de haut niveau et la perception forensique de bas niveau. En résolvant le conflit de représentation grâce à l'Injection Résiduelle Profonde, le modèle permet aux MLLM de détecter de manière autonome tant les traces subtiles des générateurs que les anomalies sémantiques de haut niveau, sans dépendre de détecteurs experts externes.

Les auteurs soulignent que cette approche fournit un cadre unifié et généralisable pour la détection fiable d'images générées par IA. La capacité du modèle à maintenir des performances robustes sous les dégradations d'images du monde réel (compression, redimensionnement) suggère qu'il ne repose pas sur des artefacts à motif unique fragiles, mais exploite plutôt un processus de raisonnement conjoint. Ce travail démontre que les MLLM peuvent être adaptés efficacement aux tâches forensiques si leur stratification fonctionnelle interne est respectée et exploitée par l'innovation architecturale plutôt que par un fine-tuning par force brute.