🤖 AI

CORE: Conflict-Oriented Reasoning for General Multimodal Manipulation Detection

Le document propose CORE, un cadre de raisonnement orienté vers le conflit qui exploite un corpus d'attribution de conflits nouvellement construit pour améliorer la capacité des grands modèles de langage multimodaux à détecter les fausses nouvelles généralisables en identifiant des incohérences sémantiques ou physiques intrinsèques, atteignant ainsi une performance supérieure dans les scénarios de few-shot et de zero-shot par rapport aux méthodes de l'état de l'art existantes.

Auteurs originaux : Jinjie Shen, Yaxiong Wang, Yujiao Wu, Lechao Cheng, Tianrui Hui, Nan Pu, Zhihui Li, Zhun Zhong

Publié 2026-06-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jinjie Shen, Yaxiong Wang, Yujiao Wu, Lechao Cheng, Tianrui Hui, Nan Pu, Zhihui Li, Zhun Zhong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez qu'Internet soit un immense marché animé où les gens échangent des histoires, des images et des nouvelles. Dernièrement, un nouveau genre de marchand est arrivé : l'IA générative. Ces marchands sont si doués pour peindre des tableaux et écrire des histoires qu'ils peuvent créer de "fausses informations" qui semblent et sonnent totalement réelles. C'est comme un maître faussaire capable de peindre le portrait d'un Président remportant un trophée de football, même si cela ne s'est jamais produit.

Le problème est que les anciens gardes de sécurité (les outils de détection actuels) sont entraînés à repérer des faux spécifiques. S'ils savent repérer un "sourire de travers", ils pourront peut-être le débusquer. Mais si le faussaire change son truc pour un "éclairage étrange", les vieux gardes sont confus. Ils doivent être réentraînés de zéro chaque fois que le faussaire change de style, ce qui prend trop de temps et de données.

Entrez en scène CORE : Le "Détective du Conflit"

Les auteurs de ce document, Jinjie Shen et son équipe, ont réalisé que toutes les fausses informations ont une chose en commun : elles n'ont pas de sens. Elles présentent un argument interne.

Voyez cela comme un détective résolvant un mystère.

L'ancienne méthode : Le détective mémorise le visage de chaque criminel connu. Si un nouveau criminel arrive avec un visage différent, le détective échoue.
La méthode CORE : Le détective apprend la logique d'un crime. Il se demande : "Est-ce que cette histoire contredit ce que je sais sur le monde ?"

CORE (Conflict-Oriented REasoning - Raisonnement orienté vers le conflit) enseigne à un cerveau informatique intelligent (appelé Modèle de Langage Large Multimodal) à être ce détective basé sur la logique. Au lieu de mémoriser des faux spécifiques, il apprend à repérer les conflits.

Comment fonctionne CORE : Le camp d'entraînement en trois étapes

Pour enseigner à ce cerveau informatique, les chercheurs ont construit un programme d'entraînement spécial composé de trois parties :

1. La "Bibliothèque de Conflits" (Le Corpus d'Attribution de Conflit)
D'abord, ils avaient besoin d'un manuel. Ils ont créé une immense bibliothèque de 14 000 fausses informations. Mais ils ne les ont pas simplement étiquetées comme "Faux". Ils les ont décortiquées comme un expert de la police scientifique :

Le facteur de conflit : Quelle est la contradiction ? (ex : "Le texte dit 'Président' mais l'image montre un trophée de football.")
La source du conflit : D'où vient le mensonge ? (ex : "Le texte ment", ou "L'image ment", ou "Cela contredit des faits réels du monde.")
Analogie : C'est comme donner à un étudiant un examen où il ne se contente pas de marquer "Faux", mais écrit précisément pourquoi la réponse est fausse et quelle partie de la question a causé l'erreur.

2. Le "Bâtisseur de Ponts" (Pré-entraînement de Liaison de Modalités)
Les ordinateurs ont souvent du mal à connecter ce qu'ils "voient" (images) avec ce qu'ils "lisent" (texte). Parfois, l'ordinateur voit une image de terrain de football mais ne "comprend" pas vraiment le texte disant "Président".

CORE construit un pont entre ces deux mondes. Il entraîne l'ordinateur à regarder une image et à comprendre immédiatement la description textuelle, et vice versa, afin qu'ils parlent la même langue.

3. La "Salle de Musculation de la Logique" (Entraînement à la Perception du Conflit)
Maintenant, l'ordinateur va à la salle de musculation. En utilisant la "Bibliothèque de Conflits", il s'entraîne à repérer les contradictions.

L'ordinateur apprend à éloigner les "idées conflictuelles" dans son esprit. S'il voit "Président" et "Trophée de Football" ensemble, il apprend à crier : "Attendez ! Ces deux choses n'ont pas leur place ensemble !"
Il apprend à dire : "Ceci est faux parce que le texte affirme X, mais l'image montre Y, et ma connaissance dit que X et Y ne peuvent pas se produire en même temps."

Pourquoi est-ce un changement de donne ?

Le document montre que cette nouvelle approche est incroyablement rapide et flexible.

Le super-pouvoir du "Few-Shot" (Apprentissage par peu d'exemples) : Imaginez que vous vouliez apprendre à un garde à repérer un nouveau type de fausse information (ex : des deepfakes d'une nouvelle célébrité spécifique).
- Anciennes méthodes : Nécessitent des milliers d'exemples de cette célébrité spécifique pour apprendre.
- CORE : N'a besoin que de quelques exemples (parfois seulement 100, ou même zéro !). Parce qu'il comprend déjà la logique du conflit, il peut appliquer instantanément cette logique à la nouvelle célébrité. C'est comme apprendre à quelqu'un à jouer aux échecs en lui expliquant les règles, plutôt que de lui faire mémoriser chaque partie possible.
Le miracle du "Zero-Shot" (Apprentissage sans exemple) : Dans certains tests, CORE a pu repérer de nouveaux types de fausses informations qu'il n'avait jamais vus auparavant, simplement en lisant l'actualité et en demandant : "Est-ce que cela fait sens ?"

L'essentiel

Le document affirme qu'en se concentrant sur le conflit intrinsèque (la contradiction logique) plutôt que sur le truc visuel spécifique (la technique de falsification), CORE crée un détecteur qui est robuste, général et qui n'a pas besoin d'une immense bibliothèque de données pour apprendre de nouveaux tours. Il transforme l'ordinateur en un penseur critique qui demande : "Est-ce que cette histoire tient la route ?" plutôt que simplement "Ai-je déjà vu cette image auparavant ?"

Les chercheurs ont mis leur "Bibliothèque de Conflits" et leur code à la disposition du public, espérant que d'autres puissent utiliser ce "détective basé sur la logique" pour maintenir l'honnêteté sur Internet.

Résumé Technique : CORE – Raisonnement Orienté vers le Conflit pour la Détection Générale de Manipulation Multimodale

1. Énoncé du Problème

L'avancement rapide de l'IA générative a entraîné une augmentation des fausses informations multimodales réalistes et omniprésentes, posant des menaces significatives pour la confiance du public et la stabilité sociale. Les méthodes de détection existantes font face à deux limitations critiques :

Dépendance aux Données : Elles reposent lourdement sur des ensembles de données étiquetés à grande échelle et spécifiques à un type de manipulation.
Rigidité de Conception : Elles utilisent des modèles et des paradigmes d'entraînement adaptés à des types de manipulations spécifiques (ex. : échange de visages, incohérence texte-image).

Par conséquent, ces méthodes souffrent d'une faible généralisation lorsqu'elles sont confrontées à des schémas de manipulation émergents. La « course aux armements » entre les techniques de falsification et les méthodes de détection signifie que les modèles actuels se dégradent considérablement face à de nouveaux types de manipulations, car le rythme de l'évolution des falsifications dépasse le cycle de collecte de données et de réentraînement des modèles. De plus, bien que les Grands Modèles de Langage Multimodaux (MLLM) possèdent une riche connaissance du monde, ils manquent souvent de clarté conceptuelle pour distinguer des concepts sémantiquement disparates (ex. : confondre « Président des États-Unis » avec « Prix du Football » dans l'espace des caractéristiques), ce qui entraîne des échecs dans la détection robuste de la désinformation.

2. Intuition Fondamentale

Les auteurs observent que l'essence de la désinformation manipulée réside dans son conflit intrinsèque. Ces conflits se manifestent sous forme de :

Contradictions Sémantiques : Incohérences entre le contenu et les connaissances communes du monde (ex. : une légende de journal affirmant qu'un président des États-Unis a remporté un prix de football).
Incohérences Physiques : Disparités dans l'éclairage, les ombres ou les propriétés des objets entre le contenu manipulé et l'image ou le texte d'origine.

L'article soutient que si un modèle de détection est doté d'une capacité explicite de capture de conflit, il peut émuler la robustesse humaine, permettant une adaptation efficace à de nouveaux types de manipulations avec un minimum de données (few-shot ou zero-shot) sans dépendre de conceptions spécialisées pour des traces de falsification spécifiques.

3. Méthodologie : Le Cadre CORE

Le cadre CORE (Conflict-Oriented REasoning) est conçu pour doter les MLLM d'une compréhension conceptuelle explicite et de capacités de détection de conflits. Il se compose de trois étapes principales :

3.1. Construction du Corpus d'Attribution de Conflit (CAC)

Pour fournir la supervision fine nécessaire à la perception des conflits, les auteurs ont construit le Corpus d'Attribution de Conflit (CAC), contenant 14 000 échantillons.

Source : Dérivé du jeu de données SAMM (100k paires image-texte).
Processus d'Annotation : Utilisant un pool d'experts composé de MLLM (GPT-4o, Gemini2.5-Pro, Qwen3-VL-Plus), le système génère des justifications détaillées expliquant pourquoi une information est fausse. Ces justifications sont distillées dans un format structuré contenant :
- Facteurs de Conflit ( $C_1, C_2$ ) : Les concepts contradictoires spécifiques (ex. : « Président des États-Unis » vs « Ballon d'Or »).
- Sources de Conflit ( $S_1, S_2$ ) : L'origine de la contradiction (Image, Légende ou Connaissance du Monde).
Distribution : Les conflits proviennent des légendes (29,98 %), des images (36,86 %) et de la connaissance du monde (33,16 %).

3.2. Pré-entraînement de Pontage Modal (MBPT)

Puisque les annotations de conflit dans le CAC sont textuelles mais décrivent souvent des éléments visuels, un Aligneur Cross-Modal est entraîné pour combler le fossé modal.

Données : 50k échantillons du jeu de données FineHARD (image, texte positif, et textes négatifs difficiles).
Mécanisme : Une couche de cross-attention aligne les caractéristiques visuelles avec les caractéristiques textuelles.
Fonction de Perte : Combine une perte d'apprentissage contrastif (SigLIP) pour assurer la corrélation sémantique entre le texte apparié et les caractéristiques visuelles, et une perte de génération de langage (de type VQA) pour préserver les capacités linguistiques et la compréhension fine.

3.3. Entraînement de Perception de Conflit (CPT)

Cette étape remodèle explicitement la compréhension conceptuelle du modèle pour détecter les conflits.

Entrée : Échantillons du CAC avec des facteurs et sources de conflit structurés.
Traitement des Caractéristiques : Si un facteur de conflit provient de l'image, l'Aligneur Cross-Modal en extrait la caractéristique visuelle ; sinon, la caractéristique textuelle est utilisée.
Fonctions de Perte :
- Perte Contrastive Sensible au Conflit ( $L_{cacl}$ ) : Écarte les représentations des deux facteurs conflictuels ( $z_1, z_2$ ) dans l'espace sémantique pour établir des frontières conceptuelles claires.
- Perte de Raisonnement de Conflit ( $L_{cr}$ ) : Une perte de modélisation du langage qui entraîne le modèle à produire la décision (Réel/Faux) et le raisonnement basé sur le conflit entre $C_1$ et $C_2$ .

3.4. Adaptation Rapide

Une fois entraîné, le cadre CORE permet une adaptation rapide à de nouveaux types de manipulations. Le modèle ne nécessite qu'une simple instruction de type question-réponse (« L'information est-elle réelle ou fausse ? ») et un entraînement minimal (few-shot) ou une inférence zero-shot pour atteindre une haute performance sur des schémas de manipulation inédits.

4. Contributions Clés

Paradigme Général : Introduction d'un paradigme d'apprentissage pour la détection générale de manipulation multimodale qui s'adapte rapidement aux nouvelles manipulations avec un nombre limité d'échantillons cibles, s'éloignant des conceptions spécialisées pour des types de falsification spécifiques.
Cadre CORE : Un cadre général qui dote les MLLM d'un raisonnement de conflit de type humain, permettant une adaptation rapide aux schémas de désinformation inédits en se concentrant sur les conflits intrinsèques plutôt que sur des artefacts spécifiques.
Corpus d'Attribution de Conflit (CAC) : Un ensemble de données soigneusement organisé de 14k échantillons avec des annotations fines des facteurs et sources de conflit, servant de référence pour l'étude du raisonnement de conflit en manipulation multimodale.

5. Résultats Expérimentaux

Le cadre a été évalué en utilisant Qwen2.5VL-3B et Gemma3-4B comme modèles de base sur quatre jeux de données : DGM4, MDSM, MMFakeBench et NewsCLIPpings.

Performance Few-Shot : Avec un nombre limité de données d'entraînement (100–750 échantillons), COREQwen et COREGemma ont atteint des performances de pointe (SOTA), surpassant les deuxièmes meilleures méthodes de 9,94 % et 10,50 % en moyenne, respectivement.
Généralisation Zero-Shot : Dans la détection de manipulation croisée (entraînement sur un ensemble de types de manipulations et test sur des types inédits), CORE a nettement surpassé les bases de référence (ex. : amélioration de >14 % sur MDSM).
Robustesse à Grande Échelle : Même entraîné sur des données à grande échelle (SAMM complet, MDSM et 200k NewsClippings), CORE a maintenu une stabilité supérieure, surpassant les bases de référence de ~3,8–4,2 %.
Événements Temporels Sensibles : Dans les évaluations impliquant des événements de 2025 (hors portée de pré-entraînement des modèles), CORE a atteint une précision de 74 %, surpassant largement les bases de référence (44–52 %), démontant sa capacité à détecter les violations logiques sans connaissance spécifique des entités.
Études d'Ablation : Les expériences ont confirmé que l'étape MBPT (pontage des écarts modaux) et l'étape CPT (apprentissage des frontières de conflit) sont essentielles. Le retrait de la CPT a provoqué une chute brutale des performances (~4,58 %), et le retrait de la perte contrastive dans la MBPT a entraîné une baisse de 4,44 %.

6. Signification et Revendications

L'article affirme que CORE traite le défaut fondamental des approches de détection actuelles : leur dépendance excessive à des schémas de données et des conceptions de modèles spécifiques. En déplaçant l'attention sur le conflit central inhérent aux fausses nouvelles, CORE permet aux modèles d'atteindre une généralisation robuste.

Efficacité : Le cadre réduit la nécessité d'un réentraînement complet des paramètres gourmand en énergie et d'une collecte de données à grande échelle spécifique à chaque type.
Robustesse : Il offre une solution qui reste efficace contre les menaces évolutives de l'IA générative, y compris la désinformation de type « zero-day » où les connaissances spécifiques du monde sont absentes.
Considérations Éthiques : Les auteurs notent que le jeu de données CAC est publié strictement pour la recherche sous une licence interdisant son utilisation dans des tâches génératives afin de prévenir tout usage malveillant dans la création de contenus trompeurs.

Les auteurs concluent que la maîtrise de la capacité fondamentale de perception de conflit permet aux modèles de s'affranchir de la dépendance aux données, offrant une approche scalable et robuste pour la détection de la désinformation multimodale.