🤖 AI

CORE: Conflict-Oriented Reasoning for General Multimodal Manipulation Detection

Het artikel stelt CORE voor, een op conflict georiënteerd redeneerframework dat gebruikmaakt van een nieuw geconstrueerde Conflict Attribution Corpus om het vermogen van multimodale grote taalmodellen om generaliseerbaar nepnieuws te detecteren te verbeteren door intrinsieke semantische of fysieke inconsistenties te identificeren, waardoor een superieure prestatie wordt behaald in few-shot en zero-shot scenario's vergeleken met bestaande state-of-the-art methoden.

Oorspronkelijke auteurs: Jinjie Shen, Yaxiong Wang, Yujiao Wu, Lechao Cheng, Tianrui Hui, Nan Pu, Zhihui Li, Zhun Zhong

Gepubliceerd 2026-06-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jinjie Shen, Yaxiong Wang, Yujiao Wu, Lechao Cheng, Tianrui Hui, Nan Pu, Zhihui Li, Zhun Zhong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat het internet een enorme, bruisende marktplaats is waar mensen verhalen, foto's en nieuws verhandelen. Onlangs is er een nieuw soort koopman gearriveerd: Generatieve AI. Deze kooplieden zijn zo vaardig in het schilderen van plaatjes en het schrijven van verhalen dat ze "nepnieuws" kunnen creëren dat er volkomen echt uitziet en klinkt. Het is alsoals een meestervervalser die een portret kan schilderen van een president die een voetbaltrofee wint, ook al is dat nooit gebeurd.

Het probleem is dat de oude beveiligingsbewakers (huidige detectietools) getraind zijn om specifieke vervalsingen te herkennen. Als ze weten hoe ze een "scheve glimlach" moeten herkennen, kunnen ze die misschien betrappen. Maar als de vervalser de truc verandert naar "vreemde belichting", raken de oude bewakers in de war. Ze moeten telkens opnieuw vanaf nul worden getraind wanneer de vervalser van stijl verandert, wat te veel tijd en data kost.

Ontmoet CORE: De "Conflictdetective"

De auteurs van dit paper, Jinjie Shen en zijn team, realiseerden zich dat al het nepnieuws één ding gemeen heeft: het klopt niet. Het bevat een interne tegenstrijdigheid.

Denk aan een detective die een mysterie oplost.

De Oude Manier: De detective memoriseert het gezicht van elke bekende crimineel. Als er een nieuwe crimineel verschijnt met een ander gezicht, faalt de detective.
De CORE-Manier: De detective leert de logica van een misdaad. Hij vraagt: "Spreekt dit verhaal in strijd met wat ik weet over de wereld?"

CORE (Conflict-Oriented REasoning) leert een slimme computerbrein (een Multimodal Large Language Model) om die logica-gebaseerde detective te zijn. In plaats van specifieke vervalsingen te memoriseren, leert het conflicten te herkennen.

Hoe CORE werkt: De Drie-Stappen Trainingskamp

Om dit computerbrein te leren, hebben de onderzoekers een speciaal trainingsprogramma gebouwd met drie onderdelen:

1. De "Conflictbibliotheek" (De Conflict Attribution Corpus)
Eerst hadden ze een tekstboek nodig. Ze creëerden een enorme bibliotheek van 14.000 nepnieuwsberichten. Maar ze labelden ze niet alleen als "Nep". Ze braken ze af als een forensisch expert:

De Conflictfactor: Wat is de tegenstrijdigheid? (bijv. "De tekst zegt 'President', maar de afbeelding toont een voetbalbeker.")
De Conflictbron: Waar kwam de leugen vandaan? (bijv. "De tekst liegt," of "De afbeelding liegt," of "Dit spreekt echte feiten in de wereld tegen.")
Analogie: Het is alsof je een student een toets geeft waarbij hij niet alleen "Fout" aantikt, maar ook precies opschrijft waarom het antwoord fout is en welk deel van de vraag de fout veroorzaakte.

2. De "Brugbouwer" (Modality Bridging Pre-Training)
Computers hebben vaak moeite met het verbinden van wat ze "zien" (afbeeldingen) met wat ze "lezen" (tekst). Soms ziet een computer een foto van een voetbalveld, maar begrijpt hij de tekst "President" niet echt.

CORE bouwt een brug tussen deze twee werelden. Het traint de computer om naar een foto te kijken en direct de tekstuele beschrijving te begrijpen, en vice versa, zodat ze dezelfde taal spreken.

3. De "Logica-gym" (Conflict Perception Training)
Nu gaat de computer naar de sportschool. Met behulp van de "Conflictbibliotheek" oefent het het herkennen van tegenstrijdigheden.

De computer leert om "conflicterende ideeën" in zijn geest ver uit elkaar te duwen. Als het "President" en "Voetbalbeker" samen ziet, leert het te schreeuwen: "Wacht! Deze twee dingen horen niet bij elkaar!"
Het leert te zeggen: "Dit is nep omdat de tekst beweert dat X, maar de afbeelding laat Y zien, en mijn kennis zegt dat X en Y niet tegelijkertijd kunnen gebeuren."

Waarom dit een Game-Changer is

Het paper laat zien dat deze nieuwe aanpak ongelooflijk snel en flexibel is.

De "Few-Shot" Superkracht: Stel je voor dat je een bewaker wilt leren om een nieuw type nepnieuws te herkennen (bijv. deepfakes van een specifieke nieuwe beroemdheid).
- Oude Methoden: Hebben duizenden voorbeelden van die specifieke beroerdheid nodig om te leren.
- CORE: Heeft slechts een handvol voorbeelden nodig (soms zelfs maar 100, of zelfs nul!). Omdat het al de logica van conflict begrijpt, kan het die logica direct toepassen op de nieuwe beroemdheid. Het is alsof je iemand leert schaken door de regels uit te leggen, in plaats van dat je hem elke mogelijke wedstrijd laat memoriseren.
Het "Zero-Shot" Wonder: In sommige tests kon CORE zelfs nieuwe soorten nepnieuws opsporen die het nooit eerder had gezien, simpelweg door het nieuws te lezen en te vragen: "Klopt dit wel?"

De Kern van het Verhaal

Het paper beweert dat door te focussen op de intrinsieke conflict (de logische tegenstrijdigheid) in plaats van op de specifieke visuele truc (de vervalsingstechniek), CORE een detector creëert die robuust, algemeen en niet afhankelijk is van een enorme bibliotheek aan data om nieuwe trucs te leren. Het verandert de computer in een kritische denker die vraagt: "Houdt dit verhaal stand?" in plaats van alleen maar: "Heb ik deze afbeelding eerder gezien?"

De onderzoekers hebben hun "Conflictbibliotheek" en hun code beschikbaar gesteld aan het publiek, in de hoop dat anderen deze "logica-gebaseerde detective" kunnen gebruiken om het internet eerlijk te houden.

Technische Samenvatting: CORE – Conflict-Georiënteerd Redeneren voor Algemene Multimodale Manipulatie Detectie

1. Probleemstelling

De snelle vooruitgang van generatieve AI heeft geleid tot een toename van realistische en alomtegenwoordige multimodale nepnieuwsberichten, wat grote bedreigingen vormt voor het publieke vertrouwen en de sociale stabiliteit. Bestaande detectiemethoden kampen met twee kritieke beperkingen:

Data-afhankelijkheid: Ze leunen zwaar op grootschalige, type-specifieke gelabelde datasets.
Ontwerprichtigheid: Ze maken gebruik van modellen en trainingsparadigma's die zijn afgestemd op specifieke manipulatietypen (bijv. gezichtswissel of tekst-beeld inconsistentie).

Consequentely lijden deze methoden onder een gebrekkige generalisatie wanneer ze geconfronteerd worden met nieuwe manipulatiepatronen. De "wapenwedloop" tussen vervalsingstechnieken en detectiemethoden betekent dat huidige modellen aanzienlijk degraderen wanneer ze te maken krijgen met nieuwe manipulatietypen, aangezien het tempo van de evolutie van nieuwe vervalsingen de cyclus van datacollectie en modelretraining overtreft. Bovendien beschikken Multimodale Large Language Models (MLLM's) weliswaar over rijke wereldkennis, maar missen ze vaak de conceptuele helderheid om semantisch uiteenlopende concepten te onderscheiden (bijv. het verwarren van "Amerikaanse President" met "Voetbalprijs" in de feature space), wat leidt tot falen in robuuste misinformatiedetectie.

2. Kerninzicht

De auteurs observeren dat de essentie van gemanipuleerde misinformatie ligt in de intrinsieke conflict. Deze conflicten manifesteren zich als:

Semantische Tegenstrijdigheden: Inconsistenties tussen de inhoud en algemene wereldkennis (bijv. een nieuwsbericht dat beweert dat een Amerikaanse president een voetbalprijs heeft gewonnen).
Fysieke Inconsistenties: Discrepanties in verlichting, schaduwen of objecteigenschappen tussen de gemanipuleerde inhoud en de originele afbeelding of tekst.

Het artikel stelt dat als een detectiemodel wordt uitgerust met een expliciete conflict-vastleggende capaciteit, het een menselijke robuustheid kan emuleren, waardoor effectieve adaptatie aan nieuwe manipulatietypen mogelijk is met minimale data (few-shot of zero-shot) zonder te vertrouwen op gespecialiseerde ontwerpen voor specifieke vervalsingssporen.

3. Methodologie: Het CORE-framework

Het Conflict-Oriented REasoning (CORE) framework is ontworpen om MLLM's uit te rusten met een expliciet conceptueel begrip en conflictdetectiecapaciteiten. Het bestaat uit drie hoofdfases:

3.1. Constructie van de Conflict Attribution Corpus (CAC)

Om de noodzakelijke fijnmazige supervisie voor conflictperceptie te bieden, hebben de auteurs de Conflict Attribution Corpus (CAC) geconstrueerd, die 14.000 samples bevat.

Bron: Afgeleid van de SAMM-dataset (100k beeld-tekst paren).
Annotatieproces: Met behulp van een expertpool van MLLM's (GPT-4o, Gemini2.5-Pro, Qwen3-VL-Plus) genereert het systeem gedetailleerde rationales waarom een nieuwsbericht nep is. Deze rationales worden gedestilleerd in een gestructureerd formaat met:
- Conflictfactoren ( $C_1, C_2$ ): De specifieke tegenstrijdige concepten (bijv. "Amerikaanse President" versus "Ballon d'Or").
- Conflictbronnen ( $S_1, S_2$ ): De oorsprong van de tegenstrijdigheid (Afbeelding, Bijschrift of Wereldkennis).
Distributie: Conflicten ontstaan uit bijschriften (29,98%), afbeeldingen (36,86%) en wereldkennis (33,16%).

3.2. Modality Bridging Pre-Training (MBPT)

Omdat de conflictannotaties in CAC tekstueel zijn maar vaak visuele elementen beschrijven, wordt een Cross-Modal Aligner getraind om de modaliteitskloof te overbruggen.

Data: 50k samples uit de FineHARD-dataset (afbeelding, positieve tekst en harde negatieve teksten).
Mechanisme: Een cross-attention laag brengt visuele kenmerken in lijn met tekstkenmerken.
Verliesfunctie: Combineert een contrastieve leerverlies (SigLIP) om semantische correlatie tussen de gekoppelde tekst en visuele kenmerken te waarborgen, en een taalgeneratieverlies (VQA-stijl) om taalvaardigheden en fijnmazig begrip te behouden.

3.3. Conflict Perception Training (CPT)

Deze fase herstructureert expliciet het conceptuele begrip van het model om conflicten te detecteren.

Input: Samples uit CAC met gestructureerde conflictfactoren en bronnen.
Kenmerkverwerking: Als een conflictfactor afkomstig is van de afbeelding, extraheert de Cross-Modal Aligner het visuele kenmerk; anders wordt het tekstkenmerk gebruikt.
Verliesfuncties:
- Conflict-bewuste Contrastieve Verlies ( $L_{cacl}$ ): Duwt de representaties van de twee conflicterende factoren ( $z_1, z_2$ ) uit elkaar in de semantische ruimte om duidelijke conceptuele grenzen te vestigen.
- Conflict Redeneringsverlies ( $L_{cr}$ ): Een taalmodelleringverlies dat het model traint om de beslissing (Echt/Nep) en de redenering op basis van het conflict tussen $C_1$ en $C_2$ te produceren.

3.4. Snelle Adaptatie

Zodra getraind, maakt het CORE-framework snelle adaptatie aan nieuwe manipulatietypen mogelijk. Het model vereist slechts een eenvoudige vraag-antwoord instructie ("Is het nieuws echt of nep?") en minimale fine-tuning (few-shot) of zero-shot inferentie om een hoge prestatie te behalen op ongeziene manipulatiepatronen.

4. Belangrijkste Bijdragen

Algemeen Paradigma: Introductie van een leerparadigma voor algemene multimodale manipulatie detectie dat snel adapteert aan nieuwe manipulaties met beperkte doel-samples, weg van gespecialiseerde ontwerpen voor specifieke vervalsingstypen.
CORE Framework: Een algemeen framework dat MLLM's uitrust met mensachtige conflictredenering, waardoor snelle adaptatie aan ongeziene misinformatiepatronen mogelijk is door te focussen op intrinsieke conflicten in plaats van specifieke artefacten.
Conflict Attribution Corpus (CAC): Een zorgvuldig samengestelde dataset van 14k samples met fijnmazige annotaties van conflictfactoren en bronnen, die dient als benchmark voor het bestuderen van conflictredenering in multimodale manipulatie.

5. Experimentele Resultaten

Het framework werd geëvalueerd met Qwen2.5VL-3B en Gemma3-4B als backbones over vier datasets: DGM4, MDSM, MMFakeBench en NewsCLIPpings.

Few-Shot Prestaties: Met beperkte trainingsdata (100–750 samples) behaalden COREQwen en COREGemma State-of-the-Art (SOTA) prestaties, waarbij ze de op één na beste methoden gemiddeld met 9,94% en 10,50% overtroffen, respectievelijk.
Zero-Shot Generalisatie: In cross-manipulatie detectie (getraind op één set manipulatietypen en getest op ongeziene typen), presteerde CORE significant beter dan de baselines (bijv. >14% verbetering op MDSM).
Schaalbaarheid en Robuustheid: Zelfs wanneer getraind op grootschalige data (volledige SAMM, MDSM en 200k NewsClippings), behield CORE een superieure stabiliteit en presteerde het de baselines met ~3,8–4,2% beter.
Tijdsgevoelige Gebeurtenissen: In evaluaties met betrekking tot 2025-gebeurtenissen (buiten de pre-training scope van de modellen), bereikte CORE een nauwkeurigheid van 74%, wat aanzienlijk hoger is dan de baselines (44–52%), wat zijn vermogen aantoont om logische schendingen te detecteren zonder specifieke entiteitskennis.
Ablatie-studies: Experimenten bevestigden dat zowel de MBPT-fase (het overbruggen van de modaliteitskloof) als de CPT-fase (het leren van conflictgrenzen) essentieel zijn. Het verwijderen van CPT veroorzaakte een scherpe prestatiedaling (~4,58%), en het verwijderen van de contrastieve verlies in MBPT leidde tot een daling van 4,44%.

6. Betekenis en Claims

Het artikel claimt dat CORE een fundamenteel defect van huidige detectiebenaderingen aanpakt: hun overmatige afhankelijkheid van specifieke datapatronen en modelontwerpen. Door de focus te verschuiven naar het kernconflict dat inherent is aan nepnieuws, stelt CORE modellen in staat om een robuuste generalisatie te bereiken.

Efficiëntie: Het framework vermindert de noodzaak voor energie-intensieve full-parameter retraining en grootschalige, type-specifieke datacollectie.
Robuustheid: Het biedt een oplossing die effectief blijft tegen evoluerende generatieve AI-dreigingen, inclus[ief] "zero-day" misinformatie waarbij specifieke wereldkennis ontbreekt.
Ethische Overwegingen: De auteurs merken op dat de CAC-dataset strikt voor onderzoek wordt vrijgegeven onder een licentie die het gebruik ervan voor generatieve taken verbiedt om misbruik in het creëren van misleidende inhoud te voorkomen.

De auteurs concluderen dat het beheersen van de fundamentele capaciteit van conflictperceptie modellen in staat stelt om los te komen van data-afhankelijkheid, wat een schaalbare en robuuste aanpak biedt voor multimodale misinformatie detectie.