🤖 AI

CORE: Conflict-Oriented Reasoning for General Multimodal Manipulation Detection

Das Papier schlägt CORE vor, ein konfliktorientiertes Reasoning-Framework, das ein neu konstruiertes Conflict Attribution Corpus nutzt, um die Fähigkeit multimodaler großer Sprachmodelle zur Erkennung von generalisierbaren Fake News durch das Identifizieren intrinsischer semantischer oder physischer Inkonsistenzen zu verbessern und dadurch im Vergleich zu bestehenden State-of-the-Art-Methoden eine überlegene Leistung in Few-Shot- und Zero-Shot-Szenarien zu erzielen.

Ursprüngliche Autoren: Jinjie Shen, Yaxiong Wang, Yujiao Wu, Lechao Cheng, Tianrui Hui, Nan Pu, Zhihui Li, Zhun Zhong

Veröffentlicht 2026-06-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jinjie Shen, Yaxiong Wang, Yujiao Wu, Lechao Cheng, Tianrui Hui, Nan Pu, Zhihui Li, Zhun Zhong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich das Internet als einen riesigen, geschäftigen Marktplatz vor, auf dem Menschen Geschichten, Bilder und Nachrichten handeln. In letzter Zeit ist eine neue Art von Händler eingetroffen: die Generative KI. Diese Händler sind so geschickt darin, Bilder zu malen und Geschichten zu schreiben, dass sie „Fake News“ erschaffen können, die vollkommen echt aussehen und klingen. Es ist wie ein meisterhafter Fälscher, der das Porträt eines Präsidenten malen kann, der eine Fußballtrophäe gewinnt, obwohl das nie passiert ist.

Das Problem ist, dass die alten Sicherheitskräfte (aktuelle Erkennungstools) darauf trainiert sind, spezifische Fälschungen zu entdecken. Wenn sie wissen, wie man ein „verzerrtes Lächeln“ erkennt, können sie das vielleicht entdecken. Aber wenn der Fälscher den Trick zu „seltsamer Beleuchtung“ ändert, sind die alten Sicherheitskräfte verwirrt. Sie müssen jedes Mal von Grund auf neu trainiert werden, wenn der Fälscher seinen Stil ändert, was zu viel Zeit und Daten erfordert.

Hier kommt CORE ins Spiel: Der „Konflikt-Detektiv“

Die Autoren dieser Arbeit, Jinjie Shen und sein Team, erkannten, dass alle Fake News eines gemeinsam haben: Sie ergeben keinen Sinn. Sie führen einen internen Widerspruch.

Denken Sie an einen Detektiv, der einen Krimi löst:

Der alte Weg: Der Detektiv lernt das Gesicht jedes bekannten Kriminellen auswendig. Wenn ein neuer Kriminel mit einem anderen Gesicht auftaucht, versagt der Detektiv.
Der CORE-Weg: Der Detektiv lernt die Logik eines Verbrechens. Er fragt: „Widerspricht diese Geschichte dem, was ich über die Welt weiß?“

CORE (Conflict-Oriented REasoning) lehrt ein intelligentes Computergehirn (eine sogenannte multimodale Large Language Model), dieser logikbasierten Detektiv zu sein. Anstatt spezifische Fälschungen auswendig zu lernen, lernt es, Konflikte aufzuspüren.

Wie CORE funktioniert: Das dreistufige Trainingslager

Um dieses Computergehirn zu lehren, haben die Forscher ein spezielles Trainingsprogramm mit drei Teilen aufgebaut:

1. Die „Konflikt-Bibliothek“ (Der Conflict Attribution Corpus)
Zuerst brauchten sie ein Lehrbuch. Sie erstellten eine riesige Bibliothek von 14.000 Fake-News-Geschichten. Aber sie haben sie nicht einfach nur als „Falsch“ markiert. Sie haben sie wie ein Forensiker zerlegt:

Der Konfliktfaktor: Was ist der Widerspruch? (z. B. „Der Text sagt ‚Präsident‘, aber das Bild zeigt eine Fußballtrophäe.“)
Die Konfliktquelle: Woher kommt die Lüge? (z. B. „Der Text lügt“, oder „Das Bild lügt“, oder „Dies widerspricht realen Fakten der Welt.“)
Analogie: Es ist, als würde man einem Schüler einen Test geben, bei dem er nicht nur „Falsch“ ankreuzt, sondern genau aufschreibt, warum die Antwort falsch ist und welcher Teil der Frage den Fehler verursacht hat.

2. Der „Brückenbauer“ (Modality Bridging Pre-Training)
Computer haben oft Schwierigkeiten, das, was sie „sehen“ (Bilder), mit dem zu verbinden, was sie „lesen“ (Text). Manchmal sieht ein Computer ein Bild eines Fußballfeldes, aber er „versteht“ den Text, der „Präsident“ sagt, nicht wirklich.

CORE baut eine Brücke zwischen diesen beiden Welten. Es trainiert den Computer darauf, ein Bild anzusehen und sofort die Textbeschreibung zu verstehen und umgekehrt, damit sie dieselbe Sprache sprechen.

3. Das „Logik-Fitnessstudio“ (Conflict Perception Training)
Nun geht der Computer ins Fitnessstudio. Unter Verwendung der „Konflikt-Bibliothek“ übt er, Widersprüche aufzuspüren.

Der Computer lernt, „konfliktierende Ideen“ in seinem Geist weit voneinander zu entfernen. Wenn er „Präsident“ und „Fußballtrophäe“ zusammen sieht, lernt er, laut zu rufen: „Warte! Diese beiden Dinge gehören nicht zusammen!“
Er lernt zu sagen: „Dies ist falsch, weil der Text behauptet, X, aber das Bild zeigt Y, und mein Wissen sagt mir, dass X und Y nicht gleichzeitig passieren können.“

Warum dies ein Wendepunkt ist

Die Arbeit zeigt, dass dieser neue Ansatz unglaublich schnell und flexibel ist.

Die „Few-Shot“-Superkraft: Stellen Sie sich vor, Sie wollen einen Wachmann lehren, eine neue Art von Fake News zu erkennen (z. B. Deepfakes eines bestimmten neuen Prominenten).
- Alte Methoden: Benötigen Tausende von Beispielen dieses spezifischen Prominenten, um zu lernen.
- CORE: Benötigt nur eine Handvoll Beispiele (manchmal nur 100 oder sogar null!). Da es bereits die Logik des Konflikts versteht, kann es diese Logik sofort auf den neuen Prominenten anwenden. Es ist, als würde man jemandem beibringen, Schach zu spielen, indem man die Regeln erklärt, anstatt ihn zu zwingen, jedes mögliche Spiel auswendig zu lernen.
Das „Zero-Shot“-Wunder: In einigen Tests konnte CORE brandneue Arten von Fake News aufspüren, die es noch nie zuvor gesehen hatte, indem es einfach die Nachrichten las und fragte: „Ergibt das Sinn?“

Das Fazit

Die Arbeit behauptet, dass CORE durch die Konzentration auf den intrinsischen Konflikt (den logischen Widerspruch) anstatt auf den spezifischen visuellen Trick (die Fälschungstechnik) einen Detektor schafft, der robust, allgemein gültig und nicht auf eine riesige Bibliothek von Daten angewiesen ist, um neue Tricks zu lernen. Es macht den Computer zu einem kritischen Denker, der fragt: „Hält diese Geschichte stand?“ anstatt nur: „Habe ich dieses Bild schon einmal gesehen?“

Die Forscher haben ihre „Konflikt-Bibliothek“ und ihren Code der Öffentlichkeit zugänglich gemacht, in der Hoffnung, dass andere diesen „logikbasierten Detektiv“ nutzen können, um das Internet ehrlich zu halten.

Technisches Resümee: CORE – Konfliktorientiertes Reasoning für die allgemeine multimodale Manipulationserkennung

1. Problemstellung

Der rasante Fortschritt der generativen KI hat zu einem Anstieg an realistischen und allgegenwärtigen multimodalen Fake News geführt, die eine erhebliche Bedrohung für das öffentliche Vertrauen und die soziale Stabilität darstellen. Bestehende Erkennungsmethoden stehen vor zwei kritischen Einschränkungen:

Datenabhängigkeit: Sie verlassen sich stark auf groß angelegte, typspezifische annotierte Datensätze.
Design-Rigidität: Sie nutzen Modelle und Trainingsparadigmen, die auf spezifische Manipulationstypen zugeschnitten sind (z. B. Face Swapping, Text-Bild-Inkonsistenz).

Infolgedessen leiden diese Methoden unter einer schlechten Generalisierungsfähigkeit, wenn sie auf neu aufkommende Manipulationsmuster treffen. Das „Wettrüsten“ zwischen Fälschungstechniken und Erkennungsmethoden führt dazu, dass aktuelle Modelle signifikant an Leistung verlieren, wenn sie mit neuartigen Manipulationstypen konfrontiert werden, da das Tempo der Evolution neuer Fälschungen den Zyklus der Datenerhebung und des Modell-Retrainings übertrifft. Darüber hinaus verfügen Multimodale Large Language Models (MLLMs) zwar über reichhaltiges Weltwissen, ihnen fehlt jedoch oft die konzeptionelle Klarheit, um semantisch disparat konzeptionelle Unterschiede (z. B. die Verwechslung von „US-Präsident“ mit „Fußballpreis“ im Merkmalsraum) zu unterscheiden, was zu einem Scheitern bei der robusten Erkennung von Desinformation führt.

2. Kern-Erkenntnis (Core Insight)

Die Autoren beobachten, dass das Wesen manipulierter Desinformation in ihrem intrinsischen Konflikt liegt. Diese Konflikte manifestieren sich als:

Semantische Widersprüche: Inkonsistenzen zwischen dem Inhalt und dem allgemeinen Weltwissen (z. B. eine Nachrichtenunterschrift, die behauptet, ein US-Präsident habe einen Fußballpreis gewonnen).
Physische Inkonsistenzen: Diskrepanzen in Beleuchtung, Schatten oder Objekteigenschaften zwischen dem manipulierten Inhalt und dem Originalbild oder dem Text.

Das Paper argumentiert, dass, wenn ein Erkennungsmodell mit einer expliziten Konflikterfassungskapazität ausgestattet wird, es eine menschenähnliche Robustheit emulieren kann, die eine effektive Anpassung an neuartige Manipulationstypen mit minimalem Datenaufwand (Few-Shot oder Zero-Shot) ermöglicht, ohne auf spezialisierte Designs für spezifische Fälschungsspuren angewiesen zu sein.

3. Methodik: Das CORE-Framework

Das Conflict-Oriented REasoning (CORE) Framework ist darauf ausgelegt, MLLMs eine explizite konzeptionelle Verständniskapazität und Konflikterkennung zu verleihen. Es besteht aus drei Hauptphasen:

3.1. Konstruktion des Conflict Attribution Corpus (CAC)

Um die notwendige feingliedrige Supervision für die Konfliktwahrnehmung bereitzustellen, haben die Autoren den Conflict Attribution Corpus (CAC) konstruiert, der 14.000 Stichproben enthält.

Quelle: Abgeleitet vom SAMM-Datensatz (100k Bild-Text-Paare).
Annotationsprozess: Unter Verwendung eines Expertenpools aus MLLMs (GPT-4o, Gemini2.5-Pro, Qwen3-VL-Plus) generiert das System detaillierte Begründungen (Rationales) dafür, warum eine Nachricht falsch ist. Diese Rationales werden in ein strukturiertes Format destilliert, das Folgendes enthält:
- Konfliktfaktoren ( $C_1, C_2$ ): Die spezifischen widersprüchlichen Konzepte (z. B. „US-Präsident“ vs. „Ballon d'Or“).
- Konfliktquellen ( $S_1, S_2$ ): Der Ursprung des Widerspruchs (Bild, Bildunterschrift oder Weltwissen).
Verteilung: Konflikte entstehen aus Bildunterschriften (29,98 %), Bildern (36,86 %) und Weltwissen (33,16 %).

3.2. Modality Bridging Pre-Training (MBPT)

Da die Konfliktannotationen in CAC zwar textbasiert sind, aber oft visuelle Elemente beschreiben, wird ein Cross-Modal Aligner trainiert, um die Modalitätslücke zu schließen.

Daten: 50k Stichproben aus dem FineHARD-Datensatz (Bild, positiver Text und harte negative Texte).
Mechanismus: Eine Cross-Attention-Schicht richtet visuelle Merkmale an Textmerkmalen aus.
Loss-Funktion: Kombiniert eine kontrastive Lernverlustfunktion (SigLIP), um die semantische Korrelation zwischen passendem Text und visuellen Merkmalen sicherzustellen, sowie eine Sprachgenerierungsverlustfunktion (VQA-Stil), um die Sprachfähigkeiten und das feingliedrige Verständnis zu bewahren.

3.3. Conflict Perception Training (CPT)

Diese Phase formt das konzeptionelle Verständnis des Modells explizit um, um Konflikte zu erkennen.

Input: Stichproben aus CAC mit strukturierten Konfliktfaktoren und Quellen.
Merkmalsverarbeitung: Wenn ein Konfliktfaktor aus dem Bild stammt, extrahiert der Cross-Modal Aligner dessen visuelles Merkmal; andernfalls wird das Textmerkmal verwendet.
Loss-Funktionen:
- Conflict-Aware Contrastive Loss ( $L_{cacl}$ ): Drängt die Repräsentationen der beiden Konfliktfaktoren ( $z_1, z_2$ ) im semantischen Raum auseinander, um klare konzeptionelle Grenzen zu etablieren.
- Conflict Reasoning Loss ( $L_{cr}$ ): Ein Sprachmodellierungsverlust, der das Modell darauf trainiert, die Entscheidung (Real/Fake) und die Begründung basierend auf dem Konflikt zwischen $C_1$ und $C_2$ auszugeben.

3.4. Schnelle Anpassung (Rapid Adaptation)

Einmal trainiert, ermöglicht das CORE-Framework eine schnelle Anpassung an neue Manipulationstypen. Das Modell benötigt lediglich eine einfache Frage-Antwort-Instruktion („Ist die Nachricht echt oder falsch?“) und minimales Fine-Tuning (Few-Shot) oder Zero-Shot-Inferenz, um eine hohe Leistung bei ungesehenen Manipulationsmustern zu erzielen.

4. Zentrale Beiträge

Allgemeines Paradigma: Einführung eines Lernparadigmas für die allgemeine multimodale Manipulationserkennung, das sich schnell an neuartige Manipulationen mit begrenzten Zielstichproben anpasst und sich von spezialisierten Designs für spezifische Fälschungsarten abwendet.
CORE-Framework: Ein allgemeines Framework, das MLLMs ein menschenähnliches Konflikt-Reasoning verleiht und durch die Fokussierung auf intrinsische Konflikte statt auf spezifische Artefakte eine schnelle Anpassung an ungesehene Desinformationsmuster ermöglicht.
Conflict Attribution Corpus (CAC): Ein sorgfältig kuratierter Datensatz von 14k Stichproben mit feingliedrigen Annotationen von Konfliktfaktoren und -quellen, der als Benchmark für die Untersuchung von Konflikt-Reasoning in der multimodalen Manipulation dient.

5. Experimentelle Ergebnisse

Das Framework wurde unter Verwendung von Qwen2.5VL-3B und Gemma3-4B als Backbones über vier Datensätze hinweg evaluiert: DGM4, MDSM, MMFakeBench und NewsCLIPpings.

Few-Shot-Leistung: Mit begrenzten Trainingsdaten (100–750 Stichproben) erreichten COREQwen und COREGemma State-of-the-Art (SOTA)-Leistungen und übertrafen die zweitbesten Methoden im Durchschnitt um 9,94 % bzw. 10,50 %.
Zero-Shot-Generalisierung: In der Cross-Manipulation-Detection (Training auf einem Satz von Manipulationstypen und Testen auf ungesehenen Typen) übertraf CORE die Baselines signifikant (z. B. Verbesserung um >14 % bei MDSM).
Großskalige Robustheit: Selbst wenn es auf groß angelegten Daten trainiert wurde (voller SAMM, MDSM und 200k NewsClippings), behielt CORE eine überlegene Stabilität bei und übertraf die Baselines um ca. 3,8–4,2 %.
Zeitkritische Ereignisse: In Evaluationen, die Ereignisse aus dem Jahr 2025 beinhalteten (außerhalb des Pre-Training-Scope der Modelle), erreichte CORE eine Genauigkeit von 74 % und übertraf damit die Baselines (44–52 %) deutlich, was seine Fähigkeit demonstriert, logische Verstöße ohne spezifisches Entitätswissen zu erkennen.
Ablationsstudien: Experimente bestätigten, dass sowohl die MBPT-Phase (Überbrückung der Modalitätslücken) als auch die CPT-Phase (Lernen von Konfliktgrenzen) essenziell sind. Das Entfernen von CPT verursachte einen starken Leistungsabfall (~4,58 %), und das Entfernen des kontrastiven Verlusts in MBPT führte zu einem Rückgang um 4,44 %.

6. Bedeutung und Behauptungen

Das Paper behauptet, dass CORE den grundlegenden Fehler aktueller Erkennungsansätze adressiert: ihre übermäßige Abhängigkeit von spezifischen Datenmustern und Modelldesigns. Durch die Verschiebung des Fokus auf den Kernkonflikt, der in Fake News inhärent ist, ermöglicht CORE Modellen eine robuste Generalisierung.

Effizienz: Das Framework reduziert die Notwendigkeit von energieintensiven Full-Parameter-Retrainings und groß angelegter, typspezifischer Datenerhebung.
Robustheit: Es bietet eine Lösung, die auch gegen sich entwickelnde generative KI-Bedrohungen effektiv bleibt, einschließlich Zero-Day-Desinformation, bei der spezifisches Weltwissen fehlt.
Ethische Erwägungen: Die Autoren merken an, dass der CAC-Datensatz streng für Forschungszwecke unter einer Lizenz veröffentlicht wird, die dessen Nutzung für generative Aufgaben untersagt, um Missbrauch zur Erstellung täuschender Inhalte zu verhindern.

Die Autoren kommen zu dem Schluss, dass die Beherrschung der grundlegenden Fähigkeit der Konfliktwahrnehmung es Modellen ermöglicht, sich von der Datenabhängigkeit zu lösen und einen skalierbaren sowie robusten Ansatz für die multimodale Desinformationserkennung zu bieten.