🤖 AI

Deep Residual Injection for Full-Spectrum Forensic Signal Perception in Multimodal Large Language Models

Dieses Paper schlägt Deep-VRM vor, eine neuartige Architektur für multimodale große Sprachmodelle, die vortrainiertes semantisches Wissen bewahrt und gleichzeitig durch einen tiefen Residualpfad niederfrequente forensische Artefakte injiziert, wodurch eine erstklassige Detektionsleistung über das gesamte Spektrum der forensischen Signale hinweg erreicht wird, ohne das semantische Verständnis zu opfern.

Ursprüngliche Autoren: Kaiqing Lin, Zhiyuan Yan, Ruoxin Chen, Ke-Yue Zhang, Yue Zhou, Caiyong Piao, Bin Li, Taiping Yao, Bo Wang, Youchang Xiao, Shouhong Ding

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kaiqing Lin, Zhiyuan Yan, Ruoxin Chen, Ke-Yue Zhang, Yue Zhou, Caiyong Piao, Bin Li, Taiping Yao, Bo Wang, Youchang Xiao, Shouhong Ding

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „schlaue Detektiv“, der die kleinen Hinweise übersieht

Stellen Sie sich vor, Sie haben einen brillanten Detektiv (ein multimodales großes Sprachmodell, oder MLLM). Dieser Detektiv ist unglaublich schlau darin, Geschichten zu verstehen, Objekte zu erkennen und die „Vibe“ eines Bildes zu erfassen. Wenn Sie ihm ein Foto einer Katze zeigen, kann er Ihnen sagen, dass es eine Katze ist, welche Farbe sie hat und sogar erraten, was die Katze gerade denkt.

Doch ein neues Problem ist aufgetaucht: KI-generierte Bilder werden so realistisch, dass sie für das bloße Auge perfekt aussehen. Sie bestehen den „Vibe-Check“ perfekt.

Das Problem des Detektivs ist, dass er zu sehr auf das große Ganze fokussiert ist. Er ist so gut darin, „Semantik“ (die Bedeutung und die Geschichte des Bildes) zu verstehen, dass er die winzigen, mikroskopischen Fehler, die die KI hinterlassen hat, komplett ignoriert. Diese winzigen Fehler sind wie digitale Fingerabdrücke oder Glitch in der Matrix.

Das Dilemma: Wenn man versucht, diesen Detektiv dazu zu bringen, nach diesen winzigen Fehlern zu suchen, indem man ihn zwingt, alles von Grund auf neu zu lernen, wird er verwirrt. Er beginnt zu vergessen, wie man eine Katze erkennt oder eine Geschichte versteht. Er verliert seinen „gesunden Menschenverstand“, nur um einen Glitch zu erkennen.
Das Ergebnis: Aktuelle Methoden nutzen entweder ein separates, spezialisiertes „Glitch-Jäger“-Werkzeug (was den Detektiv abhängig von einer Krücke macht) oder versuchen, den Detektiv direkt zu trainieren, was ihm jedoch das Gehirn „zerstört“.

Die Lösung: Die „Deep Residual Injection“ (Der geheime Seiteneingang)

Die Autoren dieser Arbeit, Deep-VRM, haben einen cleveren Weg gefunden, dies zu beheben, ohne das Gehirn des Detektivs zu beschädigen. Sie nennen es Deep Residual Injection.

So funktioniert es, unter Verwendung einer Fließband-Analogie aus einer Fabrik:

Das Fließband (Die Modellschichten): Stellen Sie sich das Gehirn des Detektivs als eine Fabrik mit vielen Etagen (Schichten) vor.
- Etage 1–10 (Frühe/Mittlere Schichten): Hier leistet die Fabrik ihre beste Arbeit beim Verständnis der Geschichte des Bildes. Sie identifiziert die Katze, den Hintergrund und die Stimmung. Dies ist die „Semantische Zone“.
- Etage 11–20 (Späte Schichten): Hier findet die endgültige logische Schlussfolgerung statt und Entscheidungen werden getroffen.
Der alte Weg (Naives Training): Wenn man früher wollte, dass die Fabrik nach Glitches sucht, versuchte man, die ersten Etagen (Etage 1–10) ebenfalls nach Glitches suchen zu lassen.
- Das Problem: Die ersten Etagen wurden überfordert. Sie versuchten, nach winzigen Glitches zu suchen, während sie gleichzeitig versuchten, die Geschichte zu verstehen. Sie wurden verwirrt, vergaßen die Geschichte und die gesamte Fabrik begann Fehler zu machen.
Der neue Weg (Deep-VRM): Die Autoren erkannten, dass sie die ersten Etagen genau so lassen sollten, wie sie sind. Sie sind perfekt darin, Geschichten zu verstehen, also sollen sie das auch weiterhin tun.
- Der „Grüne Weg“ (Residual Path): Anstatt die ersten Etagen zur Änderung zu zwingen, bauten sie einen geheimen Seiteneingang (einen Residual-Pfad).
- Sie installierten einen speziellen, winzigen „Glitch-Scanner“ (ein kleines, anpassbares Modul), der nur nach den digitalen Fingerabdrücken sucht.
- Dieser Scanner umgeht die ersten 10 Etagen vollständig. Er wartet, bis das Bild bereits von den „Verständnis-für-die-Geschichte“-Etagen verarbeitet wurde.
- Die Injektion: Kurz bevor die endgültige Entscheidung getroffen wird (um Etage 16 herum), injiziert der Scanner seine Funde (die „Glitch-Daten“) direkt in den Hauptfluss.

Was passiert als Nächstes?

Nun erhält die letzte Etage der Fabrik zwei Informationsströme gleichzeitig:

Strom A: „Dies ist eine Katze, die auf einem Sofa sitzt.“ (Das ursprüngliche, bewahrte semantische Wissen).
Strom B: „Aber warte, die Textur des Fells hat ein seltsames, sich wiederholendes digitales Muster, das echte Katzen nicht haben.“ (Das neue, injizierte forensische Signal).

Die Fabrik kann nun diese beiden Ströme kombinieren. Sie sagt: „Okay, ich weiß, dass dies eine Katze ist, ABER die Textur ist künstlich. Daher ist dies ein gefälschtes Bild.“

Warum das eine große Sache ist

Keine Krücken nötig: Der Detektiv benötigt kein externes „Glitch-Jäger“-Werkzeug mehr. Der Detektiv lernt, die Glitches selbst zu erkennen, ohne seine Intelligenz zu verlieren.
Robustheit: Da der Detektiv nicht nur einen spezifischen Typ von Glitch auswendig lernt, sondern lernt, „Geschichtslogik“ mit „Glitch-Logik“ zu kombinieren, ist er viel besser darin, Fälschungen zu erkennen, selbst wenn die Bilder komprimiert, skaliert oder bearbeitet wurden (wie wenn man ein Foto in sozialen Netzwerken postet).
Anpassungsfähigkeit: Das Modell lernt zu entscheiden, wie viel Gewicht es dem Glitch-Signal beimessen soll. Manchmal reicht die Geschichte aus, manchmal ist der Glitch der einzige Hinweis. Es passt sich der Situation an.

Die Ergebnisse

Die Autoren testeten diesen neuen „Deep-VRM“-Detektiv gegen viele andere Methoden auf einer riesigen Vielfalt an gefälschten Bildern.

Er schlug fast alle anderen Methoden weltweit (State-of-the-Art).
Er funktionierte hervorragend bei „Wild“-Bildern (Fotos aus echten sozialen Medien, die unordentlich und komprimiert sind).
Er hat nicht vergessen, die Welt zu verstehen; er hat lediglich eine Superkraft zu seinem bestehenden Gehirn hinzugefügt.

Kurz gesagt: Sie haben nicht versucht, das ganze Gehirn neu zu trainieren. Sie haben die Weisheit des Gehirns intakt gehalten und einfach einen spezialisierten „Glitch-Sensor“ hinzugefügt, der seine Erkenntnisse direkt in das Entscheidungszentrum einspeist, sodass die KI sowohl den Wald als auch die winzigen, verborgenen Käfer in den Bäumen sehen kann.

Technisches Resümee: Deep Residual Injection für die vollspektrale forensische Signalwahrnehmung in Multimodalen Large Language Models

1. Problemstellung

Der rasante Fortschritt bei KI-generierten Bildern (AIGI) hat eine Krise des digitalen Vertrauens geschaffen, die robuste Detektionsmechanismen erforderlich macht. Während Multimodale Large Language Models (MLLMs) eine starke semantische Argumentation und Interpretierbarkeit bieten, stehen sie vor einer kritischen Einschränkung bei forensischen Aufgaben: der Unfähigkeit, niederfrequente Generator-Artefakte zu detektieren, ohne ihre vortrainierten semantischen Fähigkeiten zu beeinträchtigen.

Bestehende Ansätze verlassen sich oft auf externe Expertendetektoren, um die Schwächen von MLLMs zu kompensieren, oder versuchen, MLLMs direkt feinabzustimmen. Die Autoren identifizieren jedoch einen grundlegenden Repräsentationskonflikt:

Semantik vs. Artefakt-Lernen: Vortrainierte MLLMs sind auf hochgradige semantische Merkmale (Stil, Inhalt, Logik) optimiert. Das Erzwingen des Lernens subtiler, niederfrequenter Generator-Spuren (Artefakte) durch Standard-Feinabstimmung (z. B. LoRA oder Full Fine-Tuning) stört die etablierten semantischen Repräsentationen.
Das Dilemma: Standardmäßige Feinabstimmung scheitert daran, niederfrequente Artefakte effektiv zu erfassen, während aggressive Feinabstimmung (Full Fine-Tuning) zu „katastrophalem Vergessen“ (Catastrophic Forgetting) des zentralen semantischen Wissens des Modells führt, was es für allgemeine Detektionsaufgaben ineffektiv macht.

2. Methodik: Deep Visual Residual MLLM (Deep-VRM)

Um den Konflikt zwischen der Bewahrung der Semantik und der Artefakt-Detektion zu lösen, schlagen die Autoren Deep-VRM vor, eine neue Architektur basierend auf Deep Residual Injection.

2.1. Kernerkenntnis: Schichtweise funktionale Stratifizierung

Durch Linear-Probe-Analysen an vortrainierten MLLMs (speziell Qwen-2.5-VL-7B) entdeckten die Autoren eine funktionale Stratifizierung innerhalb der Modellschichten:

Frühe bis mittlere Schichten (Schichten 1–16): Diese Schichten sind entscheidend für die Bildung stabiler semantischer Repräsentationen. Sie konvergieren schnell bei semantischen Aufgaben, bleiben aber stagnierend, wenn sie mit der Detektion von niederfrequenten Artefakten konfrontiert werden. Das Erzwingen des Lernens von Artefakten in diesen Schichten stört die semantische Konvergenz.
Späte Schichten: Diese Schichten sind für die hochgradige Argumentation und Informationsintegration verantwortlich.

2.2. Architekturdesign

Deep-VRM verwendet eine duale visuelle Architektur mit einer Residual Injection Strategie, um die Lernprozesse zu entkoppeln:

Gefrorener semantischer Pfad ( $V_o$ ): Der ursprüngliche visuelle Encoder und die frühen Schichten des LLM (bis zur Schicht $K-1$ ) bleiben eingefroren. Dies bewahrt die vortrainierte semantische Wahrnehmung und verhindert katastrophales Vergessen.
Adaptierter Artefakt-Pfad ( $V_a$ ): Ein paralleler visueller Zweig, der mit LoRA-Adaptern ausgestattet ist, wird trainiert, um artefaktspezifische visuelle Merkmale zu extrahieren.
Residual Injection: Anstatt die Merkmale auf der Input-Ebene abzugleichen, werden die durch $V_a$ $V_{a}$ extrahierten Artefakt-Merkmale direkt in die intermediären Hidden States des LLM (bei Schicht $K$ $K$ ) injiziert.
- Die Injektionsformel lautet: $\tilde{h}^{(K-1)}_v = \alpha \cdot h^{(K-1)}_v + \beta \cdot V_a(I)$ , wobei $\alpha$ und $\beta$ Skalierungsfaktoren sind (festgelegt auf 0,5).
- Dieser „Green Road“-Pfad umgeht die semantisch dominanten frühen Schichten und ermöglicht es dem Modell, erst dann zu lernen, wenn die semantischen Merkmale konvergiert sind.

2.3. Trainingsstrategie

Der Trainingsprozess ist in zwei Phasen unterteilt:

Phase 1 (Semantische Ausrichtung): Feinabstimmung der LLM-Komponente unter Verwendung eines Datensatzes ( $D_1$ ), der auf semantischen Hinweisen basiert, um das vortrainierte Wissen für die AIGI-Detektion zu aktivieren.
Phase 2 (Artefakt-bewusste Verfeinerung): Einführung eines Datensatzes ( $D_2$ ), der auf Generator-Spuren fokussiert ist (erstellt mittels VAE-Rekonstruktion, um semantische Interferenzen zu eliminieren). Die frühen LLM-Schichten bleiben eingefroren, während der Residual-Zweig ( $V_a$ ) und die LLM-Schichten von $K$ bis $N$ optimiert werden. Dies ermöglicht es dem Modell, semantische Argumentation und Signalebene-forensische Merkmale gemeinsam zu modellieren.

3. Zentrale Beiträge

Entdeckung des Repräsentationskonflikts: Die Arbeit zeigt systematisch auf, dass native MLLMs nicht in der Lage sind, generalisierbare niederfrequente Artefakte zu lernen, ohne den Merkmalsraum aggressiv zu verändern, was die semantische Extraktion beeinträchtigt. Sie stellt fest, dass eine effektive Detektion die Entkopplung von Artefakt-Lernen und semantischer Bewahrung erfordert.
Deep-VRM Architektur: Eine neuartige Methode, die artefaktspezifische Merkmale direkt in die tiefen Schichten des LLM injiziert und so die semantisch dominanten frühen Schichten umgeht. Dies erreicht eine optimale Merkmalsintegration ohne externe Expertendetektoren.
State-of-the-Art Performance: Die Methode erzielt allein basierend auf dem MLLM überragende Ergebnisse und demonstriert eine robuste Generalisierung in „In-the-Wild“-Szenarien, in denen niederfrequente Artefakte oft durch Post-Processing degradiert werden.

4. Experimentelle Ergebnisse

Die Autoren evaluierten Deep-VRM über mehrere Benchmarks hinweg, einschließlich GenImage, SynthBuster, AIGI-Bench und WildRF (ein Datensatz, der reale Social-Media-Bedingungen widerspiegelt).

Generalisierung: Deep-VRM erreichte SOTA-Ergebnisse (State-of-the-Art) in den meisten Benchmarks. Auf dem GenImage-Datensatz erreichte es beispielsweise eine durchschnittliche Genauigkeit von 97,42 % und übertraf damit spezialisierte forensische Modelle wie OMAT (94,63 %) und DRCT (83,53 %).
Wild-Robustheit: Beim WildRF-Benchmark, der die Robustheit gegenüber Kompression und Skalierung testet, erreichte Deep-VRM 89,51 % und übertraf damit signifikant die nächstbeste Methode (AIDE mit 59,49 %) sowie spezialisierte forensische Modelle.
Vergleich mit MLLMs: Im Vergleich zu allgemeinen MLLMs (z. B. Qwen-2.5-VL-7B, LLaVA-1.5), die Schwierigkeiten mit der Detektion hatten (50–68 % Genauigkeit), und spezialisierten forensischen MLLMs (Forensic-Chat, 88,75 %), erreichte Deep-VRM eine höchste durchschnittliche Genauigkeit von 93,28 %.
Ablationsstudien:
- Injektionstiefe: Die Injektion bei Tiefe $K=16$ lieferte das beste Gleichgewicht. Eine flache Injektion ( $K=4$ ) störte die semantische Kodierung, während eine sehr tiefe Injektion ( $K=20$ ) nicht genügend Schichten für die gemeinsame Argumentation ließ.
- Einfrieren früher Schichten: Das Einfrieren der frühen Schichten war entscheidend, um das Vergessen des semantischen Wissens zu verhindern, was die Leistung auf Wild-Datensätzen im Vergleich zum Full Fine-Tuning um über 5 % steigerte.
- Fusionskoeffizienten: Eine ausgewogene Einstellung von $\alpha=0,5, \beta=0,5$ bot den besten Kompromiss zwischen der Bewahrung der semantischen Repräsentation und der Einführung von Artefakt-Hinweisen.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass Deep-VRM die Lücke zwischen hochgradiger semantischer Analyse und niederfrequenter forensischer Wahrnehmung erfolgreich schließt. Durch die Lösung des Repräsentationskonflikts mittels Deep Residual Injection ermöglicht das Modell MLLMs, sowohl subtile Generator-Spuren als auch hochgradige semantische Anomalien autonom zu detektieren, ohne auf externe Expertendetektoren angewiesen zu sein.

Die Autoren betonen, dass dieser Ansatz einen vereinheitlichten und generalisierbaren Rahmen für die zuverlässige Detektion KI-generierter Bilder bietet. Die Fähigkeit des Modells, eine robuste Performance unter realen Bilddegradationen (Kompression, Skalierung) aufrechtzuerhalten, deutet darauf hin, dass es nicht auf fragilen, einseitigen Artefakten basiert, sondern vielmehr einen gemeinsamen Argumentationsprozess nutzt. Die Arbeit zeigt, dass MLLMs effektiv für forensische Aufgaben angepasst werden können, wenn ihre interne funktionale Stratifizierung respektiert und durch architektonische Innovation statt durch Brute-Force-Feinabstimmung genutzt wird.