🤖 AI

Mitigating Cross-Image Information Leakage in Multi-Image Understanding with Large Vision-Language Models

Das Papier stellt FOCUS vor, eine trainingsfreie und architekturunabhängige Methode, die das Informationslecken zwischen Bildern in Large Vision-Language Models durch die Aggregation von Logits aus teilweise maskierten Eingaben und deren Verfeinerung mit rauschbasierten Referenzen mildert und dadurch die Leistung bei Multi-Image- und Video-Verständnisaufgaben signifikant verbessert.

Ursprüngliche Autoren: Yeji Park, Minyoung Lee, Sanghyuk Chun, Junsuk Choe

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yeji Park, Minyoung Lee, Sanghyuk Chun, Junsuk Choe

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein sehr kluger Kunstkritiker (die KI), der groß darin ist, ein einzelnes Gemälde zu beschreiben. Aber wenn Sie gebeten werden, zwei nebeneinander hängende Gemälde zu betrachten und nur das erste zu beschreiben, geraten Sie in Verwirrung. Sie fangen versehentlich an, auch das zweite Gemälde zu beschreiben, und vermischen die beiden zu einer chaotischen, falschen Beschreibung.

Dieses Paper identifiziert genau dieses Problem und bietet eine clevere, ohne Training funktionierende Lösung namens FOCUS.

Hier ist die Aufschlüsselung dessen, was sie herausgefunden haben und wie sie es behoben haben, unter Verwendung einfacher Analogien:

Das Problem: Der „Visuelle Suppen“-Effekt

Wenn Large Vision-Language Models (LVLMs) gleichzeitig auf mehrere Bilder schauen, wird ihr internes „Gehirn“ matschig. Anstatt die Bilder getrennt zu halten, vermischt es sie zusammen wie ein Mixer, der einen Smoothie macht.

Das Szenario: Stellen Sie sich vor, man zeigt der KI ein Bild einer weißen Vase mit gelben Tulpen (Bild A) und ein Bild einer roten Vase mit roten Rosen (Bild B).
Die Frage: „Was ist im ersten Bild zu sehen?“
Der Fehler: Anstatt „Gelbe Tulpen“ zu sagen, sagt die verwirrte KI: „Gelbe Tulips und rote Rosen“. Es ist Information aus dem zweiten Bild in die Antwort für das erste Bild durchgesickert.
Die Ursache: Das Paper nennt dies Cross-Image Information Leakage (Bildübergreifendes Informationslecken). Da die KI alle Bilder gemeinsam verarbeitet, verstricken sich die „visuellen Token“ (die digitalen Bausteine der Bilder), was dazu führt, dass die KI glaubt, alles sei eine einzige, kombinierte Szene.

Die Lösung: Der „Augenbinden“-Trick (FOCUS)

Die Autoren erkannten, dass diese KI-Modelle eigentlich sehr gut darin sind, ein Bild nach dem anderen zu betrachten. Das Problem tritt nur auf, wenn sie versuchen, viele gleichzeitig zu betrachten.

Deshalb haben sie eine Methode namens FOCUS entwickelt (was für einen spezifischen technischen Prozess steht, aber Sie können es sich als „Fokussierung auf eine saubere Quelle“ vorstellen). Es erfordert kein erneutes Trainieren der KI oder eine Änderung ihres Gehirns; es ändert lediglich die Art und Weise, wie die KI während des Gesprächs auf die Bilder schaut.

So funktioniert FOCUS Schritt für Schritt:

Die Augenbinde (Visual Masking):
Stellen Sie sich vor, Sie möchten, dass die KI Bild A beschreibt. Anstatt der KI Bild A und Bild B klar zu zeigen, legt die KI eine „digitale Augenbinde“ (zufälliges Rauschen) über Bild B. Jetzt ist Bild B nur noch statisches Flimmern, wie ein Fernseher ohne Signal. Die KI kann nur Bild A klar sehen.
- Analogie: Es ist, als würde man ein Stück Papier über das zweite Gemälde halten, damit der Kritiker nur das erste sehen kann.
Der Wechsel (Image-wise Inference):
Die KI macht dies für jedes Bild in der Menge.
- Zuerst betrachtet sie Bild A klar (Bild B ist verschwommen).
- Dann betrachtet sie Bild B klar (Bild A ist verschwommen).
- Sie macht dies nacheinander und stellt sicher, dass sie niemals durch das gleichzeitige Sehen zweier klarer Bilder verwirrt wird.
Der Rauschfilter (Contrastive Aggregation):
Selbst mit der Augenbinde könnte ein winziger Teil des „Statischen“ aus dem verschwommenen Bild durchsickern. Um dies zu beheben, schaut die KI auch auf einen völlig leeren, verrauschten Bildschirm (nur statisches Rauschen, keine Bilder), um zu sehen, wie „reine Verwirrung“ klingt.
- Die KI subtrahiert dann dieses „Verwirrungsrauschen“ von ihren Antworten.
- Analogie: Wenn die KI sagt: „Ich sehe ein bisschen rote Rosen im Tulpengemälde“, prüft das System: „Haben wir rote Rosen gesehen, als wir nur auf reines Rauschen geschaut haben?“ Wenn ja, erkennt die KI, dass „rote Rosen“ nur ein Glitch war, und entfernt sie aus der endgültigen Antwort.

Die Ergebnisse

Als sie diesen „Augenbinde + Rauschfilter“-Trick an vielen verschiedenen KI-Modellen und Benchmarks testeten:

Die Genauigkeit stieg: Die KI hörte auf, die Bilder zu vermischen.
Es funktionierte überall: Es funktionierte bei kleinen Modellen, riesigen Modellen und sogar beim Verständnis von Videos (wo Frames wie eine Sequenz von Bildern sind).
Kein zusätzliches Training: Sie mussten der KI nichts Neues beibringen. Sie änderten nur kurzzeitig die Regeln des Spiels, während die KI die Antwort gab.

Zusammenfassung

Das Paper besagt, dass aktuelle KI-Modelle wie eine Person sind, die versucht, zwei Radiosender gleichzeitig zu hören und am Ende eine verzerrte Mischung erhält. FOCUS ist ein einfacher Trick, der die KI dazu zwingt, jeweils nur einem Sender zuzuhören, während gleichzeitig das Rauschen des anderen gefiltert wird, was zu einer klaren, korrekten Antwort führt.

Technisches Resümee: Abschwächung von Cross-Image Information Leakage in der Multi-Image-Verständnis mit Large Vision-Language Models

Problemstellung

Während Large Vision-Language Models (LVLMs) bei Aufgaben mit Einzelbildern eine starke Leistung zeigen, sinkt ihre Leistungsfähigkeit signifikant ab, wenn sie mehrere Bilder gleichzeitig verarbeiten. Obwohl vorangegangene Arbeiten diesen Leistungsabfall bereits festgestellt haben, blieben die zugrunde liegenden Mechanismen bisher unzureichend verstanden.

Die Autoren identifizieren empirisch ein spezifisches Phänomen, das als Cross-Image Information Leakage bezeichnet wird. In Multi-Image-Szenarien werden die visuellen Repräsentationen des Modells miteinander verschränkt, was dazu führt, dass es visuelle Merkmale verschiedener Bilder vermischt, anstatt sie unabhängig voneinander zu interpretieren. Wie in der Motivation der Arbeit illustriert, tritt bei der Präsentation von zwei Bildern (z. B. eines mit gelben Tulpen und eines mit roten Rosen) und einer Abfrage zum ersten Bild oft folgendes Problem auf: Das Modell scheitert daran, das Zielobjekt zu isolieren. Anstatt die korrekte Option („gelbe Tulpen“) zu wählen, wählt es fälschlicherweise eine verschmolzene Option („gelbe Tulpen und rote Rosen“).

Dieses Leakage wird der standardmäßigen Verarbeitung mehrerer Bilder als Sequenz von konkatinierten visuellen Token zugeschrieben. Der inter-bildliche kausale Attention-Mechanismus bewirkt, dass Token aus verschiedenen Bildern stark interagieren, was die latenten Repräsentationen vermischt und zu Halluzinationen führt, bei denen Inhalte nicht-zielgerichteter Bilder die Antwort kontaminieren.

Die Arbeit stellt zudem fest, dass eine naive Lösung – die unabhängige Verarbeitung jedes Bildes und die anschließende Aggregation der Ergebnisse – fehlschlägt, da sie die Inter-Bild-Beziehungen (z. B. Vergleiche, Querverweise) opfert, die für komplexe Multi-Image-Reasoning-Aufgaben essenziell sind.

Methodik: FOCUS

Um diese Herausforderung ohne zusätzliches Training oder architektonische Änderungen zu adressieren, schlagen die Autoren FOCUS vor, eine trainingsfreie, architekturoffene Inferenzmethode. Die Methode basiert auf der Beobachtung, dass LVLMs über Einzelbilder gut schlussfolgern können, und zielt darauf ab, das Modell zu steuern, sich auf jeweils ein Bild zu konzentrieren, während der Positionskontext des Multi-Image-Inputs erhalten bleibt.

FOCUS besteht aus drei sequenziellen Schritten:

Visuelle Maskierung (Visual Masking):
Für eine Menge von $N$ Input-Bildern generiert die Methode $N$ teilweise maskierte Inputs und einen vollständig maskierten Referenz-Input.
- Für jedes Zielbild $I_i$ werden alle anderen Bilder $I_j$ ( $j \neq i$ ) mit zufälligem Rauschen (Skala $\lambda$ ) korrumpiert, während $I_i$ unverändert bleibt.
- Ein vollständig durch Rauschen maskierter Input ( $I_{noise}$ ) wird ebenfalls erstellt, bei dem alle Bilder korrumpiert sind.
- Dies zwingt das Modell, sich in jedem Forward-Pass primär auf das einzelne saubere Bild zu konzentrieren, während die ursprüngliche Bildreihenfolge beibehalten wird.
Bildweise fokussierte Inferenz (Image-wise Focused Inference):
Das Modell führt die Inferenz auf jede der $N$ teilweise maskierten Inputs durch, um eine Logit-Verteilung $\ell_i$ für jedes Zielbild $I_i$ zu erhalten. Zusätzlich wird eine voll maskierte Rausch-Referenz-Logit-Verteilung $\ell_{noise}$ berechnet. Dieser Schritt erfasst das Reasoning des Modells, wenn es auf spezifische Bilder innerhalb des gemeinsamen Kontextes fokussiert ist.
Kontrastive Aggregation (Contrastive Aggregation):
Der endgültige Output wird durch die Aggregation der fokussierten Logits unter Unterdrückung residueller Rauschartefakte abgeleitet. Die verwendete Formel lautet:
$\ell_{final} = \sum_{i=1}^{N} (\ell_i - \alpha \cdot \ell_{noise})$
Hierbei ist $\alpha$ ein über die Validierung abgestimmter Hyperparameter. Das Subtrahieren der Rausch-Referenz ( $\ell_{noise}$ ) hilft dabei, die fokussierten Logits zu isolieren und verbleibende störende visuelle Signale zu entfernen, wodurch sichergestellt wird, dass die endgültige Vorhersage auf dem sauberen Bildinhalt basiert und nicht auf den durch das Rauschen induzierten Artefakten.

Zentrale Beiträge

Identifizierung von Cross-Image Information Leakage: Die Arbeit liefert empirische Belege dafür, dass die Degradierung der Multi-Image-Leistung eng mit der Verschränkung visueller Repräsentationen über Bilder hinweg verknüpft ist, was zu verschmolzenen, inkorrekten Antworten führt.
FOCUS-Methode: Eine neuartige, trainingsfreie Inferenzstrategie, die das Leakage durch Rauschmaskierung und kontrastive Logit-Aggregation abschwächt. Sie bewahrt Inter-Bild-Beziehungen (im Gegensatz zur unabhängigen Inferenz), verhindert jedoch gleichzeitig die Vermischung von Inhalten.
Generalisierung: Die Methode zeigt sich über diverse LVLM-Familien (InternVL3, Qwen2.5-VL, LLaVA-OneVision, Qwen3-VL) und Skalierungen (von <7B bis >30B Parametern) hinweg als effektiv.
Erweiterung auf Video-Verständnis: Die Autoren demonstrieren, dass FOCUS über statische Multi-Image-Inputs hinaus auch auf Video-Verständnis-Aufgaben (Vinoground) generalisiert, was darauf hindeutet, dass der Mechanismus ein grundlegendes Problem in der temporalen und sequentiellen visuellen Argumentation adressiert.

Experimentelle Ergebnisse

Die Autoren evaluierten FOCUS auf fünf Multi-Image-Benchmarks: Winoground, VisMin (Easy und Hard), Mantis-Eval, MuirBench und MIRB.

Leistungssteigerungen: FOCUS verbesserte konsistent den Image Score (I) und den Group Score (G), welche die Multi-Image-Reasoning-Fähigkeiten direkt widerspiegeln, während der Text Score (T) weitgehend unverändert blieb.
- Auf Winoground erreichten die Gewinne bis zu +18,8 beim Image Score und +16,8 beim Group Score.
- Bei VisMin-Easy waren die Verbesserungen erheblich, z. B. sah InternVL3-2B eine Steigerung des Image Scores von 29,96 auf 74,33.
- Auf Mantis-Eval verbesserte sich die Genauigkeit um bis zu +5,5 Prozentpunkte.
- Auf MuirBench und MIRB wurden konsistente, wenn auch kleinere Gewinne über verschiedene Modelle hinweg beobachtet.
Vergleich mit Alternativen: FOCUS übertraf alternative Ansätze, einschließlich:
- Unabhängige Verarbeitung (Independent Processing): Die separate Verarbeitung von Bildern und die Konkatenierung von Texten, was daran scheiterte, Inter-Bild-Beziehungen zu erfassen.
- Konventionelles Kontrastives Decoding (VCD): Standardmäßige kontrastive Methoden, die für Einzelbilder entwickelt wurden, verschlechterten die Leistung in Multi-Image-Settings.
- SoFA: Eine Methode, die auf Position Bias abzielt, konnte die Leistung nicht konsistent verbessern, was darauf hindeutet, dass Position Bias und Information Leakage unterschiedliche Probleme sind.
Ablationsstudien: Das Entfernen der Rauschinjektion oder des Schritts der Subtraktion der Rausch-Referenz verschlechterte die Leistung signifikant, was bestätigt, dass beide Komponenten essenziell sind.
Latenz: Die Methode führt einen moderaten Latenz-Overhead ein (erfordert $N+1$ Inferenz-Durchläufe für $N$ Bilder), was die Autoren als vertretbaren Trade-off für die Genauigkeitsgewinne beschreiben.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass FOCUS eine praktische und generalisierbare Inferenz-Lösung zur Verbesserung des Multi-Image-Reasonings bietet. Durch die empirische Charakterisierung von Cross-Image Information Leakage und die Bereitstellung einer Methode zu dessen Abschwächung ohne Retraining, adressiert die Arbeit eine kritische Einschränkung aktueller LVLMs.

Die Autoren betonen, dass ihr Ansatz:

Keine zusätzlichen Trainingsdaten oder architektonischen Änderungen erfordert.
Über ein breites Spektrum an Modellgrößen und -familien hinweg funktioniert.
Sich auf das Video-Verständnis erweitern lässt, was nahelegt, dass das Problem der visuellen Verschränkung nicht auf statische Bilder beschränkt ist.
Eine allgemeine Lösung zur Verbesserung der Zuverlässigkeit des Multi-Image-Reasonings bietet, was für reale Anwendungen, in denen Nutzer mehrere Bilder gleichzeitig bereitstellen, essenziell ist.

Die Arbeit schließt damit, dass FOCUS zwar die Leistung signifikant verbessert, aber kein Allheilmittel für alle Long-Context- oder Retrieval-intensiven Aufgaben ist, bei denen der Flaschenhals eher im Auffinden relevanter Informationen als in der Disambiguierung visueller Inhalte liegen kann. Für Aufgaben, die jedoch die Integration und den Vergleich mehrerer visueller Inputs erfordern, bietet FOCUS eine robuste Verbesserung.