💻 computer science

Latent Noise Mask for Reducing Visual Redundancy in Multimodal Large Language Models

Das Paper schlägt Lens vor, ein leichtgewichtiges, fragenkonditioniertes Framework, das die visuelle Redundanz in Multimodalen Großen Sprachmodellen reduziert, indem es adaptiv latentes Rauschen in irrelevante Bild-Token injiziert und dadurch die feingliedrige Argumentations- und Grounding-Leistung signifikant verbessert, ohne das Modell-Backbone zu modifizieren.

Ursprüngliche Autoren: Kai Jiang, Ruishu Zhu, Siqi Huang, Hongyuan Zhang, Xuelong Li

Veröffentlicht 2026-06-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Kai Jiang, Ruishu Zhu, Siqi Huang, Hongyuan Zhang, Xuelong Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein Puzzle zu lösen, aber jemand hat einen riesigen Haufen zusätzlicher, nicht zusammengehöriger Puzzleteile oben auf die Teile geschüttet, die Sie eigentlich brauchen. Das ist im Wesentlichen das Problem, vor dem Multimodale Large Language Models (MLLMs) stehen, wenn sie ein Bild betrachten.

Diese Modelle sind unglaublich intelligent darin zu lesen und zu sprechen, aber wenn sie ein Bild betrachten, sehen sie alles als eine lange Liste winziger Einzelteile (Tokens). Wenn Sie fragen: „Wie viele Flugzeuge sind in diesem Himmel?“, sieht das Modell die Flugzeuge, aber es sieht auch die Wolken, die Vögel, die Bäume im Hintergrund und die Textur des Grases. All diese „Ablenkungs“-Teile vermischen sich, was es für das Modell schwierig macht, sich auf die spezifischen Hinweise zu konzentrieren, die es benötigt, um Ihre Frage zu beantworten.

Die meisten aktuellen Lösungen versuchen, dem Modell zu helfen, härter oder länger nachzudenken, indem sie dem Denkprozess mehr Schritte hinzufügen. Es ist, als würde man einem verwirrten Detektiv sagen: „Schreiben Sie einfach einen längeren Bericht über alles, was Sie sehen.“ Aber das Paper argumentiert, dass dies nicht gut funktioniert, weil der Detektiv immer noch in irrelevanten Details ertrinkt.

Hier kommt LENS (Latent Noise Mask) ins Spiel.

Betrachten Sie LENS nicht als ein Werkzeug, das mehr Informationen hinzufügt, sondern als ein intelligentes Noise-Cancelling-Headset für die Augen des Modells.

So funktioniert es, unter Verwendung einer einfachen Analogie:

1. Der „Lens Evidence Token“ (Der schlaue Beobachter)

Stellen Sie sich vor, das Modell hat einen winzigen, temporären Assistenten (den Lens Evidence Token oder LET), der das Bild und die Frage gemeinsam betrachtet.

Die Aufgabe: Dieser Assistent scannt schnell das Bild und vergibt eine Punktzahl für jedes einzelne Teil des Bildes.
Das Ergebnis: Wenn ein Teil des Bildes ein Flugzeug ist (und Sie nach Flugzeugen gefragt haben), gibt der Assistent ihm eine hohe Punktzahl (ein grünes Licht). Wenn ein Teil eine Wolke oder ein Baum ist, gibt er ihm eine niedrige Punktzahl (ein rotes Licht).
Entscheidender Punkt: Dieser Assistent verändert das Bild nicht; er bewertet lediglich die Teile basierend auf dem, was Sie gefragt haben.

2. Die „Latent Noise Mask“ (Der Lautstärkeregler)

Sob nachdem der Assistent die Teile bewertet hat, wirft LENS die Teile mit „niedriger Punktzahl“ nicht weg. Etwas wegzuwerfen ist riskant; wenn der Assistent einen Fehler macht, verliert das Modell möglicherweise einen entscheidenden Hinweis. Stattdessen nutzt LENS einen Lautstärkeregler.

Teile mit hoher Punktzahl (Die Beweise): Diese werden unberührt gelassen. Sie sind laut und deutlich.
Teile mit niedriger Punktzahl (Die Ablenkungen): LENS fügt diesen Teilen eine spezielle Art von „Statik“ oder „Rauschen“ hinzu. Es löscht sie nicht, sondern macht sie unscharf und unzuverlässig. Es ist, als würde man die Lautstärke des Hintergrundgeplappers leiser drehen, damit das Modell nur die wichtige Stimme hören kann.

Warum ist das besser?

Das Paper behauptet, dass es anstatt zu versuchen, dem Modell beizubringen, „länger nachzudenken“ (was mehr Unordnung verursacht), besser ist, aufzuräumen, was es bereits sieht.

Keine Operation: Das Gehirn des Modells (sein Backbone) bleibt exakt dasselbe. Wir schneiden keine Teile des Bildes heraus oder ändern, wie das Modell aufgebaut ist.
Sanfte Unterdrückung: Anstatt Teile des Bildes aggressiv zu löschen (was das Modell aus dem Gleichgewicht bringen kann, falls es sich falsch entscheidet), dämpft LENS die Ablenkungen sanft ab.
Effizienz: Es fügt nur ein winziges Stück zusätzlicher Arbeit hinzu, wie etwa einen schnellen Blick durch den Assistenten, aber das Ergebnis ist ein viel klareres Bild für das Modell, um das Problem zu lösen.

Die Ergebnisse

Als die Forscher diesen „Noise-Cancelling“-Ansatz bei verschiedenen Aufgaben testeten:

Visual Question Answering (VQA): Die Modelle wurden signifikant besser darin, spezifische Fragen zu beantworten (wie das Zählen von Objekten oder das Lesen von Text in einem Bild), weil sie aufhörten, sich durch den Hintergrund verwirren zu lassen.
Grounding: Die Modelle wurden viel besser darin, genau auf die Stelle in einem Bild zu zeigen, an der sich ein Objekt befindet, weil das „Rauschen“ von ähnlich aussehenden Objekten in der Nähe stummgeschaltet wurde.

Kurz gesagt: Das Paper legt nahe, dass wir, um KI beim Sehen intelligenter zu machen, ihr nicht nur mehr Zeit zum Nachdenken geben sollten, sondern ihr helfen sollten, das Rauschen zu ignorieren, damit sie sich auf das Signal konzentrieren kann. LENS ist das Werkzeug, das die Lautstärke der irrelevanten Teile eines Bildes herunterdreht, damit das Modell die Antwort klar hören kann.

Technisches Resümee: Latent Noise Mask zur Reduzierung visueller Redundanz in Multimodalen Large Language Models

1. Problemstellung

Multimodale Large Language Models (MLLMs) haben häufig Schwierigkeiten bei Aufgaben des feingranularen visuellen Schließens. Während diese Modelle starke sprachliche Denkfähigkeiten erben, wird ihr visuelles Schließen oft durch visuelle Redundanz behindert. In Standard-MLLM-Architekturen werden Bilder in dichte Sequenzen von visuellen Tokens kodiert. Für spezifische Fragen stellt jedoch nur eine kleine Teilmenge dieser Tokens die relevanten Belege dar. Die verbleibenden Tokens – die Hintergrundregionen, unbezogene Objekte oder visuell ähnliche Distraktoren repräsentieren – verwässern die entscheidenden Hinweise.

Bestehende Ansätze versuchen dies zu adressieren, indem sie Reasoning-Spuren (z. B. Chain-of-Thought) erweitern oder mehr visuellen/latenten Kontext hinzufügen (z. B. Bildausschnitte, intermediäre latente Tokens). Die Autoren argumentieren, dass diese additiven Methoden das Kernproblem nicht lösen: Irrelevante visuelle Tokens verbleiben im Kontext, konkurrieren mit Schlüsselbelegen und erschweren den Dekodierungsprozess. Das Paper postuliert, dass, wenn die Belege bereits vorhanden sind, die primäre Herausforderung in der visuellen Selektivität (Filtern von Distraktoren) liegt und nicht in der visuellen Verfügbarkeit (Finden neuer Belege).

2. Methodik: Latent Noise Mask (LENS)

Die Autoren schlagen LENS (LatEnt Noise maSk) vor, ein Framework, das darauf ausgelegt ist, visuelle Belege vor der Dekodierungsphase zu reinigen, ohne die Modell-Backbone oder die Token-Sequenzstruktur zu verändern. Die Methode operiert in zwei gekoppelten Stadien:

A. Evidence Probing (Beleg-Sondierung)

LENS führt einen leichtgewichtigen, temporären Lens Evidence Token (LET) ein, bezeichnet als ``, der dem gemeinsamen Input aus visuellen Tokens ( $V$ ) und Text-Tokens ( $T$ ) angehängt wird.

Mechanismus: Der verborgene Zustand dieses temporären Tokens wird durch einen einfachen Multi-Layer-Perceptron (MLP) Head ( $f_\theta$ ) dekodiert, um einen Relevanz-Score-Vektor $\mathbf{a} \in [0, 1]^N$ zu erzeugen, wobei $N$ die Anzahl der visuellen Tokens ist.
Konditionierung: Diese Scores sind fragenabhängig (question-conditioned), was bedeutet, dass dieselbe Bildregion für eine Frage einen hohen Score und für eine andere einen niedrigen Score erhalten kann.
Supervision: Der LET wird unter Verwendung von Objekt-Annotationen (Bounding Boxes) trainiert, statt auf teure Chain-of-Thought-Rationales zurückzugreifen. Ein Token wird als positiv gelabelt, wenn das entsprechende Bild-Patch mit einer fragenrelevanten Bounding Box überlappt. Das Trainingsziel minimiert den Binary Cross-Entropy (BCE) Loss zwischen den vorhergesagten Scores und diesen binären Labels.

B. Latent Suppression (Latente Unterdrückung)

Sobra die Relevanz-Scores generiert wurden, wird der `` Token entfernt, und die Scores steuern einen Mechanismus der weichen Unterdrückung (soft suppression) im latenten Raum.

Rauschgenerierung: Ein leichtgewichtiger Rauschgenerator ( $G_\phi$ ) sagt Mittelwert ( $\mu_i$ ) und Skalierung ( $\sigma_i$ ) für eine tokenspezifische Gaußsche Rauschverteilung für jeden visuellen Token $v_i$ voraus.
Adaptive Perturbation: Das tatsächliche Rauschen $r_i$ wird via Reparametrisierung gesampelt: $r_i = \mu_i + \sigma_i \odot \epsilon_i$ , wobei $\epsilon_i \sim \mathcal{N}(0, I)$ .
Gating: Ein Suppression-Gate $g_i$ $g_{i}$ wird basierend auf dem LET-Score $a_i$ $a_{i}$ und einem Schwellenwert $\tau$ $τ$ berechnet: $g_i = \frac{1}{\tau} \text{ReLU}(\tau - a_i)$ $g_{i} = \frac{1}{τ} ReLU (τ - a_{i})$ .
- Wenn $a_i \geq \tau$ (hohe Relevanz), ist $g_i = 0$ und der Token bleibt unverändert.
- Wenn $a_i < \tau$ (niedrige Relevanz), ist $g_i > 0$ und adaptives Rauschen wird injiziert.
Gereinigte Sequenz: Die finale visuelle Sequenz ist $\tilde{V} = \{v_i + g_i r_i\}$ . Dies bewahrt das ursprüngliche Token-Layout (entscheidend für die Kompatibilität mit bestehenden Backbones), destabilisiert aber die Repräsentation von Distraktor-Tokens, was sie im latenten Raum effektiv "maskiert".

C. Optimierung

Das Framework wird in zwei Phasen trainiert:

Supervised Fine-Tuning (SFT): Das Modell wird darauf trainiert, Fragen unter Verwendung der gereinigten Sequenz $\tilde{V}$ zu beantworten. Der Gesamtverlust kombiniert den Antwort-Generierungsverlust und den LET-Supervisionsverlust ( $\mathcal{L}_{SFT} = \mathcal{L}_{ans} + \beta \mathcal{L}_{LET}$ ).
Reinforcement Fine-Tuning (RFT): Um die Strategie der Belegselektion zu verfeinern, modellieren die Autoren die LET-Scores als Bernoulli-Policy. Sie optimieren für eine Set-Level-Belohnung (F1-Score) bas{ierend auf der Überlappung zwischen selektierten Tokens und den Ground-Truth relevanten Boxen, reguliert durch die KL-Divergenz vom SFT-Checkpoint.

3. Zentrale Beiträge

Problem-Reframing: Das Paper identifiziert, dass dichte visuelle Tokens fragenirrelevante Distraktoren enthalten, die das feingranulare Schließen behindern. Es argumentiert, dass das Unterdrücken dieser Distraktoren effektiver ist als das bloße Hinzufügen von mehr Reasoning-Kontext.
Leichtgewichtiges Framework: LENS führt einen fragenabhängigen Reinigungsmechanismus ein, der nur einen einzigen temporären lernbaren Kontroll-Token und einen leichtgewichtigen Rauschgenerator benötigt. Es erfordert keine Modifikation der Backbone-Architektur, kein Cropping von Bildern und keine Generierung intermediärer visueller Outputs.
Weiche latente Intervention: Im Gegensatz zu Token-Pruning oder harter Regionenselektion nutzt LENS adaptives latentes Rauschen, um Tokens mit geringer Relevanz weich zu unterdrücken. Dies bewahrt die strukturelle Integrität der Token-Sequenz, reduziert aber den Einfluss von Distraktoren.

4. Experimentelle Ergebnisse

Die Autoren evaluierten LENS auf 10 Benchmarks, die Visual Question Answering (VQA) und Grounding-Aufgaben abdecken, unter Verwendung von Basismodellen aus den Familien Qwen3-VL, InternVL3.5-VL und Qwen3.5.

Leistungssteigerungen:
- VQA: LENS verbesserte das Basis-MLLM um 2,4–6,4 Punkte über die meisten VQA-Datensätze hinweg (z. B. CUB, GQA, OpenImages). Die LENS-GRPO-Variante erreichte eine durchschnittliche Verbesserung von 6,65 Punkten gegenüber dem stärksten Nicht-LENS-Baseline-Modell.
- Grounding: Die Verbesserungen waren bei Grounding-Aufgaben noch ausgeprägter, mit Gewinnen von 4,1–6,4 Punkten (z. B. COCO, Objects365). Auf VisDrone verbesserte LENS-GRPO die Leistung um 18,81 Punkte gegenüber SFT.
- Generalisierung: Die Methode erwies sich als transferierbar auf verschiedene Modellskalen (2B bis 9B) und Architekturen und verbesserte die Leistung konsistent ohne aufgabenspezifische architektonische Änderungen.
Ablationsstudien:
- Das Entfernen der latenten Unterdrückung (nur Evidence Probing) brachte nur begrenzte Gewinne, was bestätigt, dass die Identifizierung von Belegen ohne die aktive Unterdrückung von Distraktoren nicht ausreicht.
- Das Ersetzen des gelernten weichen Rauschens durch Random Masking, Zero-Padding oder Attention-basiertes Masking führte zu signifikanten Leistungsabfällen, was die Notwendigkeit von gelerntem, adaptivem, weichem Suppression validiert.
- Reinforcement Tuning (GRPO) verbesserte die Ergebnisse weiter, was darauf hindeutet, dass die Optimierung der Belegselektions-Policy auf Set-Ebene vorteilhaft ist.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass sauberere, fragenrelevante visuelle Belege ein direkterer Weg zur Verbesserung des multimodalen Schließens sind als die Erweiterung der Reasoning-Spur. Durch den Nachweis, dass die Unterdrückung irrelevanter Tokens bessere Ergebnisse liefert als das Hinzufügen von mehr Kontext, schlagen die Autoren einen Paradigmenwechsel für das MLLM-Reasoning vor: von visueller Addition zu visueller Reinigung.

Die Bedeutung liegt in der Effizienz und Generalisierbarkeit des Ansatzes. LENS erzielt State-of-the-Art-Verbesserungen im feingranularen Reasoning und der räumlichen Lokalisierung mit minimalem Overhead und beweist, dass der Flaschenhals aktueller MLLMs oft im "Rauschen" des visuellen Inputs liegt und nicht in einem Mangel an Reasoning-Kapazität. Die Visualisierungen bestätigen, dass LENS die Aufmerksamkeit erfolgreich auf Schlüsselregionen (Attribute, Objekte, Relationen) fokussiert und gleichzeitig Hintergründe und Distraktoren unterdrückt, was zu zuverlässigerem, feingranularem Vision-Language-Reasoning führt.