Technische Samenvatting: Latente Ruis-masker voor het Verminderen van Visuele Redundantie in Multimodale Large Language Models

1. Probleemstelling

Multimodale Large Language Models (MLLM's) worstelen vaak met taken die fijnmazig visueel redeneren vereisen. Hoewel deze modellen krachtige talige redeneercapaciteiten erven, wordt hun visuele redeneren vaak gehinderd door visuele redundantie. In standaard MLLM-architecturen worden afbeeldingen gecodeerd in dichte sequenties van visuele tokens. Echter, voor specifieke vragen vormt slechts een klein deel van deze tokens de relevante bewijslast. De overige tokens—die achtergrondregio's, niet-relevante objecten of visueel gelijkaardige afleiders vertegenwoordigen—verwateren de cruciale aanwijzingen.

Bestaande benaderingen proberen dit aan te pakken door redeneersporen uit te breiden (bijv. Chain-of-Thought) of door meer visuele/latente context toe te voegen (bijv. image crops, intermediaire latente tokens). De auteurs stellen dat deze additieve methoden er niet in slagen het kernprobleem op te lossen: irrelevante visuele tokens blijven aanwezig in de context, waardoor ze concurreren met de sleutelbewijzen en het decodeerproces bemoeilijken. Het artikel stelt dat wanneer de bewijslast al aanwezig is, de primaire uitdaging visuele selectiviteit (het filteren van afleiders) is in plaats van visuele beschikbaarheid (het vinden van nieuwe bewijslast).

2. Methodologie: Latent Noise Mask (LENS)

De auteurs stellen LENS (LatEnt Noise maSk) voor, een framework ontworpen om visueel bewijs te zuiveren voordat de decodeerfase begint, zonder de backbone van het model of de structuur van de tokensequentie te wijzigen. De methode werkt via twee gekoppelde stadia:

A. Evidence Probing (Bewijsvoering-onderzoek)

LENS introduceert een lichtgewicht, tijdelijke Lens Evidence Token (LET), aangeduid als ``, die wordt toegevoegd aan de gezamenlijke input van visuele tokens ($V$) en tekstuele tokens ($T$).

• Mechanisme: De verborgen staat (hidden state) van deze tijdelijke token wordt gedecodeerd door een eenvoudige Multi-Layer Perceptron (MLP) head ($f_\theta$) om een relevantiescore-vector $\mathbf{a} \in [0, 1]^N$ te produceren, waarbij $N$ het aantal visuele tokens is.
• Conditionering: Deze scores zijn vraag-geconditioneerd, wat betekent dat dezelfde beeldregio voor de ene vraag een hoge score kan krijgen en voor een andere een lage score.
• Supervisie: De LET wordt getraind met object-niveau annotaties (bounding boxes) in plaats van dure chain-of-thought rationales. Een token wordt als positief gelabeld als de bijbehorende beeldpatch overlapt met een vraag-relevante bounding box. De trainingsdoelstelling minimaliseert de Binary Cross-Entropy (BCE) loss tussen de voorspelde scores en deze binaire labels.

B. Latent Suppression (Latente Onderdrukking)

Zodra de relevantiescores zijn gegenereerd, wordt de `` token verwijderd en sturen de scores een soft suppression mechanisme aan in de latente ruimte.

• Ruisgeneratie: Een lichtgewicht ruisgenerator ($G_\phi$) voorspelt een gemiddelde ($\mu_i$) en schaal ($\sigma_i$) voor een token-specifieke Gaussische ruisverdeling voor elk visueel token $v_i$.
• Adaptieve Perturbatie: De werkelijke ruis $r_i$ wordt gesampled via reparameterisatie: $r_i = \mu_i + \sigma_i \odot \epsilon_i$, waarbij $\epsilon_i \sim \mathcal{N}(0, I)$.
• Gating: Een onderdrukkingspoort (suppression gate) $g_i$ wordt berekend op basis van de LET-score $a_i$ en een drempelwaarde $\tau$: $g_i = \frac{1}{\tau} \text{ReLU}(\tau - a_i)$.
  • Als $a_i \geq \tau$ (hoge relevantie), is $g_i = 0$ en blijft de token ongewijzigd.
  • Als $a_i < \tau$ (lage relevantie), is $g_i > 0$ en wordt er adaptieve ruis geïnjecteerd.
• Gezuiverde Sequentie: De uiteindelijke visuele sequentie is $\tilde{V} = \{v_i + g_i r_i\}$. Dit behoudt de oorspronkelijke token-layout (cruciaal voor compatibiliteit met bestaande backbones) maar destabiliseert de representatie van afleider-tokens, waardoor ze effectief worden "gemaskeerd" in de latente ruimte.

C. Optimalisatie

Het framework wordt in twee fasen getraind:

1. Supervised Fine-Tuning (SFT): Het model wordt getraind om vragen te beantwoorden met behulp van de gezuiverde sequentie $\tilde{V}$. De totale loss combineert de antwoordgeneratie-loss en de LET-supervisie-loss ($\mathcal{L}_{SFT} = \mathcal{L}_{ans} + \beta \mathcal{L}_{LET}$).
2. Reinforcement Fine-Tuning (RFT): Om het proces van bewijsvoering-selectie te verfijnen, modelleren de auteurs de LET-scores als een Bernoulli-beleid (policy). Ze optimaliseren voor een set-niveau beloning (F1-score) gebaseerd op de overlap tussen de geselecteerde tokens en de grondwaarheid (ground-truth) relevante boxen, geregulariseerd door de KL-divergentie van de SFT-checkpoint.

3. Belangrijkste Bijdragen

1. Probleemherformulering: Het artikel identificeert dat dichte visuele tokens vraag-irrelevante afleiders bevatten die fijnmazig redeneren hinderen. Het stelt dat het onderdrukken van deze afleiders effectiever is dan simpelweg het toevoegen van meer redeneercontext.
2. Lichtgewicht Framework: LENS introduceert een vraag-geconditioneerd zuiveringsmechanisme dat slechts één tijdelijke leerbare controle-token en een lichtgewicht ruisgenerator vereist. Het vereist geen aanpassing van de backbone-architectuur, het croppen van afbeeldingen of het genereren van intermediaire visuele outputs.
3. Zachte Latente Interventie: In tegenstelling tot token-pruning of harde regio-selectie, gebruikt LENS adaptieve latente ruis om laag-relevante tokens zacht te onderdrukken. Dit behoudt de structurele integriteit van de tokensequentie terwijl de invloed van afleiders wordt verminderd.

4. Experimentele Resultaten

De auteurs evalueerden LENS op 10 benchmarks die Visual Question Answering (VQA) en Grounding-taken dekken, gebruikmakend van base-modellen uit de Qwen3-VL, InternVL3.5-VL en Qwen3.5 families.

• Prestatiewinst:

  • VQA: LENS verbeterde het base MLLM met 2,4–6,4 punten over de meeste VQA-datasets (bijv. CUB, GQA, OpenImages). De LENS-GRPO variant behaalde een gemiddelde verbetering van 6,65 punten ten opzichte van de sterkste niet-LENS baseline.
  • Grounding: De verbeteringen waren nog prominenter, met winsten van 4,1–6,4 punten op grounding-taken (bijv. COCO, Objects365). Op VisDrone verbeterde LENS-GRPO de prestaties met 18,81 punten ten opzichte van SFT.
  • Generalisatie: De methode bleek overdraagbaar naar verschillende model-schalen (2B tot 9B) en architecturen, waarbij de prestaties consistent werden verbeterd zonder taakspecifieke architecturale wijzigingen.

• Ablatie-studies:

  • Het verwijderen van de latente onderdrukking (alleen Evidence Probing gebruiken) leverde beperkte winst op, wat bevestigt dat het identificeren van bewijs onvoldoende is zonder actief afleiders te onderdrukken.
  • Het vervangen van de geleerde zachte ruis door willekeurige masking, zero-padding of attention-gebaseerde masking resulteerde in significante prestatiedalingen, wat de noodzaak van geleerde, adaptieve, zachte onderdrukking valideert.
  • Reinforcement tuning (GRPO) verbeterde de resultaten verder, wat suggereert dat het optimaliseren van het bewijsvoering-selectiebeleid op set-niveau gunstig is.

5. Betekenis en Claims

Het artikel claimt dat schonere, vraag-relevante visuele bewijslast een directere weg is naar het verbeteren van multimodale redenering dan het uitbreiden van het redeneerspoor. Door aan te tonen dat het onderdrukken van irrelevante tokens superieur is aan het toevoegen van meer context, suggereren de auteurs een paradigmaverschuiving voor MLLM-redenering: van visuele additie naar visuele zuivering.

De betekenis ligt in de efficiëntie en algemeenheid van de aanpak. LENS bereikt state-of-the-art verbeteringen in fijnmazig redeneren en ruimtelijke lokalisatie met minimale overhead, en bewijst dat de bottleneck in huidige MLLM's vaak de "ruis" in de visuele input is in plaats van een gebrek aan redeneercapaciteit. De visualisaties bevestigen dat LENS succesvol de aandacht focust op sleutelregio's (attributen, objecten, relaties) terwijl achtergronden en afleiders worden onderdrukt, wat leidt tot meer betrouwbare fijnmazige visuele taal-redenering.