Latent Denoising Improves Visual Alignment in Large Multimodal Models

1. Het Probleem

Grote Multimodale Modellen (LMM's), zoals LLaVA, worden doorgaans getraind met een autoregressieve taalmodelleringsdoelstelling. Hierbij wordt de visuele supervisie alleen indirect gegeven via de gegenereerde tekst. Dit leidt tot een aantal fundamentele tekortkomingen:

• Zwakke interne visuele representaties: De visuele tokens worden niet direct geoptimaliseerd voor visuele precisie, maar slechts voor het voorspellen van tekst.
• Brittleness bij distributieveranderingen: Modellen zijn gevoelig voor ruis, vervaging en andere corrupties in de invoer.
• Hallucinaties en mislukkingen: Modellen neigen om meer vertrouwen te stellen in tekstuele aanwijzingen dan in visuele bewijzen, wat leidt tot object-hallucinaties en fouten in redenering.
• Fragmentatie in bestaande oplossingen: Bestaande methoden voor visuele supervisie zijn vaak gefragmenteerd (bijv. alleen het verbeteren van de visuele backbone, alleen feature-alignement, of reconstructieve supervisie) en vereisen vaak gespecialiseerde "teachers" of extra generatieve componenten die de inferentie-omgeving vertragen.

2. Methodologie: Latent Denoising Framework

De auteurs introduceren een trainingsframework dat latent denoising toepast op de projectie van visuele tokens binnen een LMM. Het idee is om visuele supervisie te formuleren als een probleem van corruptie en herstel, in plaats van alleen tekstgeneratie.

Kerncomponenten van de methode:

• Corruptie van Visuele Tokens (Latent Deconstruction):

  • De geprojecteerde visuele tokens ($Z$) worden verstoord door een mix van Gaussian noise (zachte, continue verstoring) en masking (harde verwijdering van informatie).
  • Saliency-gestuurde selectie: Cruciaal is dat de corruptie niet willekeurig gebeurt. Visueel belangrijke gebieden (hoge salience) krijgen voornamelijk Gaussian noise, terwijl minder belangrijke gebieden worden gemasked. Dit zorgt voor een evenwichtige leeropdracht waarbij de model de belangrijkste visuele informatie moet reconstrueren zonder de causale structuur van de decoder-only architectuur te schenden.
  • Er wordt een noise-level embedding toegevoegd aan de verstoorde tokens zodat het model de mate van corruptie kan waarnemen.

• Herstel en Supervisie (Recovery):

  • Het LMM verwerkt de verstoorde tokens samen met de instructie.
  • In plaats van te kijken naar de uiteindelijke tekstoutput, wordt een lightweight decoder gebruikt om de "schone" visuele features te voorspellen vanuit een intermediate hidden layer van het LLM (bijv. laag 16 van een 32-laags model).
  • De doelen voor herstel zijn de features van een frozen teacher (dezelfde visuele backbone als de invoer-encoder).

• Trainingsdoelstellingen (Loss Functions):
  De totale loss bestaat uit de standaard taalmodelleringsloss ($\mathcal{L}_{lang}$) plus drie visuele supervisietermen:

  1. Reconstructie Loss ($\mathcal{L}_{rec}$): Normale L2-afstand tussen de gereconstrueerde features en de schone teacher-features (patch-level supervisie).
  2. Relationele Alignement Loss ($\mathcal{L}_{rel}$): Een KL-divergentie die ervoor zorgt dat de relaties (gelijkheid) tussen de gereconstrueerde patches overeenkomen met die van de teacher. Dit behoudt de globale visuele structuur.
  3. Contrastive Loss ($\mathcal{L}_{con}$): Een intra-image contrastieve loss die voorkomt dat alle features collapse naar dezelfde representatie; het zorgt voor onderscheidend vermogen tussen verschillende patches.

• Inferentie:
  Tijdens inferentie worden de corruptie, de noise-embeddings en de auxiliary decoder uitgeschakeld. Het model werkt exact zoals een standaard LMM, zonder extra rekentijd of geheugenoverhead.

3. Belangrijkste Bijdragen

1. Unificatie van Supervisie: Het paper presenteert een unificerend perspectief waarbij visuele supervisie wordt gezien als "generalized latent denoising", wat continu (noise) en discreet (masking) corruptie combineert met relationele en contrastieve doelen.
2. Efficiëntie: De methode introduceert geen overhead tijdens inferentie. Alle extra componenten zijn train-only.
3. Nieuwe Evaluatie-protocol: De auteurs passen het ImageNet-C paradigma (common corruptions) toe op LMM's. Ze introduceren een deterministisch, niet-adversariaal corruptieprotocol (ruis, vervaging, weer, digitaal) om de robuustheid van modellen systematisch te testen op bestaande benchmarks.
4. Breed Onderzoek: De methode wordt getest op drie verschillende LMM-architecturen (LLaVA met CLIP, LLaVA met SigLIP, en Qwen-2.5-VL) over 18 benchmarks.

4. Resultaten

De experimenten tonen consistente verbeteringen ten opzichte van sterke baselines:

• Verbeterde Visuele Begrip en Redenering:
  • Significant betere prestaties op benchmarks die fijne visuele redenering vereisen, zoals GQA (+1.6 tot +4.4 punten) en MMStar (+1.2 tot +3.1 punten).
  • Verbetering op NaturalBench (compositional consistency), wat aangeeft dat het model beter begrijpt hoe objecten in een scène samenhangen.
• Robuustheid tegen Corruptie:
  • Onder blootstelling aan ImageNet-C-stijl corrupties (severe levels 3 en 5) degradeert het Latent Denoising model veel minder dan de baseline.
  • Op sommige benchmarks (zoals GQA onder zware ruis) presteert het getrainde model zelfs beter dan de clean baseline.
• Interne Representatie Analyse:
  • CKA (Centered Kernel Alignment): De visuele features in het LLM behouden een hogere correlatie met de visuele encoder (CLIP/DINOv2), vooral in de diepere lagen waar visuele informatie normaal gesproken verdwijnt.
  • kNN Classificatie: De interne features tonen een hogere semantische discriminatiekracht (top-1 accuracy op ImageNet-1K), wat aantoont dat de visuele representaties scherp en informatief blijven.
  • Attention Maps: De cross-attention heatmaps tonen dat het model meer gefocust is op de relevante visuele gebieden (bijv. het toetsenbord of de persoon) in plaats van te "zinken" in irrelevante tokens.

5. Significantie en Conclusie

Dit paper is significant omdat het een eenvoudige maar krachtige oplossing biedt voor een hardnekkig probleem in multimodale AI: de slechte kwaliteit van interne visuele representaties.

• Paradigmaverschuiving: Het toont aan dat principes uit generatieve modellen (zoals latent denoising en diffusion) direct kunnen worden toegepast om het begrip (understanding) in LMM's te verbeteren, zonder de architectuur te veranderen.
• Praktische Toepasbaarheid: Omdat er geen extra inferentie-overhead is en de methode werkt met bestaande open-source modellen (via post-tuning of instruction tuning), is het direct inzetbaar voor de gemeenschap.
• Robuustheid: Het benadrukt dat het trainen van modellen om verstoord visueel signaal te "ontdooien", leidt tot modellen die beter bestand zijn tegen real-world ruis en degradatie, wat essentieel is voor praktische toepassingen.

Kortom, "Latent Denoising" fungeert als een effectieve vorm van directe visuele supervisie die de kloof tussen visuele waarneming en taalredenering in grote multimodale modellen dicht.