Technische Samenvatting: Visie-gealigneerde Latente Redenering voor Multi-modale Grootte Taalmodellen

1. Probleemstelling

Ondanks aanzienlijke vooruitgang in Multi-modale Grootte Taalmodellen (MLLM's) voor taken zoals beeldbeschrijving en visuele vraag-antwoordtaken (VQA), worstelen deze modellen met problemen die uitgebreide meerstapsredenering vereisen. De primaire bottleneck is de progressieve verdunning van visuele informatie tijdens generatie in lange context. Naarmate de gegenereerde tekstsequentie langer wordt, neemt het vermogen van het model af om visuele signalen vast te houden en te benutten, wat de toepassing van schaalwetten tijdens het testen hindert die bij pure taalmodellen worden waargenomen.

Bestaande benaderingen om redenering te verbeteren vertrouwen vaak op:

• Tekstgerichte methoden: Supervised fine-tuning (SFT) of versterkend leren dat zich richt op linguïstische denkstappen (CoT), maar lijdt aan verzwakking van visuele signalen over lange sequenties.
• Statische visuele herintroductie: Het afwisselen van visuele tokens of het genereren van afbeeldingen. Deze methoden behandelen visuele kenmerken echter typisch als een vaste initiële context of vertrouwen op statische enkelvoudige weergave-kenmerken, wat leidt tot een geleidelijk verlies van visuele context naarmate de redenering vordert.

2. Methodologie: Visie-gealigneerde Latente Redenering (VaLR)

De auteurs stellen Visie-gealigneerde Latente Redenering (VaLR) voor, een raamwerk dat is ontworpen om dynamisch visie-gealigneerde latente tokens te genereren voorafgaand aan elke redeneerstap. Deze aanpak creëert "visuele checkpoints" die het redeneerproces verankeren in perceptuele aanwijzingen binnen de latente ruimte, waardoor verval van visuele informatie wordt voorkomen.

Kernmechanisme

VaLR werkt door tijdens inferentie te wisselen tussen twee modi:

1. Taalmodus: Genereert standaard teksttokens voor het antwoord.
2. Latente modus: Genereert niet-tekstuele "latente redeneertokens" die niet direct zichtbaar zijn, maar dienen als tussenstappen in de redenering.

Cruciaal is dat tijdens de latente modus het model is getraind om zijn tussenliggende verborgen toestanden te aligneren met dichte visuele representaties die zijn onttrokken aan externe, vooraf getrainde visie-encoders (bijv. DINOv2/v3, CLIP, SigLIP, $\pi^3$).

Trainingspijplijn

VaLR maakt gebruik van een twee-fase curriculumleerstrategie:

• Fase 1 (Standaard SFT): Het model wordt fine-getuned op algemene CoT VQA-datasets om fundamentele multi-modale redeneercapaciteiten te vestigen. De visie-encoder is bevroren en alleen de taalbackbone wordt getraind.
• Fase 2 (Latente Token Training met REPA): Het model wordt getraind om $K$ latente tokens in te voegen voorafgaand aan elke taalredeneerstap. Een Representation Alignment (REPA)-verliesfunctie wordt geïntroduceerd om de tussenliggende kenmerken van de MLLM te aligneren met kenmerken van externe visie-encoders.
  • Aligniedoel: De verliesfunctie maximaliseert de cosinusgelijkheid tussen de geprojecteerde tussenliggende kenmerken van de MLLM en de patch-voor-patch visuele kenmerken die door de visie-encoder zijn onttrokken uit het overeenkomstige beeldframe.
  • Multi-encoder Alignering: Het raamwerk ondersteunt het tegelijkertijd aligneren met meerdere visie-encoders om complementaire sterktes te vangen (bijv. semantisch begrip van CLIP, fijnkorrelige verschijning van DINO en 3D ruimtelijke structuur van $\pi^3$).

Opmerkelijk is dat de externe visie-encoders alleen tijdens training worden gebruikt. Tijdens het testen vertrouwt het model op de geleerde visuele verankering binnen zijn latente tokens zonder dat externe encoders nodig zijn.

3. Belangrijkste Bijdragen

• Dynamische Visuele Verankering: In tegenstelling tot methoden die statische visuele kenmerken gebruiken, alloceren VaLR dynamisch visuele details in elke redeneerfase, waardoor informatiebehoud wordt gewaarborgd gedurende redenering in lange context.
• Schaalbaarheid tijdens Testen: Het raamwerk stelt MLLM's in staat schaalbaarheidsgedrag tijdens het testen te vertonen, waarbij prestaties verbeteren met langere redeneerketens, een fenomeen dat eerder niet werd waargenomen bij MLLM's vanwege verzwakking van visuele signalen.
• Model-onafhankelijk Ontwerp: VaLR kan worden aangepast aan verschillende visie-encoders (DINO, SigLIP, CLIP, $\pi^3$) en werkt effectief zelfs met de losstaande visie-encoders van de oorspronkelijke MLLM.
• Twee-fase Curriculum: Een gestructureerde trainingspijplijn die eerst redeneercapaciteiten vestigt en deze vervolgens verfijnt met visuele alignering, wat robuust begrip van lange context faciliteert.

4. Experimentele Resultaten

Uitgebreide evaluaties werden uitgevoerd op meerdere benchmarks, waaronder VSI-Bench (3D ruimtelijke redenering), BLINK, MMVP, MMStar en MathVista.

• Redenering in Lange Context (VSI-Bench): VaLR presteerde aanzienlijk beter dan bestaande baselines. Specifiek verbeterde VaLR op VSI-Bench de nauwkeurigheid van het basismodel Qwen2.5-VL van 33,0% naar 52,9%, een winst van 19,9 procentpunten. Het overtrof ook sterke redeneermodellen zoals R1-OneVision en Ocean-R1.
• Perceptietaken: VaLR toonde superieure prestaties op perceptie-benchmarks (BLINK, MMVP, V*), waarbij het state-of-the-art resultaten behaalde onder open modellen en API-modellen zoals GPT-4o in specifieke configuraties overtrof.
• Analyse van Redeneerlengte: In tegenstelling tot basismodellen die pieken bij intermediaire redeneerlengtes en vervolgens achteruitgaan (hallucinatierates nemen toe), toonde VaLR monotone prestatieverbetering naarmate de redeneerlengte toenam, wat zijn vermogen bevestigt om visuele verankering te behouden over uitgebreide ketens.
• Ablatiestudies:
  • Het verwijderen van het representatie-alignment (REPA)-component resulteerde in aanzienlijke prestatiedalingen, wat de noodzaak van visuele alignering bevestigt.
  • Het gebruik van meerdere encoders (VaLR-M) leverde synergetische effecten op, met name voor 3D ruimtelijke taken, in vergelijking met varianten met één encoder.
  • De methode toonde hoge schaalbaarheid voor data, waarbij vergelijkbare prestaties werden behaald als bij standaard SFT-modellen met aanzienlijk minder trainingsvoorbeelden (snellere convergentie).

5. Betekenis en Beweringen

Het artikel beweert dat VaLR een kritieke beperking in huidige MLLM's aanpakt: het onvermogen om visuele context te handhaven tijdens complexe, meerstapsredenering. Door visie-gealigneerde latente tokens in te brengen, mitigeert de methode effectief de verdunning van visuele signalen, waardoor robuuste planning en redenering op lange horizon mogelijk worden.

De auteurs benadrukken dat dit werk de implementatie van MLLM's in complexe toepassingen die begrip van lange context vereisen, faciliteert, zoals Computer Use Agents (CUA) en Vision-Language-Action (VLA)-modellen. Het vermogen om echte schaalbaarheid tijdens het testen te bereiken in het multi-modale domein suggereert een pad naar betrouwbaardere en capabelere autonome agenten die over uitgebreide sequenties kunnen redeneren zonder het visuele milieu uit het oog te verliezen.