Technische Samenvatting: Reasoning in the Dark: Interleaved Vision-Text Reasoning in Latent Space (IVT-LR)

Probleemstelling

Huidige multimodale redeneermethoden voor Multimodale Large Language Models (MLLM's) kampen met aanzienlijke beperkingen wat betreft annotatiekosten en inferentie-efficiëntie. Bestaande benaderingen vallen over het algemeen uiteen in twee categorieën:

1. Alleen tekstuele redenering: MLLM's voeren redeneringen uit met behulp van enkel tekstuele rationales voordat ze een antwoord genereren. Hoewel effectief, slaagt dit er vaak niet in om visuele informatie te benutten tijdens het tussenliggende denkproces.
2. Redenering met betrokkenheid van visie-tekst: Deze methoden verweven visuele informatie met tekstuele rationales (bijv. het genereren van beeldpatches, het inzoomen op regio's of het schetsen van afbeeldingen). Hoewel dit de prestaties bij complexe taken verbetert, is het sterk afhankelijk van arbeidsintensieve visie-tekst annotaties en introduceert het aanzienlijke inferentie-latentie door de generatie van lange ketens van expliciete tokens.

De auteurs identificeren de behoefte aan een paradigma dat de voordelen van multimodale redenering (het integreren van visuele en tekstuele aanwijzingen) behoudt, terwijl de overhead van expliciete tussenliggende generatie wordt geëlimineerd.

Methodologie: Interleaved Vision-Text Latent Reasoning (IVT-LR)

Het paper stelt IVT-LR voor, een framework dat MLLM's in staat stelt om volledig binnen de latente ruimte te redeneren, waarbij visuele en tekstuele modaliteiten worden verweven zonder expliciete tussenliggende tokens te genereren.

Kernmechanisme

In IVT-LR wordt elke redeneringsstap gerepresenteerd door een multimodale latente vector die bestaat uit twee impliciete delen:

1. Latente Tekst: In plaats van een expliciet teksttoken voor de vorige stap te genereren, gebruikt het model de hidden state ($h_{t-1}$) van de vorige laag als de input voor de huidige stap. Dit bewaart rijke tussenliggende redeneringslogica in een continue ruimte.
2. Latente Visie: Om visuele context dynamisch te incorporeren, selecteert het model een vast aantal ($k$) beeldembeddings op basis van attention scores. Specifiek wordt de som van de attention weights over alle lagen gebruikt om de $k$ meest relevante beeldembeddings te identificeren. Deze geselecteerde embeddings worden samengevoegd met de latente tekst hidden state.

Het model fuseert deze componenten ($[h_{t-1}, z_{selected}]$) om de volgende token distributie te berekenen, waardoor effectief stapgewijs wordt geredeneerd zonder tussenliggende tekst of afbeeldingen uit te voeren.

Trainingsstrategie

Om MLLM's aan te laten passen aan dit latente redeneerparadigma, introduceren de auteurs een progressieve multi-stage trainingsstrategie:

• Stage 0: Het model wordt getraind met standaard Chain-of-Thought (CoT) supervisie, waarbij alle redeneringsstappen expliciet worden gegenereerd.
• Progressieve Substitutie: Over $N$ daaropvolgende stadia vervangt het model geleidelijk expliciete redeneringsstappen door latente redeneringsstappen (aangeduid met een speciaal <latent> token). In elke stage wordt één extra expliciete stap vervangen door een latente stap.
• Loss Functie: De training maakt gebruik van de Negative Log-Likelihood (NLL) loss. Cruciaal is dat supervisie alleen wordt toegepast op de resterende expliciete redeneringsstappen en het uiteindelijke antwoord. De latente redeneringsstappen en vraag-tokens worden gemaskeerd. Dit voorkomt dat het model gedwongen wordt tot een strikt lineair pad van afstemming met expliciete rationales, waardoor het in staat is om redeneringstrajecten in de latente ruimte te internaliseren terwijl het nog steeds wordt gestuurd naar correcte uiteindelijke voorspellingen.

Inferentieproces

Tijdens de inferentie voegt het model een vast aantal <latent> tokens toe na de vraag en de beeldinput. Het redeneerproces vindt volledig plaats binnen de latente ruimte, en er worden geen tussenliggende expliciete tokens gegenereerd voordat het uiteindelijke antwoord wordt geproduceerd.

Belangrijkste Bijdragen

1. Eerste Verenigd Multimodaal Latent Redeneerframework: IVT-LR is de eerste benadering die tekstuele en visuele representaties volledig verenigt binnen de latente ruimte, waardoor de noodzaak voor tussenliggende expliciete tekst- of beeldgeneratie wordt geëlimineerd.
2. Data- en Computationele Efficiëntie: De methode introduceert een trainingsparadigma dat geen expliciete annotaties vereist voor tussenliggende visuele redeneringsstappen. Door in de latente ruimte te redeneren, vermindert het drastisch het aantal autoregressieve stappen die nodig zijn voor inferentie.
3. State-of-the-Art Prestaties: De benadering bereikt nieuwe state-of-the-art resultaten in nauwkeurigheid op uitdagende benchmarks, terwijl de inferentie-efficiëntie (gemeten in minder autoregressieve stappen en lagere latentie) aanzienlijk wordt verbeterd.

Experimentele Resultaten

De auteurs evalueerden IVT-LR op twee benchmarks: M3CoT (multimodale chain-of-thought) en ScienceQA. Experimenten werden uitgevoerd met Qwen2-VL-7B en Chameleon-7B backbones.

• Nauwkeurigheid: IVT-LR behaalde een gemiddelde prestatieverbetering van 5,45% in nauwkeurigheid vergeleken met bestaande benaderingen.
  • Op M3CoT (Qwen2-VL) bereikte IVT-LR een nauwkeurigheid van 71,8%, waarmee het de vorige beste (Chain-of-Focus met 64,3%) versloeg.
  • Op ScienceQA (Qwen2-VL) bereikte het 94,6% nauwkeurigheid, waarmee het Chain-of-Focus (91,2%) overtrof.
• Efficiëntie: De methode vertoonde een snelheidstoename van meer dan 5 keer vergeleken met bestaande methoden.
  • Autoregressieve Stappen: IVT-LR reduceerde het gemiddelde aantal autoregressieve stappen naar 10,0 (M3CoT) en 11,0 (ScienceQA), vergeleken met 73,9–185,7 stappen voor andere methoden.
  • Latentie: De gemiddelde generatietijd daalde aanzienlijk (bijv. van 2,63s naar 0,65s op M3CoT met Qwen2-VL).

Betekenis

Het paper beweert dat IVT-LR een verschuiving vertegenwoordigt naar "Reasoning in the Dark", waarbij de complexe interactie tussen visuele en tekstuele informatie intern plaatsvindt binnen de hidden states van het model. Door het redeneerproces los te koppelen van de noodzaak voor expliciete, observeerbare tussenliggende outputs, adresseert de methode de knelpunten van annotatie-intensiteit en inferentie-latentie die inherent zijn aan huidige multimodale redeneersystemen. De auteurs stellen dat deze benadering het potentieel ontsluit om de latente redenering te gebruiken om rijke, multimodale informatie efficiënter te verwerken dan traditionele token-gebaseerde generatie.