Technische Samenvatting: Zelf-Consistente Latente Redenering (SCOLAR)

1. Probleemstelling

Hoewel "compute-for-performance" scaling in taalmodellen heeft aangetoond dat langere Chains of Thought (CoT) de redeneercapaciteiten consequent verbeteren, heeft het toepassen van dit principe op Vision-Language Models (VLM's) via latente visuele redenering tegenintuïtieve resultaten opgeleverd. Bestaande methoden die tussenliggende latente visuele representaties introduceren tijdens de generatie, lijden aan een systematische prestatiedegradatie naarmate de latente sequentie langer wordt.

Het artikel identificeert twee oorzaken voor dit fenomeen, genaamd Informatiewinst-Collapse:

1. Autoregressieve Afhankelijkheid: In traditionele latente redenering wordt elke token gegenereerd op basis van de vorige. Dit creëert een afhankelijkheidsketen waarbij visuele informatie onvermijdelijk vervaagt naarmate deze zich voortplant, waardoor opvolgende tokens bestaande informatie herhalen in plaats van nieuwe semantische inhoud toe te voegen.
2. Betekenisloze Supervisiedoelen: Veel bestaande methoden vertrouwen zwaar op gepoolde (bijv. $\ge 128\times$) afbeeldingsembeddings als supervisiedoelen. De auteurs tonen aan dat deze gepoolde kenmerken fungeren als "betekenisloze placeholders", die geen enkel signaal bieden dat sterker is dan ruis en falen om effectieve visuele redenering te sturen.

Bijgevolg worden langere latente ketens in huidige methoden een last in plaats van een voordeel, wat de schaalbaarheid van visuele redenering beperkt.

2. Methodologie: SCOLAR

Om Informatiewinst-Collapse aan te pakken, stellen de auteurs SCOLAR (Self-COnsistent LAtent Reasoning) voor. De kerninnovatie is een paradigma-shift van autoregressieve latente generatie naar een single-shot, zelf-consistente generatie-benadering.

Architectuur

Gebaseerd op het standaard ViT–Projector–LLM-framework, introduceert SCOLAR een lichtgewicht detransformer-tak:

• Input: De detransformer neemt de hidden states van de volledige sequentie ($H$) van de LLM (inclusief tekstredenering en de trigger-token) als input.
• Mechanisme: In plaats van latente tokens één voor één te genereren, genereert de detransformer een volledige sequentie van hulpvisuele tokens ($A_0$) in een enkele forward pass.
• Zelf-Consistentie: Elke gegenereerde hulp-token is onafhankelijk verankerd in de oorspronkelijke visuele semantische ruimte (invoerresolutie). Dit doorbreekt de autoregressieve afhankelijkheidsketen, zodat elke token echte, niet-redundante visuele informatie introduceert.
• Fusie: De hulp-tokens worden gefuseerd met de oorspronkelijke visuele tokens via gated residual addition ($A = V + g(A_0)$), waarbij een gating-mechanisme de bewerkingssterkte regelt.

Trainingspijplijn

SCOLAR hanteert een drie-fase Supervised Fine-Tuning (SFT)-strategie gevolgd door Reinforcement Learning (RL) om distributiemismatches op te lossen tussen training (met ground-truth hulpafbeeldingen) en inferentie (met zelf gegenereerde latenten):

1. Fase 1: Detransformer Pretraining: De detransformer wordt getraind om het verschil tussen de invoerafbeelding en een ground-truth hulpafbeelding ($\Delta_{aux}$) te reconstrueren met behulp van een reconstructieverlies. De LLM-ruggengraat wordt tijdens deze fase bevroren om semantische collapse te voorkomen.
2. Fase 2: Trigger Token Learning: Het model leert autonoom te beslissen wanneer het latente redeneren moet activeren. Dit wordt bereikt via gewogen Next-Token Prediction (NTP), waarbij een hogere verliesgewicht wordt toegepast op de <auxiliary> trigger-token om ervoor te zorgen dat het model leert het mechanisme te activeren wanneer nodig.
3. Fase 3: Gezamenlijke Redenering met Teacher-Forcing Annealing: Het model leert te redeneren met behulp van zijn eigen gegenereerde hulp-tokens. Om de distributiemismatch te mitigeren, gaat het trainingsproces geleidelijk over van het gebruik van ground-truth hulpkenmerken naar zelf gegenereerde exemplaren (lineaire afname van 1,0 naar 0,0 waarschijnlijkheid).
4. ALPO (Auxiliary Latents Policy Optimization): Omdat hulp-embeddings continu zijn en niet direct kunnen worden geoptimaliseerd via standaard discrete token policy gradients (zoals GRPO), stellen de auteurs ALPO voor. Deze methode ontkoppelt de continue visuele redenering van het discrete tekstbeleid. Tijdens rollout worden hulp-embeddings gegenereerd en gecachet; tijdens de actor-update worden ze ingebracht als vaste context, en wordt de policy gradient uitsluitend berekend over de discrete teksttokens. Een specifiek beloningscomponent ($r_{aux}$) moedigt de correcte activering van de <auxiliary> trigger aan.

3. Belangrijkste Bijdragen

1. Identificatie van Informatiewinst-Collapse: Het artikel diagnoseert systematisch de oorzaak van prestatiedegradatie in bestaande methoden voor latente visuele redenering, en wijst deze toe aan autoregressieve informatieverval en het gebruik van excessief gepoolde supervisiedoelen.
2. SCOLAR Framework: Een nieuw single-shot paradigma dat een lichtgewicht detransformer gebruikt om hulpvisuele tokens onafhankelijk te genereren, verankerd in de oorspronkelijke visuele ruimte, waardoor echt schaalbare latente redeneringslengtes mogelijk worden.
3. Trainingsstrategie: De ontwikkeling van een drie-fase SFT met teacher-forcing annealing en het nieuwe ALPO-algoritme om de unieke uitdagingen aan te pakken van het optimaliseren van continue latente ruimtes binnen een framework van discrete token-beleid.
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat SCOLAR de aanvaardbare latente CoT-lengte met meer dan 30$\times$ uitbreidt ten opzichte van eerdere methoden, terwijl het de prestaties verbetert.

4. Experimentele Resultaten

De auteurs hebben SCOLAR (gebaseerd op de Qwen2.5-VL-7B-ruggengraat) geëvalueerd tegen state-of-the-art open-source modellen en propriëtaire systemen (GPT-4o, GPT-5.2) over verschillende benchmarks:

• Real-World Redenering: SCOLAR behaalde state-of-the-art prestaties onder open-source modellen.
  • MME-RealWorld-Lite: +14,12% verbetering ten opzichte van de ruggengraat.
  • V*Bench: Behaalde 83,77%, waarmee GPT-4o (67,50%) met meer dan 16 procentpunten werd overtroffen.
  • HRBench4K/8K: Significante winst in fijnmazige ruimtelijke perceptietaken.
• Out-of-Distribution (OOD) Generalisatie: Op de VisualPuzzles-benchmark (volledig afwezig in de trainingsdata) toonde SCOLAR sterke generalisatie, met name in ruimtelijke en analogische redeneertaken, en presteerde beter dan andere open-source modellen.
• Latente Lengte Scaling:
  • Monet en LVR: Prestaties degradeerden systematisch naarmate de latente lengte toenam van 3 naar 1000 tokens.
  • SCOLAR: Prestaties bleven verbeteren naarmate de latente lengte toenam, met een piek bij volledige resolutie (geen pooling).
• Informatiewinst Analyse: Met behulp van orthogonale projectieresiduen toonden de auteurs aan dat SCOLAR een hoge informatiewinst (ongeveer 10–30) behoudt over 1000 tokens, terwijl de winst van LVR na 10 tokens ineenstort naar bijna nul, en de winst van Monet monotoon afneemt.
• Betekenisloze Padding Experimenten: Het vervangen van SCOLAR's latente tokens door betekenisloze padding veroorzaakte catastrofale prestatiedalingen die toenamen met de sequentielengte, wat bevestigt dat het model vertrouwen stelt in de echte semantische inhoud van de tokens, niet alleen in hun structurele aanwezigheid.

5. Betekenis en Claims

Het artikel beweert dat SCOLAR fundamenteel de schaalbaarheidsbottleneck in visuele latente redenering oplost. Door de generatie van hulp-tokens te ontkoppelen van autoregressieve afhankelijkheden, bewijst SCOLAR dat "langere ketens" in het visuele domein inderdaad "beter redeneren" kunnen opleveren, mits de tokens echte, niet-vervalende visuele semantiek dragen.

De auteurs stellen dat SCOLAR de kloof overbrugt tussen kleine open-source modellen en grote propriëtaire systemen, en aantoont dat een 7B-model met effectieve latente scaling aanzienlijk grotere closed-source modellen kan overtreffen op complexe redeneerbenchmarks. Het werk daagt de heersende afhankelijkheid van zwaar gepoolde kenmerken en autoregressieve generatie in latente redenering uit, en stelt een nieuwe richting voor voor schaalbare, zelf-consistente multimodale redenering.

Erkende Beperkingen: De huidige aanpak is afhankelijk van gekoppelde invoer-hulpafbeeldingsdata voor supervisie, en de optimalisatie van de detransformer in de RL-fase blijft impliciet in plaats van expliciet. Toekomstig werk wordt voorgesteld om ongecontroleerde settings en expliciete end-to-end gradiënsignalen voor de continue visuele ruimte te verkennen.