UniVR: Thinking in Visual Space for Unified Visual Reasoning

Technische Samenvatting: UniVR – Denken in Visuele Ruimte voor Verenigde Visuele Redenering

1. Probleemstelling

Huidige kunstmatige intelligentiemodellen verwerven wereldkennis en voeren redeneringen voornamelijk uit binnen een tekstuele ruimte. Hoewel Large Multimodal Models (LLM's) en generatieve modellen aanzienlijk zijn gevorderd, vertrouwen zij op tekst als een abstracte representatie van de wereld. Deze abstractie slaagt er niet in om de rijke, continue informatie van de echte visuele wereld volledig te vatten, zoals complexe fysieke dynamiek, fijnmazige ruimtelijke relaties en onderliggende natuurwetten.

Bestaande benaderingen van visuele redenering kampen met twee primaire beperkingen:

1. Tekst-gebonden Redeneren: Modellen zoals Gemini-3 of GPT-5 genereren tekstuele redeneerketens (Chain-of-Thought) die vervolgens via generatieve modellen worden omgezet in visuele sporen. Dit paradigma heeft moeite om logische coherentie en fysieke consistentie te behouden bij taken met een lange horizon, omdat tekstuele abstracties de redeneervaardigheid niet naadloos kunnen overdragen naar het visuele domein.
2. Afhankelijkheid van Dichte Supervisie: Unified generatiemodellen en video-generatiestrategieën vertrouwen vaak zwaar op dichte beeld-tekstparen en tekstuele sturing voor training en inferentie. Deze afhankelijkheid beperkt de schaalbaarheid van visuele redenering en belemmert het vermogen van het model om direct van ruwe visuele data te leren zonder linguïstische bemiddeling.

De kernvraag van dit werk is: Hoe kunnen modellen ruwe visuele data gebruiken om hun visuele redeneervaardigheden over diverse taken heen te verbeteren zonder te vertrouwen op dichte tekstuele supervisie?

2. Methodologie

UniVR Architectuur
UniVR is een verenigd next-token prediction framework dat is ontworpen om direct binnen de visuele ruimte te redeneren en te plannen. Het hanteert een autoregressief generatiemodel (specifiek Emu3.5 als baseline) dat afbeeldingen, tekst en video tokenizeert naar een verenigde discrete vocabulaire. Het framework werkt via een tweestaps trainingspipeline:

1. Cold Initialization: Supervised Fine-Tuning (SFT) op een gecureerde dataset van diverse visuele taken (query-afbeelding, instructie, visueel redeneertraject) om het inputformaat te standaardiseren en visuele redeneerprioriteiten te bieden.
2. Reinforcement Learning (RL): Een nieuw RL-paradigma genaamd VR-GRPO (Visual Reasoning Group Relative Policy Optimization) wordt toegepast om de redeneervaardigheden van het model te verfijnen.

VR-GRPO: De Kerninnovatie
VR-GRPO is ontworpen om te optimaliseren voor logische coherentie en fysieke consistentie zonder dat daar taakspecifieke heuristieken of beeld-tekstparen voor nodig zijn. Het introduceert een dubbel beloningsmechanisme:

• Globale Beloning ($R_g$): Een holistische beoordeling van de gegenereerde sequentie met betrekking tot taakvoltooiing en visuele kwaliteit, geleverd door een Vision-Language Model (VLM) evaluator.
• Stap-gerichte Beloning ($R_s$): Een nieuw component dat de beperking van globale beloningen aanpakt, die vaak intermediaire fysieke schendingen of logische hiaten in lange sequenties over het hoofd zien.
  • Mechanisme: Het systeem berekent de inter-traject variantie met behulp van CLIP beeld-encoders om tijdstappen te identificeren met maximale onzekerheid (waar redeneerpaden uiteenlopen).
  • Targeting: Het extraheert een specifiek subsegment rond deze hoog-variante stappen en vraagt de VLM om een paargewijze vergelijking uit te voeren om fysieke wetten en trajectprogressie te beoordelen.
  • Integratie: De uiteindelijke redeneringsbeloning wordt berekend als $R_{reason} = R_g - \lambda|R_g - R_s|$. Deze formulering straft het model af als het wel een goede eindtoestand bereikt ($R_g$), maar faalt in het handhaven van de procedurele integriteit in kritieke substappen ($R_s$), wat effectief "redeneer-shortcuts" voorkomt.

VR-X Benchmark
Om UniVR te trainen en te evalueren, hebben de auteurs VR-X geconstrueerd, de eerste grootschalige benchmark voor diverse visuele redenering. Het bestaat uit 1,5 miljoen ruwe samples van 16 bronnen, gecureerd naar 310k cold-start trainingssamples, 3k RL-samples en 1,8k benchmark evaluatie-samples. De benchmark omvat:

• Lange-termijn Planning: Taken op minuut-schaal met fijnmazige dynamiek (bijv. knopen leggen, kleding vouwen, robotische manipulatie, koken).
• Algemene Visuele Redenering: Cognitieve vaardigheden waaronder visuele zoekopdrachten, puzzels, ruimtelijk waarnemingsvermogen en bewerkingen.
• Evaluatiemetrieken:
  • VLM Score: Automatische beoordeling van taakvoltooiing, procedurele coherentie en beeldgetrouwheid.
  • JEPA Similarity: Een metriek die gebruikmaakt van V-JEPA encoders om de afstemming met de real-world fysieke dynamiek te meten, waarmee de hallucinatieproblemen van tekst-afhankelijke evaluatoren worden geadresseerd.

3. Belangrijkste Resultaten

Prestaties op VR-X
UniVR vertoont significante verbeteringen ten opzichte van state-of-the-art baselines op de VR-X benchmark:

• Algemene Prestaties: UniVR bereikt een verbetering van 25,2% ten opzichte van het basismodel Emu3.5 en een verbetering van 20,9% in lange-termijn planningstaken.
• Vergelijking met Pipelines: Ondanks dat het slechts 34B parameters heeft, nadert UniVR de prestaties van de Gemini 3 Pro + Nano Banana 2 pipeline en overtreft het Gemini 3 in langdurige manipulatietaken.
• Fysieke Consistentie: UniVR behaalt een aanzienlijk lagere JEPA-score (wat duidt op een betere afstemming met natuurwetten) vergeleken met tekst-gebaseerde MLLM's en unified generatiemodellen, die vaak grote divergenties in de feature-distributie vertonen ten opzichte van de grondwaarheid.

Generalisatie naar Multimodale Begrijping
Het paper rapporteert dat het verbeteren van visuele redenering via UniVR ook de prestaties op standaard multimodale begrip-benchmarks (MMMU, MME, MMBench, MathVista, MM-Vet) ten goede komt.

• UniVR laat winst zien over alle zes de geëvalueerde metrieken vergeleken met de basis Emu3.5, wat suggereert dat native visuele redenering een krachtige aanvulling is op tekstuele supervisie.
• Training uitsluitend op tekstuele redeneerketens afgeleid van VR-X leverde verwaarloosbare winst op, wat de noodzaak van training in de visuele ruimte bevestigt.

Ablatie-studies

• Beloningsontwerp: Het combineren van globale en stap-gerichte beloningen levert synergetische effecten op. Het gebruik van enkel globale beloningen leidde tot degradatie in lange-termijn planning (reward hacking), terwijl stap-gerichte beloningen alleen alle metrieken verbeterden.
• Gezamenlijke Training: VR-GRPO stelt het model in staat om heterogene taken (zoals lange-termijn planning versus algemene redenering) gezamenlijk te leren, terwijl cold-start modellen moeite hebben om deze uiteenlopende kennisdomeinen te balanceren.
• Compatibiliteit: VR-GRPO is compatibel met bestaande tekst-gebaseerde RL-methoden en esthetische beloningen (bijv. HPSv3), hoewel de visuele redeneringsbeloning de primaire drijfveer van de prestaties is.

4. Betekenis en Claims

Het paper claimt dat UniVR een fundamentele verschuiving vertegenwoordigt in hoe AI-modellen wereldkennis verwerven:

1. Taalvrije Visuele Redenering: Het is de eerste onderzoek naar het gelijktijdig leren van complexe redenering, fijnmazige fysieke dynamiek en lange-termijn planning vanuit zuivere visuele demonstraties, zonder te vertrouwen op dichte beeld-tekstparen of taakspecifieke regels.
2. Intrinsiek Wereldmodel: De resultaten onderstrepen dat ruwe visuele data alleen al complexe, langdurige policy-learning kan ondersteunen, wat het idee uitdaagt dat tekst een noodzakelijke tussenpersoon is voor complexe redenering.
3. Verenigde Capaciteit: Het framework slaagt erin om heterogene taken (van robotische manipulatie tot ruimtelijke puzzels) te verenigen onder één enkel visueel protocol, waarmee de beperkingen van eerdere modellen die beperkt waren tot korte-horizon dynamiek of smalle single-task settings worden overwonnen.
4. Brede Impact: De bevindingen suggereren dat het versterken van visuele redenering bredere voordelen biedt aan multimodale begrip, waardoor visueel-native computatie wordt gepositioneerd als een vitale aanvulling op tekstuele abstractie voor het bouwen van meer gegronde en efficiënte wereldmodellen.

De auteurs benadrukken dat alle code, data (VR-X) en modellen open-source zijn om verder onderzoek in dit domein te faciliteren.