🤖 AI

UniT: Unified Multimodal Chain-of-Thought Test-time Scaling

Het artikel introduceert UniT, een framework dat unificerende multimodale modellen in staat stelt om iteratieve test-time schaling uit te voeren door middel van meerronde redeneren, verificatie en verfijning, waarbij wordt aangetoond dat trainen op korte redeneertrajecten effectief generaliseert naar langere inferentieketens en het complexe visuele begrip en generatie-taken aanzienlijk verbetert.

Oorspronkelijke auteurs: Leon Liangyu Chen, Haoyu Ma, Zhipeng Fan, Ziqi Huang, Animesh Sinha, Xiaoliang Dai, Jialiang Wang, Zecheng He, Jianwei Yang, Chunyuan Li, Junzhe Sun, Chu Wang, Serena Yeung-Levy, Felix Juefei-Xu

Gepubliceerd 2026-06-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Leon Liangyu Chen, Haoyu Ma, Zhipeng Fan, Ziqi Huang, Animesh Sinha, Xiaoliang Dai, Jialiang Wang, Zecheng He, Jianwei Yang, Chunyuan Li, Junzhe Sun, Chu Wang, Serena Yeung-Levy, Felix Juefei-Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer getalenteerde maar ongeduldige kunstenaar probeert te leren hoe hij een complexe scène moet schilderen.

Het Probleem: De "One-Shot" Kunstenaar
De meeste huidige AI-modellen zijn als die ongeduldige kunstenaar. Je geeft ze een prompt (bijv. "Teken een vogel op een tak met een haven op de achtergrond"), en ze spugen onmiddellijk een plaatje uit. Als de vogel er vreemd uitziet of de achtergrond niet klopt, passen ze het niet aan. Ze leveren gewoon het resultaat aan en zeggen: "Klaar." Dit werkt voor eenvoudige taken, maar voor complexe verzoeken die meerdere stappen of specifieke details vereisen, is het resultaat vaak slordig.

De Oplossing: UniT (De "Denkende" Kunstenaar)
Het paper introduceert UniT, een nieuw framework dat een uniek AI-model leert om te stoppen, na te denken en zijn werk te verfijnen voordat het het overhandigt. In plaats van slechts één keer te schilderen, handelt UniT als een schilder die:

Een eerste idee schetst.
Terugstapt om er kritisch naar te kijken ("Wacht, de vogel is te klein").
Het probleem onderverdeelt ("Eerst moet ik de vogel repareren, daarna ga ik de achtergrond repareren").
Onthoudt wat hij in de vorige stap heeft gedaan, zodat hij niet per ongeluk zijn eigen werk wist.
Deze cyclus herhaalt totdat de schildering perfect is.

Het paper noemt dit Multimodale Chain-of-Thought. Het is alsof je de AI een "denkproces" geeft waarbij de AI met tekst tegen zichzelf praat terwijl hij naar de afbeelding kijkt, correcties plant en deze vervolgens toepast.

Hoe ze het hebben geleerd (De "Robotleraar" Fabriek)
Je kunt een AI niet simpelweg vertellen om "harder na te denken." Je moet het laten zien. De onderzoekers bouwden een geautomatiseerde fabriek (een "agentic pipeline") om trainingsdata te genereren:

Ze gebruikten een krachtige AI om een rommelige afbeelding te genereren op basis van een prompt.
Ze gebruikten een "Vision-Language Model" (een slimme criticus) om naar de afbeelding te kijken, een gedetailleerde kritiek te schrijven en specifieke verbeteringen te plannen.
Ze gebruikten een bewerkingstool om die verbeteringen daadwerkelijk door te voeren.
Ze herhaalden deze lus totdat de afbeelding perfect was.

Dit proces creëerde duizenden voorbeelden van "goed denken", waarbij de AI leerde hoe hij zijn werk moest verifiëren, grote taken in kleine stappen moest onderverdelen (subgoal decomposition) en de context van het hele project moest onthouden (content memory). Ze trainden vervolgens hun hoofdmodel, Bagel, op deze voorbeelden.

De Resultaten: Waarom "Denken" beter is dan "Gokken"
Het paper vergelijkt twee manieren om extra rekenkracht te gebruiken om betere resultaten te krijgen:

Parallelle Schaling (De "Loterij" Benadering): Je vraagt de AI om 10 verschillende plaatjes tegelijkertijd te genereren en kiest de beste uit. Dit is als het kopen van 10 loten; je hoopt dat er één wint, maar je wordt er niet echt slimmer van.
Sequentiële Schaling (De "UniT" Benadering): Je vraagt de AI om één plaatje te genereren, erover na te denken, het te verbeteren en een betere versie te genereren. Dit is als het oefenen van een vaardigheid.

Het paper beweert dat UniT groot wint:

Betere Kwaliteit: Bij tests voor complexe beeldbewerking en redeneren presteerde UniT aanzienlijk beter dan de standaard "one-shot" modellen en zelfs de "loterij"-benadering.
Efficiëntie: UniT behaalde betere resultaten met 2,5 keer minder rekenkracht dan de parallelle "loterij"-methode. Het is efficiënter om één goed idee te verfijnen dan om 10 willekeurige gokken te doen.
Generalisatie: Hoewel de AI voornamelijk getraind was op korte denk-lussen (ongeveer 3-4 stappen), kon het van nature de denkprocessen uitbreiden naar langere, complexere taken (4-5+ stappen) zonder extra training. Het leerde hoe te denken, niet alleen wat te denken.

De "Cognitieve Gedragingen" (Het Geheime Ingrediënt)
Het paper benadrukt drie specifieke gewoontes die de AI heeft geleerd, die lijken op menselijke cognitieve vaardigheden:

Verificatie: Het werk controleren aan de hand van de instructies ("Heb ik de boeken daadwerkelijk verwijderd?").
Subdoel Decompositie: Een enorme taak opdelen in kleine, beheersbare stappen ("Eerst inzoomen, dan de achtergrond veranderen, dan het licht helderder maken").
Contentgeheugen: De hele geschiedenis bijhouden over meerdere bewerkingen heen, zodat de uiteindelijke afbeelding als een geheel logisch is, en niet slechts een verzameling willekeurige wijzigingen.

Samenvattend
UniT is een framework dat een enkel AI-model transformeert in een zelfcorrigerende, iteratieve kunstenaar. Door het te leren verifiëren, te plannen en te onthouden via een "chain of thought", kan het veel complexere, meerstaps visuele taken aanleggen dan modellen die simpelweg gokken en hopen op het beste. Het bewijst dat het de AI meer tijd geven om na te denken (test-time scaling) een krachtige manier is om het slimmer te maken, zowel bij het creëren als bij het begrijpen van afbeeldingen.

Technische Samenvatting: UniT: Unified Multimodal Chain-of-Thought Test-time Scaling

Probleemstelling

Unified multimodale modellen beogen visuele en talige begrip en generatie te integreren binnen een enkele architectuur. De huidige unificatiemodellen opereren echter voornamelijk in een single-pass modus, waarbij ze één keer een output produceren zonder expliciete mechanismen voor evaluatie, reflectie of iteratieve verfijning. Deze beperking is cruciaal voor taken die complexe ruimtelijke compositie, interacties tussen meerdere objecten of evoluerende instructies vereisen (bijv. compositionele generatie, multi-turn bewerking en visueel redeneren), waarbij menselijke en AI-redenering van nature profiteren van uitgebreide, meerstaps-processen.

Hoewel Test-Time Scaling (TTS) — het toewijzen van extra rekenkracht tijdens de inferentie via iteratief redeneren — de prestaties van tekstgebaseerde taalmodellen (zoals o1, DeepSeek-R1) aanzienlijk heeft verbeterd, blijft het uitbreiden van dit paradigma naar unificatie-multimodale modellen een open uitdaging. Bestaande benaderingen vertrouwen vaak op modulaire pipelines (gescheiden modellen voor generatie, verificatie en bewerking) of parallel sampling (Best-of-N), die er niet in slagen het synergetische potentieel van een enkel model te benutten dat redeneren, generatie en verfijning op een coherente, geïnterleefde wijze uitvoert.

Methodologie: Het UniT-framework

De auteurs introduceren UniT, een framework dat multimodale chain-of-thought (CoT) test-time scaling mogelijk maakt. UniT integreert drie kerncomponenten om cognitief gedrag (verificatie, subdoel-decompositie en contentgeheugen) te induceren binnen een enkel unificatiemodel:

1. Agentic Data Synthese

Om het model te trainen voor iteratief redeneren, hebben de auteurs een geautomatiseerde pipeline (Fig. 2) ontwikkeld die 12.000 hoogwaardige, multi-round reasoning trajecten synthetiseert. Deze pipeline coördineert drie verschillende modelrollen:

Beeldgeneratie: Een beeldgeneratiemodel (Flux Pro) creëert initiële afbeeldingen op basis van prompts.
Verificatie & Planning: Een Vision-Language Model (VLM, Qwen3-VL) evalueert de afbeelding tegenover de prompt. Indien niet bevredigend, gaat het een expliciete CoT-redenering aan om tekortkomingen te identificeren, complexe taken op te splitsen in subdoelen en bewerkingsinstructies te herschrijven.
Verfijning: Een beeldbewerkingsmodel (Flux Kontext of Qwen-Image-Edit) past de gegenereerde instructies toe.
Iteratie: Deze lus gaat door totdat de VLM verifieert dat de output voldoet aan de prompt.

Geïnduceerd Cognitief Gedrag:

Verificatie: Het evalueren van outputs tegen specificaties om de noodzaak voor verfijning te bepalen.
Subdoel-decompositie: Het opdelen van complexe compositionele taken in sequentiële bewerkingsstappen.
Contentgeheugen: Het behouden van begrip van visuele inhoud over rondes heen via een unificatie-multimodale context.

Data Filtering: De pipeline past strikte filters toe om kwaliteit te waarborgen, waarbij trajecten met kwaliteitsregressie, semantisch irrelevante bewerkingen of verwaarloosbare visuele veranderingen (LPIPS < 0,03) worden verwijderd.

2. Unified Model Training

De auteurs finetunen Bagel, een unificatie-multimodaal architectuur die zowel begrip als generatie kan uitvoeren, op de gesynthetiseerde 12K trajecten.

Trainingsomvang: 700 H100 GPU-uren.
Doelstelling: Het model leert om multimodale redeneerpatronen te internaliseren, waardoor het autonoom planning, generatie, reflectie en verfijning kan uitvoeren zonder van model te wisselen.
Inferentiemechanisme: Het getrainde model maakt gebruik van een geneste Classifier-Free Guidance (CFG) methode. Het past tekstuele sturing toe (conditionering op de huidige instructie), gevolgd door beeldsturing (conditionering op de volledige generatiegeschiedenis, inclusioneel de initiële afbeelding en vorige outputs). Dit zorgt voor een sterke afstemming met tekstinstructies terwijl de structurele coherentie over de rondes heen behouden blijft.

3. Test-Time Scaling met Budget Forcing

Tijdens de inferentie opereert het UniT-model autonoom. Het computationele budget ( $C$ ) wordt gedefinieerd als het aantal rondes van beeldgeneratie.

Sequentiële Schaling: Het model verfijnt zijn output iteratief over $C$ rondes, voortbouwend op eerdere resultaten.
Budget Forcing: Als het model voortijdig eindigt, onderdrukt het systeem het End-of-Sequence (EOS) token, dwingt het een "Let's edit" prompt af, en zet het de redenering voort. Als het budget wordt overschreden, wordt alleen de laatste afbeelding van ronde $C$ behouden.
Vergelijking: Deze aanpak wordt gecontrasteerd met Parallel Scaling (Best-of-N), waarbij $N$ onafhankelijke afbeeldingen worden gegenereerd en de beste wordt geselecteerd.

Belangrijkste Resultaten

1. Generalisatie buiten de training

Modellen getraind op trajecten met gemiddeld 3,6 verfijningsrondes generaliseren succesvol naar langere inferentieketens van gemiddeld 4,7 rondes tijdens de testfase. Dit demonstreert een emergente capaciteit om redeneervermogens te extrapoleren buiten de trainingsdistributie, een kenmerk van effectieve test-time scaling.

2. Sequentiële vs. Parallelle Schaling

Sequentiële chain-of-thought schaling presteert consistent beter dan Best-of-N parallel sampling over alle benchmarks:

Efficiëntie: Sequentiële schaling bereikt vergelijkbare prestaties als parallelle schaling met 2,5× minder computationele kosten (minder gegenereerde afbeeldingen).
Prestatiewinst: Bij $C=10$ $C = 10$ laat sequentiële schaling significante verbeteringen zien ten opzichte van parallelle schaling:
- OneIG-Bench (Compositionele Generatie): +4,85%
- CompBench (Multi-object Bewerking): +3,89%
- ImgEdit (Multi-turn Bewerking): +71,77%
- MIRA (Visueel Redeneren): +33,72%

3. Benchmark Prestaties

Vergeleken met het basis Bagel-model (single-pass) en Bagel+CoT (tekstuele redenering), behaalt UniT substantiële winsten:

Compositionele Generatie (OneIG-Bench): +10,34% verbetering in alignment.
Multi-object Bewerking (CompBench): +5,56% verbetering.
Multi-turn Bewerking (ImgEdit): +225,19% verbetering in menselijke voorkeursscores (van $C=1$ naar $C=4$ ).
Visueel Redeneren (MIRA): +53,33% verbetering in nauwkeurigheid (van $C=1$ naar $C=10$ ).

4. Ablatie Studies

Het verwijderen van specifieke cognitieve gedragingen onthult hun afzonderlijke rollen:

Zonder Subdoel-decompositie: Significante dalingen in compositionele taken (OneIG-Bench: -3,8%, CompBench: -2,5%).
Zonder Contentgeheugen: Verwoestende impact op multi-turn bewerking (ImgEdit: -42,5% relatieve daling), terwijl de impact op single-turn taken minimaal is.
Zonder Verificatie: Grootste impact op visueel redeneren (MIRA: -1,9%), wat de rol ervan bij het valideren van redeneerstappen benadrukt.

Betekenis en Claims

Het artikel vestigt multimodale test-time scaling als een verenigd paradigma dat zowel generatie als begrip taken ten goede komt. De auteurs beweren:

Verenigd Paradigma: UniT demonstreert dat een enkel unificatiemodel effectief iteratieve redenering, generatie en verfijning kan afhandelen, waardoor de noodzaak voor modulaire pipelines die capaciteiten verspreiden over gespecialiseerde modellen wordt geëlimineerd.
Emergente Capaciteiten: Training op kortere redeneertrajecten stelt modellen in staat om te generaliseren naar langere, complexere inferentieketens, wat suggereert dat cognitieve gedragingen zoals verificatie en decompositie leerbaar en schaalbaar zijn.
Efficiëntie: Expliciete sequentiële redenering met iteratieve verfijning is een meer computationeel efficiënte strategie voor TTS dan parallel sampling, en biedt superieure prestaties per eenheid van inferentie-rekenkracht.
Fundament voor Toekomstige Modellen: Hoewel de huidige resultaten beperkt worden door de capaciteiten van het basismodel (bijv. hiaten vergeleken met frontier-modellen zoals GPT-5), bewijst de methodologie dat TTS een levensvatbare en effectieve benadering is voor het verbeteren van unificatie-multimodale systemen. Naarmate de basismodellen verbeteren, zal het UniT-framework naar verwachting verdere winsten opleveren.

Het werk concludeert dat iteratieve verfijning door middel van expliciete multimodale chain-of-thought redenering significante prestatieverbeteringen ontsluit op complexe taken, waarmee een nieuwe richting wordt uitgezet voor schaalbare multimodale inferentie.