🤖 AI

Mull-Tokens: Modality-Agnostic Latent Thinking

Het artikel introduceert Mull-Tokens, een modality-agnostisch latente token-framework dat multimodale modellen in staat stelt vrije vorm tussenstapredenering uit te voeren over tekst- en beeldmodaliteiten heen, waardoor de prestaties op complexe ruimtelijke en puzzeloplossende taken aanzienlijk worden verbeterd zonder te vertrouwen op breekbare tool-aanroepen of kostbare beeldgeneratie.

Oorspronkelijke auteurs: Arijit Ray, Ahmed Abdelkader, Chengzhi Mao, Bryan A. Plummer, Kate Saenko, Ranjay Krishna, Leonidas Guibas, Wen-Sheng Chu

Gepubliceerd 2026-05-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Arijit Ray, Ahmed Abdelkader, Chengzhi Mao, Bryan A. Plummer, Kate Saenko, Ranjay Krishna, Leonidas Guibas, Wen-Sheng Chu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Denken in Één Dimensie

Stel je voor dat je een complex 3D-puzzel probeert op te lossen, zoals een Rubiks kubus of een legpuzzel. Als je probeert dit op te lossen met alleen woorden, zou je kunnen zeggen: "Verplaats het rode stuk naar links, draai dan het blauwe stuk." Maar woorden zijn traag en onhandig hiervoor; ze kunnen de vorm, de diepte of hoe de stukken in de ruimte passen niet gemakkelijk beschrijven.

Huidige AI-modellen zijn geweldig in praten (tekst) en geweldig in zien (afbeeldingen), maar wanneer ze proberen te redeneren over ruimte, tijd of hoe objecten bewegen, struikelen ze vaak.

De Oude Manier (Alleen Tekst): De AI probeert de puzzel met woorden te beschrijven. Het raakt verdwaald in de details en maakt fouten.
De "Te Veel" Manier (Afbeelding + Tekst): Sommige onderzoekers probeerden de AI te laten "tekenen" van zijn gedachten. Maar dit is alsof je een chef vraagt om te stoppen met koken, een recept op te schrijven, een tekening van het gerecht te maken, nog een recept te schrijven, en pas dan het eten op te dienen. Het is duur, traag, en de AI raakt vaak in de war over welke afbeelding bij welke zin hoort.

De Oplossing: De "Mult-Token" (Het Magische Schrijfblok)

De auteurs stellen een eenvoudiger, slimmer hulpmiddel voor dat Mult-Tokens heet.

Stel je het brein van de AI voor als een keuken.

Tekst-tokens zijn als de mondelinge instructies van de chef.
Afbeelding-tokens zijn als de chef die daadwerkelijk een tekening maakt op een notitieblok.
Mult-Tokens zijn als een magisch, onzichtbaar schrijfblok.

Wanneer de AI een moeilijk probleem tegenkomt (zoals een ruimtelijke puzzel), schreeuwt het in plaats van een lange alinea woorden of een volledige tekening, even pauze en schrijft het op dit onzichtbare schrijfblok.

Waarom is dit magisch?

Het is Modality-Agnostic: Dit is de chique term voor "het maakt niet uit welke vorm de gedachte aanneemt." Het schrijfblok kan een mentale afbeelding van een roterende kubus bevatten of een symbolische kaart van een route. Het hoeft geen woord te zijn, en het hoeft geen volledige afbeelding te zijn. Het is gewoon pure "denkdata".
Het is Compact: Een typische tekstuele uitleg kan 200 woorden in beslag nemen. Een volledige afbeelding kan honderden pixels in beslag nemen. De Mult-Token-benadering lost het probleem op met slechts 20 tot 40 tokens. Het is als het verschil tussen het schrijven van een 10-pagina's tellend essay om een wiskundeprobleem uit te leggen versus gewoon de belangrijkste formule krabbelen op een servet.

Hoe Ze Het Trainden: De Drie-Staps Gymroutine

De onderzoekers gaven de AI niet zomaar het schrijfblok; ze moesten het leren hoe het te gebruiken. Ze gebruikten een trainingsproces in drie stappen:

De Opwarming (Het Leren van de Taal van Denken):
Eerst lieten ze de AI voorbeelden zien van mensen die puzzels oplossen. Soms betrof de oplossing een tekening, soms een zin. Ze leerden de Mult-Tokens om deze stappen na te bootsen.
- Analogie: Het is alsof een student een leraar ziet een wiskundeprobleem oplossen, soms ziet de student de leraar cijfers schrijven, soms ziet hij ze een grafiek tekenen. De student leert dat het "schrijfblok" beide kan bevatten.
De Vrije Oefening (Loslaten):
Vervolgens stopten ze met het tonen aan de AI hoe het probleem opgelost moest worden. Ze toonden alleen het eindantwoord. De AI kreeg te horen: "Hier is de puzzel. Gebruik je schrijfblok om het op te lossen, maar ik zal je niet vertellen wat je erop moet schrijven. Gewoon het juiste antwoord krijgen."
- Analogie: De leraar stopt met het geven van hints en zegt gewoon: "Los dit op." De student leert het schrijfblok op de manier te gebruiken die het beste voor hem werkt, niet alleen het kopiëren van de leraar.
De Versterking (Belonen van Goed Denken):
Tenslotte gebruikten ze een techniek genaamd GRPO (Versterkend Leren). Als de AI zijn schrijfblok gebruikte om het juiste antwoord te krijgen, kreeg hij een "gouden ster". Als het gokte zonder na te denken, kreeg hij niets. Dit moedigde de AI aan om het schrijfblok daadwerkelijk te gebruiken voor redenering, in plaats van gewoon te gokken.

De Resultaten: Sneller en Slimmer

Het paper testte deze nieuwe methode uit op vier moeilijke benchmarks die puzzels, 3D ruimtelijk redeneren en video-analyse omvatten.

De Win: De AI met Mult-Tokens scoorde 3% beter gemiddeld dan de beste bestaande methoden. Op de moeilijkste puzzeltests verbeterde het met 16%.
De Snelheid: Omdat het slechts ongeveer 20 "denktokens" gebruikt in plaats van honderden woorden of afbeeldingen, is het veel sneller en goedkoper om uit te voeren.
De Flexibiliteit: De AI leerde beslissen wanneer het schrijfblok te gebruiken. Voor sommige makkelijke vragen slaakte het het schrijfblok over. Voor moeilijke ruimtelijke puzzels gebruikte het het intensief.

De Conclusie

Het paper betoogt dat we AI niet hoeven te dwingen om te "praten" of te "tekenen" om diep na te denken. In plaats daarvan kunnen we het een modality-agnostic latent space geven—een privé, interne "denkkamer" waar het afbeeldingen en concepten vrij kan mengen zonder de overhead van het genereren van volledige zinnen of afbeeldingen.

Het is alsof je een mens een stil, intern monoloog geeft dat een 3D-object kan visualiseren zonder het hardop te hoeven beschrijven. Het resultaat is een AI die beter is in ruimtelijke puzzels, sneller en efficiënter.

1. Probleemstelling

Huidige Multimodale Grootte Taalmodellen (MLLM's) worstelen met complexe ruimtelijke en visuele redeneertaken (bijvoorbeeld het oplossen van puzzels, IQ-tests, 3D-ruimtelijke relaties). Bestaande benaderingen kampen met verschillende beperkingen:

Alleen-tekst Chain-of-Thought (CoT): Hoewel effectief voor verbaal logisch denken, "drijft" alleen-tekst redenering vaak weg van visuele inputs, waardoor het faalt in het vastleggen van ruimtelijke causaliteit of geometrische beperkingen.
Expliciete afbeeldingsgeneratie: Methoden die tussentijdse afbeeldingen of schetsen genereren, zijn rekenkundig duur, traag en vaak breekbaar.
Verweven afbeelding-tekst latents: Recente pogingen om expliciete visuele tokens te verweven met tekstredenering (bijvoorbeeld MVoT, MIRAGE) hebben tegenstrijdige resultaten laten zien. Ze lijden vaak aan modality switching bias, waarbij het model standaard terugvalt op tekst, zelfs wanneer het wordt gevraagd afbeeldingen te gebruiken, of prestaties verslechteren wanneer het expliciet wordt gedwongen om te schakelen tussen modaliteiten.
Data-schaarste: Veel methoden vereisen op maat gemaakte, dure datasets met uitgelijnde tekst-afbeelding redeneersporen.

De kernuitdaging is modellen in staat te stellen om te "denken" in een verenigde ruimte die zowel visuele als tekstuele informatie kan representeren, zonder de overhead van het genereren van expliciete afbeeldingen of de breekbaarheid van geforceerde modality switching.

2. Methodologie: $\mu$ -Tokens

De auteurs stellen $\mu$ -Tokens (Multimodale Tokens) voor, een set van modality-agnostische latente tokens die fungeren als een interne "scratchpad" voor het model. Deze tokens kunnen dynamisch visuele concepten (bijvoorbeeld objectindelingen, dieptekaarten) of tekstuele concepten coderen, afhankelijk van de taak, zonder ooit te worden gedecodeerd naar expliciete tekst of afbeeldingen tijdens de redeneringsfase.

Trainingskader

Het trainingsproces volgt een drie-fasen kader, geïnspireerd op latente redenering en versterkend leren:

Fase 1: Warm-up (Supervised Fine-Tuning)
- Doel: De $\mu$ -Tokens leren om te ankeren aan specifieke multimodale redeneringsstappen.
- Data: Gebruikt verweven tekst-afbeelding redeneersporen (bijvoorbeeld van Zebra-CoT, Video-R1).
- Mechanisme: Het model wordt getraind om de volgende stap in een redeneringsketen te voorspellen. Als de grondwaarheid tekst is, voorspelt het token het teksttoken. Als de grondwaarheid een visueel subdoel is (bijvoorbeeld een bijgesneden afbeelding of indeling), wordt het token gesuperviseerd via cosinusgelijkenis tegenover de gecodeerde visuele kenmerken.
- Resultaat: De tokens leren betekenisvolle multimodale representaties vast te houden.
Fase 2: Ontspannen Training (Alleen-Antwoord Supervisie)
- Doel: Het model toestaan de latente traject vrij te optimaliseren om de nauwkeurigheid van het uiteindelijke antwoord te maximaliseren.
- Mechanisme: De expliciete supervisie op tussentijdse stappen wordt verwijderd. Het model wordt fine-getuned met alleen het uiteindelijke antwoord. De $\mu$ -Tokens worden ingevoegd als een vaste reeks (bijvoorbeeld 20 tokens) tussen de input en het antwoord.
- Belangrijk Ontwerp: In tegenstelling tot continue recurrente latents (die parallelisme verbreken en fouten accumuleren), zijn $\mu$ -Tokens discreet. Ze worden verwerkt via standaard self-attention, wat efficiënte parallelle berekening mogelijk maakt en foutaccumulatie over lange ketens voorkomt.
Fase 3: RL-Verfijning (GRPO)
- Doel: Zorgen dat de latente keten causaal bijdraagt aan het juiste antwoord in plaats van er slechts mee te voorkomen.
- Mechanisme: Gebruik van Group Relative Policy Optimization (GRPO). Het model genereert meerdere trajecten; die welke leiden tot juiste antwoorden ontvangen hogere beloningen. De gradiënten worden via het self-attention-mechanisme teruggepropageerd naar de $\mu$ -Tokens, waardoor het "denkproces" wordt verfijnd om causaal effectief te zijn.

3. Belangrijkste Bijdragen

Modality-Agnostic Redenering: Introduceert een paradigma waarbij redeneertokens niet gebonden zijn aan een specifieke modality (tekst of afbeelding), maar tussenliggende staten in een verenigde latente ruimte kunnen representeren.
Efficiëntie: $\mu$ -Tokens behalen aanzienlijke prestatiewinsten met slechts 10–40 tokens, in vergelijking met honderden tokens die nodig zijn voor uitgebreide tekst CoT of expliciete afbeeldingsgeneratie. Dit biedt een Pareto-dominante verbetering in snelheid en rekenkracht.
Twee-fasen Trainingsstrategie: Toont aan dat het voortrainen van tokens met multimodale sporen (Fase 1) cruciaal is, gevolgd door optimalisatie alleen op het antwoord (Fase 2) om te voorkomen dat het model wordt beperkt door potentieel suboptimale door mensen gegenereerde redeneersporen.
Discreet versus Continu: Bewijst dat discrete latente tokens continue recurrente embeddings overtreffen op het gebied van stabiliteit, parallelisme en prestaties.

4. Experimentele Resultaten

De methode werd geëvalueerd op het Qwen2.5-VL (7B) model over vier uitdagende benchmarks: BLINK (visuele puzzels/IQ), SAT-Real (actie/bewegingsredenering), VSI-Bench (videoruimtelijke redenering) en MMSI-Bench (meerdere-afbeeldingen redenering).

Prestatiewinsten:
- $\mu$ -Tokens behaalden een +3% gemiddelde absolute nauwkeurigheidsverbetering ten opzichte van de sterkste baseline (Direct Answer Fine-tuning).
- Op redeneringszware splits (bijvoorbeeld BLINK Jigsaw en IQ-tests) bereikte de verbetering +16%.
- Het presteerde beter dan zowel alleen-tekst CoT als verweven afbeelding-tekst benaderingen.
Ablatiestudies:
- Multimodale Warm-up is Kritiek: Het gebruik van alleen tekst of geen warm-up resulteerde in lagere prestaties. De tokens moeten vooraf getraind zijn om zowel visuele als tekstuele informatie vast te houden om effectief te zijn.
- Discrete Tokens: Discrete tokens presteerden aanzienlijk beter dan continue recurrente embeddings.
- Tokenaantal: De prestaties schalen met het aantal tokens tot een bepaald punt (rond de 20), waarna "overdenken" de prestaties verslechtert.
Generalisatie: Het model toonde sterke generalisatie naar buiten-domein taken en benchmarks met meerdere afbeeldingen (MMSI-Bench, SiteBench).
Interpreteerbaarheid: Hoewel de tokens zelf latent zijn, toonden de auteurs aan dat ze kunnen worden gekoppeld aan expliciete tekstuele rationals, waardoor het model eerst in de latente ruimte kan "denken" en vervolgens het redeneren kan verwoorden indien nodig, met behoud van hoge nauwkeurigheid.

5. Betekenis

Dit werk adresseert een fundamentele bottleneck in multimodaal AI: de moeilijkheid om te redeneren over ruimte, tijd en affordances zonder dure tussentijdse outputs te genereren.

Eenvoud: Het biedt een eenvoudig alternatief voor complexe "denk-en-schets" of tool-verrijkte pipelines.
Schaalbaarheid: Door het gebruik van een klein aantal discrete tokens en standaard transformer-parallelisme, is de aanpak zeer schaalbaar en rekenkundig efficiënt.
Toekomstrichting: Het suggereert dat de toekomst van multimodale redenering niet ligt in het genereren van meer expliciete content (afbeeldingen/tekst), maar in het optimaliseren van de interne latente representaties die perceptie en besluitvorming verbinden. De aanpak overbrugt de kloof tussen menselijke ruimtelijke verbeelding en machine-redenering zonder de overhead van expliciete generatie.