🤖 AI

GRIT: Teaching MLLMs to Think with Images

Het artikel stelt GRIT voor, een op versterkingslering gebaseerde methode die Multimodale Grootte Taalmodellen in staat stelt visueel onderbouwde redeneerketens te genereren door natuurlijke taal te verweven met expliciete coördinaten van omhullende rechthoeken, waardoor een hoge datadoeltreffendheid wordt bereikt zonder dat er geannoteerde redeneer- of lokalisatielabels nodig zijn.

Oorspronkelijke auteurs: Yue Fan, Xuehai He, Diji Yang, Kaizhi Zheng, Ching-Chen Kuo, Yuting Zheng, Sravana Jyothi Narayanaraju, Xinze Guan, Xin Eric Wang

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yue Fan, Xuehai He, Diji Yang, Kaizhi Zheng, Ching-Chen Kuo, Yuting Zheng, Sravana Jyothi Narayanaraju, Xinze Guan, Xin Eric Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme robot leert een puzzel op te lossen. Normaal gesproken probeert deze robot, wanneer je hem een vraag over een afbeelding stelt, te antwoorden door alleen te praten. Hij zou kunnen zeggen: "Ik zie een vogel", maar hij wijst de vogel niet daadwerkelijk aan. Het is alsof je probeert een locatie in een donkere kamer te beschrijven met alleen woorden, in de hoop dat je kunt raden waar je naar kijkt.

Het artikel "GRIT: Teaching MLLMs to Think with Images" introduceert een nieuwe manier om deze robots (Multimodal Large Language Models, of MLLMs) anders te laten denken. Hier is de uitleg met eenvoudige analogieën:

1. Het Probleem: De "Blinde" Denker

Huidige AI-modellen zijn uitstekend in praten, maar wanneer ze naar een afbeelding kijken, "denken" ze vaak in pure tekst. Ze kunnen het juiste antwoord raden, maar ze kunnen je niet laten zien waar ze keken om het te vinden. Het is alsof een detective een misdaad oplost door de naam van de dader te raden zonder ooit het bewijs te tonen of naar een vingerafdruk te wijzen. Dit maakt hun redenering moeilijk te vertrouwen en soms onnauwkeurig.

2. De Oplossing: De "Wijzend" Gewoonte (GRIT)

De auteurs hebben een methode ontwikkeld die GRIT (Grounded Reasoning with Images and Text) heet. In plaats van alleen te praten, leren ze de AI om te wijzen terwijl ze denken.

De Analogie: Stel je voor dat de AI een leraar is die een kaart uitlegt aan een leerling. In plaats van alleen te zeggen: "De schat zit daar", tekent de leraar een kader om de plek op de kaart en zegt: "Ik kijk hier [tekent kader], en ik zie een rots, dus de schat moet ernaast zijn."
Hoe het werkt: De AI genereert een keten van gedachten die normale zinnen combineert met bounding boxes (coördinaten die een rechthoek trekken rond een specifiek deel van de afbeelding). Hij wijst letterlijk naar de delen van de afbeelding die hij gebruikt om het probleem op te lossen.

3. Het Geheime Ingrediënt: Leren door Proef en Dwaal (GRPO-GR)

Normaal gesproken heb je, om een AI zoiets complexs te leren, duizenden voorbeelden nodig waarbij mensen elke stap hebben uitgeschreven en elke box hebben getekend. Het is alsof je een team van leraren huurt om een leerboek voor de robot te schrijven.

Het artikel claimt een doorbraak: GRIT heeft bijna geen voorbeelden nodig.

De Analogie: In plaats van een leerboek te lezen, leert de AI zoals een kind dat een videospel speelt. Je geeft hem een afbeelding en een vraag. Hij probeert te antwoorden. Als hij het eindantwoord goed heeft en de regels volgt (zoals het tekenen van een box), krijgt hij een "hoog score" (beloning). Als hij faalt, krijgt hij een lage score.
De Magie: De onderzoekers gebruikten slechts 20 voorbeelden (zoals 20 oefenvragen) om de AI te trainen. De AI kwam erachter dat het patroon was: "Om een hoge score te krijgen, moet ik naar de afbeelding wijzen terwijl ik praat." Ze noemen dit GRPO-GR, een speciale trainingsmethode die de AI belooft voor het juiste antwoord én voor het gebruik van het juiste "wijzend" formaat.

4. De Resultaten: Slimmer en Eerlijker

Toen ze deze getrainde robots testten:

Ze werden beter in wiskunde en tellen: Als je vroeg: "Hoeveel eieren zitten er in het nest?", raadde de robot niet zomaar een getal. Hij wees naar de eieren, telde ze één voor één in zijn "gedachten" en gaf toen het antwoord.
Ze verenigden twee vaardigheden: Vroeger was de AI goed in praten (redeneren) OF goed in wijzen (grounding), maar niet beide tegelijk. GRIT leerde hen om beide gelijktijdig te doen.
Ze zijn betrouwbaarder: Omdat de AI naar het bewijs moet wijzen, is het moeilijker voor hem om leugens te verzinnen. Als hij naar een plek wijst en zegt "Ik zie een kat", maar er staat geen kat, dan weet het systeem dat er iets mis is.

5. Wat Ze Vonden (en Wat Ze Niet Vonden)

Data-efficiëntie: Ze bewezen dat je geen enorme bibliotheek aan data nodig hebt. Slechts 20 voorbeelden waren voldoende om de robot deze nieuwe "wijzend" gewoonte aan te leren.
Aandacht: Wanneer de AI naar een plek wijst (een box tekent), besteedt hij in zijn volgende gedachte daadwerkelijk meer aandacht aan dat deel van de afbeelding. Het is alsof het handelen van wijzen helpt de ogen van de robot te focussen.
Grenzen: Het artikel merkt op dat hoewel het toevoegen van meer data helpt, er een punt van afnemende meeropbrengst is. Om nog beter te worden in dingen die de robot nog niet eerder heeft gezien, hebben ze meer variëteit in de data nodig, niet gewoon meer van hetzelfde.

Samenvatting:
GRIT is een nieuwe trainingsmethode die AI-robots leert om "met hun ogen te denken" door ze te dwingen naar de afbeelding te wijzen terwijl ze praten. Het is een enorme sprong voorwaarts omdat het deze complexe vaardigheid leert met bijna geen data (slechts 20 voorbeelden) en de redenering van de AI transparant en betrouwbaar maakt.

, ...`) en de syntactische validiteit van bounding boxes (gedetecteerd via regex). Deze beloning beperkt niet de semantische nauwkeurigheid van de tekst of de specifieke regio's, maar alleen het formaat.
2. Grounded-Target-Counting Reward ( $r_{count}$ ): Een optionele beloning voor teltaken waarbij het aantal gegenereerde bounding boxes moet overeenkomen met het ground-truth-aantal.
3. GPT-gesteunde Answer-Accuracy Reward ( $r_{ans}$ ): Gebruikt een externe VLM (GPT-4o) om de juistheid van het eindantwoord te beoordelen, aangevuld met een BLEU-score.

Belangrijk Voordeel: Omdat de beloningen zich richten op formaat en nauwkeurigheid van het eindantwoord in plaats van tussenliggende redeneringsstappen of specifieke locaties van bounding boxes, elimineert GRIT de noodzaak van trainingsdata met annotaties voor redeneerketens of expliciete bounding box-labels.

Belangrijkste Bijdragen

GRIT Framework: Een nieuwe methode die MLLMs in staat stelt om "met afbeeldingen te denken" door het genereren van redeneerketens die natuurlijke taal afwisselen met expliciete coördinaten van bounding boxes, waardoor grondslaglegging en redeneervermogen worden verenigd.
GRPO-GR Algorithm: Een versterkingsleer-algoritme dat MLLMs efficiënt traint met behulp van alleen tripletten van afbeelding-vraag-antwoord. Het maakt gebruik van nieuwe beloningen voor formaat en nauwkeurigheid, waardoor de afhankelijkheid van dure, dichte annotaties voor tussenliggende redenering of grondslaglegging wordt verwijderd.
Data-efficiëntie: De methode toont uitzonderlijke data-efficiëntie, waarbij grondslaggelegde redeneervermogens worden bereikt met slechts 20 trainingsvoorbeelden uit bestaande VQA-datasets (VSR en TallyQA).
Gefuseerde Capaciteiten: Experimenten tonen aan dat GRIT-getrainde modellen grondslaglegging en redenering succesvol verenigen, wat vaak losstaat in basis-MLLM's, wat leidt tot samenhangende en nauwkeurige outputs.

Experimentele Resultaten

De auteurs evalueerden GRIT-getrainde modellen (Qwen 2.5-VL en InternVL 3) tegen baselines, waaronder Direct Query, Chain-of-Thought (CoT), One-shot ICL en Few-shot SFT, over zeven testsets (VSR, TallyQA, GQA, MME, MathVista-mini, OVDEval).

Prestaties: GRIT-getrainde modellen presteerden beter dan alle baselines in zowel GPT-as-judge antwoordnauwkeurigheid als Grounding IoU (Intersection over Union van gegenereerde boxes versus ground truth). Opmerkelijk is dat ze effectief generaliseerden naar data buiten het domein, ondanks dat ze slechts op 20 voorbeelden waren getraind.
Kwaliteit van Grondslaglegging: Kwalitatieve analyse toonde aan dat GRIT-modellen dynamisch bepalen wanneer grondslaglegging noodzakelijk is, waardoor valse positieven voor niet-bestaande entiteiten worden vermeden.
Cross-modale Correlatie: Een nieuwe metriek, "Vision-Language Reasoning Cross-Modal Correlation", toonde aan dat de door GRIT-modellen geselecteerde afbeeldingsregio's semantisch zeer coherent zijn met de bijbehorende tekst, en beter presteren dan Zero-shot ICL en Few-shot SFT baselines.
Attention Mechanism: Analyse van attentiescores gaf aan dat de aanwezigheid van bounding boxes in de redeneerketen de aandacht van het model voor relevante visuele tokens in daaropvolgende redeneringsstappen significant verhoogt.
Schaling: Het vergroten van de trainingsdata van 20 naar 7.000 voorbeelden verbeterde de prestaties binnen het domein, maar toonde afnemende meeropbrengsten en generalisatie-uitdagingen voor taken buiten het domein, wat suggereert dat data-diversiteit belangrijker is dan volume voor generalisatie.

Betekenis en Claims

Het artikel beweert dat GRIT een belangrijke stap voorwaarts is in het mogelijk maken van visueel gegrond redeneren voor MLLMs. Door modellen toe te staan expliciete visuele referenties binnen hun denkprocessen te genereren, bereikt GRIT een "succesvolle vereniging van redeneer- en grondslagleggingsvermogens".

De auteurs benadrukken dat dit de eerste open-source aanpak is die verweven visueel-tekstuele redenering bereikt via lichtgewicht RL zonder expliciete annotaties voor tussenstappen nodig te hebben. Hoewel de studie zich richt op kleinere MLLMs om efficiëntie te valideren in plaats van piekprestaties, suggereren de resultaten dat het inprenten van complex grondslaggelegd redeneren met minimale data haalbaar is. Het artikel concludeert dat toekomstige verbeteringen in generaliseerbaarheid waarschijnlijk meer zullen afhangen van de diversiteit van trainingsdata en modelpre-training dan van het simpelweg vergroten van het datavolume.