Long Grounded Thoughts: Synthesizing Visual Problems and Reasoning Chains at Scale

Deze paper introduceert een schaalbaar raamwerk voor het synthetiseren van meer dan 1 miljoen visueel gecentreerde redeneringsproblemen, die het finetunen van VLMs aanzienlijk verbeteren en bovendien positieve transfer naar tekst- en audioredenering mogelijk maken.

De kern

"Lang Grondige Gedachten": Hoe we een superleuke visuele school voor AI hebben gebouwd

Stel je voor dat je een jonge, slimme robot wilt leren om te kijken en te denken. Tot nu toe was dat een beetje zoals het proberen te leren van wiskunde met alleen maar saaie, korte oefeningen. De robot kon de simpele sommen oplossen, maar zodra het ingewikkeld werd, raakte hij in de war.

De auteurs van dit paper hebben een oplossing bedacht die ze "Long Grounded Thoughts" (Lang Grondige Gedachten) noemen. Ze hebben een manier gevonden om een enorme school te bouwen voor deze robots, met meer dan 1 miljoen nieuwe, moeilijke opgaven.

Hier is hoe het werkt, vertaald naar een simpel verhaal:

1. Het Probleem: De "Korte Gedachte"

Vroeger leerden we robots door ze foto's te tonen en te vragen: "Wat zie je?" of "Hoeveel appels zijn er?".

• Het probleem: De robots leerden snel, maar ze werden niet echt slim in redeneren. Ze gaven vaak direct een antwoord zonder na te denken, alsof ze gissen.
• De analogie: Het is alsof je een kind leert zwemmen door alleen maar in het ondiepe water te staan. Zodra je het in de diepe zee gooit, zakt het weg. Ze miste de "diepe duik" van het denken.

2. De Oplossing: Twee Stappen naar Slimheid

De onderzoekers hebben een tweestapsplan bedacht om de robot echt te laten nadenken.

Stap 1: De "Object-Scout" (Schalen)
In plaats van alleen naar de hele foto te kijken en te zeggen "Ik zie een kamer", laten ze de robot eerst de losse onderdelen bekijken.

• De analogie: Stel je voor dat je een foto van een rommelige kamer ziet. In plaats van te zeggen "Er is rommel", zegt de robot: "Ik zie een doos, een pop, een raam en een kledingstuk."
• Ze gebruiken een speciale bril (een technologie genaamd Grounded SAM) die elk object in de foto met een labeltje en een coördinaat markeert.
• Vervolgens laten ze een slimme AI (een "leraar") duizenden vragen bedenken over specifieke objecten. "Welk object staat links van de pop?" of "Wat is de kleur van het voorwerp in de hoek?"
• Resultaat: In plaats van 30.000 saaie vragen, hebben ze nu 1 miljoen unieke vragen. Het is alsof ze van een klein schooltje naar een enorme universiteit zijn gegaan.

Stap 2: De "Puzzel-Maker" (Complexiteit)
De eerste vragen waren nog wel een beetje makkelijk. Dus hebben ze een tweede stap toegevoegd: het samenvoegen van vragen.

• De analogie: Stel je hebt drie losse puzzelstukjes: "Waar is de pop?", "Wat is de kleur van de doos?" en "Wat staat er op het raam?". De robot kan deze losse stukjes wel. Maar nu maken ze een grote puzzel: "Als de pop links van de doos staat, en de doos is wit, en op het raam staat een tekening van een blauwe vogel... wat is dan de kleur van het object dat de pop vasthoudt?"
• De robot moet nu eerst stap 1, dan stap 2 en dan stap 3 doen voordat hij het antwoord kan geven. Dit heet compositional reasoning (samenstellend redeneren).
• Ze hebben de vragen zo moeilijk gemaakt dat de robot niet meer kan gissen. Hij moet nadenken.

3. De "Denksporen" (Reasoning Traces)

Dit is misschien wel het coolste deel. Ze laten de robot niet alleen het antwoord geven, maar ook hardop denken.

• De analogie: Normaal gesproken zegt een robot: "Het antwoord is A."
• Met hun methode zegt de robot: "Ik denk dat het A is... wacht even, laat me nog eens kijken. Oh, nee, ik zag eerst een hond, maar toen ik goed keek, zag ik dat het een pop was. Dus A is misschien niet goed. Laten we B proberen... ja, dat klopt!"
• Ze hebben een speciale techniek gebruikt om deze "denksporen" (Chain-of-Thought) te verrijken. Ze laten de robot eerst een kort antwoord geven, en dan een nog slimmere AI vragen om dat antwoord uit te breiden met twijfels, checks en terugkoppelingen.
• Dit zorgt ervoor dat de robot leert om fouten te herkennen en zichzelf te corrigeren, net als een mens.

4. Het Resultaat: Een Robot die Alles Kan

Ze hebben een robot (Qwen2.5-VL) getraind met deze 1 miljoen nieuwe opgaven. Het resultaat was verbazingwekkend:

• Beter dan de rest: De robot deed het veel beter dan andere openbare robots op moeilijke visuele testen.
• Slimme overdracht: Het gekke is: ze hebben de robot alleen getraind met plaatjes. Maar door zo goed te leren nadenken over plaatjes, werd hij ook beter in:
  • Tekst: Hij kon betere antwoorden geven op tekstvragen (zoals MMLU-Pro).
  • Geluid: Hij kon beter luisteren naar geluiden en muziek (zoals MMAU).
  • Robotica: Hij kon beter antwoorden op vragen over wat een robot in de echte wereld zou moeten doen.
• De les: Als je een robot leert om diep na te denken over één ding (plaatjes), wordt hij automatisch slimmer in alles.

Samenvatting in één zin

De onderzoekers hebben een manier bedacht om robots niet alleen plaatjes te laten zien, maar ze te dwingen om als een detective te werken: eerst de aanwijzingen verzamelen, dan twijfelen, dan controleren, en pas dan het antwoord geven. Hierdoor zijn ze van simpele kijkers veranderd in echte denkers.

Technische samenvatting

Probleemstelling

Ondanks snelle vooruitgang in multimodaal redeneren, ontbreekt er een systematische aanpak om grootschalige, visie-gerichte datasets te synthetiseren die verder gaan dan enkel visuele wiskunde. Bestaande open-source datasets voor multimodaal redeneren lijden vaak onder twee kritieke beperkingen:

1. Schalingsproblemen: Methoden die zich uitsluitend baseren op dichte beeldbeschrijvingen (dense captions) voor het genereren van problemen, raken snel verzadigd. Dit leidt tot een gebrek aan diversiteit en een plateau in de prestaties van de modellen.
2. Complexiteitsgebrek: Bestaande datasets missen vaak complexe redeneerstructuren (zoals verifiëren, terugkeren naar eerdere stappen, en het stellen van subdoelen) die nodig zijn voor echt diepgaand visueel redeneren. Veel gegenereerde vragen zijn triviaal oplosbaar voor basismodellen.

Het paper introduceert Long Grounded Thoughts (LGT), een framework dat deze uitdagingen aanpakt door een dataset te creëren met meer dan 1 miljoen hoogwaardige, visie-gerichte problemen, inclusief uitgebreide redeneersporen (Chain-of-Thoughts of CoTs).

Methodologie

Het framework van LGT gebruikt een tweestapsproces om zowel de schaal als de complexiteit van de gegenereerde data te maximaliseren:

Fase 1: Schaal en Diversiteit (Object-gecentreerde MCQ-generatie)
In plaats van alleen te vertrouwen op tekstuele beschrijvingen, combineert LGT dichte captions met gegroundede object-metadata (bounding box-coördinaten en objecttags), gegenereerd door modellen zoals Grounded-SAM.

• Proces: Voor elk object in een afbeelding wordt een specifieke meerkeuzevraag (MCQ) gegenereerd door een Large Language Model (LLM) dat zowel de tekstuele beschrijving als de objectlocaties gebruikt.
• Filtering: Om redundantie te voorkomen en de diversiteit te waarborgen, wordt een semantische filter toegepast die vragen verwijdert die te veel op elkaar lijken (gemeten via cosine similarity).
• Resultaat: Dit zorgt voor een veel bredere semantische spreiding en voorkomt dat het model steeds dezelfde opvallende objecten in de afbeelding target.

Fase 2: Complexiteit door Composities (Hardening)
Om de moeilijkheidsgraad te verhogen, worden eenvoudige MCQ's uit Fase 1 samengevoegd tot complexere, multi-hop problemen.

• Compositie: Een LLM neemt meerdere eenvoudige vragen over hetzelfde beeld en combineert deze tot één complexe vraag die vereist dat het model de sub-stapjes (de oorspronkelijke vragen) doorloopt om tot het eindantwoord te komen.
• Effect: Dit verlaagt het percentage triviaal oplosbare vragen aanzienlijk (van ~36% naar ~3%) en dwingt het model tot hogere-orde redenering.

Synthese van Redeneersporen (CoT)
Voor elke gegenereerde vraag worden lange redeneersporen gegenereerd in twee stappen:

1. Distillatie: Een Vision-Language Model (VLM) genereert een korte, initiële redenering ("Simple CoT").
2. Expansie: Een krachtig Reasoning LLM (zoals DeepSeek-R1 of Qwen2.5) breidt deze korte redenering uit tot een lang, niet-lineair spoor met complexe cognitieve gedragingen zoals zelfverificatie, terugkeren (backtracking) en het stellen van subdoelen.

• Belangrijk: De gegenereerde captions worden niet gebruikt voor het trainen van het eindmodel; ze dienen alleen als brug voor het redeneringsmodel tijdens de synthese.

Training en Versterking
De dataset wordt gebruikt voor:

• Supervised Fine-Tuning (SFT): Op de 1M+ gegenereerde problemen.
• Offline RL (DPO): Op basis van geprefereerde paren (correct vs. incorrect, of compact vs. uitgebreid).
• Online RL (GRPO): Directe versterking op de gegenereerde verifieerbare antwoorden.

Belangrijkste Bijdragen

1. Grootschalige Dataset: Een dataset van >1 miljoen visie-gerichte problemen, inclusief 129K extra problemen specifiek voor RL, wat een orde van grootte groter is dan eerdere werken (zoals LongPerceptualThoughts met 30K).
2. Verbeterde Complexiteit: Door composities te gebruiken, wordt de moeilijkheidsgraad drastisch verhoogd. De dataset bevat 3x meer complexe cognitieve gedragingen (subdoelen, backtracking, verificatie) dan bestaande baselines.
3. Efficiëntie en Schaalbaarheid: Het gebruik van object-metadata lost het "mode collapse"-probleem op bij schaalbare data-generatie, waardoor prestaties blijven stijgen tot boven de 1 miljoen voorbeelden.
4. Gedetailleerde Analyse van Post-Training: Het paper biedt een van de meest uitgebreide studies naar het volledige post-training spectrum (SFT, Offline RL, Online RL) voor Vision-Language Models (VLMs).

Resultaten

• Prestaties op Benchmarks: Een Qwen2.5-VL-7B model, gefinetuned op LGT-data, overtreft alle bestaande open-data baselines op visie-gerichte benchmarks (V*Bench, CV-Bench, MMStar-V).
• Vergelijking met Gesloten Modellen: De beste configuraties van LGT presteren gelijk aan of beter dan sterke gesloten modellen (zoals MiMo-VL-7B-RL) op 3 van de 5 geteste benchmarks.
• Cross-Modale Transfer: Hoewel de dataset puur visueel is, vertoont het model positieve transfer naar:
  • Tekst-only redeneren: +3,7% verbetering op MMLU-Pro.
  • Audio-redeneren: +1,32% verbetering op MMAU (geluid en muziek).
  • Embodied QA: +8,8% verbetering op NiEH (Open-ended embodied QA), ondanks dat er geen video of robotdata in de training zat.
• Post-Training Inzichten:
  • Online RL (GRPO) faalt zonder eerst "cognitief gedrag" te hebben geleerd via SFT op hoogwaardige data.
  • Offline RL (SFT + DPO) kan de prestaties van Online RL benaderen, maar met minder rekenkracht en meer flexibiliteit.
  • Kwalitatief hoogwaardige SFT-data is essentieel voor het succes van online RL.

Betekenis

Dit werk markeert een doorbraak in de democratisering van visueel redeneren. Het bewijst dat het mogelijk is om op grote schaal complexe, visuele redeneerproblemen te synthetiseren die niet afhankelijk zijn van menselijke annotatie. De bevindingen tonen aan dat het trainen op hoogwaardige, visueel-gegroundede redeneersporen niet alleen de visuele vaardigheden verbetert, maar ook de algemene redeneercapaciteiten van het model versterkt, wat leidt tot robuuste prestaties over verschillende modaliteiten heen. Dit biedt een blauwdruk voor het ontwikkelen van krachtige, open-source multimodale modellen zonder de afhankelijkheid van gesloten, proprietair data.