🤖 AI

Internalized Reasoning for Long-Context Visual Document Understanding

Deze paper introduceert een synthetische data-pijplijn voor het internaliseren van redenering in visuele lang-documenten begrijpen, wat resulteert in prestaties die grotere modellen overtreffen en de outputlengte aanzienlijk verkleint.

Oorspronkelijke auteurs: Austin Veselka

Gepubliceerd 2026-04-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Austin Veselka

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek binnenloopt, vol met duizenden boeken die elk honderden pagina's lang zijn. Je krijgt een specifieke vraag: "Hoeveel mensen zijn er in de afgelopen 10 jaar omgekomen bij de metro?"

Een gewone computer (een AI-model) zou proberen om elke pagina van elk boek te lezen, van begin tot eind, voordat hij een antwoord geeft. Dat is niet alleen extreem traag, maar het maakt de computer ook vaak "dwaas" of verward door de hoeveelheid informatie. Het is alsof je probeert een speld te vinden in een hooiberg door de hele hooiberg één voor één te tellen, in plaats van te kijken waar de hooiberg het grootst is.

Deze paper, geschreven door Austin Veselka van LightOn, introduceert een slimme manier om dit probleem op te lossen. Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Dwaas" die alles leest

Tot nu toe waren de slimste AI-modellen voor documenten (zoals het lezen van juridische contracten of wetenschappelijke papers) vaak goed in het zien van de tekst, maar slecht in het redeneren. Ze konden een antwoord vinden als het op de eerste pagina stond, maar als het antwoord verspreid lag over 50 pagina's, raakten ze de draad kwijt.

Ze deden alsof ze een student waren die een tentamen moet doen, maar die elke zin in het hele boek uit het hoofd probeert te leren in plaats van te begrijpen wat er echt belangrijk is.

2. De Oplossing: De Slimme Liberaal (De Synthetische Pipeline)

De auteurs hebben een nieuw systeem bedacht dat de AI leert om te denken voordat hij antwoordt. Ze noemen dit een "synthetische data-pipeline".

Stel je voor dat je een zeer slimme, maar dure detective (de "Grote AI") hebt. Deze detective is te duur om elke dag te betalen om 100 boeken te lezen.

De Oude Manier: Je laat de detective het hele boek lezen, pagina voor pagina, en hoopt dat hij het antwoord vindt.
De Nieuwe Manier (Deze Paper):
1. Je geeft eerst een snelle, goedkope assistent (een kleinere AI) de opdracht om door het boek te bladeren.
2. Deze assistent kijkt naar elke pagina en zegt: "Is dit relevant voor de vraag?"
3. Hij maakt een lijstje van de belangrijkste pagina's (bijvoorbeeld de top 5) en schrijft erbij waarom ze belangrijk zijn.
4. Pas daarna geeft hij deze korte, samengevatte lijst aan de dure detective. De detective hoeft nu alleen nog maar deze 5 pagina's te lezen en kan een perfect antwoord geven.

Dit proces wordt gebruikt om de AI te trainen. De AI leert niet alleen het antwoord, maar ook hoe je die relevante pagina's vindt en sorteert.

3. De Magie: Het "Inwendige Denken" (Internalized Reasoning)

Dit is het meest fascinerende deel van de paper. Normaal gesproken moet een AI hardop "denken" (een lange lijst met redeneringen tonen) voordat hij een antwoord geeft. Dit duurt lang en kost veel rekenkracht.

De auteurs hebben een trucje gevonden om dit denken in de hersenen van de AI te stoppen.

De Vergelijking: Stel je voor dat je een pianist bent die een moeilijk stuk moet spelen.
- Oude manier: De pianist speelt het stuk heel langzaam, noteert elke noot op een blaadje, en zegt hardop: "Nu een C, dan een E..." voordat hij de volgende noot speelt.
- Nieuwe manier: De pianist heeft zo vaak geoefend met die notities dat hij het stuk nu uit het hoofd kan spelen. Hij denkt nog steeds na over de muziek (hij gebruikt de logica), maar hij hoeft het niet meer hardop te zeggen of op te schrijven. Het denken is "geïnternaliseerd".

In de paper noemen ze dit "low-strength model merging". Ze nemen de AI die heeft geleerd om te denken, en "mengen" deze op een subtiele manier met de basis-AI. Het resultaat is een model dat net zo slim is als de denker, maar die niet meer hoeft te "praten" over zijn gedachten. Het antwoord komt er direct uit, maar het is net zo goed als wanneer het hardop had nagedacht.

4. Waarom is dit zo belangrijk?

Snelheid en Kosten: Omdat de AI niet meer hoeft te "praten" over zijn redenering (geen lange tekstblokken met "Ik denk dat..."), is hij 12 keer sneller en goedkoper.
Beter dan de "Grote Broer": Hun model, dat 7 keer kleiner is dan de grootste AI van Qwen (een concurrent), scoort beter op de test. Ze hebben bewezen dat je niet per se een gigantisch model nodig hebt als je het juiste "denkproces" hebt.
Geen "Gedachten" nodig: Ze hebben getoond dat je de AI een knop kunt geven. Als je de knop "Denken" aan zet, denkt hij hardop. Als je hem uit zet, denkt hij in zijn hoofd en geeft hij direct het antwoord. Maar in beide gevallen is het antwoord even goed.

Samenvatting in één zin

De auteurs hebben een manier gevonden om AI's te leren hoe ze in een berg documenten de juiste informatie moeten vinden en ordenen, en ze hebben die vaardigheid zo diep in de AI "ingebouwd" dat hij nu razendsnel en slim kan antwoorden zonder dat hij eerst een lang verhaal hoeft te vertellen over hoe hij tot dat antwoord kwam.

Het is alsof je een student hebt die niet alleen het antwoord op zijn tentamen weet, maar ook de kunst heeft geleerd om het antwoord te vinden, zonder dat hij zijn werkstuk hoeft in te leveren.

Titel: Internalized Reasoning for Long-Context Visual Document Understanding

Auteur: Austin Veselka (LightOn)
Datum: 31 maart 2026 (Preprint)

1. Het Probleem

Visueel lange-documentbegrip (Visual Long-Document Understanding) is cruciaal voor zakelijke, juridische, wetenschappelijke en financiële toepassingen. Hoewel er sterke open-source modellen zijn (zoals Qwen3 VL), presteren deze vaak onder de menselijke baseline op benchmarks zoals MMLongBenchDoc.

Het tekort aan redenering: Bestaande open-source methoden voor lange documenten missen vaak geavanceerde redeneercapaciteiten, die wel succesvol zijn gebleken in wiskunde en coderen.
De "Thinking" kloof: Zelfs de grootste modellen (zoals Qwen3 VL 235B) tonen geen significante verbetering in documentbegrip wanneer ze zijn getraind met "Thinking"-traces (expliciete redenering). De "Thinking"-varianten presteren vaak zelfs slechter dan hun instructie-gebaseerde tegenhangers.
Efficiëntie: Expliciete redenering leidt vaak tot zeer lange outputsequenties, wat inference-tijd en kosten verhoogt.

2. Methodologie

De auteurs introduceren een synthetische data-pijplijn om redenering te genereren voor lange documenten, gevolgd door een techniek om deze vaardigheid te "internaliseren" (impliciet maken).

A. Synthetische Redeneerpijplijn

De pijplijn genereert gestructureerde "denksporen" (thinking traces) in twee fasen:

Evidence-extractie en relevantiescoring: Een VLM (Qwen3 VL 32B) verwerkt elke pagina van een document onafhankelijk. Het extrahert tekstuele bewijs en kiest een relevantiescore (0-10). Pagina's onder een drempelwaarde worden verwijderd.
Sortering en selectie: De overgebleven pagina's worden gesorteerd van meest naar minst relevant. Er wordt een gebonden top-K selectie gemaakt (standaard K=24).
- Belangrijk verschil met eerdere versies (v1 vs v2): De oorspronkelijke versie (v1) scanneerde alle pagina's sequentieel, wat leidde tot oneindige lussen in het model. De nieuwe versie (v2) gebruikt een "gebonden ophaalprocedure" (bounded retrieval) die alleen de meest relevante pagina's toont, zonder irrelevante markers.
Antwoordgeneratie: Er worden twee takken gebruikt:
- Visuele tak: Een sterke teacher-VLM (Qwen3 VL 235B) gebruikt de afbeeldingen van de top-pagina's.
- Tekst-tak: Een sterke teacher-LLM gebruikt alleen de geëxtraherde tekst.
- De trainingsexamples worden gelijk verdeeld over beide takken.

B. Training en Internalisatie

SFT met Controletoken: De synthetische traces worden getraind met Supervised Fine-Tuning (SFT). Een <cot> controletoken bepaalt of de redenatie zichtbaar is in de output. In 95% van de gevallen is het token aanwezig; in 5% niet.
Model Merging (Internalisatie): Om de redenering impliciet te maken, gebruiken de auteurs "low-strength model merging" (task arithmetic).
- Formule: $\theta_{merged} = \theta_{base} + \alpha \cdot (\theta_{SFT} - \theta_{base})$
- Bij een lage merge-strength ( $\alpha = 0.25$ ) genereert het model geen expliciete denkstappen (geen <thought> tags), maar behoudt het wel de prestaties van het redeneren. De redenering is "gecomprimeerd" in de gewichten van het model.
- Bij een hogere strength ( $\alpha = 0.5$ ) keert het model terug naar expliciete, zichtbare redenering.

3. Belangrijkste Bijdragen

Synthetische Redeneerpijplijn: Een nieuwe methode voor lange documenten die state-of-the-art (SOTA) resultaten bereikt op MMLongBenchDoc, zelfs met een model dat 7x kleiner is dan de huidige leider (Qwen3 VL 32B vs 235B).
Internalized Reasoning: Het aantonen dat redenering kan worden "ingebouwd" in een model via lage merge-strength. Het model voert de redenering uit tijdens inference zonder de token-overhead van expliciete denkstappen.
Controleerbare Inference: Door het gebruik van het <cot> token tijdens training, kunnen de auteurs het effect van redenering tijdens inference testen. Het verwijderen van het token bij een internalized model verlaagt de prestaties, wat bewijst dat de vaardigheid actief is en niet slechts een trainingsartefact.
Superioriteit boven Distillatie: Synthetische, gestructureerde traces (v2) presteren beter dan het distilleren van "Thinking"-traces van het Qwen3 VL 235B Thinking-model. Dit suggereert dat de ontwerp van de trace belangrijker is dan de aanwezigheid van redenering in het algemeen.

4. Resultaten

De resultaten zijn getest op Qwen3 VL 32B en Mistral Small 3.1 24B.

SOTA Prestaties:
- Het Qwen3 VL 32B model met synthetische redenering scoort 58.3 op MMLongBenchDoc.
- Dit is hoger dan het 7x grotere Qwen3 VL 235B A22B (57.0) en de menselijke baseline (65.8) is deels bereikt.
- Voor Mistral Small 3.1 24B is er een verbetering van +19% ten opzichte van het basismodel.
Efficiëntie:
- Internalized reasoning (bij $\alpha=0.25$ ) produceert gemiddeld 12.4x minder output-tokens dan expliciete reasoning (bij $\alpha=0.5$ ).
- Voor Qwen: 250 tokens (internalized) vs 1637 tokens (expliciet).
Validatie van Internalisatie:
- Als het <cot> token wordt verwijderd tijdens het testen van het internalized model, daalt de score met 3.8 punten (Qwen) en 2.1 punten (Mistral). Dit bewijst dat de redenering actief wordt gebruikt tijdens de inferentie.
- Het gebruik van "Thinking"-traces van het Qwen3 VL 235B Thinking-model als distillatiebron werkt minder goed dan de eigen synthetische traces.

5. Significantie en Conclusie

Dit paper biedt een doorbraak in het veld van lange-documentbegrip door te tonen dat:

Redenering essentieel is voor complexe documenttaken, zelfs als verifieerbare beloningen (zoals in wiskunde) ontbreken.
Synthetische data-ontwerp cruciaal is: Een goed gestructureerde, gebonden trace (v2) is effectiever dan het kopiëren van bestaande "Thinking"-modellen.
Internalisatie mogelijk is: Het is mogelijk om dure redeneerprocessen te comprimeren in de modelgewichten via low-strength merging. Dit resulteert in modellen die "slim" denken zonder de kosten van lange output-sequenties, wat ze zeer geschikt maakt voor productietoepassingen in enterprise en juridische domeinen.

De auteurs publiceren hun pijplijn en code om reproduceerbaarheid en verdere exploratie te bevorderen.