Technische Samenvatting: Van Zien naar Denken: Ontkoppeling van Perceptie en Redenering Verbetert Post-Training van Visueel-Talige Modellen

1. Probleemstelling

Recente vooruitgang in Visueel-Talige Modellen (VLM's) heeft sterk de nadruk gelegd op langere chain-of-thought (CoT) redenering, vaak aangedreven door versterkingsleer (RL) technieken. Echter, dit werk identificeert een kritieke bottleneck: de prestaties op complexe visuele taken (bijvoorbeeld visuele wiskunde, meetkunde, diagrambegrip) worden vaak niet beperkt door redeneervermogen, maar door visuele perceptie.

De auteurs observeren dat wanneer een VLM een initiële fout maakt in het waarnemen van visuele details (bijvoorbeeld het verkeerd identificeren van een geometrische hoek of het aantal objecten), daaropvolgende redeneerstappen deze fout zelden corrigeren. In plaats daarvan versterkt het model de fout op basis van verkeerde perceptieve aannames, wat leidt tot lange, ingewikkelde redeneersporen die niet tot de juiste conclusie komen. Omgekeerd, wanneer de perceptie accuraat is, neigt de redenering beknopt te zijn en snel te convergeren. Het artikel betoogt dat huidige post-training paradigma's, die vaak perceptie- en redeneringsdata samenvoegen of prioriteit geven aan redenering, dit fundamentele tekort niet aanpakken.

2. Methodologie

De voorgestelde oplossing is een gefaseerd post-trainingkader dat VLM-capaciteiten ontkoppelt in drie distincte, sequentiële fasen, waarbij elk gebruikmaakt van gespecialiseerde datasets en trainingsstrategieën:

2.1. Capaciteitsdecompositie

De trainingspijplijn is verdeeld in drie fasen:

1. Visuele Perceptie: Richt zich op het herkennen van fijnkorrelige visuele details en ruimtelijke relaties zonder dat meervoudige redeneerstappen vereist zijn.
2. Tekstuele Redenering: Richt zich op logische inferentie met uitsluitend tekstuele invoer.
3. Visuele Redenering: Richt zich op complexe multimodale taken die zowel accurate perceptie als meervoudige redeneerstappen vereisen.

2.2. Data-synthese en Curatie

• Perceptiedata ($D_{perc}$): Gesynthetiseerd vanuit de DOCCI-dataset (fijnkorrelige afbeeldingbijschriften). Een LLM genereert perceptie-gerichte vragen op basis van bijschriften. Een filtermechanisme behoudt alleen steekproeven waarbij het basis-VLM niet correct kan antwoorden met alleen de afbeelding, maar wel slaagt wanneer het bijschrift wordt verstrekt. Dit isoleert steekproeven waarbij de beperking puur perceptief is.
• Tekstuele redeneringsdata ($D_{text}$): Afkomstig uit ORZ-Math-13k, met uitdagende wiskundeproblemen die zonder visuele invoer oplosbaar zijn.
• Visuele redeneringsdata ($D_{vis}$): Gecureerd uit meerdere open-source bronnen (CLEVR-Math, GeoQA170K, Math PUMA, enz.), die zowel perceptie als redenering vereisen.

2.3. Trainingsstrategieën

• Gefaseerde Training: Het model wordt sequentieel getraind ($D_{perc} \rightarrow D_{text} \rightarrow D_{vis}$) met behulp van Group Relative Policy Optimization (GRPO).
  • Fase 1 (Perceptie): De auteurs vergelijken Supervised Fine-Tuning (SFT) met Reinforcement Learning met Verifiable Rewards (RLVR). Zij vinden dat RLVR aanzienlijk effectiever is voor perceptie, omdat het hallucinerende interpretaties robuuster bestraft dan token-niveau SFT.
  • Fasen 2 & 3: Gebruiken GRPO om redeneervermogen te verfijnen.
• Omgaan met Vision Encoder: In de perceptiefase is de vision encoder actief. In daaropvolgende fasen variëren de strategieën (bijvoorbeeld het bevriezen van de encoder in tekstuele redeneringsfasen), maar de primaire drijver van succes is de geschaalde data-volgorde.
• Curriculum-integratie: De auteurs tonen aan dat deze op capaciteit gebaseerde fasering orthogonaal is aan traditionele op moeilijkheid gebaseerde curricula. Het combineren van beide (het ordenen van data op moeilijkheid binnen elke capaciteitsfase) levert additieve winsten op.

3. Belangrijkste Bijdragen

1. Ontkoppeling van Perceptie en Redenering: Het artikel stelt vast dat visuele perceptie een distincte, fundamentele capaciteit is die moet worden verankerd voordat visuele redenering wordt verfijnd. Het behandelen ervan als een samengevoegde taak leidt tot suboptimale prestaties.
2. Gefaseerd Trainingsparadigma: De auteurs stellen een specifieke trainingsvolgorde voor (Perceptie $\rightarrow$ Tekstuele Redenering $\rightarrow$ Visuele Redenering) die consistent beter presteert dan samengevoegde training. Het omkeren van deze volgorde (redeneren trainen voor perceptie) verslechtert de prestaties.
3. RLVR voor Perceptie: Het werk toont aan dat RLVR superieur is aan bijschrift-gebaseerde SFT voor het trainen van visuele perceptie, en biedt een sterkere trainingsimpuls die hallucinaties vermindert.
4. Efficiëntiewinsten: Modellen getraind met deze benadering bereiken een hogere nauwkeurigheid met aanzienlijk kortere redeneersporen (20,8% korter), wat aangeeft dat accurate perceptie de behoefte aan excessief "denken" om initiële fouten te corrigeren vermindert.
5. Nieuwe Curriculumdimensie: Het artikel introduceert "op capaciteit gebaseerd curriculumleren" als een complementaire aanpak ten opzichte van op moeilijkheid gebaseerde curricula, en toont aan dat het combineren van beide dimensies verdere verbeteringen oplevert.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op Qwen2.5-VL-7B en Qwen3-VL-8B backbones, waarbij gefaseerde training werd vergeleken met samengevoegde training en diverse open-weight baselines (bijvoorbeeld OneThinker, GThinker).

• Prestatiewinsten:
  • Visuele Wiskunde: Gefaseerde training verbeterde de WeMath-nauwkeurigheid met 5,2% (Qwen2.5-VL-7B) en 1,5% (Qwen3-VL-8B) ten opzichte van samengevoegde training. Op MathVista bereikte de gefaseerde Qwen3-VL-8B 75,9%.
  • Perceptie: De aanpak verbeterde de RealWorldQA-nauwkeurigheid met 3,7% (Qwen3-VL-8B) en behield hoge prestaties op A-OKVQA en POPE, waardoor de "perceptieve belasting" die vaak wordt gezien bij alleen redeneringstraining werd vermeden.
  • Totaal: De gefaseerde Qwen3-VL-8B behaalde een record gemiddelde van 65,8%, en overtrof zo het basismodel en de op redenering gespecialiseerde OneThinker-8B.
• Efficiëntie: Gefaseerde modellen produceerden redeneersporen die 20,8% korter waren dan die van samengevoegde modellen, terwijl ze een hogere nauwkeurigheid bereikten.
• Foutanalyse: Met behulp van een externe rechter (Claude-Haiku-4.5) vonden de auteurs dat gefaseerde training het aantal perceptiefouten in redeneersporen verlaagde van 857 naar 781 (van de 3044 steekproeven) in vergelijking met samengevoegde training.
• Generalisatie: De voordelen van gefaseerde training werden bevestigd over verschillende architecturen, waaronder InternVL3-8B en InternVL3.5-8B.

5. Betekenis en Beweringen

Het artikel beweert dat de dominante beperkende factor voor visuele redenering in huidige VLM's visuele perceptie is, en niet het redeneervermogen zelf. Bijgevolg kan "langer denken" geen compensatie bieden voor incorrecte perceptie.

De betekenis van dit werk ligt in:

• Paradigmaverschuiving: Weg van samengevoegde training naar een op capaciteit ontkoppelde, gefaseerde aanpak.
• Methodologische Inzicht: Het bewijzen dat de volgorde van training ertoe doet; perceptie moet het steigersysteem zijn voor redenering.
• Trainings-efficiëntie: Het aantonen dat betere perceptie leidt tot efficiëntere redenering (kortere sporen), wat de rekenkosten verlaagt.
• Curriculumontwerp: Het vestigen van op capaciteit gebaseerde fasering als een nieuwe, orthogonale dimensie ten opzichte van op moeilijkheid gebaseerde curricula die gecombineerd kunnen worden voor additieve winsten.

De auteurs concluderen dat het integreren van gespecialiseerde perceptiedata met een gefaseerd trainingsparadigma essentieel is voor het ontwikkelen van geavanceerde, algemeen toepasbare VLM's die complexe visuele taken betrouwbaar kunnen oplossen.