Technische Samenvatting: Asymmetrische Optimalisatie van Redeneren en Waarneming bij Post-Training van Vision-Language Modellen

1. Probleemstelling

Post-trainingstechnieken, met name Supervised Fine-Tuning (SFT) en Reinforcement Learning (RL), hebben de redeneercapaciteiten van geavanceerde Vision-Language Models (VLM's) aanzienlijk verbeterd. Deze winsten hebben zich echter niet evenredig vertaald naar waarnemingsvaardigheden. Recent onderzoek geeft aan dat post-training beperkte verbeteringen kan opleveren of zelfs de prestaties op het gebied van waarneming kan verslechteren, wat een bottleneck vormt voor end-to-end visueel redeneren. De centrale vraag die dit werk adresseert is: Waarom begunstigt post-training redeneren onevenredig ten opzichte van waarneming, en hoe kan deze asymmetrie worden verzacht?

De auteurs betogen dat waarnemingsfouten de effectiviteit van geavanceerd redeneren ernstig beperken. Om dit te onderzoeken, introduceren ze een gecontroleerd diagnostisch kader dat waarneming loskoppelt van redeneren, waardoor elke component onafhankelijk kan worden geëvalueerd en geoptimaliseerd.

2. Methodologie

2.1 Gecontroleerd Diagnostisch Kader

De auteurs stellen een kader voor dat is ontworpen om waarneming ($p$) en redeneren ($r$) binnen de output van het model te scheiden.

• Ontkoppelde Outputs: De outputsequentie is gestructureerd als $y = [p, r]$, waarbij $p$ een tekstuele transcriptie is van visuele informatie en $r$ het redeneerproces, gescheiden door speciale tokens. Dit dwingt een volgorde van "waarneming voor redeneren" af.
• Evaluatiemetrics:
  • Waarnemingsnauwkeurigheid ($a_p$): Gemeten door de gegenereerde waarneming $p$ van het model te vergelijken met een grondwaarheid canonieke representatie $p^*$.
  • Counterfactuele Redeneernauwkeurigheid ($a_r$): Om het redeneervermogen te isoleren van waarnemingsfouten, wordt het model gekonditioneerd op de grondwaarheid waarneming $p^*$ om redeneren $r'$ te genereren. De nauwkeurigheid wordt vervolgens gemeten als $Acc(r' | p^*)$.
  • End-to-End Nauwkeurigheid ($a$): De standaardnauwkeurigheid van de volledige pijplijn.
• Synthetische Taken: Om grondwaarheidannotaties en programmeerbare evaluatie te garanderen, gebruiken de auteurs twee synthetische taken:
  1. Grafiekverkleuring (GC): Invoerbeelden van grafieken; $p^*$ is de lijst met randen; correctheid vereist een geldige kleuring van knopen.
  2. Sudoku: Invoerbeelden van roosters; $p^*$ is het gedeeltelijk ingevulde rooster; correctheid vereist een geldige oplossing.
     Deze taken worden programmeerbaar gegenereerd vanuit tekstuele problemen om een canonieke $p^*$ te behouden.

2.2 Trainingsparadigma's

De studie evalueert twee dominante post-trainingmethoden:

• Supervised Fine-Tuning (SFT): Optimaliseert de token-gemiddelde cross-entropy-verlies over de outputsequentie.
• Reinforcement Learning (RL): Gebruikt Group Relative Policy Optimization (GRPO) met end-to-end nauwkeurigheid als primaire beloningssignaal.

2.3 Gehypothetiseerde Mechanismen en Interventies

De auteurs onderzoeken twee specifieke mechanismen die de asymmetrie aandrijven:

1. Hypothese 1: Token-ongelijkheid (SFT)

   • Mechanisme: Bij Chain-of-Thought (CoT)-supervisie nemen waarnemingstokens een aanzienlijk kleiner deel van de totale output in beslag dan redeneertokens. Omdat SFT token-gemiddeld verlies gebruikt, ontvangt waarneming een zwakker optimalisatiesignaal.
   • Interventie: Verliesherweging. Het SFT-verlies wordt gemodificeerd tot $L_{SFT, \lambda} = \lambda \frac{L_p}{|p|} + (1-\lambda) \frac{L_r}{|r|}$, waarbij $\lambda$ het gewicht van waarnemingstokens verhoogt. Ze testen ook NGDiff, een dynamische methode voor multi-task-balancing gebaseerd op gradiëntnormen.

2. Hypothese 2: Beloningskoppeling (RL)

   • Mechanisme: De uitkomstbeloning (end-to-end nauwkeurigheid) correleert sterker met redeneercorrectheid dan met waarnemingscorrectheid. Waarneming beïnvloedt de beloning alleen als het daaropvolgende redeneren ook correct is, wat leidt tot ruis of misgelijkte credittoewijzing voor waarneming.
   • Interventie: Beloningsaugmentatie. De beloningsfunctie wordt gemodificeerd tot $R_\alpha(y|x) = \alpha \cdot a_p + (1-\alpha) \cdot a$, waarbij expliciet een waarnemingssignaal wordt toegevoegd. Ze evalueren ook surrogaatbeloningen (CLIP-相似iteit, self-rewarding, lerarengebaseerde beloningen) voor scenario's waarin grondwaarheid waarnemingsbeloningen niet beschikbaar zijn.

3. Experimentele Resultaten

3.1 Empirische Opzet

Experimenten werden uitgevoerd op Qwen3-VL-2B en InternVL3.5-2B met behulp van de GC- en Sudoku-taken. De datasets omvatten 2.000 SFT-trainingsinstanties en 16.000 RL-trainingsinstanties per taak.

3.2 Bevindingen over SFT

• Bevestiging Asymmetrie: Standaard SFT verbetert de redeneernauwkeurigheid aanzienlijk, terwijl er minimale winsten worden geboekt in waarnemingsnauwkeurigheid.
• Validatie Token-ongelijkheid: Analyse toonde aan dat waarneming slechts ongeveer 2,5% van de tokens in CoT-sporen vertegenwoordigt, wat slechts 1,3% van het totale verlies en 8,5% van de gradiëntnorm bijdraagt.
• Effectiviteit Interventies:
  • Het verhogen van het waarnemingsgewicht ($\lambda$) verbetert de waarnemingsnauwkeurigheid, maar creëert een trade-off waarbij overmatige weging redeneren schaadt.
  • Optimale Balans: De end-to-end nauwkeurigheid piekt bij een matige opwaardering van waarneming.
  • Resultaten: Verliesherweging verbeterde de end-to-end nauwkeurigheid met 10,0–13,8 punten ten opzichte van standaard SFT. De dynamische NGDiff-methode verbeterde dit verder, met winsten tot 18,2 punten zonder handmatige hyperparameter-tuning.

3.3 Bevindingen over RL

• Bevestiging Asymmetrie: RL verbetert ook redeneren meer dan waarneming.
• Afwijzing Token-ongelijkheid: In tegenstelling tot SFT, mitigeerde het herwegen van tokenkansen in het RL-doel de asymmetrie niet en destabiliseerde het vaak de training. Dit geeft aan dat het aantal tokens niet de primaire drijver is in RL.
• Validatie Beloningskoppeling: Pearson-correlatieanalyse toonde aan dat de uitkomstbeloning sterk correleert met redeneren ($r \approx 0,65\text{--}1,00$) maar zwak met waarneming ($r \approx 0,34\text{--}0,43$).
• Effectiviteit Interventies:
  • Beloningsaugmentatie: Het toevoegen van een waarnemingsbeloning ($\alpha > 0$) verbeterde de waarnemingsnauwkeurigheid. Net als bij SFT bestaat er een trade-off, maar de end-to-end prestaties pieken bij een niet-nul $\alpha$.
  • Resultaten: Beloningsaugmentatie verbeterde de end-to-end nauwkeurigheid met maximaal 6,0 punten ten opzichte van standaard RL.
  • Surrogaatbeloningen: Wanneer grondwaarheid waarnemingsbeloningen niet beschikbaar waren, boden lerarengebaseerde beloningen (waarbij een sterker model wordt gebruikt om $p^*$ te genereren) het meest betrouwbare signaal, met een verbetering van 3,2 punten. CLIP-gebaseerde similariteit leverde een verwaarloosbaar signaal op.

4. Belangrijkste Bijdragen

1. Diagnostisch Kader: Introductie van een gecontroleerd kader met synthetische taken om waarneming en redeneren bij VLM-post-training te ontkoppelen en onafhankelijk te evalueren.
2. Identificatie Mechanismen: Identificatie van een consistente waarnemings-redeneren-asymmetrie bij zowel SFT als RL, waarbij de oorzaken worden teruggevoerd tot verschillende mechanismen: token-ongelijkheid bij SFT en beloningskoppeling bij RL.
3. Gerichte Interventies: Aantonen dat specifieke, paradigma-bewuste interventies deze componenten opnieuw in balans kunnen brengen:
   • SFT: Verliesherweging (statisch of dynamisch via NGDiff).
   • RL: Waarnemingsbewuste beloningsaugmentatie (met gebruik van grondwaarheid of betrouwbare surrogaten).
   • Deze interventies verbeterden de end-to-end visuele redeneerprestaties met maximaal 18,2 punten (SFT) en 6,0 punten (RL).

5. Betekenis en Claims

Het artikel beweert dat de waargenomen asymmetrie een fundamenteel gevolg is van standaard post-trainingdoelen en geen model-specifiek artefact. De auteurs betogen dat het uitsluitend vertrouwen op standaard SFT- of RL-doelen onvoldoende is voor robuust end-to-end visueel redeneren, omdat waarneming de dominante bottleneck blijft.

De betekenis van het werk ligt in het bieden van concrete, uitvoerbare strategieën om deze onevenwichtigheid te verzachten. Door de specifieke faalmodi te diagnosticeren (token-schaarste bij SFT, zwakke beloningssignalen bij RL), suggereren de auteurs dat toekomstige VLM-post-trainingpijplijnen expliciete balanceringsmechanismen moeten incorporeren—zoals verliesherweging of waarnemingsbewuste beloningen—om het volledige potentieel van visueel redeneren te ontsluiten. De studie benadrukt dat deze interventies praktisch zijn en kunnen worden geïntegreerd in real-world pijplijnen zodra waarnemingssupervisie of proxy-signalen beschikbaar zijn.

Beperkingen: De auteurs merken op dat de studie afhankelijk is van synthetische taken (Grafiekverkleuring en Sudoku) om variabelen te isoleren. Hoewel deze abstractie directe benchmarking op real-world diversiteit beperkt, is deze noodzakelijk om causale mechanismen vast te stellen die verborgen blijven in complexe, ambigu real-world data. De voorgestelde mechanismen (token-ongelijkheid en beloningskoppeling) worden betoogd als algemene eigenschappen van post-trainingdoelen, wat suggereert dat de interventies toepasbaar zijn buiten de synthetische setting.