Technische Samenvatting: Voorbij Correctheid: Benchmarking en Afstemming van Responsgedrag in Hybride Denkende MLLM's

1. Probleemstelling

Multimodale Large Language Models (MLLM's) worden steeds vaker ingezet met hybride denkinterfaces, die twee verschillende inferentiemodi aanbieden: een deliberatieve denkmodus (waarbij extra rekenkracht tijdens de testtijd wordt toegewezen voor redeneren) en een niet-denkende modus (waarbij directe antwoorden worden gegeven onder strikte latentie- en tokenbudgetten). Hoewel deze modi verschillen in redeneerbudget, wordt van hen verwacht dat ze aan dezelfde gebruikersgerichte kwaliteitsstandaarden voldoen.

Het artikel identificeert een kritieke kloof: Correctheid alleen is onvoldoende om de kwaliteit van een respons te karakteriseren. Een model kan in de niet-denkende modus een feitelijk correct antwoord produceren, terwijl het ongewenste responsgedrag vertoont, zoals het lekken van interne redeneersporen, het herhalen van inhoud, het maken van logische tegenstrijdigheden of het aangaan van performatief redeneren zonder informatiewinst. De auteurs noemen de discrepantie in deze gebruikerszichtbare gedragingen tussen de twee modi respons-patroon misalignement (respons-patroon afwijking). Huidige optimalisatiestrategieën geven vaak prioriteit aan het correctheid van het antwoord of efficiëntie, waardoor ze falen in het beperken van de vorm van de geleverde respons, wat leidt tot systematische misalignement waarbij niet-denkende interfaces aanzienlijk hogere foutpercentages vertonen dan hun denkende tegenhangers.

2. Methodologie

2.1 PatternEval: Een met Fouten Verrijkte Diagnostische Benchmark

Om deze misalignement te kwantificeren, introduceren de auteurs PatternEval, een benchmark bestaande uit 2.415 multimodale prompts verspreid over drie taalfamilies:

1. Visuele Perceptie en Gronding (VG): Omvat OOD-perceptie, inhoudherkenning, gronding en feitelijkheid.
2. OCR en Gestructureerde Beeldbegrip (OS): Omvat OCR en grafiekbegrip.
3. Multimodale Kennisredenering (KR): Omvat STEM-, kennis- en algemene redeneertaken.

PatternEval is specifiek geconstrueerd om vier terugkerende respons-patroonfouten te testen:

• Chain-of-Thought (CoT) Lekken: Interne processporen, conceptanalyses of denkmarkeringen die in het uiteindelijke gebruikerszichtbare antwoord verschijnen.
• Respons Herhaling (Rep): Onnodige herhaling van zinnen, semantische inhoud of structuur.
• Logische Tegenstrijdigheid (Con): Onderling incompatibele claims binnen dezelfde respons.
• Performatief Redeneren (PR): Niet-onderbouwde redeneeromhulsels of analyses die geen informatiewinst opleveren.

Evaluatieprotocol:

• Judges: Een verifier-judge (Qwen3-Max) beoordeelt de taakcorrectheid ($c$), terwijl een patroon-judge (Seed-2.0-Pro met beeldtoegang) binaire labels toekent voor de vier fouttypen ($b_{cot}, b_{rep}, b_{con}, b_{pr}$).
• Metrieken: De benchmark rapporteert Nauwkeurigheid ($Acc$) en Trigger Rate ($Trigger$), gedefinieerd als het aandeel responsen dat ten minste één foutpatroon vertoont. Het gat tussen de modi wordt gemeten als $\Delta_{pat} = Trigger_{NT} - Trigger_{T}$.

2.2 PatternRM en PatternRL: Afstemming via Reinforcement Learning

Om de geïdentificeerde misalignement aan te pakken, stellen de auteurs een post-training framework voor:

• PatternRM (Reward Model): Een gespecialiseerd beloningsmodel getraind via Supervised Fine-Tuning (SFT) op 57.578 geannoteerde instanties. Het voorspelt de vier foutlabels op basis van de gegenereerde tekst (alleen tekstinvoer voor efficiëntie). Het is getraind om de mens-gealigneerde patroon-judge te benaderen.
• PatternRL (Reinforcement Learning): Een beleidsoptimalisatiemethode die patoonspecifieke straffen incorporeert in de beloningsfunctie.
  • Beloningsontwerp: De uiteindelijke beloning $r$ combineert een verifier-beloning voor correctheid ($s_{ver}$) en een hulp-patroonbeloning ($s_{pat}$).
  • $s_{pat} = -z \cdot \min(0.1, \sum w_p \hat{b}^p_{RM})$, waarbij $w$ de gewichten zijn voor elk fouttype (hoger voor CoT en Rep, lager voor Con en PR).
  • Dit ontwerp zorgt ervoor dat incorrecte antwoorden nul beloning ontvangen, terwijl correcte antwoorden worden gestraft als ze ongewenste patronen vertonen, zonder het primaire correctheidsdoel te overschrijven.

3. Belangrijkste Resultaten

3.1 Benchmark Bevindingen (PatternEval)

Evaluatie over 25 modelconfiguraties (inclusief Qwen, Kimi, Seed, Claude, Mimo en GPT-families) onthult:

• Systematische Misalignement: Niet-denkende inferentie vertoont consequent hogere foutpercentages dan denkende inferentie. Het gat ($\Delta_{pat}$) is positief voor alle modellen, waarbij sommige frontier-modellen gaten laten zien van wel 48,64 procentpunt (bijv. Kimi-K2.6).
• Dominante Foutmodi: CoT-lekken en responsherhaling zijn de meest voorkomende fouten, vooral in de niet-denkende modus.
• Capaciteit vs. Afstemming: Het vergroten van de model schaal (bijv. van 4B naar 397B in de Qwen3.5-serie) verbetert de taaknauwkeurigheid maar vermindert de cross-mode Trigger gap niet uniform. Het gat blijft substantieel (21–26 procentpunt), zelfs in grotere modellen.
• Lengte Correlatie: Er is een sterke positieve correlatie tussen de responslengte en de Trigger rates ($r=0,84$ in de denkmodus, $r=0,64$ in de niet-denkende modus). Incorrecte responsen zijn over het algemeen langer en foutgevoeliger dan correcte responsen.

3.2 Post-Training Uitkomsten (PatternRL)

Experimenten op Qwen3-VL-4B en Qwen3-VL-8B laten het volgende zien:

• Reductie in Fouten: PatternRL vermindert de niet-denkende Trigger rate aanzienlijk vergeleken met een correctheid-alleen baseline (BaseRL).
  • Qwen3-VL-4B: Trigger verminderd met 13,08 procentpunt.
  • Qwen3-VL-8B: Trigger verminderd met 14,35 procentpunt.
• Nauwkeurigheid Trade-off: Hoewel PatternRL de geaggregeerde nauwkeurigheid behoudt ten opzichte van de baseline in het 8B-model, brengt het een marginale trade-off met zich mee in de taakprestaties, met name bij het 4B-model waar de nauwkeurigheid licht daalt bij wiskunde- en logica-taken.
• Generalisatie: De methode mitigeert effectief respons-patroonfouten over diverse taalfamilies (VG, OS, KR) zonder dat er aparte modellen voor verschillende modi nodig zijn.

4. Bijdragen

1. Formulering van Respons-Patroon Afstemming: Het artikel definieert respons-patroon afstemming als een vereiste die complementair is aan antwoordcorrectheid, waarbij wordt benadrukt dat de gebruikerszichtbare gedragingen consistent moeten blijven over verschillende inferentiemodi.
2. PatternEval Benchmark: Introductie van een met fouten verrijkte diagnostische set die vier specifieke gebruikerszichtbare fouten test onder hybride denkinterfaces, wat een consistente misalignement gap onthult over state-of-the-art modellen.
3. PatternRM en PatternRL Framework: Ontwikkeling van een respons-niveau beloningsmodel en een reinforcement learning strategie die expliciet respons-patroonfouten bestraft. Deze aanpak mitigeert succesvol misalignement terwijl de taakprestaties grotendeels behouden blijven.

5. Betekenis en Claims

Het artikel betoogt dat beheersbare redeneerinspanning niet ten koste mag gaan van een instabiel responsgedrag. Het demonstreert dat sterke taakprestaties niet garanderen dat de respons-patronen stabiel zijn over verschillende inferentie-interfaces. Door PatternEval en PatternRL te introduceren, bieden de auteurs een praktisch framework voor het evalueren en trainen van hybride denkende MLLM's om ervoor te zorgen dat niet-denkende modi responsen leveren die niet alleen correct zijn, maar ook coherent, beknopt en vrij van onbedoelde procesbeschrijvingen.

De auteurs merken bescheiden op dat hoewel PatternRL fouten vermindert, het ze niet volledig elimineert, wat suggereert dat fundamentele verbeteringen mogelijk hogere kwaliteit supervisiedata en restricties vereisen die tijdens eerdere trainingsstadia (zoals SFT) worden toegepast, in plaats van enkel tijdens RL. Daarnaast observeren zij een capaciteitsafhankelijke trade-off, waarbij kleinere modellen meer kunnen lijden onder de beperkingen die door patroonbewuste optimalisatie worden opgelegd.