🤖 AI

Improving Generalization Robustness of Multimodal RLVR

Dit artikel stelt Prompt-Invariant RLVR (PIRL) voor, een robuuste post-training methode die een dynamische ternaire beloning en een regularisator voor consistentie in de embeddingruimte combineert om de broosheid van standaard RLVR in multimodale modellen te verminderen, waardoor de generalisatie over semantisch equivalente maar geperturbeerde prompts aanzienlijk wordt verbeterd.

Oorspronkelijke auteurs: Pengfei Zhou, Zhiwei Tang, Xiaopeng Peng, Chenrui Zhou, Lama Moukheiber, Yixing Ma, Bin Xu, Jiajun Song, Zhenglin Wan, Wangbo Zhao, Jiasheng Tang, Bohan Zhuang, Fan Wang, Yang You

Gepubliceerd 2026-08-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Pengfei Zhou, Zhiwei Tang, Xiaopeng Peng, Chenrui Zhou, Lama Moukheiber, Yixing Ma, Bin Xu, Jiajun Song, Zhenglin Wan, Wangbo Zhao, Jiasheng Tang, Bohan Zhuang, Fan Wang, Yang You

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar letterlijke robot leert hoe hij puzzels moet oplossen. Je laat hem een foto van een kat zien en vraagt: "Welk dier is dit?" De robot leert perfect om "Kat" te zeggen. Maar dan verander je de vraag een klein beetje naar: "Identificeer de feline in de afbeelding." Plotseling bevriest de robot of geeft hij een fout antwoord. Dit is de wereld van Multimodale Large Language Models (MLLM's)—superintelligente AI-systemen die tegelijkertijd afbeeldingen kunnen zien en tekst kunnen lezen. Om deze robots nog slimmer te maken, gebruiken wetenschappers een techniek genaamd Reinforcement Learning with Verifiable Rewards (RLVR). Denk hierbij aan een videogame waarbij de robot alleen een "punt" krijgt als zijn antwoord overeenkomt met een strikte checklist (zoals een specifiek formaat of een correct getal). Het doel is om de robot beter te laten redeneren en meer punten te laten scoren. Maar hier zit de adder onder het gras: als de robot leert om de checklist te manipuleren in plaats van de puzzel echt te begrijpen, wordt hij fragiel. Hij kan de test wel halen wanneer de vragen exact lijken op de oefenvragen, maar faalt jammerlijk als je alleen de formulering van de vraag verandert. Dit is een groot probleem voor real-world toepassingen, zoals medische diagnoses of juridisch advies, waarbij een robot die breekt wanneer je de bewoording verandert, gevaarlijk kan zijn.

Maak kennis met een nieuwe studie die probeert dit probleem van "broosheid" op te lossen. De onderzoekers, onder leiding van Pengfei Zhou en collega's, ontdekten dat standaard trainingsmethoden AI leren om "formaat-snobs" te worden. Ze ontdekten dat wanneer een AI een beloning krijgt voor een correct antwoord, het beloningssysteem vaak twee dingen door elkaar haalt: het juiste antwoord geven en de formatteringregels volgen (zoals het antwoord in een specifiek kader plaatsen). Als de AI vergeet het antwoord in het kader te plaatsen, krijgt het nul punten, zelfs als het antwoord perfect is. Dit verwart de AI, waardoor de focus verschuift van de wiskunde of logica naar het kader zelf. Bovendien oefent de AI slechts op een zeer kleine, specifieke set vraagstijlen. Wanneer de AI in de echte wereld geconfronteerd wordt met een nieuwe manier om dezelfde vraag te stellen, raakt hij in paniek.

Om dit op te lossen, stelde het team een nieuwe trainingsmethode voor genaamd Prompt-Invariant RLVR (PIRL). Ze introduceerden twee belangrijke trucs. Ten eerste gaven ze de AI een "Dynamic Trinary Reward". In plaats van een simpele "Goed/Fout"-score, krijgt de AI nu een score met drie niveaus: +1 voor een correct antwoord in het juiste formaat, 0 voor een correct antwoord in het verkeerde formaat, en -1 voor een formateringsfout. Dit leert de AI dat de inhoud van het antwoord ertoe doet, zelfs als de vormgeving slordig is. Ten tweede voegden ze een "stuntdubbel" toe aan de training. Ze creëerden een adversarial agent die de vragen voortdurend op subtiele wijze herschrijft (zoals het veranderen van de bewoording of de instructiestijl), terwijl de betekenis hetzelfde blijft. De AI wordt vervolgens gedwongen om steeds hetzelfde juiste antwoord te geven, ongeacht hoe de vraag is aangekleed. Het is alsoals een student trainen om niet alleen een wiskundig probleem op te lossen op een specifiek werkblad, maar om het op te lossen of het nu in cursief schrift, gedrukt of hardop uitgesproken wordt.

De resultaten zijn veelbelovend. Wanneer ze hun nieuwe methode testten tegenover de oude standaard (genaamd GRPO), ontdekten ze dat de prestaties van de oude methode aanzienlijk daalden wanneer de prompts werden geherformuleerd (een "stress test"). Bijvoorbeeld, op sommige wiskundige benchmarks daalde de nauwkeurigheid van de standaardmethode met ongeveer 3% tot 4% wanneer de prompt veranderde. In contrast hiermee bleef de nieuwe PIRL-methode opmerkelijk stabiel, waarbij de nauwkeurigheid slechts met 1% of minder daalde. In sectoren met hoge inzet, zoals medische en juridische vragen waar betrouwbaarheid cruciaal is, behield PIRL de nauwkeurigheid veel beter dan de concurrentie. De studie suggereert dat door de beloning voor "het goed zijn" te scheiden van de beloning voor "er goed uitzien", en door te oefenen op een breder scala aan vraagstijlen, we AI kunnen bouwen die niet alleen slim is, maar ook robuust en betrouwbaar genoeg om de rommelige, onvoorspelbare manier waarop mensen daadwerkelijk praten, aan te kunnen.

Technische Samenvatting: Verbeteren van de Generalisatie-robuustheid van Multimodale RLVR

1. Probleemstelling

Het artikel behandelt de prompt-robuustheidskloof in Multimodale Large Language Models (MLLM's) die zijn gefinetuned via Reinforcement Learning met Verifieerbare Beloningen (RLVR). Hoewel RLVR de nauwkeurigheid op standaard benchmarks aanzienlijk verbetert door te optimaliseren tegen deterministische signalen (bijv. regex-matching of symbolische verificatie), zijn deze winsten broos. De auteurs observeren dat het simpelweg parafraseren van een vraag of het wijzigen van de prompt-template kan leiden tot een scherpe degradatie van de prestaties, wat modellen onbetrouwbaar maakt voor inzet in situaties met hoge belangen (bijv. medische of juridische VQA).

De auteurs identificeren twee grondoorzaken binnen de standaard RLVR-doelstelling:

Beloningsverstrengeling (Reward Entanglement): Standaard binaire verifiers (bijv. $V = V_f \cdot V_c$ ) vervuilen format-naleving ( $V_f$ ) met semantische correctheid ( $V_c$ ). Een beloning van nul kan niet onderscheid maken tussen een model dat de taak niet begreep en een model dat simpelweg faalde in het volgen van het output-formaat. Dit leidt tot een verlies van informatieve beloningsvariantie, vooral wanneer de format-naleving hoog is, waardoor het gradiëntsignaal vertekend raakt naar template-specifiek gedrag in plaats van algemene redenering.
Prompt-afhankelijkheid (Prompt Dependency): Standaard RLVR optimaliseert over een vaste trainingsdistributie ( $P_{train}$ ). Theoretische analyse (Propositie B.5) toont aan dat deze doelstelling niet-identificeerbaar is: beleid (policies) die perfect presteren op de trainings-templates maar falen op ongeziene, semantisch equivalente prompts, kunnen dezelfde trainingsbeloning behalen. Bijgevolg leert het model specifieke prompt-templates uit te buiten in plaats van prompt-invariante redenering te leren.

2. Methodologie: Prompt-Invariante RLVR (PIRL)

Om deze problemen aan te pakken, stellen de auteurs Prompt-Invariante RLVR (PIRL) voor, wat twee ontwerpcondities operationaliseert: Beloningsdecompositie (C1) en Invariantiecontrole (C2).

2.1. Dynamische Trinaire Beloning (DTR)

Om te voldoen aan Beloningsdecompositie, vervangt PIRL de standaard binaire verifier door een Dynamische Trinaire Beloning:
$R = R_t + \alpha_{rew} R_s$

$R_t$ (Format-bewuste Trinaire Verifier): Kent $+1$ toe voor een correct antwoord in het juiste formaat, $0$ voor een fout antwoord in het juiste formaat, en $-1$ voor een format-fout. Dit ontkoppelt format-naleving van semantische correctheid.
$R_s$ (Semantische Score): Een begrensde semantische score (afgeleid van een NLI-scorer) die variantie biedt binnen format-buckets. Zelfs als het formaat correct is, kan $R_s$ gradaties van semantische correctheid differentiëren.
Ontkoppelde Advantage Normalisatie (DAN): Om te voorkomen dat de schaling van de semantische score het trinaire signaal tijdens groepennormalisatie domineert, stellen de auteurs voor om $R_t$ en $R_s$ afzonderlijk te z-scoren binnen elke rollout-groep voordat ze worden gecombineerd.

2.2. Embedding-ruimte Adversary en Consistentie-regularisatie

Om te voldoen aan Invariantiecontrole, introduceert PIRL een adversariële trainingslus:

Adversariële Agent: Een adversary perturbeert de instructie-token embeddings binnen een begrensde $\ell_2$ -bal ( $\|\delta\|_2 \le \epsilon_{emb}$ ). Dit simuleert de worst-case herformulering van instructies zonder de visuele input of het grondwaarheid-antwoord te wijzigen. De adversary streeft ernaar de verwachte DTR-beloning van het beleid te minimaliseren.
Consistentie-regularisatie: Om te voorkomen dat het beleid onder deze perturbaties instort, wordt een consistentieverlies toegevoegd. Dit verlies minimaliseert de Kullback-Leibler (KL) divergentie tussen de token-distributies van het beleid onder de schone prompt en de adversariële (geperturbreerde) prompt. Dit fungeert als een hantebare surrogaat voor het afdwingen van antwoord-niveau invariantie over de semantische equivalentieklasse.

2.3. Trainingsdoelstelling

De algemene doelstelling combineert de clipped GRPO-loss (met gebruik van DAN-genormaliseerde advantages van DTR) met de consistentie-penalty:
$\min_{\theta} \mathbb{E}_{\mathbf{x} \sim \mathcal{D}} \left[ \mathcal{L}^{DAN}_{G}(\pi_\theta, \bar{q}; R_t, R_s) + \lambda \mathcal{L}_{cons}(\theta; \mathbf{x}, \bar{\phi}) \right]$
waarbij $\bar{q}$ de bevroren adversariële samples vertegenwoordigt die gegenereerd zijn via projected ascent.

3. Belangrijkste Bijdragen

Identificatie van de Prompt-robuustheidskloof: Het artikel onthult formeel dat standaard RLVR leidt tot overfitting op prompt-formaten, wat een kloof creëert waarbij modellen degraderen bij geparafraseerde prompts ondanks een hoge trainingsnauwkeurigheid.
Theoretische Formulering: De auteurs formaliseren prompt-robuustheid als optimalisatie over semantische equivalentieklassen. Ze bewijzen dat standaard binaire beloningen een belonings-variantie-bias veroorzaken en dat de trainingsdoelstelling lijdt onder niet-identificeerbaarheid met betrekking tot prompt-invariante beleidsregels.
PIRL-Framework: Ze stellen een concrete methode voor (PIRL) die beloningsdecompositie realiseert via DTR en invariantiecontrole via een embedding-ruimte adversary en consistentie-regularisatie.
Empirische Validatie: Uitgebreide experimenten over de Exam, Medical en Legal VQA-benchmarks tonen aan dat PIRL de prestatiedegradatie onder stress-testen aanzienlijk vermindert vergeleken met standaard GRPO en multi-template baselines.

4. Experimentele Resultaten

De auteurs evalueerden PIRL op Qwen2.5-VL-7B en Qwen3-VL-8B over drie domeinen:

Template Stress Test (T-Stress): Modellen werden getest op prompts met variërende aantallen ongeziene templates ( $N=1$ $N = 1$ tot $15$).
- Standaard GRPO vertoonde significante degradatie (bijv. $\Delta T \approx -4,4\%$ op MathVista voor Qwen2.5).
- PIRL behield stabiliteit, vertoonde vaak positieve of verwaarloosbare dalingen (bijv. $\Delta T \approx +0,3\%$ op MathVista).
- PIRL presteerde beter dan de Multi-Template (GRPO-MT) baseline, die het probleem slechts gedeeltelijk verzachtte.
Dynamische Evaluatie (D-Test): Gebruikmakend van operator-gebaseerde mutaties (parafraseren, lay-out wijzigingen, etc.).
- PIRL behaalde consequent de kleinste gemiddelde prestatiedaling over alle benchmarks vergeleken met GRPO en GRPO-MT.
- In domeinen met hoge belangen (Medisch en Juridisch) behield PIRL de nauwkeurigheid waar GRPO significant degradeerde (bijv. op PathVQA daalde GRPO met $-6,7\%$ terwijl PIRL slechts $-0,8\%$ daalde).
Ablatie-studies: De volledige PIRL-configuratie (MT + ADV + DTR) leverde de beste resultaten op. Hoewel de ablatie niet definitief de individuele noodzaak van DTR of de adversary isoleerde voor alle metrieken voorbij de multi-template baseline, bood de combinatie de meest robuuste prestaties zonder detecteerbare kosten.

5. Betekenis en Claims

Het artikel claimt dat PIRL de robuustheid herstelt van RLVR-getunede modellen tot een niveau dat vergelijkbaar met of zelfs beter is dan het basismodel, waardoor de prompt-robuustheidskloof effectief wordt gedicht.

Betrouwbaarheid: De methode is bijzonder significant voor domeinen met hoge belangen (medisch, juridisch) waar het onvermogen van een model om met herformuleerde instructies om te gaan, het onbetrouwbaar maakt, ongeacht de ruwe nauwkeurigheid.
Mechanisme: Het werk demonstreert dat de fragiliteit van RLVR geen inherente beperking is van reinforcement learning, maar een gevolg van beloningsverstrengeling en beperkte trainingsdekking. Door format te ontkoppelen van semantiek en invariantie af te dwingen, leert het model te generaliseren over de semantische equivalentieklasse in plaats van templates te memoriseren.
Bescheidenheid: De auteurs erkennen dat robuustheid geen correctheid garandeert (een stabiel model kan nog steeds met grote zekerheid fout zijn) en dat hun invariantie-doelstelling een hantebare vereenvoudiging is van de volledige semantische equivalentieklasse (opererend in de embedding-ruimte in plaats van de discrete token-ruimte). Zij positioneren PIRL als een methode om expert-menselijke oordeelsvorming in kritieke domeinen te ondersteunen, niet te vervangen.