🤖 machine learning

From Exploration to Exploitation: A Two-Stage Entropy RLVR Approach for Noise-Tolerant MLLM Training

Dit artikel introduceert een tweefasige, op entropie gebaseerde versterkingsleermethode voor multimodale grote taalmodellen die door dynamische overgang van exploratie naar exploitatie robuust presteert in omstandigheden met gelabelde ruis.

Oorspronkelijke auteurs: Donglai Xu, Hongzheng Yang, Yuzhi Zhao, Pingping Zhang, Jinpeng Chen, Wenao Ma, Zhijian Hou, Mengyang Wu, Xiaolei Li, Senkang Hu, Ziyi Guan, Jason Chun Lok Li, Lai Man Po

Gepubliceerd 2026-03-31

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Donglai Xu, Hongzheng Yang, Yuzhi Zhao, Pingping Zhang, Jinpeng Chen, Wenao Ma, Zhijian Hou, Mengyang Wu, Xiaolei Li, Senkang Hu, Ziyi Guan, Jason Chun Lok Li, Lai Man Po

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar nog jonge robot wilt leren om complexe taken uit te voeren, zoals het begrijpen van een computerscherm of het herkennen van dieren op foto's. Je wilt dit doen met Reinforcement Learning (versterkend leren), waarbij de robot probeert, een beloning krijgt als het goed is, en een straf als het fout is.

Het probleem is dat in de echte wereld de "leraren" (de data) vaak niet perfect zijn. Soms geven ze de verkeerde antwoorden, of zijn de labels verward. Dit noemen we ruis (noise). Als je robot te snel leert van deze verkeerde informatie, gaat hij de verkeerde weg op en kan hij nooit meer goed presteren.

De auteurs van dit paper hebben een slimme oplossing bedacht, die ze "Two-Stage Entropy RLVR" noemen. Laten we dit uitleggen met een simpele analogie: Het leren van een nieuwe stad.

De Probleemstelling: De Verkeerde Toerist

Stel je voor dat je een nieuwe stad wilt verkennen om de snelste route naar het centrum te vinden.

De oude methode (standaard GRPO): Je vraagt om hulp aan 10 lokale bewoners. Als 5 van hen zeggen "Ga links" (wat fout is) en 5 zeggen "Ga rechts" (goed), probeert de robot de gemiddelde mening te vinden. Maar als de "ruis" (de verkeerde bewoners) te dominant is, gaat de robot links, en blijft daar vastzitten.
Het gevaar van te vroeg vastleggen: Als de robot te snel zeker wordt van zijn keuze (te weinig variatie), luistert hij niet meer naar andere opties. Hij denkt: "Ah, links is goed!" en negeert dat het misschien juist fout is.

De Oplossing: Twee Fasen van Leren

De auteurs zeggen: "We moeten de robot eerst laten verkennen en daarna pas laten exploiteren (benutten)." Ze gebruiken hiervoor een concept uit de wiskunde genaamd Entropie (een maat voor onzekerheid of variatie).

Fase 1: De Verkenningsfase (Maximaliseren van Variatie)

Wat gebeurt er? In het begin van de training dwingen we de robot om veel verschillende dingen te proberen. We zeggen: "Probeer links, rechts, omhoog, omlaag, en zelfs rare routes!"
De Analogie: Het is alsof je de robot een blinddoek afdoet en zegt: "Loop maar eens alle kanten op, maak veel fouten, en ontdek de stad."
Waarom? Als de robot veel verschillende routes probeert, ziet hij dat de "verkeerde" bewoners (de ruis) niet consistent zijn. Hij merkt dat als hij links gaat, hij soms vastloopt. Door veel variatie te hebben, kan hij de echte goede route onderscheiden van de verkeerde adviezen. Hij wordt niet te snel zeker van een fout antwoord.

Fase 2: De Exploitatiefase (Minimaliseren van Variatie)

Wat gebeurt er? Zodra de robot genoeg heeft verkend en de goede route heeft gevonden, schakelen we over. Nu zeggen we: "Stop met rondhangen. Weet je nu waar je moet gaan? Doe het zeker en snel!" We dwingen de robot om zeker en consistent te worden.
De Analogie: De robot heeft nu de kaart in zijn hoofd. Hij hoeft niet meer te twijfelen. Hij loopt strak en doelgericht naar het centrum.
Waarom? Als je te lang blijft twijfelen en alles probeert, word je nooit efficiënt. Nu de robot weet wat goed is, moeten we hem helpen om die kennis vast te zetten en fouten te minimaliseren.

Waarom werkt dit zo goed?

De slimme truc van dit paper is dat ze deze twee fases automatisch laten schakelen.

Eerst: "Twijfel veel, probeer alles" (Maximaliseer Entropie). Dit beschermt de robot tegen de verkeerde labels in de data.
Later: "Wees zeker, focus" (Minimaliseer Entropie). Dit zorgt voor een hoge precisie en snelheid.

Als je dit andersom doet (eerst zeker zijn, dan twijfelen), of als je het de hele tijd doet, faalt het.

Te vroeg zeker zijn: De robot gelooft de verkeerde labels en gaat de verkeerde kant op.
Te lang twijfelen: De robot wordt nooit goed in de taak omdat hij nooit een definitief antwoord kiest.

Het Resultaat

In hun experimenten hebben ze getoond dat deze methode werkt, zelfs als 50% tot 100% van de trainingdata fout is!

Normale methoden zakken dan door de vloer.
Hun robot (met de twee-fasen aanpak) blijft stabiel en leert toch de juiste taken, of het nu gaat om het aanwijzen van knoppen op een scherm of het herkennen van dieren.

Kort samengevat:
Stel je voor dat je een student leert voor een examen met een boek vol fouten.

De oude methode is: "Lees het boek en onthoud alles wat er staat." (Resultaat: De student haalt het examen niet omdat hij de fouten heeft geleerd).
De nieuwe methode is: "Lees eerst het boek, maar twijfel aan alles en probeer alle mogelijke antwoorden uit (Fase 1). Zodra je merkt wat logisch is en wat niet, stop met twijfelen en onthoud alleen het juiste antwoord (Fase 2)."

Dit zorgt ervoor dat de student (de AI) niet wordt misleid door de fouten in het boek, maar toch slimmer wordt dan ooit tevoren.

Probleemstelling

Reinforcement Learning met Verifieerbare Beloningen (RLVR) voor Multimodale Grootte Taalmodellen (MLLMs) is momenteel zeer afhankelijk van hoogwaardige, gelabelde data. In real-world scenario's is dergelijke data echter vaak schaars en bevat het aanzienlijke annotatieruis (foutieve labels). Bestaande RLVR-methoden, zoals Group Relative Policy Optimization (GRPO), hebben onder ruisige supervisie twee grote problemen:

Overfitting op foutieve labels: Het model kan te snel convergeren naar incorrecte antwoorden die door de ruis worden bekrachtigd.
Onderdrukking van diversiteit: GRPO vereist een diverse set van antwoorden binnen een groep om een betrouwbare "advantage estimation" (voordeelschatting) te kunnen maken. Ruisige labels leiden vaak tot een te snelle convergentie naar één deterministisch (maar mogelijk fout) pad, wat de effectiviteit van de beloningsranking vermindert.

Bestaande oplossingen, zoals het gebruik van externe signalen (bijv. compilers of LLM-as-a-Judge) of interne signalen (willekeurige beloningen), zijn vaak inconsistent of niet specifiek genoeg voor de taak. Methoden die puur gebaseerd zijn op entropie-optimalisatie (alleen maximaliseren of alleen minimaliseren) falen ook: puur maximaliseren maakt convergentie moeilijk, terwijl puur minimaliseren het model in suboptimale deterministische gedragingen kan laten vastlopen.

Methodologie: Twee-Stadia Entropie-geleide RLVR

De auteurs stellen een nieuwe methode voor die de training dynamisch leidt van exploratie naar exploitatie door middel van een gefaseerde token-level entropie-optimalisatie.

Token-Level Entropie: In plaats van entropie op sequentieniveau te gebruiken, berekent de methode de onzekerheid per token tijdens het generatieproces. Dit biedt een granulaire maatstaf voor de voorspelbaarheid van het model.
Twee-Stadia Schema:
- Fase 1: Exploratie (Entropie Maximalisatie): In het begin van de training wordt een positieve regularisatieterm toegevoegd om de token-level entropie te maximaliseren. Dit moedigt het model aan om diverse outputpaden te genereren. Dit fungeert als een regularisator die voorkomt dat het model te vroeg vastloopt op ruisige labels en zorgt voor voldoende variatie binnen de groepen, wat essentieel is voor een betrouwbare GRPO-voordeelschatting.
- Fase 2: Exploitatie (Entropie Minimalisatie): Zodra het model voldoende informatie heeft opgepikt (na een switch-punt $\tau_{switch}$ ), schakelt de methode over naar het minimaliseren van de entropie. Dit moedigt het model aan om zelfverzekerde en deterministische output te produceren, waardoor de verworven kennis wordt geconsolideerd en de voorspellingsnauwkeurigheid wordt verfijnd.
Doelfunctie: De totale loss-functie combineert de standaard GRPO-loss met een dynamisch gewogen entropieloss:
$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{GRPO}} + \lambda(\tau)\, \mathcal{L}_{\text{entropy}}$
Waarbij $\lambda(\tau)$ positief is in Fase 1 (maximalisatie) en negatief in Fase 2 (minimalisatie).

Belangrijkste Bijdragen

Uitgebreide Evaluatie: De auteurs hebben experimenten uitgevoerd over meerdere dimensies: variërende ruisniveaus (van 0% tot 100% foutieve labels), diverse modelarchitecturen en -groottes (Qwen2-VL, Qwen2.5-VL, InternVL), en meerdere taken (GUI-grounding, fijnkorrelige classificatie, open-vocabulary objectdetectie).
Identificatie van Limitaties: Het paper toont aan dat standaard GRPO al redelijk robuust is tegen ruis (door zijn groepsnormalisatie), maar dat het combineren van GRPO met een dynamische entropiestrategie aanzienlijke verbeteringen oplevert ten opzichte van statische entropie-methoden.
De Twee-Stadia Strategie: Het introduceren van een "Maximaliseer eerst, Minimaliseer daarna"-schema dat de balans vindt tussen het vermijden van overfitting en het consolideren van kennis.

Resultaten

De methode werd getest op diverse benchmarks, waaronder ScreenSpot (GUI-grounding), Pets37 (fijnkorrelige classificatie) en COCO (objectdetectie).

Robuustheid tegen Ruis: De voorgestelde methode ("GRPO w. Two.") overtreft consistent standaard GRPO en andere baselines (zoals puur entropie-minimalisatie of -maximalisatie) over alle ruisniveaus.
- Bijvoorbeeld, op de ScreenSpot-taak met 50% ruisige labels, steeg de nauwkeurigheid van 76,2% (standaard GRPO) naar 80,2% met de twee-stadia methode.
- Bij 100% ruis (alle labels fout) behaalde de methode 75,8% nauwkeurigheid, wat een aanzienlijke verbetering is ten opzichte van de baselines.
Scalabiliteit: De methode werkt effectief op verschillende modelgroottes. Grotere modellen (zoals Qwen2-VL-7B) profiteerden zelfs nog meer van de twee-stadia planning.
Generalisatie: De methode toonde superieure Out-of-Distribution (OOD) prestaties op testsets zoals ScreenSpot-Pro en OS-World-G, zelfs wanneer getraind op data met aanzienlijke ruis.
Kwalitatieve Analyse: Visualisaties tonen aan dat de twee-stadia methode zorgt voor een diverse reeks redeneringspaden (zoals bij entropie-maximalisatie) die echter uiteindelijk convergeren naar een nauwkeurig, zelfverzekerd antwoord (zoals bij entropie-minimalisatie), in tegenstelling tot methoden die te snel vastlopen op foutieve paden.

Betekenis en Conclusie

Dit paper biedt een cruciale oplossing voor het toepassen van RLVR in real-world scenario's waar perfecte data niet beschikbaar is. De kerninzicht is dat entropie niet statisch moet worden geoptimaliseerd, maar dynamisch moet worden geschaald afhankelijk van het trainingsstadium.

De "From Exploration to Exploitation"-strategie maakt het mogelijk om MLLMs te trainen op datasets met aanzienlijke annotatieruis zonder dat het model overfit op fouten of zijn diversiteit verliest. Dit opent de deur voor het gebruik van RLVR op grootschalige, onzuivere datasets, wat essentieel is voor de verdere ontwikkeling van robuuste multimodale AI-systemen. De methode is model-agnostisch en kan worden toegepast op bestaande RLVR-frameworks zoals GRPO.