🤖 AI

Hybrid Advantage Estimation with Unified Critic for VLM Agentic Reinforcement Learning

Dit artikel stelt HyGAE voor, een actor-critic framework dat een theoretisch gefundeerde hybride advantage en een verenigde critic introduceert om gezamenlijk token- en turn-level doelstellingen te optimaliseren voor VLM agentic reinforcement learning, waarbij een succespercentage van 91% en een verbetering van 10% ten opzichte van bestaande methoden in multi-turn besluitvormingsomgevingen wordt bereikt.

Oorspronkelijke auteurs: Wenxuan Zhang, Yuhui Wang, Donggang Jia, Xiaoqian Shen, Jian Ding, Ivan Viola, Jürgen Schmidhuber, Mohamed Elhoseiny

Gepubliceerd 2026-07-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Wenxuan Zhang, Yuhui Wang, Donggang Jia, Xiaoqian Shen, Jian Ding, Ivan Viola, Jürgen Schmidhuber, Mohamed Elhoseiny

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot leert om een complex computerspel te spelen. Deze robot heeft een brein dat plaatjes kan zien en taal begrijpt, maar het is een beetje kortzichtig. Het is geweldig in het bekijken van het huidige scherm en het raden van de volgende zet, maar het vergeet vaak wat er vijf beurten geleden is gebeurd. Als het een zet probeert en faalt, probeert het misschien precies hetzelfde ding opnieuw, keer op keer, omdat het niet lijkt te leren van zijn fouten in het grotere plaatje. Dit is de uitdaging van "multi-turn besluitvorming" voor Kunstmatige Intelligentie: hoe leren we een model niet alleen te reageren op het nu, maar om een hele strategie te plannen over een langere tijd?

Om dit op te lossen, gebruiken wetenschappers een methode genaamd Reinforcement Learning (RL). Denk aan RL als het trainen van een hond met snoepjes. De hond probeert een actie, en als hij iets goeds doet, krijgt hij een snoepje (een beloning). Als hij iets slechts doet, krijgt hij geen snoepje of een zachte "nee". Het doel is om de AI te leren om zijn snoepjes te maximaliseren. Maar er is een lastig deel: hoe bepaal je welk specifieke gedachte of woord de AI zei dat de "goede" was? Was de hele zin de beloning waard, of alleen het laatste woord? Dit artikel pakt dat exacte puzzelstuk aan, door te proberen uit te zoeken wat de beste manier is om krediet (of schuld) te geven aan de acties van een AI, of die acties nu kleine stappen zijn zoals het typen van een enkele letter of grote stappen zoals het voltooien van een hele ronde in een spel.

De onderzoekers achter deze studie, onder leiding van Wenxuan Zhang en collega's, merkten op dat huidige methoden vastzaten in het midden. Sommige methoden behandelden elk enkel woord dat de AI genereerde als een aparte actie, wat is als een hond een snoepje geven voor elke poot die hij optilt, zelfs als hij alleen maar aan zijn oor krabt. Anderen behandelden de hele gespreksturn als één grote actie, wat is als pas een snoepje geven aan het einde van een truc, waardoor het moeilijk wordt om te weten welke specische beweging de held was. Het team realiseerde zich dat beide benaderingen hun gebreken hebben, en dat de beste oplossing een hybride zou kunnen zijn.

Ze ontwikkelden een nieuw framework genaamd HyGAE (Hybrid Generalized Advantage Estimation). Stel je voor dat je een voetbalteam coacht. De "token-wise" benadering is als het prijzen van elke enkele pass die de spelers maken, zelfs als de bal niet vooruit gaat. De "turn-wise" benadering is als alleen juichen wanneer er een doelpunt wordt gescoord, waarbij de passes die tot het doelpunt leidden worden genegeerd. HyGAE is de coach die beide doet: het geeft een beetje lof voor de individuele passes (de tokens) om de spelers scherp te houden, maar het weegt het uiteindelijke doelpunt (de turn) ook zwaar mee om ervoor te zorgen dat het team daadwerkelijk wint.

Het artikel bewijst wiskundig dat je deze twee manieren van denken kunt combineren zonder twee aparte coaches nodig te hebben. Ze creëerden een "Unified Critic"—één enkele rechter die zowel de kleine stappen als het grote plaatje tegelijkertijd kan evalueren. Deze rechter gebruikt een speciale formule om de beloningen te mengen, waardoor de AI leert om zowel nauwkeurig in zijn taal als strategisch in zijn planning te zijn. Ze testten dit op vijf verschillende spel-achtige omgevingen, van het duwen van dozen in een raster (Sokoban) tot het navigeren van een robotarm om blokken te stapelen.

De resultaten waren indrukwekkend. In deze tests bereikte de met HyGAE getrainde AI een gemiddeld succespercentage van 91%, wat ongeveer 10% beter was dan andere topmethoden. De onderzoekers ontdekten dat deze specifieke manier van het mengen van de beloningen cruciaal was; als ze probeerden de scores gewoon te middelen zonder de precieze wiskundige formule die ze ontdekten, zou de training vaak falen of instabiel worden. Ze toonden ook aan dat deze methode de AI helpt om de "kortzichtigheid"-val te vermijden, waarbij het steeds dezelfde mislukte actie herhaalt. Met HyGAE leert de AI juist naar zijn geschiedenis te kijken, te beseffen dat een zet niet werkte, en onmiddellijk een andere strategie te proberen om zijn doel te bereiken.

Kortom, dit artikel suggereert niet alleen een nieuwe truc; het biedt een solide wiskundige fundering voor een betere manier om AI-agenten te trainen. Door te bewijzen dat je zowel de kleine details als de grote strategieën tegelijkertijd kunt optimaliseren, hebben ze de AI een veel duidelijkere weg geboden om een echte, langetermijnplanner te worden in plaats van alleen een reactieve gokker.

Technische Samenvatting: Hybride Advantage Estimatie met een Unified Critic voor VLM Agentic Reinforcement Learning

Probleemstelling

Large Vision-Language Models (VLMs) worden steeds vaker ingezet als agenten in interactieve, multi-turn omgevingen waar succes afhankelijk is van coherente redenering en sequentiële besluitvorming. De huidige VLMs lijden echter aan "bijziendheid", waarbij ze vaak redeneren op basis van de meest recente observatie terwijl ze de context van eerdere acties en feedback verwaarlozen. Dit leidt tot repetitief, niet-adaptief gedrag waarbij multi-turn besluitvorming vervalt in onsamenhangende single-turn generaties.

Bestaande reinforcement learning (RL) benaderingen voor VLMs hanteren over het algemeen één van de twee modelleringsparadigma's, die beide beperkingen hebben:

Token-wise RL: Behandelt elke gegenereerde token als een individuele actie. Hoewel dit fijne sturing biedt voor taalgeneratie, slaagt het er vaak niet in om effectief gebruik te maken van intermediaire turn-level feedback.
Turn-wise RL: Behandelt de gehele sequentie van tokens die tijdens een turn worden gegenereerd als een enkele macro-actie. Dit maakt beter gebruik van intermediaire feedback voor intra-turn differentiatie, maar mist de fijne controle die nodig is voor stabiele autoregressieve generatie.

Eerdere werken die proberen deze niveaus te combineren, vertrouwen vaak op complexe hiërarchische modellen of heuristische credit assignment zonder een verenigde theoretische fundering, wat leidt tot een suboptimale bias-variance afweging.

Methodologie: HyGAE

De auteurs stellen HyGAE voor (Hybrid Advantage Estimation with Unified Critic), een actor-critic framework dat zowel token-level als turn-level objectives gezamenlijk optimaliseert. De methode is gebaseerd op een theoretische unificatie van de twee RL-formuleringen.

Theoretische Formulering

Het artikel stelt vast dat token-wise en turn-wise RL kunnen worden beschouwd binnen een verenigd Partially Observable Markov Decision Process (POMDP) framework.

Equivalentie van Gradiënten: De auteurs bewijzen dat onder specifieke discount factor restricties ( $\gamma_t = \gamma^{I_t}$ , waarbij $I_t$ de turn lengte is), de policy gradients voor token-wise en turn-wise objectives identiek zijn.
Unified Critic: Ze demonstreren dat een enkele value function (critic) waarden voor beide niveaus kan schatten. Specifiek is de turn-wise waarde aan het begin van een turn equivalent aan de token-wise waarde van de laatste token van die turn, mits de discount factoren zijn uitgelijnd. Dit elimineert de noodzaak voor aparte value modellen, wat de computationele overhead vermindert.

Hybride Advantage Estimatie

In plaats van te kiezen tussen token-wise of turn-wise advantages, gebruikt HyGAE een hybride advantage functie:
$\hat{A}^i_t = \alpha \hat{A}_t + (1 - \alpha) \hat{A}^i_t$
Waarbij $\hat{A}_t$ de turn-wise advantage is en $\hat{A}^i_t$ de token-wise advantage is.

Turn-wise Advantage: Berekend met Generalized Advantage Estimation (GAE) over turns, waarbij het turn-level reward signaal behouden blijft en excessieve discounting door intermediaire reasoning tokens wordt vermeden.
Token-wise Advantage: Berekend met GAE over tokens, wat zorgt voor fijne differentiatie binnen een turn.
Hybride Return: Om de unified critic bij te werken, stellen de auteurs een specifieke formulering voor de hybride return voor. Zij broadcasten de turn-wise return terug naar de intermediaire token posities door de gedisconteerde rewards van de huidige token tot het einde van de turn op te tellen, en combineren dit vervolgens met de token-wise return. Deze precieze analytische vorm is volgens de auteurs cruciaal voor het stabiliseren van de value function training.

Algoritme

HyGAE opereert binnen een standaard PPO (Proximal Policy Optimization) loop:

Verzamel trajecten die meerdere interactie-turns bevatten.
Bereken turn-wise en token-wise advantages en returns afzonderlijk.
Combineer deze met de mixing coefficient $\alpha$ om de hybride advantage en hybride return te vormen.
Update het beleid (actor) en het unified value model (critic) met behulp van de hybride signalen.

Belangrijkste Bijdragen

Theoretische Unificatie: Het artikel biedt een formele formulering die de intrinsieke gelijkenis tussen token-wise en turn-wise RL onthult, en bewijst dat hun surrogates dezelfde gradiënt delen onder specifieke condities.
Hybride Advantage Estimatie: Een nieuwe methode die token-wise en turn-wise advantages lineair combineert. De auteurs bewijzen dat deze benadering de bias-variance afweging balanceert: turn-wise estimators hebben een lagere bias maar hogere variantie, terwijl token-wise estimators een hogere bias maar lagere variantie hebben. De hybride benadering verzacht de zwakheden van beide.
Unified Critic Training: Een bewijs dat een enkel value model effectief waarden voor beide granulariteiten kan schatten, wat de computationele efficiëntie aanzienlijk verbetert ten opzichte van hiërarchische benaderingen.
Empirische Prestaties: De methode bereikt State-of-the-Art (SOTA) resultaten over vijf diverse multi-turn besluitvormingsbenchmarks.

Experimentele Resultaten

De auteurs hebben HyGAE geëvalueerd op vijf benchmarks: Sokoban, FrozenLake, Navigation, Primitive Skill (robotische manipulatie), en VIRL (real-world navigatie).

Prestaties: HyGAE behaalde een gemiddeld succespercentage van 91% over alle taken, waarmee het de baselines significant overtrof.
- Het overtrof propriëtaire modellen (bijv. GPT-5, Gemini 2.5 Pro, Claude Sonnet 4.5) die gemiddeld rond de 0.5–0.6 scoorden.
- Het presteerde significant beter dan frozen open-source VLMs (gemiddeld < 0.1).
- Onder de RL-methoden presteerde het beter dan Token-PPO (0.81), Turn-PPO (0.47), en VAGEN-Base (0.74).
Ablatie Studies:
- De mixing coefficient $\alpha = 0.5$ (gelijke weging) leverde de beste prestaties op, wat de waarde van het combineren van beide signalen bevestigt.
- De specifieke formulering van de hybride return (het broadcasten van turn rewards met discounting) werd geïdentificeerd als cruciaal; alternatieve formuleringen leidden tot training collapse.
- HyGAE vertoonde een significant lagere variantie in succespercentages vergeleken met standaard PPO, wat wijst op een stabielere optimalisatie.
Kwalitatieve Analyse: Visualisaties toonden aan dat terwijl frozen modellen vaak gefaalde acties of statische plannen herhalen, HyGAE erin slaagt de strategie aan te passen op basis van omgevingsfeedback, wat coherente multi-turn redenering demonstreert.

Betekenis

Het artikel stelt dat de primaire bottleneck in VLM agentic training de mismatch is tussen single-turn training paradigma's en de vereisten van multi-turn interactie. Door token-wise en turn-wise optimalisatie theoretisch te verenigen en een computationeel efficiënte hybride advantage estimatie te introduceren, overbrugt HyGAE de kloof tussen high-level strategische planning en low-level taalgeneratie. Het werk suggereert dat precieze analytische vormen voor advantage en return estimatie cruciaal zijn voor stabiele optimalisatie, en biedt een robuust framework voor het trainen van VLMs om effectieve agenten te zijn in complexe, interactieve omgevingen.