Technische Samenvatting: ReGRPO – Reflection-Augmented Policy Optimization voor Tool-gebruikende Agenten

1. Probleemstelling

Tool-geaugmenteerde Vision-Language Models (VLMs) beogen complexe, multimodale, meerstaps-taken op te lossen door externe tools aan te roepen (bijv. OCR, web zoeken, code-executie). Huidige benaderingen lijden echter onder twee primaire beperkingen met betrekking tot robuustheid en herstel:

1. Beperkingen van Supervised Fine-Tuning (SFT): Bestaande SFT-methoden (bijv. MAT-AGENT) leunen zwaar op succesvolle trajecten. Ze bieden weinig tot geen signaal voor herstel wanneer een agent afwijkt van het optimale pad of een fout in een tool tegenkomt (bijv. een lege OCR-resultaat door een lichte lay-outverschuiving). Het model leert succesvolle sporen te volgen, maar mist het vermogen om lokale fouten te diagnosticeren en te repareren.
2. Beperkingen van Standaard Reinforcement Learning (RL): Standaard RL-benaderingen bieden vaak alleen ijle, traject-niveau beloningen (succes/falen). In taken met een lange horizon identificeert een scalaire faalbeloning niet welke specifieke stap faalde of hoe dit gecorrigeerd moet worden. Deze ambiguïteit leidt tot traag en instabiel leren, omdat de agent niet kan onderscheiden tussen een verkeerde toolkeuze en een verkeerd argument.

De kernuitdaging is om tool-gebruikende agenten in staat te stellen niet alleen taken uit te voeren, maar ook om fouten te diagnosticeren, gestructureerde reflecties te genereren en corrigerende acties uit te voeren binnen een enkele inference-pass, zonder te vertrouwen op dure externe verifiers of trial-and-error tijdens de testtijd.

2. Methodologie: ReGRPO

De auteurs stellen ReGRPO (Reflection-augmented Group Relative Policy Optimization) voor, een framework dat diagnostische reflectie behandelt als een leerbare variabele in plaats van een vaste prompting-heuristiek. De methodologie bestaat uit drie hoofdonderdelen:

A. Gestructureerde Reflectieve Data Engine

Om het gebrek aan hersteldata in SFT aan te pakken, introduceren de auteurs een data engine die tool-executiefouten omzet in gegronde supervisie.

• Foutinductie: Vertrekkend vanuit ground-truth trajecten, synthetiseert het systeem "bijna-mislukte" acties door toolkeuzes of argumenten te verstoren (bijv. het verschuiven van een bounding box). Deze worden uitgevoerd in een sandbox om echte, gegronde observaties van falen te genereren (bijv. lege OCR, API-fouten).
• Reflection-of-Thought (RoT) Triplets: Een teacher VLM (standaard: GPT-4o) analyseert de foutcontext en genereert een gestructureerde triplet:
  • ErrorType: Categorische diagnose (bijv. GroundingDrift, ToolMismatch).
  • Evidence: Expliciete verwijzing naar de visuele of tekstuele observatie die de fout triggert (bijv. "OCR-output voor regio #box1 is leeg").
  • FixPlan: Een concrete strategie om de fout te corrigeren (bijv. "Breid de bounding box uit").
• Supervisie: Deze triplets worden gekoppeld aan de gecorrigeerde actie om een "Fout → Reflectie → Correctie" traject te vormen, dat wordt gebruikt voor warm-start SFT.

B. Reflection-Augmented GRPO Training

ReGRPO breidt het Group Relative Policy Optimization (GRPO) algoritme uit om gezamenlijk reflectie-tokens en corrigerende acties te optimaliseren.

• Lokale Traject Formulering: In plaats van atomaire acties te scoren, samplet het beleid een groep van $K$ kandidaat lokale trajecten. Als een initiële actie $a^{(0)}$ faalt, genereert het beleid een reflectie $z$ en een corrigerende actie $a^{(1)}$.
• Composiete Beloningsfunctie: De beloning $R(\tau)$ balanceert taaksucces, executie-efficiëntie en optionele verificatie:
  $$R(\tau) = \lambda_{exec} \mathbb{1}_{\{success\}} - \eta C(\tau) + \lambda_{val} V(x_i, \tau)$$
  • Reflection Cost ($C(\tau)$): Bestraft de tokenlengte van de reflectie $z$, waardoor de agent wordt gedwongen alleen te reflecteren wanneer dat nodig is.
  • Verifier Value ($V$): Een optioneel, enkel tijdens de training gebruikt signaal dat deterministisch wordt berekend uit metadata (geen LLM-aanroepen tijdens RL) om het leren te stabiliseren.
• Optimalisatie: Het beleid wordt bijgewerkt met behulp van groep-relatieve voordelen. Door herstelde trajecten te vergelijken met niet-herstelde fouten binnen dezelfde groep, leert het model welke reflecties nuttig zijn en hoe ze efficiënt gegenereerd kunnen worden.

C. Zero-Verifier Inference Stage

Bij implementatie werkt ReGRPO in een single-path, zero-verifier modus om efficiëntie te garanderen.

• Deterministische Trigger: Een lichtgewicht gate $g_i$ beslist of een lokale reflectie-correctie blok geopend moet worden. De trigger activeert als:
  1. Een tool-fout wordt gedetecteerd.
  2. De observatie leeg is.
  3. De betrouwbaarheid van het beleid in de actie ($u_i$) onder een adaptieve drempelwaarde ($\kappa_i$) valt.
• Herstel: Indien getriggerd, voert de agent een enkele lokale blok uit: $a^{(0)} \to o^{(0)} \to z \to a^{(1)} \to o^{(1)}$. Dit maakt zelfcorrectie mogelijk zonder externe verifier-aanroepen of zoekprocessen.

3. Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

1. Gestructureerde Reflectieve Data Engine: Een pipeline die ruwe tool-executiefouten omzet in gegronde "Error-Reflection-Correction" supervisie, waardoor agenten vanaf het begin herstelstrategieën kunnen leren.
2. ReGRPO Algoritme: Een nieuw optimalisatieframework dat gestructureerde reflectie integreert in de GRPO-doelstelling. Het optimaliseert gezamenlijk de generatie van reflecties en corrigerende acties, waarbij reflectie wordt behandeld als een beslissingsvariabele in plaats van een statische prompt.
3. State-of-the-Art Prestaties: Onder identieke backbone (Qwen2-VL-7B) en tool-suite instellingen bereikt ReGRPO de beste resultaten onder vergeleken open-source controllers op de GTA en GAIA benchmarks, waarbij het sterke baselines zoals MAT-AGENT en SPORT overtreft.

4. Experimentele Resultaten

De auteurs evalueerden ReGRPO op twee multimodale benchmarks:

• GTA (229 taken): Richt zich op visuele perceptie en lokale operaties (bijv. het lezen van bonnetjes).
• GAIA (446 taken): Richt zich op documentbegrip, webnavigatie en logisch redeneren over PDF's, PPTX en XLSX.

Belangrijkste Bevindingen:

• Prestaties: De standaard verifier-vrije ReGRPO ($\lambda_{val}=0$) behaalde een Answer Accuracy van 67,66% op GTA en 23,35% op GAIA. Dit is een significante verbetering ten opzichte van de SPORT baseline (+7,40% op GTA, +2,74% op GAIA).
• Ablatie Studies:
  • RoT SFT: Het toevoegen van gestructureerde reflectie-data voor warm-start SFT verbeterde de prestaties ten opzichte van standaard SFT, wat de waarde van expliciete foutdiagnose aantoont.
  • Gestructureerd vs. Vrij vorm: Gestructureerde reflectie (schema-beperkt) presteerde beter dan vrij vorm-reflectie, wat aangeeft dat het ErrorType-Evidence-FixPlan schema cruciaal is voor effectief leren.
  • Onafhankelijkheid van Verifier: Hoewel het toevoegen van een optionele, door een teacher-model afgeleide verifier reward marginale winst opleverde, bleef de kern van de ReGRPO-pipeline zeer effectief zonder deze, wat de zero-verifier deployment strategie valideert.

5. Betekenis en Claims

Het artikel claimt dat ReGRPO een kritiek gat in tool-gebruikende agenten opvult: het vermogen om te herstellen van fouten zonder te vertrouwen op broze gesuperviseerde sporen of dure externe verificatie.

• Internalisering van Correctie: In tegenstelling tot eerdere methoden die reflectie behandelen als een test-time heuristiek, internaliseert ReGRPO de correctieloop in de parameters van het beleid. Het model leert wanneer te reflecteren en hoe het gegronde diagnoses genereert die leiden tot succesvol herstel.
• Efficiëntie: Door een deterministische trigger en een single-path executiestrategie te gebruiken, behoudt ReGRPO een lage latentie en deployment-efficiëntie, waarbij de computationele overhead van externe verifiers of multi-path zoekprocessen wordt vermeden.
• Generaliseerbaarheid: Het framework is model-agnostisch met betrekking tot de backbone (gedemonstreerd op Qwen2-VL-7B) en de tool-suite, en biedt een schaalbare aanpak voor het trainen van robuuste, zelf-corrigerende multimodale agenten.

De auteurs concluderen dat gestructureerde reflectie, wanneer geoptimaliseerd via group-relative policy optimization, een robuust mechanisme biedt voor het afhandelen van de distributieverschuivingen en tool-fouten die inherent zijn aan real-world meerstaps-taken.