Technische Samenvatting: Het dichten van de Reflectiekloof met RefGRPO

1. Probleemstelling: De Reflectiekloof

Large Language Models (LLMs) worden steeds vaker ingezet als agenten die interageren met externe omgevingen en concrete feedback ontvangen, zoals uitvoeringsresultaten, foutmeldingen en tool-outputs. Een competente agent zou deze feedback moeten gebruiken om zijn eigen prestaties nauwkeurig te beoordelen. De auteurs identificeren echter een hardnekkige "reflectiekloof": LLM-agenten beoordelen hun eigen outputs vaak onjuist, zelfs nadat ze concrete feedback uit de omgeving hebben waargenomen.

In tegenstelling tot het goed gedocumenteerde probleem van overmoed, stellen de auteurs vast dat agenten vaak last hebben van aanzienlijke onderbezonnenheid (underconfidence), waarbij ze correcte antwoorden als foutief markeren. Standaard Reinforcement Learning (RL) algoritmen, specifhankelijk Group Relative Policy Optimization (GRPO), slagen er niet in dit op te lossen. Terwijl standaard RL de taaknauwkeurigheid verbetert, blijft de kwaliteit van de reflectie van de agent na feedback defect.

De grondoorzaak: De auteurs schrijven dit toe aan een credit-assignment mismatch in outcome-only RL. In standaard GRPO wordt het advantage-signaal uitsluitend afgeleid van de uiteindelijke taakuitkomst ($r$). Hierdoor geldt:

• Eerlijke foutmeldingen: Als een agent een fout correct signaleert ($s_{ref}=0$) maar de uitkomst een mislukking is ($r=0$), zorgt het negatieve advantage ervoor dat de agent wordt getraind om correcte foutmeldingen te onderdrukken.
• Onderbezonnen flags: Als een agent onterecht een succes als een fout markeert ($s_{ref}=0$) maar de uitkomst een succes is ($r=1$), zorgt het positieve advantage ervoor dat de agent aan zijn eigen successen gaat twijfelen.
  Standaard RL optimaliseert voor taakcorrectheid, maar benadeelt onbedoeld eerlijke zelfbeoordeling.

2. Methodologie: RefGRPO

Om deze kloof te dichten, stellen de auteurs RefGRPO voor, een algoritme dat standaard RL aanvult met twee belangrijke componenten: een gratis kalibratiebonus en een dynamisch schema.

A. Gratis Kalibratiebonus

De kerninnovatie is een bonus die wordt berekend door de post-feedback reflectie van de agent ($s_{ref}$) te contrasteren met de werkelijke uitkomst ($r$).

• Mechanisme: Voor elke rollout $k$ wordt een binaire kalibratiebonus $c_k = \mathbb{I}(s_{ref,k,H} = r_k)$ berekend. Deze bonus wordt toegevoegd aan de uitkomstbeloning vóór de groepsnormalisatie:
  $$\tilde{r}_k = r_k + \alpha(t) \cdot c_k$$
• Betekenis: Deze bonus is "gratis" omdat het geen extra beloningsmodel, LLM-judge of externe annotatie vereist; het vertrouwt uitsluitend op de eigen reflectie van de agent en de bekende uitkomst van de omgeving. Het zorgt ervoor dat goed gekalibreerde rollouts (waarbij de agent de uitkomst correct voorspelt) een positief relatief advantage ontvangen, ongeacht of de taak zelf is geslaagd of gefaald.

B. Dynamisch Schema

De auteurs merken op dat een statische kalibratiebonus de taaknauwkeurigheid licht kan verslechteren, omdat het beloningssignaal gedeeltelijk wordt afgeleid naar de kwaliteit van de kalibratie. Om dit te balanceren, introduceren zij een dynamisch schema voor de coëfficiënt $\alpha(t)$:

• Twee-fasen schema:
  1. Front-loading ($t \le \gamma \cdot T$): Een grotere coëfficiënt ($\alpha_0$) wordt gebruikt om de focus vroeg in de training te leggen op het leren van kalibratie.
  2. Verval ($t > \gamma \cdot T$): De coëfficiënt vervalt naar een kleinere waarde ($\alpha_1$, vaak 0), waardoor het model zich kan richten op het maximaliseren van de taakprestaties terwijl de in de eerste fase geleerde kalibratiecapaciteit behouden blijft.

C. Evaluatiemetrieken

Het paper introduceert de ChowScore (geadapteerd uit de statistische leerprocessen) als een verenigde metriek voor taaknauwkeurigheid en reflectie-kalibratie. Het beloont correcte commitments ($s_{ref}=1, r=1$) en wijst een vaste krediet $\beta$ toe aan eerlijke foutmeldingen ($s_{ref}=0$), wat effectief meet hoe goed de agent weet wanneer hij de taak heeft opgelost.

3. Belangrijkste Resultaten

Experimenten werden uitgevoerd op text-to-SQL taken over vijf benchmarks (Spider-Dev, Spider-DK, Spider-Realistic, Spider-Test, Bird-Dev) met behulp van Qwen2.5-Coder (3B/7B) en Llama-3.2-3B modellen.

• Verbetering van Kalibratie: RefGRPO vermindert de onderbezonnenheid drastisch. In de multi-turn setting met Qwen2.5-Coder-7B daalde de onderbezonnenheidsgraad van 44,4% (GRPO+) naar 7,7%.
• Taaknauwkeurigheid: In tegenstelling tot standaard RL, dat vaak kalibratie inruilt voor nauwkeurigheid, verbetert RefGRPO beide. De taaknauwkeurigheid steeg van 75,1% naar 76,5% voor het 7B-model.
• Verenigde Metriek: De ChowScore verbeterde aanzienlijk (bijv. van 73,0% naar 76,5% voor Qwen-7B), wat duidt op gelijktijdige winst in zowel het oplossen van taken als het weten wanneer de oplossing correct is.
• Vergelijking met Specialisten: Vergeleken met gespecialiseerde 7B SQL-modellen (OmniSQL-7B en SQL-R1-7B), behaalde RefGRPO de hoogste "kalibratiedelta" ($\Delta = \text{Acc}_{ref} - \text{Acc}$), wat aangeeft dat de reflectie echt informatief is en niet slechts een bijproduct van een hoge nauwkeurigheid.

4. Betekenis en Implicaties

Het paper beweert dat RefGRPO de agent transformeert in zijn eigen verifieerder, geworteld in feedback uit de omgeving in plaats van pure zelfbeoordeling. Deze gekalibreerde reflectie maakt twee downstream mogelijkheden mogelijk:

1. Verifier-vrije Zelfverbetering: Omdat de reflectie gekalibreerd is, kan deze dienen als een betrouwbaar pseudo-beloningssignaal. De auteurs laten zien dat uitgaande van een RefGRPO-checkpoint, verdere zelfverbeteringstraining (waarbij $s_{ref}$ wordt gebruikt als de beloning zonder uitkomst-supervisie) significante nauwkeurigheidswinst oplevert (+2,8 punten), terwijl standaard GRPO-checkpoints falen omdat hun pseudo-beloningen instorten door miskalibratie.
2. Effectieve Selectieve Voorspelling tijdens Test-time: Een gekalibreerde agent kan tijdens inferentie fungeren als zijn eigen filter. Door alleen te committen aan rollouts die als correct zijn gemarkeerd ($s_{ref}=1$), bereikt RefGRPO een hogere "selective prediction lift" (nauwkeurigheid op gecommitteerde samples) vergeleken met baselines, waardoor fouten effectief worden weggefilterd zonder externe verificatie nodig te hebben.

5. Beperkingen en Toekomstig Werk

De auteurs merken op dat hun grootste getrainde model 7B is vanwege rekenkrachtbeperkingen, en het valideren van de methode op grotere schaal blijft een toekomstige stap. Daarnaast richt het huidige werk zich op binaire reflectiescores ($s_{ref} \in \{0, 1\}$); het uitbreiden van de aanpak naar real-valued confidence scores wordt gesuggereerd als een mogelijke richting.

Samenvattend biedt RefGRPO een eenvoudige, annotatievrije methode om een agent te aligneren met de realiteit, waardoor een structureel credit-assignment probleem in standaard RL wordt opgelost en robuustere, zelf-verifiërende agentische gedragingen mogelijk worden gemaakt.