Technische Samenvatting: TRIAGE – Rol-getypeerde Krediettoewijzing voor Agentic Reinforcement Learning

1. Probleemstelling

In Agentic Reinforcement Learning (RL) interageren agenten met omgevingen via sequenties van acties (bijv. zoeken, klikken, bewerken, navigeren) om een einddoel te bereiken. Standaard Group Relative Policy Optimization (GRPO) wijst krediet toe op basis van uitsluitend de eindresultaat-verificatie (succes of falen). Dit uitkomstsignaal wordt uniform uitgezonden naar alle actie-tokens binnen een traject.

De auteurs identificeren dat deze "alleen-uitkomst"-benadering structureel incompleet is voor agentische taken, wat twee systematische blinde vlekken creëert:

1. Nuttige Exploratie in Mislukte Rollouts: Trajecten die falen kunnen kritieke informatieverzamelende acties bevatten (bijv. een bestand lezen, een test uitvoeren) die de belief-state van de agent hebben verbeterd, maar de taak niet onmiddellijk hebben opgelost. Uniforme bestraffing onderdrukt deze waardevolle exploratieve gedragingen.
2. Regressie in Succesvolle Rollouts: Trajecten die slagen kunnen redundante, schadelijke of regressieve acties bevatten (bijv. foutieve bewerkingen, herhaalde klikken) waaruit de agent later is hersteld. Uniforme versterking kent deze schadelijke stappen onterecht krediet toe, simpelweg omdat de uiteindelijke uitkomst positief was.

Het kernproblegelijk is dat het uiteindelijke uitkomstsignaal niet in staat is om het semantische rol van een lokaal segment (bijv. beslissende voortgang versus exploratie versus regressie) te onderscheiden van het globale succes van het traject.

2. Methodologie: TRIAGE

De auteurs stellen TRIAGE voor, een framework dat een semantische rol-as introduceert om de uitkomst-as aan te vullen. TRIAGE vervangt de verifier niet, maar vult het krediettoewijzingsproces aan met een gestructureerde, rol-geconditioneerde correctie.

2.1 Roltaxonomie

Het framework classificeert elk omgeving-georiënteerd segment in een van de vier semantische rollen:

• Beslissend (Decisive - D): Acties die verifieerbare voortgang opleveren of een noodzakelijk subdoel voltooien (bijv. een artikel kopen, een antwoord indienen).
• Exploratie (Exploration - E): Acties die de relevante staat onthullen of de informatieve staat verbeteren zonder directe taakvoltooiing (bijv. een test lezen, een container inspecteren).
• Geen Voortgang (No-Progress - N): Onschadelijke infrastructuur-acties die noch de taakstaat, noch de belief-state veranderen (bijv. lege traversals, redundante klikken).
• Regressie (Regression - R): Acties die de staat corrumperen of informatie herhalen zonder winst (bijv. foutieve bewerkingen, foutieve aankopen).

2.2 Het TRIAGE-algoritme

TRIAGE werkt in twee fasen tijdens de GRPO-trainingslus:

1. Gestructureerde Rolbeoordeling: Een begrensde lokale context-window (bijv. 5 voorgaande en 5 toekomstige actie-observatie paren) wordt gevoed aan een gestructureerde LLM-judge. De judge wijst een discrete rol-label ($\rho \in \{D, E, N, R\}$) toe aan elk segment. Cruciaal is dat de judge niet wordt gebruikt als een onbeperkt beloningsmodel; hij fungeert als een classifier om de lokale semantische rol te diagnosticeren.
2. Rol-geconditioneerde Krediettoewijzing: Het voordeel (advantage) voor een segment $k$ in traject $i$ wordt berekend als:
   $$A^{TRIAGE}_{i,k} = A^{GRPO}_i + \lambda c_{\hat{\rho}_{i,k}}$$
   Waar:
   • $A^{GRPO}_i$ het standaard groep-genormaliseerde traject-voordeel is (de optimalisatierichting).
   • $c_{\hat{\rho}}$ een vaste procesbeloningsconstante is die specifiek is voor de toegewezen rol (bijv. $c_D=1, c_E=0.5, c_N=-0.1, c_R=-0.5$).
   • $\lambda$ een hyperparameter is die de mengsterkte van het lokale signaal controleert.

Dit ontwerp zorgt ervoor dat de traject-uitkomst de primaire bron van optimalisatierichting blijft, terwijl de rol-labels zorgen voor begrensde, segment-niveau correcties om de blinde vlekken aan te pakken.

2.3 Theoretische Rechtvaardiging

Het paper biedt een theoretische rechtvaardiging die aantoont dat rol-geconditioneerd krediet de Mean Squared Error (MSE)-optimale segmentcorrectie is die uitsluitend uit rol-labels kan worden uitgedrukt.

• Het "krediet-residue" (het verschil tussen het ware per-segment voordeel en het uniforme traject-voordeel) wordt geprojecteerd op de rol-variabele.
• Als de rol-labels een deel van dit residue verklaren (d.w.z. $E[\delta | \rho] \neq 0$), dan vermindert de rol-geconditioneerde correctie de fout in de voordeel-schatting vergeleken met uniforme broadcasting.
• Deze reductie in schattingsfout verbindt zich aan lagere variantie in policy gradients, mits de judge betrouwbaar is.

3. Belangrijkste Bijdragen

1. Identificatie van Blinde Vlekken: Het paper definieert formeel de twee structurele fouten van alleen-uitkomst krediet: de onderdrukking van nuttige exploratie in mislukte trajecten en de versterking van regressie in succesvolle trajecten.
2. TRIAGE Framework: Introductie van een rol-getypeerd krediettoewijzingssysteem dat een gestructureerde LLM-judge gebruikt voor semantische diagnose en vaste rol-geconditioneerde regels voor kredietcorrectie, waarbij de GRPO-uitkomst als basis-signaal behouden blijft.
3. Theoretische Onderbouwing: Bewijs dat rol-geconditioneerd krediet de optimale projectie van het voordeel-residue op rol-labels is, wat de link legt tussen betrouwbare rol-typering en de reductie van variantie in policy gradients.
4. Empirische Validatie: Uitgebreide evaluatie over drie agentische benchmarks (ALFWorld, Search-QA, WebShop) die aantonen dat de winsten specifiek voortkomen uit rol-typering en niet louter uit het toevoegen van dense rewards.

4. Experimentele Resultaten

De auteurs evalueerden TRIAGE op ALFWorld (embodied planning), Search-QA (retrieval) en WebShop (e-commerce) met twee policy-modellen (Qwen2.5-7B en Qwen3-1.7B).

• Prestatiewinsten: TRIAGE presteerde consequent beter dan de standaard GRPO-baseline.
  • Op Qwen2.5-7B verbeterden de succespercentages met tot wel 7,9 procentpunt (bijv. ALFWorld: 79,6% $\to$ 87,5%).
  • Op Qwen3-1.7B waren de verbeteringen nog significanter, oplopend tot 18,4 procentpunt.
• Efficiëntie: TRIAGE verminderde het aantal omgeving-georiënteerde beurten in voltooide rollouts met 10,4% (ALFWorld) en 14,8% (WebShop) ten opzichte van GRPO.
• Ablatie-studies:
  • Rol-typering versus Dense Rewards: Een baseline met een scalaire procesbeloning (gebruikmakend van dezelfde judge maar zonder rol-typering) presteerde beter dan GRPO, maar minder goed dan TRIAGE. Dit bevestigt dat de winst komt door de semantische distinctie van rollen, en niet slechts door het toevoegen van een dense reward-signaal.
  • Regressie-onderdrukking: De belangrijkste bron van verbetering was de onderdrukking van regressie-krediet in succesvolle trajecten (het verwijderen van de "R in success" blinde vlek).
  • Betrouwbaarheid van de Judge: Het "denkvermogen" van de LLM-judge was cruciaal. Een niet-denkende judge slaagde er niet in om regressie in succesvolle rollouts te detecteren, waardoor TRIAGE onderpresteerde ten opzichte van GRPO. Dit benadrukt dat nauwkeurige rol-diagnose een vereiste is voor het succes van de methode.
• Baselines: TRIAGE presteerde beter dan een geleerd shared-backbone waarde-baseline en een state-grouping methode (GiGPO), met name in WebShop, waar regressieve acties (herhaalde klikken) ononderscheidbaar zijn voor waarde-heads getraind op uitkomst, maar duidelijk zijn voor een semantische rol-classifier.

5. Betekenis en Claims

Het paper claimt dat agentic RL een semantische rol-as vereist naast de uitkomst-as. De primaire betekenis ligt in het onderscheid dat exploratie niet "geen voortgang" is. Door acties die de belief-state van de agent verbeteren (exploratie) expliciet te categoriseren versus acties die de staat corrumperen (regressie), maakt TRIAGE training mogelijk in omgevingen met een ijle beloning (sparse-reward) zonder broos gedrag.

De auteurs benadrukken dat TRIAGE een geprincipieerd pad is voor agenten wier succes afhangt van informatieverzameling en herstel. De methode gaat er niet vanuit dat de judge perfect is; in plaats daarvan vertrouwt het op het vermogen van de judge om asymmetrische foutcorrectie uit te voeren (het vinden van nuttige stappen in fouten en schadelijke stappen in successen). Theoretische en empirische resultaten suggereren dat zolang de judge betrouwbaar genoeg is om deze specifieke conflict-cellen te identificeren, de rol-geconditioneerde correctie de voordeel-schattingsfout vermindert en leidt tot efficiëntere en robuustere policy-learning.