Technische Samenvatting: Reflective Prompted Policy Optimization (R2PO)

Probleemstelling

Bestaande op Large Language Model (LLM)-gebaseerde policy-optimizers fungeren als black-box zoekmachines die uitsluitend vertrouwen op scalair beloningsfeedback. Hoewel deze methoden nieuwe policy-parameters kunnen voorstellen op basis van historische beloningscores, ontbreekt het hen aan diagnostisch inzicht in waarom een policy faalde. Een optimizer ziet een score van 0,45 maar kan niet onderscheiden tussen een policy die consequent onderpresteert, een die vastloopt in een lus, of een die slaagt in 19 van de 20 rollouts maar catastrofaal faalt in de 20e. Deze beperking dwingt LLM-gebaseerde optimizers om te vertrouwen op trial-and-error tuning in plaats van gerichte correctie, wat vaak resulteert in onstabiele training en inefficiënte convergentie.

Methodologie: R2PO Framework

De auteurs stellen Reflective Prompted Policy Optimization (R2PO) voor, een LLM-framework in twee fasen dat is ontworpen om scalair beloning te verrijken met gedragsbewijs op trajectniveau. R2PO werkt met compacte policyklassen (lineaire policies voor continue controle en tabulaire policies voor discrete taken) en bestaat uit de volgende componenten:

1. Search-LLM (Global Optimizer): Deze fase functioneert vergelijkbaar met eerdere LLM-optimizers (bijv. ProPS). Gegeven een geschiedenis van geëvalueerde policies en hun scalare gemiddelde beloningen, stelt de Search-LLM een initiële kandidaat-parameter vector ($\theta_{init}$) voor.
2. Omgevingsevaluatie: De kandidaat-policy wordt uitgevoerd in de omgeving voor $K$ onafhankelijke rollouts, waarbij een set trajecten $T$ wordt gegenereerd die toestanden, acties en beloningen bevat.
3. Critic-LLM (Local Reviser): Deze fase introduceert de kerninnovatie. In plaats van alleen de scalare gemiddelde beloning te ontvangen, inspecteert de Critic-LLM een "gekalibreerd bewijspakket van trajecten" afgeleid van de $K$ rollouts. Het analyseert wat er misging en stelt een gerichte parameterherziening ($\theta_{rev}$) voor.
4. Selectiemechanisme: Zowel de oorspronkelijke kandidaat ($\theta_{init}$) als de herziene kandidaat ($\theta_{rev}$) worden opnieuw geëvalueerd. Het systeem behoudt degene die de hogere gemiddelde beloning bereikt, en filtert zo destructieve bewerkingen of hallucinaties van de LLM eruit.

Gekalibreerd Bewijs van Trajecten

Om te voorkomen dat de Critic-LLM overpast op uitschieters, construeert R2PO het bewijspakket met drie specifieke componenten:

• Mediaan Traject: Een enkele rollout waarvan de return het dichtst bij de mediaan van de $K$ returns ligt, en die typisch gedrag vertegenwoordigt in plaats van uitschieters in het beste- of slechtste geval.
• Aggregatie van Rollout-statistieken: Een gestructureerd rapport dat gemiddelde, minimale en maximale beloningen, episode-lengtes en succes-/mislukkingspercentages samenvat over alle $K$ rollouts. Dit brengt de frequentie van mislukkingen over zonder een specifieke mislukte trace op de voorgrond te stellen.
• Herzieningsregel: Een expliciete instructie aan de Critic-LLM om af te zien van grote wijzigingen als de initiële gemiddelde beloning een drempel ($\tau_c$) overschrijdt en de statistieken geen consistent patroon van mislukking aangeven. Dit voorkomt "overcorrectie" van reeds sterke policies.

Belangrijkste Bevindingen en Analyse

1. Salientiebias

Het paper identificeert een dominante faalmodus die salientiebias wordt genoemd. Wanneer meerdere trajecten worden gepresenteerd (bijv. beste, slechtste en mediaan), neigt de Critic-LLM ertoe zich te fixeren op het worst-case traject als representatief, zelfs wanneer de meerderheid van de rollouts succesvol gedrag aangeeft. In een variant met drie trajecten op de CartPole-omgeving was deze bias verantwoordelijk voor 76,6% van de prestatiereducties. De LLM diagnoseerde een probleem op basis van een enkele ongelukkige mislukking en stelde bewerkingen voor die de prestaties van de policy in de andere 19 succesvolle rollouts vernietigden.

2. Ablatiestudies

Systematische ablaties over tien omgevingen tonen aan dat het succes van R2PO afhankelijk is van de combinatie van drie factoren, waarvan geen enkele afzonderlijk voldoende is:

• Architectuur in twee fasen: Het scheiden van globale voorstellen van lokale, gedragsgebaseerde herziening is essentieel. Een enkele rijke prompt (CriticOnly) of een sequentiële zoekopdracht alleen op scalair niveau (ActorSecondPass) kan de prestaties van R2PO niet evenaren.
• Gedragsgebaseerde herziening: Het gebruik van daadwerkelijk bewijs van rollouts (mediaan traject + statistieken) presteert aanzienlijk beter dan feedback alleen op scalair niveau.
• Selectiemechanisme: Een "keep-best" selectiestap is cruciaal. Zonder dit (AlwaysCritic) leidt de hoge variantie van op trajecten gebaseerde bewerkingen tot frequente regressies.

3. Empirische Resultaten

Met behulp van een relatief klein, open-weight model met 20 miljard parameters (gpt-oss:20b) werd R2PO geëvalueerd in tien omgevingen (waaronder CartPole, InvertedPendulum, Pong en aangepaste Maze/Nim-taken) tegen sterke baselines (ProPS, ProPS+, en best presterende Stable-Baselines3-algoritmen zoals PPO, SAC, TRPO).

• Prestaties: R2PO behaalde de hoogste gemiddelde beloning in 9 van de 10 omgevingen en deelde de eerste plaats in de 10e (MountainCarContinuous). Het bereikte de maximaal mogelijke beloning op CartPole (500), InvertedPendulum (1000), Pong (3,0) en Nim (1,0).
• Efficiëntie: R2PO bereikte bijna optimale prestaties aanzienlijk eerder dan baselines (bijv. bijna maximale CartPole-beloning binnen ~500 episodes, vergeleken met ~4.000 voor ProPS+ en SB3).
• Stabiliteit: R2PO behield sterke policies zodra deze waren gevonden, met een veel kleinere kloof tussen gemiddelde en beste beloningen in vergelijking met eerdere LLM-methoden, die vaak hoge variantie en geïsoleerde pieken vertoonden.
• Ressource-efficiëntie: Zelfs wanneer vergeleken met ProPS-resultaten verkregen met het dubbele interactiebudget (8.000 episodes) en een groter propriëtair model (GPT-4o), kwam R2PO (getraind op 4.000 episodes met een open 20B-model) overeen met of overtrof de baselines in 9 van de 10 omgevingen.

Betekenis en Claims

Het paper beweert dat het behandelen van trajecten als eersteklas contextueel bewijs, in plaats van ze te reduceren tot scalare returns, fundamenteel verandert hoe LLM's policy-ruimten kunnen doorzoeken. De belangrijkste bijdragen zijn:

1. Diagnostische precisie: R2PO stelt LLM's in staat om sneller te leren en mislukkingen preciezer te diagnosticeren door gebruik te maken van gedragsbewijs, en zo voorbij te gaan aan trial-and-error tuning.
2. Mitigatie van LLM-biasen: Het framework mitigeert succesvol de "salientiebias" die inherent is aan LLM-redenering over meerdere bewijsbronnen door gebruik te maken van aggregatiestatistieken en mediaantrajecten, in plaats van ruwe worst-case traces.
3. Toegankelijkheid: De resultaten tonen aan dat deze voordelen niet beperkt zijn tot grote, propriëtaire modellen; een open-weight model van 20B is voldoende om deep RL-baselines en eerdere op LLM gebaseerde methoden te overtreffen wanneer de architectuur correct is ontworpen.

De auteurs wijzen op beperkingen, specifiek dat de methode momenteel focust op compacte policyklassen (lineair en tabulair) en een grove handmatige kalibratie van de herzieningsdrempel $\tau_c$ vereist. Er wordt voorgesteld om R2PO in toekomstig werk uit te breiden naar hoogdimensionale neurale policies en adaptieve kalibratiemechanismen te ontwikkelen.