Technische Samenvatting: Prompt-Driven Exploration (PDE)

1. Probleemstelling

De Reinforcement Learning (RL) post-training voor foundation models, in het bijzonder Vision-Language-Action (VLA) modellen, wordt beperkt door exploratie. Standaard RL-methoden vertrouwen op het injecteren van stochasticiteit in de actieruimte (bijv. actieruis of parameterruis) om nieuw gedrag te ontdekken. De auteurs stellen echter dat dergelijke ruis alleen lokale perturbaties induceert, wat resulteert in rollouts die dicht bij het huidige gedrag van het beleid blijven.

Deze beperking is cruciaal bij het finetunen van zwakke initiële beleidsregels (bijv. die met een succespercentage nabij nul bij manipulatietaken). Het ontsnappen aan een suboptimaal beleid vereist vaak globale perturbaties die de gehele trajectorie en strategie veranderen, iets wat stapgewijze actieruis niet kan bereiken. Bovendien, in settings met ijle beloningen (sparse rewards) waarbij het initiële beleid zelden slaagt, zijn beloningssignalen te schaars om de selectie van nuttige exploratieve acties te sturen.

2. Methodologie: Prompt-Driven Exploration (PDE)

Het artikel stelt Prompt-Driven Exploration (PDE) voor, een strategie die de as van exploratie verschuift van de actieruimte naar de promptruimte. Omdat foundation models (LLM's en VLA's) geconditioneerd zijn op natuurlijke taalprompts, induceert het wijzigen van de prompt globale veranderingen in het gedrag van het beleid zonder dat gewichtsupdates nodig zijn.

Kernmechanisme

PDE behandelt de promptdistributie als een proxy voor de beleidsdistributie. Het implementeert een vorm van posterior sampling op promptniveau:

1. Impliciete Posterior Sampling: In plaats van een Bayesiaanse posterior bij te houden over de neurale netwerkparameters (wat onhandelbaar is voor grote modellen), houdt PDE een distributie over prompts bij, $\rho(\cdot | g, H)$, waarbij $g$ de taak is en $H$ de interactiegeschiedenis.
2. VLM als een Amortized Posterior Update: Een Vision-Language Model (VLM) fungeert als supervisor. Het analyseert video-rollouts gegenereerd door het huidige beleid onder verschillende prompts, diagnosticeert foutmodi en herschrijft de prompts om beter gedrag uit te lokken. Dit proces actualiseert de promptdistributie $\rho$ om te concentreren op prompts die succesvolle rollouts opleveren.
3. Twee-fasen Trainingslus:
   • Prompt Discovery: De gewichten van het beleid zijn bevroren. De VLM samplet kandidaat-prompts, voert rollouts uit en verfijnt de promptpool op basis van geobserveerde trajecten en beloningen.
   • Policy Optimization: Zodra een pool van effectieve prompts is geïdentificeerd, wordt het beleid gefinetuned met Proximal Policy Optimization (PPO).

Belangrijke Technische Componenten

• Mixture Sampling: Tijdens RL-training worden prompts gesampled uit een mengeling van de canonieke taakprompt ($p_g$) en de ontdekte exploratieve prompts ($\rho$). Het menggewicht $\alpha$ is adaptief en neemt toe naarmate het beleid verbetert op de canonieke prompt.
• Mixed Backpropagation: Om ervoor te zorgen dat verbeteringen van exploratieve prompts overdragen naar de canonieke prompt, wordt de PPO-loss aangepast. De advantage ratio gebruikt de gemiddelde log-waarschijnlijkheid van de actie onder zowel de exploratieve prompt als de canonieke prompt. Dit koppelt de leersignalen, waardoor het beleid leert gedrag dat robuust is over promptvariaties heen.
• Prompt Refinement: De VLM genereert niet alleen willekeurige parafrases; het redeneert over specifieke foutmodi (bijv. "de robot greep het verkeerde object") om gerichte instructies te genereren (bijv. "grijp de groene container, niet de mok").

3. Belangrijkste Bijdragen

• Een Nieuwe Exploratie-as: Het artikel introduceert prompt-ruimte exploratie als een levensvatbaar alternatief voor actie-ruimte ruis, in staat om globale gedragsveranderingen te induceren die actieruis niet kan bereiken.
• Van Zero-Shot naar Non-Zero Beloning: PDE stelt RL in staat om te leren vanuit beleidsregels met een initieel succespercentage van nul. Door prompts te ontdekken die trajecten met een non-zero beloning ontsluiten, biedt PDE het noodzakelijke leersignaal voor RL om voort te gaan, terwijl standaard methoden falen om de zero-reward basin te verlaten.
• Sample Efficiëntie: De methode verbetert de sample efficiëntie aanzienlijk over manipulatie- en redeneertaken, waarbij veel minder interacties met de omgeving nodig zijn om hoge succespercentages te bereiken vergeleken met de baselines.
• Generalisatie: De aanpak wordt effectief bewezen, niet alleen voor VLA-controle maar ook voor LLM-gebaseerde redeneer- en programmeertaken, wat suggereert dat prompt-ruimte exploratie een algemeen mechanisme is voor het finetunen van foundation models.

4. Experimentele Resultaten

De auteurs evalueren PDE op verschillende benchmarks:

• LIBERO en LIBERO-PRO:

  • Op "Hard" taken (initieel succespercentage < 10%) bereikt PDE een relatieve verbetering van 60% ten opzichte van standaard actieruis.
  • In de "Close the Microwave" casestudy wordt een beleid met 0% succes onder de canonieke prompt door PDE geleid naar het ontdekken van prompts (bijv. "duw de magnetrondeur totdat deze sluit") die een non-zero succes opleveren, om uiteindelijk ~100% succes op de canonieke prompt te bereiken.
  • PDE presteert beter dan baselines inclusief Action Noise, Parameter Noise, Random Network Distillation (RND) en dense reward modellen (Robometer).

• ManiSkill:

  • PDE verbetert de succespercentages over alle moeilijkheidsgraden (Hard, Medium, Easy) en generalisatie-assen (Visueel, Semantisch, Executie).
  • Op harde taken waar actieruis geen progressie maakt, slaagt PDE erin om het leerproces te bootstrappen.

• Real-World Manipulatie:

  • Met behulp van een Franka FR3 arm demonstreert PDE superieure sample efficiëntie in fysieke omgevingen. Na 128 real-world rollouts bereikte PPO+PDE een succespercentage van 45%, meer dan het dubbele van de 20% die werd bereikt door standaard PPO met actieruis.

• LLM Taken (LiveCodeBench & AIME 2026):

  • In programmeer- en wiskundige redeneertaken verbetert PDE de vroege sample efficiëntie, waarbij hogere nauwkeurigheidsniveaus worden bereikt in minder trainingsstappen vergeleken met standaard RL fine-tuning (RLOO en GRPO).

5. Betekenis en Claims

Het artikel claimt dat voor foundation-model beleidsregels, effectieve exploratie niet noodzakelijkerwijs vereist dat de interne parameters of acties van het model worden verstoord. In plaats daarvan kan effectieve exploratie voortkomen uit de context (de prompt) die het beleid conditioneert.

De auteurs positioneren PDE als een oplossing voor de "sparse reward" en "weak initialization" problemen in RL fine-tuning. Door gebruik te maken van de vooraf getrainde taalprior van VLM's om over fouten te redeneren en instructies te herschrijven, realiseert PDE een klassiek RL-framework (posterior sampling) in een hanteerbare, hoogwaardige ruimte. Het werk suggereert dat voor modellen waarbij de rollout voortvloeit uit een prompt, het wijzigen van de prompt een krachtiger mechanisme is voor globale exploratie dan stapgewijze ruis.

Het artikel concludeert bescheiden door te stellen dat PDE "RL in staat stelt om succesvolle beleidsregels te leren zelfs vanaf zero-reward starts" en "sample efficiëntie breder verbetert", zonder te claimen dat het alle exploratie-uitdagingen in RL oplost. De methode wordt gepresenteerd als een complementaire strategie die verandert wat het beleid wordt gevraagd te doen, in plaats van hoe het beleid wordt bijgewerkt.