Technische Samenvatting: Automatisering van Potentieel-gebaseerde Beloningsvorming met Vision Language Model-sturing

Probleemstelling

Reinforcement Learning (RL) agenten worden geconfronteerd met aanzienlijke uitdagingen in omgevingen met ijle beloningen (sparse rewards), waarbij feedback pas wordt gegeven bij voltooiing van de taak. Dit gebrek aan tussenliggende sturing belemmert exploratie en maakt het moeilijk om succes toe te schrijven aan specifieke delen van een traject. Hoewel Beloningsvorming (Reward Shaping – het toevoegen van hulp-signalen om exploratie te sturen) een veelvoorkomende oplossing is, leidt willekeurige vorming vaak tot beloningshacking (reward hacking), waarbij agenten de hulp-signalen exploiteren om de beloning te maximaliseren zonder de beoogde taak daadwerkelijk op te lossen.

Potentieel-gebaseerde Beloningsvorming (PBRS) biedt een theoretisch solide alternatief door het verschil van een potentieel-functie $\Phi(s)$ tussen opeenvolgende toestanden toe te voegen aan de beloning. PBRS garandeert het behoud van de optimale beleidsset van de oorspronkelijke taak. Echter, het definiëren van een effectieve potentieel-functie vereist doorgaans uitgebreide deskundige kennis en handmatige engineering, wat de schaalbaarheid beperkt.

Recente benaderingen die gebruikmaken van Vision Language Models (VLMs) om beloningsfuncties direct te leren (bijv. RL-VLM-F), verminderen de noodzaak voor handmatig ontwerp, maar vertrouwen op het vermogen van de VLM om de ware beloningsfunctie perfect te benaderen. Dit stelt een strikte eis aan de nauwkeurigheid van de labels; fouten in de VLM-output kunnen leiden tot suboptimale beleidsregels. Bovendien is het herhaaldelijk bevragen van grote, geavanceerde VLMs tijdens de training computationeel onhaalbaar.

Methodologie: VLM-PBRS

De auteurs stellen VLM-PBRS voor, een framework dat de constructie van een potentieel-functie voor PBRS automatiseert met behulp van door VLM gegenereerde voorkeur-labels. De kerninnovatie ligt in het benutten van de beleidsinvariantie-eigenschap van PBRS om de nauwkeurigheidsvereisten van de VLM te versoepelen, waardoor het gebruik van kleinere, efficiëntere modellen mogelijk wordt.

Kerncomponenten

1. Preference-Based Learning Loop:

   • Het systeem werkt in een iteratieve lus bestaande uit beleidsverbetering, dataverzameling en VLM-bevraging.
   • Dataverzameling: De agent interageert met de omgeving, verzamelt trajecten en visuele observaties.
   • VLM-bevraging: Paren afbeeldingen ($\sigma_i, \sigma_j$) worden gesampled uit de buffer. Een prompt wordt geconstrueerd die de afbeeldingen bevat samen met een natuurlijke taalbeschrijving van het doel. De VLM wordt bevraagd om te bepalen welke afbeelding het doel beter bereikt.
   • Promptstructuur: De prompt vraagt de VLM om gemeenschappelijke elementen te identificeren, verschillen ten opzichte van het doel te beschrijven en een machine-leesbaar label ($y \in \{-1, 0, 1\}$) te produceren dat de voorkeur aangeeft.
   • Labelextractie: In tegen tegenstelling tot eerdere werken (bijv. RL-VLM-F) die een tweede LLM-aanroep gebruiken om labels te extraheren uit uitgebreide VLM-outputs, extraheert VLM-PBRS het label direct uit een enkele VLM-aanroep om de computationele efficiëntie te verbeteren.

2. Constructie van de Potentieel-functie:

   • Een voorkeursmodel $r_\psi$ wordt getraind op de verzamelde VLM-labels met behulp van een verliesfunctie (Cross-Entropy of Mean Absolute Error).
   • Het getrainde model wordt getransformeerd naar een potentieel-functie $\Phi(s)$:
     $$\Phi(s) = \begin{cases} 0 & \text{als } s \text{ terminaal is} \\ \lambda \sigma(r_\psi(s)) & \text{anders} \end{cases}$$
     waarbij $\sigma$ een sigmoid-activatie is en $\lambda$ een schaleringsfactor (gesteld op 0.9) om ervoor te zorgen dat de gevormde beloning positief blijft en begrensd is onder de doelbeloning.

3. Beloningsvorming (Reward Shaping):

   • De gevormde beloning $R'$ wordt berekend als $R'(s, a, s') = R(s, a, s') + (\gamma \Phi(s') - \Phi(s))$.
   • Deze gevormde beloning stuurt de RL-agent (met behulp van SAC) tijdens de exploratie. De replay buffer wordt opnieuw berekend met bijgewerkte vormingsbeloningen naarmate de potentieel-functie verbetert.

Belangrijke Ontwerpkeuzes

• Kleine VLMs: Het framework maakt gebruik van kleinere, open-source VLMs (bijv. Ovis2-16B, Qwen3-VL-8B), die computationeel efficiënt zijn. De auteurs stellen dat hoewel deze modellen minder nauwkeurige labels kunnen produceren dan grotere modellen, de PBRS-structuur robuust is tegen dergelijke ruis.
• Single-Step Labeling: Door een tweede LLM-aanroep voor labelgeneratie te vermijden, vermindert de methode de computationele overhead aanzienlijk.

Belangrijkste Bijdragen

1. Eerste toepassing van VLM-voorkeursleren voor PBRS: Het artikel introduceert het eerste framework dat een potentieel-functie voor PBRS direct synthetiseert uit VLM-voorkeurslabels, waarbij alleen een tekstuele doelbeschrijving en visuele observaties nodig zijn.
2. Geprincipeerd gebruik van kleine VLMs: De auteurs stellen vast dat de garantie van beleidsinvariantie van PBRS de strikte eisen aan de labelnauwkeurigheid van directe beloningsmodellering versoepelt. Dit maakt het gebruik van kleinere, computationeel efficiënte VLMs mogelijk zonder de optimaliteit van het geleerde beleid in gevaar te brengen, zelfs als de labels ruis bevatten.
3. Empirische Validatie: De methode wordt gevalideerd in Meta-World en Franka Kitchen omgevingen, waarbij een verbeterde steekproefefficiëntie (sample efficiency) en robuustheid tegen beloningshacking worden aangetoond vergeleken met ijle beloningen en naïeve VLM-beloningslering.

Resultaten

De auteurs evalueerden VLM-PBRS tegen vier baselines: IJle Beloningen (Sparse Rewards), Door Mensen Ontworpen Dichte Beloningen (Human-Designed Dense Rewards), en RL-VLM-F (directe beloningslering).

• Steekproefefficiëntie: VLM-PBRS versnelde het leren consistent vergeleken met de ijle beloningsbaseline in alle geteste taken (bijv. knop indrukken, raam openen, magnetron, lichtschakelaar).
• Vergelijking met RL-VLM-F: Hoewel RL-VLM-F in sommige taken verbeterde ten opzichte van ijle beloningen, convergeerde het in andere taken (bijv. knop indrukken, top-burner) vaak naar suboptimale beleidsregels door fouten in de VLM-labeling die onjuiste prikkels creëerden. In contrast hiermee behield VLM-PBRS de optimale beleidsconvergentie, zelfs met ruisige labels, omdat de PBRS-eigenschap voorkomt dat de agent permanent wordt misleid.
• Prestaties versus Menselijk Ontwerp: In de knop-indruk taak presteerde VLM-PBRS met een VLM-nauwkeurigheid van ~59% beter dan de door mensen ontworpen dichte beloningsbaseline, die leed aan beloningshacking.
• Gevoeligheid voor Labelnauwkeurigheid:
  • Experimenten met een oracle-labeler toonden aan dat verbeteringen in steekproefefficiëntie correleren met labelnauwkeurigheid.
  • Zelfs met nauwkeurigheidsniveaus onder de kanskans (0.0), verslechterde VLM-PBRS de prestaties niet onder de ijle baseline, waarbij het vertrouwde op de onderliggende RL-exploratie.
  • In taken waar de VLM-nauwkeurigheid nabij de willekeurige kans lag (bijv. lade openen), vertoonde VLM-PBRS lichte verbeteringen ten opzichte van ijle beloningen, maar slaagde het er niet in om menselijk ontworpen dichte beloningen te evenaren.
• Ablatiestudies:
  • Batchgrootte: Er werd vastgesteld dat het gebruik van 20 labels per VLM-querybatch voldoende was om prestaties en computationele kosten in balans te houden.
  • Verliesfunctie: Cross-Entropy en Mean Absolute Error (MAE) presteerden vergelijkbaar; Cross-Entropy werd gekozen als de standaard.

Betekenis en Claims

Het artikel claimt dat VLM-PBRS een praktische, schaalbare weg biedt voor het automatiseren van beloningsvorming in omgevingen met beperkte middelen. Door de noodzaak van perfecte VLM-redenering te ontkoppelen van de garantie op optimale beleidsregels, maakt de methode het gebruik van kleinere, goedkopere VLMs mogelijk.

De auteurs benadrukken dat hun aanpak:

• Optimaliteit Bewaart: In tegenstelling tot directe beloningslering, brengt het geen risico op het leren van suboptimale beleidsregels door VLM-fouten.
• De Engineering-last Vermindert: Het elimineert de noodzaak voor door experts ontworpen potentieel-functies of dichte beloningstermen, en vereist enkel een hoogwaardige tekstuele beschrijving.
• Robuustheid Verbetert: Het is inherent veerkrachtig tegen beloningshacking, een veelvoorkomende foutmodus bij willekeurige beloningsvorming.

Het werk suggereert dat naarmate multimodale fundamentele modellen verbeteren, de algemeenheid en de voordelen van VLM-PBRS van nature zullen toenemen, wat een levensvatbaar alternatief biedt voor handmatige beloningsengineering voor complexe robotica-taken.