Technische Samenvatting: Offline Beleidsevaluatie voor Manipulatiebeleid via een Gedisconteerde Levensvatbaarheidsformulering

Probleemstelling

Het artikel behandelt de uitdaging van offline beleidsevaluatie (OPE) voor robotische manipulatiebeleid. Hoewel beleidsevaluatie cruciaal is voor de ontwikkeling en implementatie van robotsystemen, ondervinden standaard Reinforcement Learning (RL)-methoden aanzienlijke hindernissen in real-world manipulatiescenario's vanwege drie specifieke eigenschappen:

1. Schaarse Beloningen: Beloningen zijn doorgaans binair (taakvoltooiing versus falen) in plaats van dicht, wat het moeilijk maakt om voortgang in een tussenstadium te leren.
2. Truncatie met een Eindige Horizont: Evaluatie-uitrollingen worden vaak beëindigd door handmatige time-outs. In offline data is het onmogelijk te onderscheiden tussen een beleid dat echt is gefaald en een beleid dat simpelweg de tijd is op, maar dat wel had kunnen slagen met meer duur. Dit introduceert truncatiebias, wat ertoe leidt dat standaardmethoden (zoals TD(0) en Monte Carlo) het beleidsprestatie systematisch onderschatten.
3. Niet-monotone Vooruitgang: Manipulatiebeleid vertoont vaak herstelgedrag (bijvoorbeeld een object laten vallen en het opnieuw oppakken). Dit zorgt ervoor dat taakvoortgang niet-monotoon is, wat de aannames schendt die worden gemaakt door cumulatieve beloningsformuleringen die een gestage aanpak richting het doel verwachten.

Methodologie

De auteurs stellen een kader voor dat offline beleidsevaluatie herformuleert als een gedisconteerd levensvatbaarheidsprobleem. In plaats van de verwachte cumulatieve return te schatten, leert de methode een waardenfunctie die de "semantische afstand" tot taakvoltooiing vertegenwoordigt.

1. Gedisconteerde Levensvatbaarheidsformulering

De auteurs modificeren het standaard Markov Decision Process (MDP) door de beloningsfunctie $R$ te vervangen door een doelfunctie $l(s)$, die de afstand tot een doelset $L$ (doeltoestanden) codeert.

• Doelfunctie: $l(s) = -1$ als $s$ een doeltoestand is, en $l(s) = 1$ anders.
• Waarde Definitie: De waarde van een toestand $s$ wordt gedefinieerd als de verwachting van de minimale doelwaarde die wordt bereikt over alle mogelijke toekomstige trajecten:
  $$V_\pi(s) = \mathbb{E} \left[ \min_{k} l(\xi(k)) \right]$$
• Conservatieve Schatting: Om overoptimisme te vermijden, leiden de auteurs een conservatieve (pessimistische) vaste-punt Bellman-operator af. Ze introduceren een disconteringsfactor $\gamma$ om een contractieafbeelding te induceren, wat resulteert in de updateregel:
  $$\tilde{V}_\pi(s) = (1 - \gamma) + \gamma \min \{ l(s), \tilde{V}_\pi(s') \}$$
  Deze formulering zorgt ervoor dat als een traject een falen tegenkomt (waarde 1), de waarde achterwaarts propageert, maar als het een doel tegenkomt (waarde -1), de waarde de stappen naar dat doel weerspiegelt.

2. Tweestaps Bootstrapping-kader

Om het gebrek aan dichte beloningen en het probleem van truncatiebias aan te pakken, introduceren de auteurs een tweestapsalgoritme:

• Fase 1 (Ankerberekening): Het algoritme identificeert "ondubbelzinnige" toestanden – specifiek alle toestanden in episodes die succesvol een doel bereiken. Het berekent waardeschattingen voor deze toestanden en hun nakomelingen met behulp van de Bellman-operator. Deze waarden dienen als "ankers" die zijn verankerd in waargenomen succes.
• Fase 2 (Bootstrapping): De doelfunctie $l(s)$ wordt verfijnd met behulp van de waardenfunctie $V_\pi$ uit Fase 1. Voor toestanden in time-out (gefaalde) episodes, als een toestand (of een vergelijkbare toestand in de latente ruimte) overlapt met een toestand uit een succesvolle episode, wordt zijn doelwaarde bijgewerkt van de standaard pessimistische waarde (1) naar de optimistische waarde die is afgeleid uit het succesvolle traject.
  • De updateregel wordt: $\tilde{V}_\pi(s) = (1 - \gamma) + \gamma \min \{ V_\pi(s), \tilde{V}_\pi(s') \}$.
  • Dit mechanisme propageert succesignalen effectief achterwaarts door afgekapte episodes, waardoor de aanname wordt overschreven dat time-outs onvermijdelijk falen impliceren.

Belangrijkste Bijdragen

1. Levensvatbaarheidsgebaseerde Formulering: Een nieuwe herformulering van OPE voor manipulatietaakken met schaar beloningen die waarde interpreteert als een maatstaf voor taakvoortgang (levensvatbaarheid) in plaats van cumulatieve return.
2. Mitigatie van Truncatiebias: Een tweestaps, gebootstrapt evaluatiealgoritme dat gebruikmaakt van waargenomen successen om de pessimistische bias inherent aan offline data met een eindige horizont te corrigeren.
3. Theoretische Garanties: Bewijs dat de voorgestelde gedisconteerde Bellman-operator een contractieafbeelding induceert, waardoor het bestaan van een unieke vaste-punt waardenfunctie wordt gegarandeerd.

Experimentele Resultaten

De methode werd geëvalueerd op drie casestudies met datasets gegenereerd door Vision-Language-Action (VLA)-modellen, diffusiebeleid en menselijke demonstraties:

1. LIBERO-Spatial (Pakken en Plaatsen): Een gesimuleerde taak met een VLA-beleid.
2. Vierkante Pen Insertie: Een gesimuleerde taak met een diffusiebeleid.
3. Doek Opvouwen: Een hardware-taak op een Franka Panda-arm met behulp van menselijke teleoperatiedata.

Basislijnen: De methode werd vergeleken met TD(0), Monte Carlo (MC), Distributional MC (MC-D) en een ablatie van hun eigen methode zonder bootstrapping (Ours-NB).

Metingen:

• Succesmetriek: Percentage van frames in succesvolle episodes waarbij de geschatte stappen-tot-doel kleiner is dan de daadwerkelijke episode-lengte.
• Falingsmetriek: Percentage van frames in gefaalde episodes waarbij de geschatte stappen-tot-doel een standaard taakhorizon overschrijdt.
• Composietmetriek: Het rekenkundig gemiddelde van het bovenstaande.

Vondsten:

• Prestatie: De voorgestelde methode behaalde de beste prestatie in de Succesmetriek en Composietmetriek over alle drie de taken, en presteerde significant beter dan klassieke basislijnen.
• Truncatiebias: De methode verminderde de truncatiebias aanzienlijk en identificeerde correct dat veel toestanden in time-out-episodes eigenlijk dicht bij succes lagen (herstelbaar) in plaats van falen.
• Falingsmetriek Trade-off: De methode presteerde iets slechter op de Falingsmetriek in vergelijking met sommige basislijnen. De auteurs schrijven dit toe aan het bootstrapping-mechanisme dat "optimistisch" is voor toestanden in time-out-episodes die visueel lijken op succesvolle toestanden, wat mogelijk leidt tot het verkeerd classificeren van sommige echte falen als herstelbaar.
• Robuustheid: De methode bleef effectief zelfs met kleinere datasetgroottes (tot 50 episodes) en was grotendeels ongevoelig voor de keuze van de beeldencoder (SigLIP2, CLIP, DINOv2).

Betekenis en Claims

Het artikel stelt dat door beleidsevaluatie te herformuleren als een levensvatbaarheidsprobleem en gebruik te maken van een bootstrapping-mechanisme, het mogelijk is om waardenfuncties te leren die niet-monotone taakvoortgang in manipulatietaakken nauwkeurig weerspiegelen. De primaire betekenis ligt in het vermogen om onderscheid te maken tussen beleidfalen en episode-truncatie, een cruciale capaciteit voor betrouwbare offline evaluatie in real-world robotica waar time-outs veel voorkomen.

De auteurs merken op dat hun aanpak bijzonder effectief is voor beleid dat herstelgedrag vertoont. Ze erkennen echter beperkingen:

• Het bootstrapping-mechanisme kan leiden tot overoptimisme als de toestandsoverlap tussen succesvolle en gefaalde episodes verkeerd wordt geleerd (bijvoorbeeld in taken met slechte visuele aanwijzingen zoals de Square-taak).
• De methode is sterk afhankelijk van de datasetverdeling en generaliseert mogelijk niet goed daarbuiten.
• De prestatie verslechtert voor beleid dat geen herstelgedrag vertoont, aangezien het bootstrapping-mechanisme dan minder "ankers" heeft om vanuit te propageren.

Het werk concludeert dat, hoewel de methode een kleine trade-off introduceert in de nauwkeurigheid van falendetectie, de aanzienlijke verbetering in het vastleggen van succesvolle taakvoortgang het een superieur hulpmiddel maakt voor het evalueren van manipulatiebeleid onder schaar beloningen en eindige horizonten.