💻 computer science

Goal Sets, Not Goal States: Queryable Robot Goals through Goal-Set Hindsight Relabeling

Dit artikel introduceert Goal-Set Hindsight Relabeling (GS-HER), een methode die traditionele hindsight relabeling generaliseert door bereikte toestanden te laten voldoen aan query-gedefinieerde doelverzamelingen in plaats van exacte enkelvoudige toestanden, waardoor de prestaties van offline robotleren worden verbeterd wanneer volledige toestandsdoelen worden gehinderd door irrelevante dimensies en waarbij één enkel model diverse doelpredicaten kan beantwoorden zonder hertraining.

Oorspronkelijke auteurs: Carlos Vélez García, Miguel Cazorla, Jorge Pomares

Gepubliceerd 2026-06-09

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Carlos Vélez García, Miguel Cazorla, Jorge Pomares

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een spelletje "appeltje-eitje" te spelen met een kubus. Je laat de robot een video zien van een mens die succesvol een kubus op een tafel plaatst.

De Oude Manier (Standaard HER): Het "Perfecte Kopie" Probleem
In traditioneel robotleren kijkt de computer naar de video en zegt: "Oké, om succesvol te zijn, moet de robot eindigen in exact dezelfde staat als de mens deed."

Dit betekent dat de robot het volgende moet matchen:

Waar de kubus is (Belangrijk!).
De hoek van de elleboog van de robot (Misschien belangrijk?).
Hoe snel de vingers van de robot bewegen (Niet belangrijk!).
De exacte positie van de basis van de robot (Niet belangrijk!).

Het probleem is dat de robot in de war raakt. De robot probeert zo hard om de exacte snelheid van de vingers of de exacte hoek van de elleboog te matchen, dat hij vergeet de kubus daadwerkelijk op de tafel te leggen. Het is alsof een student probeert te slagen voor een wiskundetoets, maar zo geobsedeerd raakt door het schrijven van zijn naam in exact hetzelfde handschrift als de leraar, dat hij vergeet de vergelijkingen op te lossen. De "extra" details (zoals de snelheid van de vingers) werken als ruis die het leren van de echte taak blokkeert.

De Nieuwe Manier (GS-HER): De "Markeerstift" Benadering
De auteurs stellen een nieuwe methode voor genaamd Goal-Set Hindsight Relabeling (GS-HER). In plaats van te eisen dat er een perfecte kopie van de hele video wordt gemaakt, gebruikt deze methode een query (denk aan een markeerstift of een filter) om te beslissen wat er echt toe doet.

Zo werkt het:

De Query: Voordat de robot leert, zeg je tegen hem: "Voor deze specifieke les moet je alleen maar geven om de positie van de kubus. Negeer de rest."
Het Leren: Wanneer de robot de video bekijkt, ziet hij een mens die slaagt. In plaats van te zeggen: "Je faalde omdat de elleboog op 45 graden stond in plaats van 46 graden," zegt de robot: "Geweldig! De kubus ligt op de tafel. Dat telt als een succes, zelfs als de elleboog op 45 graden stond."
Het Resultaat: De robot leert het concept van succes (kubus op tafel) zonder zich te verliezen in de irrelevante details (ellebooghoek).

De Superkracht: Eén Robot, Veel Taken
Het meest creatieve deel van dit artikel is dat de robot niet opnieuw getraind hoeft te worden om een nieuwe taak te leren.

Stel je een enkele "meesterkok" robot voor.

Scenario A: Je wilt dat hij een soep kookt. Je geeft hem een "query kaart" waarop staat: "Focus alleen op de pan en het fornuis." De robot leert om soep te kooken.
Scenario B: Later wil je dat hij een taart bakt. Je hoeft geen nieuwe chef in te huren of de oude te hertrainen. Je wisselt gewoon de "query kaart" om met de tekst: "Focus alleen op de oven en de mixer."
Scenario C: Je wilt dat hij de tafel schoonmaakt. Je wisselt de kaart opnieuw naar: "Focus alleen op het tafeloppervlak en de servet."

Omdat de robot het algemene idee heeft geleerd van het bereiken van een doel (in plaats van een specifieke, rigide beweging), kan hij direct schakelen tussen deze verschillende "definities van succes" door simpelweg de query kaart te veranderen.

Waarom Dit Er Toe Doet
Het artikel heeft dit getest op standaard robot-benchmarks (zoals het bewegen van kubussen of navigeren door doolhoven). Ze ontdekten dat:

Het werkt beter: Wanneer de "ruis" (irrelevante details) hoog is, helpt deze nieuwe methode de robot veel vaker te slagen dan de oude "perfecte kopie" methode.
Het is flexibel: Een enkel getraind robotmodel kan veel verschillende vragen beantwoorden ("Leg de kubus hier neer", "Beweeg de arm daar", "Open de grijper") zonder dat het voor elke taak opnieuw getraind hoeft te worden.

Samenvattend
Het artikel betoogt dat we het succes van een robot niet moeten behandelen als één enkele, rigide momentopname van de wereld. In plaats daarvan moeten we succes behandelen als een flexibele set van mogelijkheden die wordt gedefinieerd door waar we op dit moment om geven. Door een eenvoudige "query" te gebruiken om de ruis weg te filteren, kunnen we robots sneller leren, ze slimmer maken en één robot in staat stellen om veel verschillende taken te doen zonder vanaf nul te beginnen.

Technische Samenvatting: Doelsets, Geen Doeltoestanden: Vraagbare Robotdoelen door Goal-Set Hindsight Relabeling

Probleemstelling
Offline Goal-Conditioned Reinforcement Learning (GCRL) streeft naar het afleiden van controlebeleid uit vooraf verzamelde, beloningsvrije datasets (bijv. demonstraties of teleoperatie-logs) zonder kostbare online trial-and-error. Een centraal mechanisme in dit domein is Hindsight Experience Replay (HER), dat bereikte toekomstige toestanden herlabelt als doelen voor eerdere transities in een traject.

Standaard offline GCRL-benchmarks, zoals OGBench, instantiëren HER doorgaans met de volledige toestandsruimte als de doelruimte. Deze aanpak gaat ervan uit dat succes vereist dat de volledige toekomstige state-vector wordt gereproduceerd. Echter, in veel robotica-manipulatietaken hangt succes alleen af van een specifieke subset van state-variabelen (bijv. de positie van een object), terwijl andere variabelen (bijv. robotgewrichtsconfiguraties, gripper-toestand, snelheden) nuisance-dimensies zijn. Door exacte volledige state-matching af te dwingen, introduceert standaard HER kunstmatige beperkingen die het leerdoel overmatig beperken, wat leidt tot suboptimale prestaties wanneer de succes-criteria van een taak een projectie zijn van de volledige state.

Methodologie: Goal-Set Hindsight Relabeling (GS-HER)
De auteurs stellen Goal-Set Hindsight Relabeling (GS-HER) voor, een predicaat-niveau generalisatie van HER. In plaats van een bereikte staat $s_{t+k}$ te behandelen als een singleton doel $g = s_{t+k}$ , behandelt GS-HER deze als een certificaat voor een doelset gedefinieerd door een query.

Query-gedefinieerde Equivalentieklassen:
Een binaire query-vector $q \in \{0, 1\}^D$ specificeert welke state-variabelen succes definiëren voor een specifieke taak.
- $q_i = 1$ : De $i$ -de coördinaat is actief en definieert het doel.
- $q_i = 0$ : De $i$ -de coördinaat is een nuisance-variabele voor deze query.
Gegeven een referentiestaat $g$ en een query $q$ , wordt de doelset gedefinieerd als de equivalentieklasse van staten $G(g, q) = \{s' \in \mathcal{S} : q \odot s' = q \odot g\}$ . Succes wordt bepaald door het matchen van alleen de actieve coördinaten, typisch gemeten via een genormaliseerde kwadratische afstand met een tolerantie $\epsilon$ .
Query-geconditioneerde Interface:
GS-HER wijzigt de conditionering-input van het onderliggende offline GCRL-algoritme zonder het kern-leerdoel (bijv. Bellman-updates, contrastieve loss, of behavioral cloning) te veranderen. De conditionering-input $\psi_{GS}$ wordt geconstrueerd als:
$\psi_{GS}(s, g, q) = [\bar{s}_q, \bar{g}_q, q]$
waarbij $\bar{s}_q = q \odot s + (1-q) \odot e_s$ en $\bar{g}_q = q \odot g + (1-q) \odot e_g$ . Hier zijn $e_s$ en $e_g$ nuisance-coördinaat-embeddings (geleerd of vastgelegd) die irrelevante variabelen maskeren. De query $q$ wordt expliciet aan het netwerk verstrekt, waardoor het model een verenigd beleid kan leren dat zijn opvatting van "succes" aanpast op basis van de query.
Relabeling Wrapper:
GS-HER fungeert als een wrapper rond bestaande offline GCRL-algoritmen. Tijdens de training wordt voor elke transitie een referentiestaat $g$ gesampled (zoals bij het basisalgoritme), en een query $q$ wordt gesampled uit een distributie $p_Q$ . De transitie wordt vervolgens hergelabeld met de query-geconditioneerde doelset en het bijbehorende succes-predicaat. Dit maakt het mogelijk voor één enkel model om te leren van een mengeling van doel-semantiek (bijv. volledige staat, object-positie, end-effector pose) simultaan.

Belangrijkste Bijdragen

Identificatie van Objective Mismatch: Het artikel identificeert dat exacte staat-hindsight relabeling een mismatch in het leerdoel creëert in robotica-taken waarbij succes afhangt van taak-relevante projecties in plaats van de volledige staat.
Formalisering van GS-HER: De auteurs formaliseren GS-HER als een predicaat-niveau generalisatie waarbij bereikte staten de bereikbaarheid van doelsets (equivalentieklassen) certificeren in plaats van singleton staten.
Implementatie-agnostische Wrapper: GS-HER wordt geïnstantieerd als een query-geconditioneerde relabeling wrapper voor vector-state omgevingen. Het stelt bestaande offline GCRL-algoritmen (inclusief behavioral cloning, contrastieve RL, en implicit Q-learning) in staat om query-geconditioneerde doel-semantiek te leren zonder hun onderliggende optimalisatie-doelen te wijzigen.
Herbruikbare Doel-interface: De methode transformeert hindsight relabeling in een herbruikbare interface, waardoor één getraind checkpoint bij inferentie tijd meerdere doel-predicaten kan beantwoorden zonder hertraining.

Experimentele Resultaten
De auteurs evalueerden GS-HER op de OGBench-suite, die manipulatie-taken (bijv. kubusplaatsing) en navigatie-taken (bijv. PointMaze, AntMaze) dekt over vijf verschillende offline GCRL-backbones (GCBC, CRL, GCIVL, GCIQL, GCDL).

Prestatieverbetering: GS-HER (specifiek de "Blockwise" variant die gebruikmaakt van willekeurige coördinaatblokken) presteerde consequent beter dan standaard volledige staat HER (HER-Full) op manipulatie-taken. Bijvoorbeeld, gemiddeld over manipulatie-taken verbeterde GS-HER het officiële succespercentage van 24,5% (HER-Full) naar 55,0%, waarmee het de prestaties van een oracle "Task-Focused" baseline (HER-Task) benadert, die een vaste, vooraf gedefinieerde projectie gebruikt.
Nuisance Dimensie Bottleneck: De prestatiewinsten waren sterk gecorreleerd met de mate waarin full-state HER werd gebotleneck door nuisance-dimensies. In omgevingen met weinig nuisance-dimensies (zoals PointMaze), presteerde GS-HER vergelijkbaar met HER-Full, wat bevestigt dat de methode specifiek het overmatige beperkingsprobleem aanpakt.
Eén Model, Veel Predicaten: In een "one-model-many-goals" experiment werd één enkele GS-HER checkpoint bij inferentie tijd bevraagd met diverse predicaten (bijv. kubuspositie, kubusyaw, end-effector pose, airborne object positie). Het model paste zich succesvol aan deze verschillende succes-criteria aan zonder hertraining. In contrast hiermee vereiste HER-Task hertraining voor elk nieuw predicaat, en faalde HER-Full bij het generaliseren naar predicaten die specifieke state-variabelen negeerden.

Betekenis en Claims
Het artikel claimt dat GS-HER de relabeling-semantiek van offline GCRL isoleert. Door de definitie van succes (de query) te ontkoppelen van het leeralgoritme, biedt GS-HER een primitief dat offline datasets ondersteunt voor flexibele, vraagbare doel-specificaties.

De auteurs benadrukken dat dit werk niet de open einde doel-specificatie oplost (bijv. via taal of visie), maar eerder aantoont dat het maken van het doel-predicaat een input tijdens inferentie tijd een nuttige en noodzakelijke stap is voor offline robotica-leren. Het stelt één enkel model in staat om meerdere taak-definities te dienen, wat de noodzaak voor aparte trainingsruns voor verschillende taak-projecties vermindert en de afhankelijkheid van exacte staat-matching die vaak semantisch incorrect is voor robotica-manipulatie, mitigeert. De methode wordt gepresenteerd als een complementaire laag aan bestaande algoritmen, die hun flexibiliteit verhoogt zonder hun kern-wiskundige doelstellingen te wijzigen.

Meer zoals dit