Technische Samenvatting: Freeform Preference Learning voor Robotische Manipulatie

Probleemstelling

Beloningsontwerp (reward design) blijft een kritieke flessenhals voor de verbetering van autonome robotbeleid, met name voor complexe manipulatietaken met een lange horizon. Bestaande benaderingen kampen met significante beperkingen:

• Spaarzame Beloningen (Sparse Rewards): Binaire succes/falen-labels bieden onvoldoende signaal voor complexe taken waarbij tussenliggende progressie cruciaal is.
• Ambigue Binaire Voorkeuren: Traditioneel voorkeursleren (bijv. Bradley-Terry modellen) vereist dat annotatoren meerdere concurrerende opvattingen van kwaliteit (bijv. snelheid vs. veiligheid) reduceren tot één enkele "algehele" binaire label. Dit creëlt ambiguïteit, vooral bij het vergelijken van trajectsegmenten uit verschillende stadia van een taak.
• Rigide Beloningsfuncties: Handmatig ontworpen scalaire beloningen slagen er vaak niet in om het volledige spectrum van menselijke intentie te vangen, zoals hygiëne, formaliteit of zorgvuldigheid, wat leidt tot ongewenste downstream-gedragingen tijdens optimalisatie.

Het paper stelt dat het behoud van de multidimensionale aard van menselijk oordeel essentieel is voor het leren van robuuste beleid die alle aspecten van de intentie van een gebruiker vatten.

Methodologie: Freeform Preference Learning (FPL)

FPL introduceert een framework voor het leren van robotbeleid uit vrije vorm menselijke voorkeuren gedefinieerd in natuurlijke taal, in plaats van feedback te reduceren tot een enkele scalar. De methode bestaat uit drie kerncomponenten:

1. Freeform Preference Collectie

In plaats van te vragen "Welk traject is algeheel beter?", krijgen annotatoren paren trajecten te zien en wordt hen gevraagd om:

• Specifieke voorkeursassen te definiëren in natuurlijke taal (bijv. "snelheid", "veiligheid", "formaliteit van de opstelling", "gladheid"). Deze assen kunnen vooraf worden gedefinieerd of door de annotator tijdens het proces worden gespecificeerd.
• Paarsgewijze voorkeuren ($y_k \in \{0, 1\}$) te verstrekken voor elke gedefinieerde as ($l_k$).
  Dit levert een dataset $\mathcal{P}$ op van trajectparen geannoteerd met natuurlijke taallabels en per-as binaire voorkeuren.

2. Taal-geconditioneerd Beloningsleren

FPL leert een enkel beloningsmodel $r_\phi$ geconditioneerd op de natuurlijke taalbeschrijving van de as, door gebruik te maken van de representaties van een vooraf getraind visie-taalmodel (VLM).

• As-geconditioneerde Scoring: Voor een trajectpaar $(\tau_i, \tau_j)$ en een set assen $\{(l_k, y_k)\}$ wordt het model getraind om een aangepaste Bradley-Terry loss te minimaliseren:
  $$L_{FPL-Reward}(\phi) = -\mathbb{E} \left[ \sum_{k=1}^{K_{ij}} \log \sigma \left( (2y_k - 1) [r_\phi(\tau_i | l_k) - r_\phi(\tau_j | l_k)] \right) \right]$$
• Temporele Modellering: In tegen tegenstelling tot standaardmodellen die individuele observaties scoren, conditioneert FPL de beloning op de observatiegeschiedenis. De traject-niveau beloning wordt gedefinieerd als de som van per-prefix scores:
  $$r_\phi(\tau, l_k) = \sum_{i=1}^{T} g_\phi(o_{1:i}, l_k)$$
  waarbij $g_\phi$ een multimodale transformer is. Dit stelt het model in staat om de temporele afhankelijkheden te vangen die nodig zijn voor het evalueren van traject-niveau voorkeuren.

3. Multi-dimensionale Beleidsextractie

In plaats van de geleerde multidimensionale beloningen te reduceren tot een enkele gewogen scalar (wat het risico op reward hacking met zich meebrengt), traint FPL een beleid $\pi_\theta$ dat gelijktijdig geconditioneerd is op de natuurlijke taal-assen en de bijbehorende beloningsscores.

• Het beleid wordt getraind via behavior cloning (of offline RL) op een dataset waarbij acties geconditioneerd zijn op de set assen $\mathcal{L} = \{l_1, \dots, l_{K_\pi}\}$ en de bijbehorende beloningen $r_\phi(\tau | l_k)$.
• Iteratief Trainen: Het proces kan iteratief zijn. Naarmate het beleid verbetert, kunnen annotatoren meer verfijnde feedback geven, en kan de set assen worden uitgebreid, wat een natuurlijk curriculum creëert.
• Test-time Stuurbaarheid: Tijdens inferentie kan het beleid worden gestuurd naar specifieke gedragingen door de doel-beloningswaarden te variëren die geconditioneerd zijn op specifieke assen, zonder hertraining.

Belangrijkste Bijdragen

1. Freeform Preference Learning (FPL): Een nieuwe methode voor het oproepen en leren van multidimensionale, natuurlijke taal menselijke voorkeuren, waardoor de ambiguïteit van "algehele" binaire labels wordt vermeden.
2. Taal-geconditioneerd Beloningsmodel: Een beloningsfunctie die een traject en een natuurlijke taal-as beschrijving naar een scalaire score mapt, wat het leren van diverse attributen (kwaliteit, snelheid, veiligheid, hygiëne) uit een enkel model mogelijk maakt.
3. Compositionaliteit en Stuurbaarheid: Het framework stelt beleid in staat om compositionele gedragingen te vertonen (het combineren van eigenschappen die niet samen in de data voorkwamen) en maakt test-time sturing van gedrag mogelijk door de beloningsconditionering aan te passen.
4. Dichte Supervisie zonder Segmentatie: FPL leert dichte progressiesignalen voor taken met een lange horizon zonder dat expliciete subtaak-segmentatie of handmatige beloningsvormgeving (reward shaping) vereist is.

Experimentele Resultaten

De auteurs evalueerden FPL op vier real-world taken (een kubus in een kom leggen, broek vouwen, toast op een bord leggen, een tafel dekken) en twee gesimuleerde taken (object herordenen, bimodal square).

• Prestaties: FPL presteerde gemiddeld 38 procentpunt beter dan de baselines (inclusief spaarzame beloningen, binaire voorkeursleren en gewogen regressie) over de real-world taken.
• Simulatie: In de "Bimodal Square" taak slaagde FPL erin om gedragingen te componeren (een noot snel op een pen plaatsen), zelfs toen de trainingsdata alleen snelle voorbeelden bevatte voor de andere pen. Het bereikte ook een hoge prestatie op de "geïnverteerde" taak (linker pen) met hetzelfde beleid door de beloningsconditionering te wijzigen, een capaciteit die niet aanwezig is in de baseline-methoden.
• Beloningsdichtheid: Kwalitatieve analyse toonde aan dat de as-geconditioneerde beloningen van FPL temporeel gelokaliseerd waren rond specifieke subtaak-gebeurtenissen (bijv. het neerzetten van een kopje), terwijl binaire voorkeursbeloningen ambigue, laat-stadium pieken produceerden.
• Annotatie-efficiëntie: Het verzamelen van vrije vorm voorkeuren was ongeveer 50% sneller per label dan het verzamelen van enkele binaire voorkeuren, omdat de kosten van het bekijken van een video gedeeld worden over meerdere as-specifieke oordelen.

Betekenis en Claims

Het paper claimt dat FPL het fundamentele probleem aanpakt van het vastleggen van de "multidimensionale" aard van menselijke intentie in robotica. Door de structuur van menselijke feedback te behouden in plaats van deze te reduceren, biedt FPL:

• Dichtere, minder ambigue supervisie voor beleidsoptimalisatie.
• Het mogelijk maken van compositionele generalisatie, waardoor robots geleerde gedragingen kunnen combineren (bijv. snelheid + veiligheid) op manieren die niet expliciet in de data aanwezig waren.
• Het bieden van test-time stuurbaarheid, waardoor gebruikers het gedrag van de robot kunnen aanpassen (bijv. prioriteit geven aan snelheid boven delicate handelingen) zonder hertraining.
• Het aantonen dat natuurlijke taal een levensvatbare en effectieve interface is voor het definiëren van beloningsassen, waarmee men verder gaat dan rigide, vooraf gedefinieerde beloningsstructuren.

De auteurs concluderen dat hoewel voorkeursleren duurder is dan ongesuperviseerde benaderingen, FPL de kwaliteit en flexibiliteit van geleerde beleid aanzienlijk verbetert, wat het een veelbelovende richting maakt voor real-world robot learning.