From Action Labels to Sets: Rethinking Action Supervision for Imitation Learning from Corrective Feedback

1. Probleemstelling

Het artikel adresseert een fundamentele beperking in Interactive Imitation Learning (IIL) en Behavior Cloning (BC): de broosheid van puntsgewijze supervisie.

• Het Probleem: Traditionele BC behandelt menselijke demonstraties of corrigerende feedback als exacte, puntsgewijze actiedoelen ($a^*$). Hoewel dit effectief is met perfecte data, faalt deze aanpak wanneer menselijke feedback ruis bevat, suboptimaal is, of relatief (een richting aangevend maar geen grootte).
• Het Gevolg: Bij gebruik van expressieve policy-klassen (bijv. Energy-Based Models (EBMs) of Diffusion Models) veroorzaakt puntsgewijze supervisie dat de policy overfittet op specifieke, potentieel ruisachtige labels. Dit creëert scherpe lokale minima rond de gegeven acties, waardoor de policy wordt weggestuurd van het ware onderliggende optimale gedrag.
• Beperkingen van Alternatieven:
  • Pairwise Preference Learning: Hoewel robuuster dan puntsgewijze labels, beperken paarvergelijkingen (bijv. "Actie A is beter dan Actie B") slechts de relatieve ordening van twee acties. In hoog-dimensionale continue ruimtes laat dit de rest van de actieruimte grotendeels onbeperkt, waardoor de policy hoge waarschijnlijkheid kan toekennen aan suboptimale regio's terwijl het toch aan de voorkeursbeperking voldoet.
• Het Gat: Er is behoefte aan een supervisie-objctief dat robuuster is dan puntsgewijze BC (om ruis/suboptimaliteit te hanteren) maar informatiever dan paarvergelijkingen (om de actieruimte effectief te beperken).

2. Methodologie: CLIC

De auteurs stellen CLIC (Contrastive policy Learning from Interactive Corrections) voor, een kader dat verschuift van puntsgewijze labels naar set-gewaardeerde supervisie.

Kernconcept: Gewenste Actiesets

In plaats van een menselijke correctie te behandelen als een enkel doel, interpreteert CLIC deze als het definiëren van een Gewenste Actieset ($\hat{A}$). Deze set bevat alle acties die consistent zijn met de feedback, terwijl de uitgevoerde (suboptimale) actie wordt uitgesloten.

• Absolute Correcties: Als een mens een nieuwe actie $a_h$ geeft, is de gewenste set een regio rond $a_h$ (bijv. een bol of polytoop).
• Relatieve Correcties: Als een mens een richting $h$ geeft om de huidige actie $a_r$ te verbeteren, is de gewenste set een kegel of half-ruimte in die richting, zonder zich vast te leggen op een specifieke grootte.

Belangrijkste Componenten

A. Constructie van Gewenste Actiesets
Het artikel definieert twee specifieke geometrische constructies voor deze sets:

1. Polytoop Sets (CLIC-Half): Gecreëerd door het snijden van meerdere "half-ruimte" beperkingen afgeleid van data-augmentatie.
   • Een enkele correctie $(a_r, a_h)$ wordt aangevuld tot meerdere contrastieve paren $(a^-_i, a^+_i)$.
   • Elk paar definieert een half-ruimte waar acties dichter bij $a^+_i$ de voorkeur hebben.
   • Het snijpunt van deze half-ruimtes vormt een polytoop (naderend tot een kegel).
   • Parameters: Richtingszekerheid ($\alpha$) en groottezekerheid ($\epsilon$) controleren de vorm en grootte van de set.
2. Circulaire Sets (CLIC-Circular): Specifiek voor absolute correcties.
   • Definieert een bol gecentreerd rond de menselijke actie $a_h$ met een straal evenredig aan de afstand tussen de robot-actie en de menselijke actie.
   • Dit vangt de intuïtie op dat de optimale actie binnen een buurt van de correctie ligt.

B. Aggregatie en Convergentie

• Iteratieve Verfijning: Een enkele correctie is vaak onvoldoende om de optimale actie te pinpointen. CLIC aggregeert meerdere correcties over tijd.
• Snijpunt: De totale gewenste actieset voor een staat is het snijpunt van alle individuele sets afgeleid van de feedbackbuffer ($\hat{A}_{D_s} = \bigcap \hat{A}_i$).
• Convergentie: Theoretisch convergeert het snijpunt van deze sets, naarmate meer feedback wordt geaggregeerd, naar de set van optimale acties ($A^*_s$), mits de leraar feedback geeft op suboptimale acties en de sets altijd ten minste één optimale actie bevatten.

C. Policy Shaping Doelstelling
Om de policy $\pi_\theta$ te trainen om uit te lijnen met deze sets, minimaliseert CLIC de KL-divergentie tussen de huidige policy en een doelverdeling ($\pi_{target}$):
$$\ell_{KL} = \mathbb{E} [ KL(\pi_{target}(\cdot|s) \parallel \pi_\theta(\cdot|s)) ]$$

• Doelverdeling: Gedefinieerd via Bayes' regel met een observatiemodel.
  • Observatiemodel: Een zachte lidmaatschapsfunctie (sigmoid) die hoge waarschijnlijkheid toekent aan acties binnen de gewenste set en lage waarschijnlijkheid aan die daarbuiten.
  • Prior: Gebruikt de huidige policy als prior ($\pi_\theta$) in plaats van een uniforme prior. Dit creëert een "policy-gewogen Bayes-verlies", waarbij updates conservatief en incrementeel zijn, waardoor wordt voorkomen dat de policy te ver afdrijft van eerder geleerd gedrag.
• Impliciet vs. Expliciet:
  • Impliciet (EBM): Het verlies wordt geoptimaliseerd met contrastieve sampling (InfoNCE-stijl), waarbij de doelverdeling samples weegt op basis van hun set-lidmaatschap.
  • Expliciet (Gaussisch): Voor unimodale taken vereenvoudigt de methode tot een hinge-verlies dat ervoor zorgt dat het policy-middelpunt binnen de polytoop ligt.

3. Belangrijkste Bijdragen

1. Set-Gewaardeerde Supervisie Perspectief: Stelt een nieuwe formulering voor waarbij corrigerende feedback een regio van acceptabele acties definieert in plaats van een enkel punt, waardoor de kloof tussen puntsgewijze BC en pairwise preference learning wordt overbrugd.
2. CLIC Kader: Introduceert een praktisch algoritme dat deze sets construeert en aggregeert om de policy iteratief te verfijnen. Het ondersteunt zowel absolute als relatieve feedback en behandelt multi-modaal gedrag natuurlijk via impliciete policies (EBMs).
3. Theoretische Analyse: Biedt convergentievoorwaarden die aantonen dat geaggregeerde set-gewaardeerde feedback de optimale actieset kan herstellen, zelfs wanneer individuele feedbacksignalen ruisachtig of relatief zijn.
4. Uitgebreide Evaluatie: Uitgebreide validatie in simulatie en op echte robots (KUKA iiwa) die robustheid aantonen over diverse feedbacktypes.

4. Experimentele Resultaten

Simulatie-experimenten:

• Accurate Feedback: CLIC presteert concurrerend met state-of-the-art (SOTA) methoden (bijv. Diffusion Policy, IBC), wat bewijst dat set-gewaardeerde supervisie geen prestaties offert wanneer data perfect is.
• Ruisachtige Feedback: CLIC presteert aanzienlijk beter dan baselines (IBC, Diffusion Policy, PVP). Terwijl puntsgewijze BC-methoden overfitten op ruis en falen om te convergeren, absorbeert de set-gebaseerde aanpak van CLIC de ruis en behoudt hoge successpercentages.
• Relatieve & Partiële Feedback:
  • Relatieve Correcties: CLIC-Half en CLIC-Explicit leren succesvol van directionele feedback waar puntsgewijze BC-methoden volledig falen (vanwege het "on-policy" probleem waarbij eerdere correcties suboptimaal worden).
  • Partiële Feedback: In multi-robot taken waarbij mensen slechts één arm corrigeren, excelleert CLIC-Half door alleen de gecorrigeerde dimensies te beperken, terwijl baselines die proberen de volledige (deels suboptimale) actievector na te bootsen, falen.

Experimenten met Echte Robots:

• Insert-T (Multi-modaal): CLIC-Half behaalde 80% succes op moeilijke taken, aanzienlijk beter dan Diffusion Policy (30%) en IBC (10%). Dit benadrukt CLIC's vermogen om complexe, multi-modale besluitvorming te hanteren zonder overfitten.
• Ball Vangen (Dynamisch/Partieel): Leerde succesvol een hoog-frequentie taak met relatieve en partiële feedback, met een 100% succespercentage binnen twee pogingen.
• Water Schenken (Precisie): Demonstreerde het vermogen om tijdens training te schakelen tussen absolute en relatieve correcties, waarbij de policy wordt verfijnd van grove naar fijne controle.

Ablatiestudies:

• Bevestigde dat de policy-gewogen prior cruciaal is voor stabiliteit.
• Toonde aan dat de hyperparameters die de set-geometrie controleren ($\alpha, \epsilon$) moeten worden afgestemd op de onzekerheid van het feedbacksignaal.
• Visualiseerde dat naarmate de setstraal naar nul krimpt, CLIC degenereren tot overfittende IBC, wat de noodzaak van de "set"-formulering valideert.

5. Betekenis en Impact

• Robustheid tegen Menselijke Fouten: De primaire betekenis is het robuust maken van imitatielearning voor de inherente onvolkomenheden van menselijke leraren (vermoeidheid, teleoperatiegrenzen, cognitieve belasting).
• Unificerend Kader: CLIC verenigt leren van absolute demonstraties, relatieve correcties en partiële feedback onder één wiskundig kader.
• Schaalbaarheid naar Complexe Taken: Door het overfitten van expressieve modellen op ruisachtige labels te vermijden, maakt CLIC het gebruik van krachtige impliciete policies (EBMs) mogelijk in real-world, interactieve omgevingen waar data zelden perfect is.
• Praktische Toepasbaarheid: De methode verlaagt de cognitieve belasting op menselijke leraren (die ruwe richtingen kunnen geven in plaats van exacte trajecten) en versnelt het leerproces voor complexe robotische taken.

Kortom, CLIC heroverweegt de fundamentele eenheid van supervisie in imitatielearning van een enkel punt naar een set, en biedt een wiskundig onderbouwde en empirisch robuuste oplossing voor leren van imperfecte menselijke feedback.