Technische Samenvatting: Language-Critique Imitation Learning van Suboptimale Demonstraties

Probleemstelling

Imitation learning (IL) vanuit suboptimale demonstraties beoogt robuuste beleid (policies) te leren door gebruik te maken van overvloedige, imperfecte trajecten naast beperkte expert-data. Bestaande methoden vertrouwen echter doorgaans op gecomprimeerde scalaire supervisiesignalen — zoals betrouwbaarheidsschattingen, discriminator-scores, belangheidsgewichten of beloningen — om nuttig gedrag te onderscheiden van ruis. De auteurs stellen dat deze scalaire signalen inherent beperkt zijn omdat ze niet expliciet de tussenliggende redenering kunnen uitdrukken met betrekking tot taakvoortgang, specifieke foutmodi of corrigerende acties. Bijgevolg slagen ze er vaak niet in de gestructureerde informatie te vangen die noodzakelijk is voor leren in langdurige (long-horizon) of multimodale taken, waar succes afhangt van subtiele, fase-specifieke beslissingen.

Methodologie

Het paper stelt Language-Critique Imitation Learning voor, een offline framework dat scalaire signalen vervangt door natuurlijke taal als een gestructureerd supervisiesignaal. De methode bestaat uit drie kerncomponenten:

1. Generatie van Gestructureerde Taallabels

Om de variabiliteit en kosten van menselijke annotatie of vrij vorm generatie door Large Language Models (LLM's) te vermijden, introduceren de auteurs een deterministische Language Label Generator ($\mu_g$). Voor elk staat-actie paar $(s, a)$ extraheert $\mu_g$ taakspecifieke heuristieken (bijv. objectafstand, gripper-status) en stuurt deze naar drie specifieke selectors om een samengesteld taallabel $l$ te genereren:

• Taakvoortgang ($<T>$): Beschrijft de huidige semantische fase van de taak (bijv. "benaderen van object", "bewegen naar doel").
• Actie-optimaliteit ($<A>$): Evalueert of de actie gunstig, ineffectief of schadelijk is voor de huidige context (bijv. "De actie is goed", "De actie is slecht").
• Bewegingsbegeleiding ($<M>$): Biedt fijnmazige corrigerende instructies (bijv. "Beweeg voorzichtig naar rechts", "Kantel naar beneden").

Deze gestructureerde aanpak zorgt ervoor dat de labels consistent, reproduceerbaar en direct relevant zijn voor de besturingsopdracht zonder afhankelijk te zijn van geprivilegieerde omgevingsinformatie.

2. Differentiabele LLM-Captioner ($\mu_\phi$)

Om end-to-end beleidsoptimalisatie mogelijk te maken, worden de discrete taallabels gegenereerd door $\mu_g$ gedestilleerd in een differentiabele LLM-Captioner ($\mu_\phi$). Dit model, gebouwd op een voorgetraind LLM (specifiek SmolLM2) en een MLP-projector, brengt staat-actie paren in kaart naar de gestructureerde taallabelverdeling.

• Training: $\mu_\phi$ wordt gefinetuned op de algemene dataset (bevat zowel expert als suboptimale data) met behulp van een token-niveau cross-entropy loss om $\mu_g$ na te bootsen.
• Rol: Eenmaal getraind fungeert $\mu_\phi$ als een bevroren differentiabele critic die de waarschijnlijkheid kan evalueren van de actie $\hat{a}$ van een beleid die het expert-taallabel $l^E$ produceert.

3. Language-Critique Loss ($L_{LC}$)

Het kernleermdoel is de Language-Critique Loss, die het beleid $\pi_\theta$ direct traint met behulp van de gestructureerde signalen van $\mu_\phi$ zonder deze te reduceren tot scalaire waarden.

• Mechanisme: De loss straft beleidsacties af die het minder waarschijnlijk maken dat het expert-taallabel wordt geproduceerd dan de expert-actie zelf. Het is geformuleerd als een afgeknipte (clipped) verschil tussen de cross-entropy loss van het beleid en de cross-entropy loss van de expert:
  $$L_{LC}(\pi_\theta, \pi_E) = [L_{CE}(\pi_\theta) - \text{sg}(L_{CE}(\pi_E))]_+$$
  waarbij $[x]_+ = \max(x, 0)$ en $\text{sg}$ staat voor stop-gradient.
• Instantiaties:
  • LC-BC: Toegepast op standaard feedforward Behavior Cloning (BC).
  • LC-DP: Toegepast op Diffusion Policies. Omdat diffusiemodellen ruis voorspellen in plaats van acties, wordt de loss toegepast op de één-stap gereconstrueerde actie $\hat{a}_0$. Een tijdstap-afhankelijke herwegtingsfactor $\omega_k$ wordt geïntroduceerd om de bijdrage van verschillende diffusiestappen te balanceren, zodat de loss overeenkomt met de standaard diffusie-objective.

Belangrijkste Bijdragen

1. Framework: Introductie van een language-critique framework dat natuurlijke taal gebruikt als een gestructureerd, niet-scalair supervisiesignaal voor imitation learning van suboptimale demonstraties.
2. Algoritme: Ontwikkeling van LC-BC en LC-DP, die taalgestuurde supervisie integreren in respectievelijk behavior cloning en diffusion policies.
3. Theoretische Garantie: Een theoretisch bewijs dat aantoont dat het minimaliseren van de language-critique gap de expert-policy prestatiekloof begrenst onder standaard aannames (lineaire feature realizability en taal-voldoendeheid).
4. Empirische Validatie: Uitgebreide evaluatie over acht diverse continuous-control taken (navigatie, manipulatie, gameplay) die consequent superieure prestaties laten zien ten opzichte van sterke baselines.

Experimentele Resultaten

De auteurs evalueerden hun methoden op acht taken: MAZE, PARKING, SWEEP, BOX-CLOSE, BLOCKPUSH, PEGINSERT, HAMMER, en RELOCATE.

• Prestaties vs. Baselines: LC-BC en LC-DP presteerden consequent beter dan of gelijk aan sterke imitation learning baselines (bijv. DemoDICE, DWBC, ILID) en offline RL-methoden (bijv. CQL, TD3+BC, Decision Transformer, Diffusion Policy).
  • Opvallende winsten werden waargenomen in multimodale (BLOCKPUSH) en precisie-besturings (PEGINSERT, HAMMER) taken. Zo verbeterde LC-BC op BLOCKPUSH de succesratio van 34,4% (standaard BC) naar 47,2%.
  • In de precisietaken PEGINSERT behield LC-DP een duidelijk voordeel ten opzichte van de standaard Diffusion Policy, terwijl LC-BC bescheiden verbeteringen liet zien, wat suggereert dat diffusiebeleid beter integreert met hoogwaardige taalbegeleiding via iteratieve denoising.
• Gemengde Kwaliteit Data: De methode bleef effectief, zelfs wanneer de expert-dataset niet zuiver gescheiden was, door gebruik te maken van taalgebaseerde heuristieken om suboptimale data uit een gemengde dataset te filteren.
• Ablatie Studies:
  • Gestructureerd vs. Scalair: Methoden die gebruikmaken van taallabels presteerden significant beter dan varianten die labels reduceerden tot scalaire beloningen (LC-BC-reward) of discrete categorische klassen (LC-BC-classifier), wat de waarde bevestigt van het behoud van de expressiviteit van natuurlijke taal.
  • Belang van Componenten: Alle drie de componenten ($<T>, <A>, <M>$) bleken complementair te zijn; het verwijderen van één component leidde tot verminderde prestaties.
  • Bron van Labels: De gestructureerde generator $\mu_g$ bleek superieur aan open-ended VLM-gegenereerde labels (bijv. van o4-mini) vanwege betere semantische consistentie en feature-alignering, met name voor fijnmazige bewegingsbegeleiding.

Betekenis en Claims

Het paper claimt dat natuurlijke taal dient als een krachtige en gestructureerde vorm van supervisie die superieur is aan gecomprimeerde scalaire signalen voor het leren van suboptimale data. Door expliciet taakvoortgang, foutmodi en corrigerende acties te beschrijven, bieden taallabels de gestructureerde informatie die nodig is om beleid te leiden in complexe, langdurige en multimodale omgevingen.

De auteurs benadrukken dat hun aanpak taal niet louter gebruikt als een beschrijvend hulpmiddel, maar als een direct, differentieerbaar supervisiesignaal dat robuust beleidsleren mogelijk maakt zonder aanvullende interactie met de omgeving of extra expert-data te vereisen. De theoretische resultaten onderbouwen dit empirische succes verder door aan te tonen dat de voorgestelde objective de prestatiekloof tot de expert-policy controleert. Het werk suggereert dat taal effectief de kloof kan overbruggen tussen beperkte expert-data en overvloedige suboptimale data, wat een schaalbare weg biedt naar robuust imitation learning in continuous control.