Technische Samenvatting: RepMT-SAC voor Multi-Task Skill Transfer

Probleemstelling

Reinforcement learning (RL) heeft succes getoond bij het aanleren van complexe controle-policies voor enkelvoudige taken, maar kampt met een lage steekproefefficiëntie en slechte generalisatie wanneer het wordt toegepast op multi-task settings. Standaard benaderingen behandelen taken vaak onafhankelijk, wat leidt tot policies die overfitten op specifieke beloningssignalen en er niet in slagen om gedeelde structuren, zoals gemeenschappelijke omgevingsdynamica of natuurkundige wetten, te exploiteren. De kernuitdaging ligt in het ontrafelen van taakspecifieke doelstellingen van taak-invariante structuren om het leren van herbruikbare representaties mogelijk te maken. Dit artikel richt zich op een specifieke klasse van multi-task Markov Decision Processes (MDP's) waarbij alle taken identieke onderliggende systeemdynamica delen, maar verschillen in hun beloningsfuncties of referentie-doelstellingen, een scenario dat veel voorkomt in controle-toepassingen zoals quadrotor trajectvolging.

Methodologie: RepMT-SAC

De auteurs stellen RepMT-SAC (Representation-based Multi-Task Soft Actor-Critic) voor, een framework dat ontworpen is om expliciet taak-invariante omgevingsrepresentaties te scheiden van taakspecifieke doelstellingen. De methode is geworteld in de spectrale decompositie van MDP's en werkt in twee afzonderlijke fasen:

1. Theoretische Fundering

Het framework breidt spectrale decompositie uit naar de multi-task setting. Het stelt dat voor elke taak $\tau$, de beloningsfunctie $r(s, a, \tau)$ kan worden uitgedrukt als een lineaire combinatie van taak-invariante kenmerken $\phi(s, a)$ en taafspecifieke parameters $\theta(\tau)$. Bijgevolg kan de actie-waarde functie $Q^\pi(s, a; \tau)$ worden gemodelleerd met een lineaire parametrisatie:
$$Q^\pi(s, a; \tau) = \langle \phi(s, a), w^\pi(\tau) \rangle$$
Hierbij vangt $\phi(s, a)$ de gedeelde, taak-agnostische dynamica van de omgeving, terwijl $w^\pi(\tau)$ de taakspecifieke bijdragen codeert. Deze structuur maakt het mogelijk om de Q-functie te modelleren als een lineaire combinatie van herbruikbare vaardigheden (skills) die door de taak worden gewogen.

2. Twee-fasen Leerparadigma

• Upstream Fase (Gezamenlijk Leren): Het framework optimaliseert gezamenlijk de taak-agnostische representaties van de omgevingsdynamica en de taafspecifieke coderingen van de Q-functie.
  • Dynamica Leren: Het maakt gebruik van een spectrale conditionele dichtheidsschatting om de taak-invariante feature map $\phi(s, a)$ en een hulp-representatie $\mu(s')$ te leren door de conditionele transitiedichtheid $P(s'|s, a)$ te benaderen. Dit wordt bereikt via een sampling-gebaseerde cross-entropy loss.
  • Waarde Leren: De taakcodering $w(\tau; \theta)$ wordt bijgewerkt met behulp van een temporal-difference (TD) loss, wat ervoor zorgt dat de policy evaluatie een stabiel lineair optimalisatieprobleem blijft.
  • Policy Afleiding: Een maximum-entropie policy wordt afgeleid uit de geleerde Q-functie, waarbij het Soft Actor-Critic (SAC) framework wordt gevolgd om exploratie en robuustheid te stimuleren.
• Downstream Fase (Snelle Adaptatie): Wanneer er nieuwe, ongeziene taken (out-of-distribution) worden tegengekomen, worden de geleerde taak-invariante dynamica ($\phi$ en $\mu$) bevroren. Alleen de taakspecifieke codering $w(\tau; \theta)$ en de policy $\pi$ worden bijgewerkt via fine-tuning. Dit vermindert het aantal trainbare parameters aanzienlijk, wat snelle specialisatie mogelijk maakt met minimale interacties met de omgeving.

Belangrijkste Bijdragen

1. Expliciete Ontrafeling: In tegen tegenstelling tot eerdere methoden die dynamica en beloningen impliciet verstrengelen binnen latente embeddings, parametreert RepMT-SAC taak-invariante dynamica expliciet als een op zichzelf staand object, gescheiden van taakspecifieke doelstellingen.
2. Spectrale MDP Decompositie: Het artikel breidt de spectrale decompositie-theorie uit naar multi-task RL, en bewijst dat taak-geconditioneerde waarde-functies lineair geparametriseerd kunnen worden door taak-invariante kenmerken en taafspecifieke gewichten.
3. Efficiënt Adaptatiemechanisme: Door de dynamica-representatie tijdens downstream adaptatie te bevriezen, bereikt het framework snelle few-shot learning voor out-of-distribution taken zonder de onderliggende fysica van het systeem opnieuw te hoeven leren.
4. Toepassing op Quadrotor Controle: De methode wordt toegepast op quadrotor trajectvolging, waarbij taken worden gedefinieerd door verschillende referentietrajecten (gecodeerd via Legendre-polynoomcoëfficiënten) maar dezelfde vluchtdynamica delen.

Experimentele Resultaten

Het framework werd geëvalueerd in de IsaacSim-omgeving op quadrotor trajectvolging-taken, waarbij RepMT-SAC werd vergeleken met standaard SAC en een geablateerde variant (CTRL-SAC).

• Source Taken (In-Distribution Training): RepMT-SAC behaalde een succespercentage van 100% met een gemiddelde beloning van $1094.2 \pm 17.9$, wat significant beter is dan SAC ($857.1 \pm 277.9$) en CTRL-SAC ($377.9 \pm 35.4$). Het vertoonde stabiel, monotoon leren met een lage variantie vergeleken met het oscillerende gedrag van de baselines.
• In-Distribution (ID) Generalisatie: Op taken gevormd door convexe combinaties van source taken, behield RepMT-SAC een succespercentage van 100% en een gemiddelde beloning van $1100.7 \pm 16.1$. In contrast hiermee behaalde SAC slechts 60% succes, en CTRL-SAC faalde volledig (0% succes), wat de noodzaak van de gestructureerde decompositie voor generalisatie onderstreept.
• Out-of-Distribution (OOD) Adaptatie: Voor taken gedefinieerd door hogere-orde polynomen buiten het trainingsbereik, werd RepMT-SAC gefinetuned voor slechts 25.000 iteraties (10% van het pretraining budget). Het bereikte een succespercentage van 100% en een gemiddelde beloning van $1034.8 \pm 23.3$ na fine-tuning. Baselines hadden moeite met adaptatie, waarbij SAC slechts 40% succes bereikte en CTRL-SAC op 0% bleef staan.
• Prestatiewinst: De auteurs rapporteren dat RepMT-SAC de baselines met wel 30% overtreft in beloning en succespercentage over diverse metrieken.

Betekenis en Claims

Het artikel claimt dat RepMT-SAC een robuuste fundering biedt voor multi-task reinforcement learning door gebruik te maken van de gedeelde structuur van omgevingsdynamica. De primaire betekenis ligt in het mogelijk maken van sterke zero-shot prestaties op in-distribution taken en snelle few-shot adaptatie naar out-of-distribution taken. Door het leren van herbruikbare dynamica te ontkoppelen van taakspecifieke doelstellingen, overwint het framework de lage steekproefefficiëntie en slechte generalisatie die typerend zijn voor standaard multi-task RL-benaderingen.

De auteurs merken op dat het huidige werk steunt op handmatig gecreëerde taakdistributies ($\mu_{train}$) en dat toekomstig werk zich zal richten op het gebruik van de geleerde taak-embeddings om gestructureerde exploratie te sturen en Sim2Real transfer naar fysieke quadrotor-platforms te faciliteren.