Hereditary Geometric Meta-RL: Nonlocal Generalization via Task Symmetries

Dit artikel introduceert een meetkundige Meta-RL-methode die generalisatie over het taakruimte bereikt door taak-symmetrieën te ontdekken en te benutten via Lie-groepstransformaties, in plaats van te vertrouwen op lokale gladheid.

De kern

Stel je voor dat je een robot leert om te navigeren in een grote, lege kamer.

Het oude probleem: "Lekker dichtbij"
Standaard methoden (zoals die in de paper worden bekritiseerd) werken als een kind dat leert te fietsen. Als het kind alleen maar oefent op een rechte weg, kan het die weg perfect afleggen. Maar als je het plotseling op een kronkelend pad zet, of op een heuvel, valt het om. Het kind heeft alleen geleerd wat er direct om de training heen ligt. Om een robot goed te laten werken, moet je hem dus duizenden keren oefenen op precies dezelfde soort plekken, zodat hij elke hoek van de kamer kent. Dat kost enorm veel tijd en data.

De nieuwe oplossing: "De Hereditaire Geometrie"
De auteurs van dit paper zeggen: "Wacht even, robots (en mensen) zijn slimmer dan dat. Ze gebruiken symmetrie."

Stel je voor dat je een ijsloper bent. Je hebt jaren geoefend op glad ijs. Nu moet je op een rolschaatsbaan (asfalt) gaan rijden. Je hoeft niet opnieuw te leren hoe je je evenwicht houdt. Je herinnert je je oude ervaring, en je past alleen het oppervlak aan. De bewegingen die je op het ijs maakt, zijn in feite hetzelfde als die op het asfalt, alleen "gedraaid" of "verplaatst".

Dit is wat de paper "Hereditary Geometric Meta-RL" noemt:

• Hereditary (Erfelijk): De robot "erft" de vaardigheden van een oude taak.
• Geometrie: De wereld van de taken heeft een strakke structuur (zoals een cirkel of een bol), niet zomaar een willekeurige brij van gegevens.
• Symmetrie: Als je een taak draait of verschuift, blijft de oplossing eigenlijk hetzelfde, alleen moet je de robot een paar stappen "draaien" in zijn hoofd.

Hoe werkt het in de praktijk? (De "Differential" truc)
Het slimme aan deze paper is hoe ze de robot dit leren.

• De oude manier (Functioneel): De robot moet duizenden keren proberen: "Als ik hier draai, werkt het? Nee. Als ik daar draai? Nee." Hij moet de hele kamer afzoeken om te zien wat er werkt. Dit is traag en instabiel.
• De nieuwe manier (Differentieel): In plaats van de hele kamer te bekijken, kijkt de robot alleen naar de helling of de richting op één klein puntje.
  • Analogie: Stel je voor dat je een berg beklimt. De oude methode loopt overal rond om te voelen waar de grond vast is. De nieuwe methode steekt een stok in de grond op één plek en voelt direct in welke richting het steilste is.
  • Door alleen naar deze "richting" (de wiskundige afgeleide) te kijken, leert de robot de onderliggende regels (de symmetrieën) veel sneller en met veel minder proefjes. Het is alsof je de blauwdruk van het gebouw leest in plaats van elke muur te meten.

Het resultaat
In hun test (een robot die moet lopen naar een doel in een 2D-ruimte):

1. De oude robot (CCM): Werkt goed als het doel dichtbij ligt waar hij eerder heeft geoefend. Zodra het doel verder weg is, faalt hij.
2. De nieuwe robot (Geometrisch): Leerde de onderliggende "draai-regel" van de wereld. Hij kon perfect navigeren naar elk doel in de hele ruimte, zelfs naar plekken waar hij nooit eerder was geweest. Hij had slechts een paar trainingen nodig om de hele wereld te begrijpen.

Kortom:
Deze paper zegt: "Stop met het robot leren door miljoenen voorbeelden te tonen. Leer de robot in plaats daarvan de onderliggende wetten van de natuur (symmetrieën) te ontdekken. Als je begrijpt hoe de wereld 'draait', kun je overal naartoe gaan, niet alleen waar je eerder bent geweest."

Het is het verschil tussen een kaartje memoriseren (oud) en het begrijpen van de kompasnaald (nieuw).

Technische samenvatting

Probleemstelling

Meta-Reinforcement Learning (Meta-RL) richt zich op het trainen van agenten om zich snel aan te passen aan nieuwe taken binnen een takenruimte $\mathcal{M}$. De huidige staat van de kunst, met name geheugengebaseerde Meta-RL, gaat uit van de "gladde-variëteit-hypothese" (smooth-manifold hypothesis). Hierbij wordt aangenomen dat taken die dicht bij elkaar liggen in een ingebouwde ruimte $Z$ (de taak-embeddings), vergelijkbare optimale beleidsregels hebben.

De beperkingen van deze aanpak zijn:

1. Lokale generalisatie: Agenten generaliseren alleen effectief in de directe omgeving van de trainings taken.
2. Dichte dekking vereist: Om succesvol te generaliseren, moet de trainingsset de takenruimte $\mathcal{M}$ zeer dicht bedekken.
3. Onderschatting van structuur: De methode negeert rijkere, niet-lokale structuren in de takenruimte, zoals symmetrieën die in fysieke systemen vaak voorkomen.

Het centrale vraagstuk is: Kunnen we de takenruimte $\mathcal{M}$ voorzien van een rijkere structuur dan een gladde variëteit die generalisatie mogelijk maakt buiten de lokale gladheid?

Methodologie: Erfelijke Geometrie en Symmetrieontdekking

De auteurs introduceren een nieuw raamwerk genaamd Hereditary Geometric Meta-RL. In plaats van te vertrouwen op lokale interpolatie, gebruiken ze de inherente symmetrieën van het onderliggende systeem om generalisatie over de hele takenruimte mogelijk te maken.

1. Erfelijke Geometrie (Hereditary Geometry)

De kern van de methode is de hypothese dat de optimale beleidsregel $\pi^*$ voor een testtaak $z$ gelijk is aan de beleidsregel van een trainingsbasis-taak $z_0$, maar dan getransformeerd via de actie van een Lie-groep $G$.

• Formeel: $\pi^*(a | s; z) = K_g^{-1}(\pi^*(a | L_g \cdot s; z_0))$, waarbij $L_g$ en $K_g$ linkse acties zijn op de toestands- en actieruimtes.
• Dit betekent dat de agent niet elke nieuwe taak van nul af aan leert, maar een bestaande beleidsregel "haalt" (retrieve) en toepast na het transformeren van toestanden en acties.

2. Symmetrie-gebaseerde afleiding

De auteurs tonen aan dat als de takenruimte voortkomt uit de symmetrieën van het systeem (bijvoorbeeld rotaties in een 2D-navigatietask), de geometrie "erfelijk" is. Dit betekent dat de symmetrieën van de basis-taak gelden voor alle afgeleide taken.

• Ze definiëren Compatibele Symmetrie: Een situatie waarin symmetrieën consistent zijn over verschillende taken in de ruimte.
• Dit leidt tot een Symmetrische MDP (Markov Decision Process), waarbij de beloningsfunctie $R$ en overgangsfunctie $T$ invariant zijn onder de groepswerking.

3. Differentiële Symmetrieontdekking (Differential Symmetry Discovery)

Om deze structuren te leren zonder de hele functionele ruimte te hoeven samenvatten, ontwikkelen de auteurs een differentiële aanpak:

• In plaats van de functionaliteit van de beloningsfunctie $R(L_g s, K_g a) = R(s, a)$ over de hele ruimte te controleren (wat rekenkundig duur en instabiel is), kijken ze naar de differentiaal $dR$.
• Ze zoeken naar de kern-distributie (kernel distribution) van $R$, oftewel de richtingsafgeleiden waarlangs de beloning constant blijft.
• De leeropdracht wordt gereduceerd tot het vinden van de infinitesimale generatoren ($W_S, W_A$) van de Lie-groep. Deze generatoren beschrijven de symmetrieën lokaal rond het identiteitselement.
• Voordeel: Door te werken met differentiaals (tangent spaces) in plaats van functionele vergelijkingen, wordt de leeropdracht veel stabieler en sample-efficiënter. Het vereenvoudigt het optimalisatieprobleem aanzienlijk.

4. Leerproces

• Meta-Train: De agent leert de generatoren $W_S$ en $W_A$ en de representaties (encoders/decoders) $\phi, \eta$ door de differentiaal-invariantie te minimaliseren.
• Meta-Test: Voor een nieuwe taak infereert de agent alleen het specifieke groepselement $g$ (de parameters van de transformatie) door de gevonden generatoren toe te passen op de nieuwe taakdata.

Belangrijkste Bijdragen

1. Formalisatie van Erfelijke Geometrie: Een nieuw theoretisch raamwerk dat Meta-RL omzet van "gladde extrapolatie" naar "symmetrie-ontdekking".
2. Theoretische Koppeling: Het bewijs dat als de takenruimte voortkomt uit systeem-symmetrieën, deze een erfelijke geometrie bezit die generalisatie over de hele ruimte mogelijk maakt.
3. Differentiële Leermethodiek: Een nieuwe, numeriek stabiele methode om symmetrieën te leren door te focussen op de differentiaal van de beloningsfunctie in plaats van de functie zelf. Dit verhoogt de sample-efficiëntie.
4. Empirische Validatie: Succesvolle toepassing op een 2D-navigatietask, waarbij de methode de grond-truth symmetrie ($SO(2)$) exact herstelt.

Resultaten

De methode is getest op een 2D-navigatietask (een agent die naar verschillende doelpunten op een eenheidscirkel moet navigeren) en vergeleken met een sterke baseline (CCM: Contrastive Learning + SAC).

• Sample Efficiency: De differentiële symmetrie-ontdekker convergeerde een orde van grootte sneller (2.5k stappen vs. 25k stappen) dan de functionele aanpak (Augerino), met lagere variantie.
• Generalisatie:
  • De baseline (CCM) generaliseerde alleen lokaal rond de trainings taken. De regret (fout) nam lineair toe naarmate de testtaak verder van de trainings taken verwijderd was.
  • De Geometrische Agent generaliseerde succesvol over de hele takenruimte, zelfs naar taken die ver verwijderd waren van de trainingsset. De regret bleef laag en constant, ongeacht de afstand tot de dichtstbijzijnde trainings taak.
• Symmetrieherstel: Beide methoden convergeren naar de ware symmetrie ($SO(2)$), maar de differentiële methode doet dit veel efficiënter.

Betekenis en Conclusie

Dit artikel biedt een fundamentele verschuiving in hoe we Meta-RL benaderen. In plaats van te vertrouwen op het "dicht bedekken" van de takenruimte met data, benut het de inherente wiskundige structuur (symmetrieën) van het probleem.

De belangrijkste implicaties zijn:

• Efficiëntie: Minder trainingsdata is nodig omdat de agent de onderliggende regels van het systeem leert in plaats van alleen patronen te memoriseren.
• Robuustheid: De agent kan zich aanpassen aan taken die volledig buiten het bereik van de trainingsdata liggen, zolang ze binnen dezelfde symmetriegroep vallen.
• Toekomstige Toepassingen: Deze aanpak is veelbelovend voor robotica en fysieke systemen, waar symmetrieën (zoals rotatie, translatie, schaal) vaak centraal staan. De auteurs wijzen er echter op dat de huidige methode model-gebaseerd is en dat toekomstig werk zich moet richten op het toepassen van deze principes in model-vrije settings en op complexere equivariantie-eisen.