Partially Equivariant Reinforcement Learning in Symmetry-Breaking Environments

Dit paper introduceert het concept van Partially group-Invariant MDPs (PI-MDPs) en de bijbehorende algoritmen PE-DQN en PE-SAC, die de voordelen van symmetrie-exploitatie in versterkend leren combineren met robuustheid tegen lokale symmetriebreking om zo de sample-efficiëntie en generalisatie in realistische omgevingen te verbeteren.

De kern

Stel je voor dat je een robot wilt leren lopen of een spelletje spelen. De slimste manier om dit te doen, is vaak door te leren van patronen. Als een robot leert dat "naar links gaan" goed werkt, en hij draait 90 graden, zou hij kunnen denken: "Ah, dan moet ik nu 'naar boven' gaan." Dit noemen we in de wetenschap symmetrie. Het is als een spiegelbeeld: wat links werkt, werkt ook rechts, mits je het even omdraait.

Deze "spiegelregels" zijn geweldig voor kunstmatige intelligentie. Ze maken het leren veel sneller en efficiënter, omdat de robot niet elke situatie opnieuw hoeft te ontdekken.

Maar hier komt het probleem:
In de echte wereld zijn dingen nooit perfect symmetrisch. Stel je een robot voor die door een gang loopt. Als hij links een muur heeft, werkt het patroon. Maar als hij 90 graden draait en er staat plotseling een grote, vaste obstakel (een muur of een tafel) in de weg, werkt de "spiegelregel" niet meer. De robot zou denken dat hij veilig kan gaan, maar hij botst tegen de muur.

In de huidige AI-methodes proberen ze vaak om altijd die symmetrie-regels te volgen, zelfs als ze niet kloppen. Dit is alsof je een spiegel gebruikt in een kamer vol met onvoorspelbare obstakels. De robot maakt dan een foutje op één plek, en door de manier waarop hij leert, verspreidt die fout zich als een olievlek over het hele brein van de robot. Hij leert verkeerde dingen en wordt onzeker.

De Oplossing: De "Slimme Portier"

De auteurs van dit paper hebben een slimme oplossing bedacht, genaamd Partially Equivariant Reinforcement Learning (gedeeltelijk symmetrisch leren).

Stel je voor dat je twee experts hebt:

1. De Symmetrie-Expert: Deze is super snel en slim, maar werkt alleen als de wereld perfect symmetrisch is (zoals een lege, lege kamer).
2. De Realistische Expert: Deze is wat langzamer en leert alles van scratch, maar hij is heel goed in het omgaan met obstakels en rare situaties.

De oude methoden deden alsof er maar één expert was (de Symmetrie-Expert) en hoopten dat het wel goed zou komen. De nieuwe methode introduceert een Slimme Portier (een "gating function").

Hoe werkt deze portier?
De portier kijkt naar elke situatie die de robot tegenkomt.

• Als de robot in een open veld staat, zegt de portier: "Gebruik de Symmetrie-Expert! Die is snel en efficiënt."
• Zodra de robot een obstakel ziet of een situatie waar de symmetrie niet klopt (bijvoorbeeld een muur die alleen aan één kant staat), zegt de portier: "Stop! Gebruik de Realistische Expert. De spiegelregels gelden hier niet."

Waarom is dit zo belangrijk?

1. Geen verspreiding van fouten: In de oude methoden verspreidde een foutje zich over het hele systeem. Met deze portier wordt de fout "opgevangen" op de plek waar hij ontstaat. De rest van het brein blijft veilig en leert gewoon van de snelle symmetrie-regels.
2. Het beste van twee werelden: De robot leert razendsnel van de symmetrie-regels waar dat kan, maar is ook robuust en veilig waar de wereld chaotisch is.
3. Proefresultaten: De auteurs hebben dit getest in verschillende omgevingen, van simpele grid-spelletjes tot complexe robotarmen die voorwerpen moeten vastgrijpen. In alle gevallen leerden hun robots sneller en maakten ze minder fouten dan robots die alleen op symmetrie vertrouwden of helemaal geen symmetrie gebruikten.

Kort samengevat:
Vroeger probeerden we robots te leren met een stijve "spiegel-regel" voor alles, wat leidde tot crashes als de realiteit niet perfect was. Nu geven we de robot een slimme schakelaar die weet wanneer hij de snelle spiegel-regels mag gebruiken en wanneer hij moet stoppen en gewoon naar de realiteit moet kijken. Hierdoor leren ze sneller, zijn ze veiliger en werken ze beter in de echte, rommelige wereld.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Partially Equivariant Reinforcement Learning in Symmetry-Breaking Environments", gepubliceerd bij ICLR 2026.

Probleemstelling

Groepsymmetrieën bieden een krachtige inductieve bias voor versterkend leren (RL), waardoor modellen efficiënt kunnen generaliseren over symmetrische toestanden en acties via groeps-invariante Markov Beslissingsprocessen (MDP's). Echter, in de praktijk voldoen realistische omgevingen zelden aan de strikte aannames van een volledig groeps-invariante MDP. Factoren zoals dynamiek, beperkingen in de actuatoren (bijv. botsingen met obstakels) en beloningdesign breken symmetrieën vaak lokaal.

Het probleem met bestaande methoden is dat ze vaak uitgaan van een globale symmetrie. Wanneer er sprake is van lokale symmetriebreking, introduceert het gebruik van groeps-invariante Bellman-backups fouten. Deze lokale fouten propageren zich via de Bellman-vergelijkingen door de hele toestands-actie-ruimte, wat leidt tot:

1. Globale fouten in de waarde-schatting.
2. Suboptimale beleidsstrategieën.
3. In extreme gevallen, het falen van het trainingsproces.

Bestaande benaderingen voor "benaderde equivariantie" proberen dit op te lossen door de equivariantie globally te versoepelen, maar dit gaat vaak ten koste van de sample-efficiency die strikte equivariantie biedt, en kan instabiel zijn bij uitgebreide symmetriebreking.

Methodologie

De auteurs introduceren een nieuw raamwerk genaamd Partially Group-Invariant MDP (PI-MDP) en de bijbehorende algoritmen PE-DQN (voor discrete controle) en PE-SAC (voor continue controle).

1. PI-MDP Raamwerk

In plaats van te kiezen tussen een volledig equivariant model of een volledig niet-equivariant model, stelt het PI-MDP een hybride aanpak voor. Het systeem selecteert dynamisch welk type Bellman-backup er wordt toegepast, afhankelijk van of de symmetrie op een specifieke staat-actie-paar $(s, a)$ geldig is.

• Gating Functie ($\lambda$): Een meetbare functie $\lambda(s, a) \in [0, 1]$ fungeert als een schakelaar.
  • Als $\lambda(s, a) = 0$: Het systeem gebruikt de groeps-invariante MDP ($M_E$) en past equivariante updates toe.
  • Als $\lambda(s, a) = 1$: Het systeem gebruikt de echte, niet-invariante MDP ($M_N$) en past standaard Bellman-updates toe.
• Theoretische Basis: De auteurs bewijzen dat lokale fouten in de Bellman-backup (veroorzaakt door symmetriebreking) globaal worden versterkt met een factor $(1-\gamma)^{-1}$. Door $\lambda$ te laten schakelen naar de echte MDP op de plekken waar symmetrie breekt, wordt de propagatie van deze fouten beperkt, terwijl de voordelen van equivariantie behouden blijven waar symmetrie wel geldt.

2. Detectie van Symmetriebreking

Om de gating-functie $\lambda$ te leren zonder voorafgaande kennis van de omgeving, gebruiken de auteurs een disagreement-based supervisie:

• Er worden twee voorspellers getraind:
  1. Een equivariante voorspeller ($\hat{P}_E$) die de symmetrieën respecteert.
  2. Een niet-geconstrueerde voorspeller ($\hat{P}_N$) die geen symmetrie-aannames maakt.
• Op symmetrische plekken zullen beide voorspellers vergelijkbare uitkomsten geven. Op plekken waar de symmetrie breekt (bijv. door een vast obstakel), zullen hun voorspellingen sterk van elkaar afwijken.
• Een disagreement-score $d(s, a)$ wordt berekend (bijv. op basis van de totale variatie-afstand of kwadratische fout).
• De gating-functie $\lambda_\omega$ wordt getraind om deze hoge disagreement-scores te detecteren en te labelen als "symmetriebreking" (waar $\lambda \to 1$).

3. Algoritme Implementatie

• Critic (Waardefunctie): De Q-functie is een gated mixture: $Q(s, a) = (1-\lambda)Q_E(s, a) + \lambda Q_N(s, a)$. Bij hard gating (binair) wordt volledig geschakeld tussen de equivariante en de niet-equivariante Q-netwerk.
• Actor (Beleid): Voor het beleid wordt een "Product of Experts" (PoE) benadering gebruikt. Een state-only gating-functie $\lambda_\zeta(s)$ (die conservatief is: als een actie symmetrie breekt, wordt het hele beleid voor die staat niet-equivariënt) combineert het equivariante beleid $\pi_E$ en het niet-equivariante beleid $\pi_N$.

Belangrijkste Bijdragen

1. Analyse van Foutpropagatie: De auteurs analyseren wiskundig hoe lokale symmetrie-overtredingen leiden tot globale fouten in de waardefunctie via Bellman-backups, en tonen aan dat selectieve symmetrie-uitbuiting noodzakelijk is.
2. PI-MDP Formulier: Introductie van het PI-MDP concept dat een theoretisch onderbouwd raamwerk biedt om equivariantie lokaal toe te passen en standaard RL lokaal te gebruiken, afhankelijk van de geldigheid van de symmetrie.
3. Praktische Algoritmen (PE-DQN & PE-SAC): Ontwikkeling van werkzame RL-algoritmen die deze theorie implementeren. Deze methoden combineren de sample-efficiency van equivariantie met de robuustheid van standaard RL.
4. Disagreement Supervision: Een innovatieve methode om de gating-functie te leren zonder extra labels, puur op basis van de discrepantie tussen equivariante en niet-equivariante dynamiekvoorspellers.

Resultaten

De methoden zijn getest op diverse benchmarks, waaronder Grid-World, locomotie (MuJoCo: Hopper, Ant, Swimmer) en manipulatie (Fetch Reach, UR5e Reach).

• Grid-World: Bij het toevoegen van vaste obstakels (symmetriebreking) degradeert strikt equivariante DQN snel. PE-DQN behoudt echter zijn prestaties door automatisch te schakelen naar de niet-equivariante modus bij obstakels, terwijl het equivariante modus behoudt op open plekken. Dit resulteert in superieure sample-efficiency en robuustheid.
• Continue Controle (MuJoCo):
  • In omgevingen met bijna perfecte symmetrie (zoals Swimmer) presteert PE-SAC vergelijkbaar met strikt equivariante methoden.
  • In omgevingen met significante symmetriebreking door realistische dynamiek (zoals UR5e Reach met botsingen en vrij oriëntatie), falen strikt equivariante en benaderde methoden vaak of worden ze instabiel. PE-SAC blijft stabiel en bereikt de beste totale beloningen door dynamisch over te schakelen naar de niet-equivariante kop.
• Vergelijking: PE-DQN en PE-SAC overtreffen consequent baselines zoals standaard RL, strikt equivariante RL, en bestaande methoden voor benaderde equivariantie (zoals RPP).

Betekenis en Conclusie

Dit werk lost een fundamenteel probleem op in het toepassen van symmetrie in versterkend leren voor robotica. Het toont aan dat het blindelings aannemen van globale symmetrie in realistische omgevingen schadelijk kan zijn. Door een selectieve, lokale aanpak te introduceren, behoudt het systeem de data-efficiency van symmetrie-gebruik waar deze geldig is, maar voorkomt het de catastrofale foutpropagatie die optreedt wanneer symmetrie lokaal wordt geschonden.

Dit maakt "Partially Equivariant RL" een veelbelovende richting voor robuust en sample-efficiënt leren in complexe, realistische robottoepassingen waar perfect symmetrische omgevingen zeldzaam zijn. De enige beperking is de extra rekenlast door de voorspellers en gating-netwerken, maar de auteurs stellen dat dit een aanvaardbare prijs is voor de verbeterde stabiliteit en prestaties.