🤖 machine learning

Task-Induced Representational Invariances Depend on Learning Objective in Deep RL

Dit artikel으로 toont aan dat deep reinforcement learning-algoritmen, specifiek waardegebaseerde (DQN) en policy-gradient (PPO) methoden, onderscheidende taak-geïnduceerde representationele invarianties leren — die respectievelijk overeenkomen met MDP-homomorfisme en actiesymmetrieën — ondanks vergelijkbare prestaties, wat een principieel kader biedt voor het vergelijken van modellen en het verkrijgen van inzichten in neurale codering.

Oorspronkelijke auteurs: Manu Srinath Halvagal, Sebastian Lee, SueYeon Chung

Gepubliceerd 2026-06-02

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Manu Srinath Halvagal, Sebastian Lee, SueYeon Chung

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je twee verschillende studenten leert hoe ze een complex doolhof moeten navigeren om een verborgen schat te vinden. Beide studenten zijn ongelooflijk slim, gebruiken exact dezelfde kaart en vinden ook altijd weer perfect de schat. Echter, het onderzoek onthult dat ze op totaal verschillende manieren over het doolhof nadenken.

Dit onderzoek, getiteld "Task-Induced Representational Invariances Depend on Learning Objective in Deep RL," onderzoekt hoe AI-agenten de wereld "zien" wanneer ze problemen oplossen. De auteurs ontdekten dat de manier waarop een AI leert (het leerdoel) bepaalt hoe zij hun interne kennis organiseert, zelfs als het uiteindelijke resultaat hetzelfde is.

Hier is een overzicht van hun bevindingen met behulp van eenvoudige analogieën:

1. De Twee Studenten: De "Waarde"-student versus de "Actie"-student

De onderzoekers vergeleken twee beroemde AI-leermethoden: DQN en PPO.

De "Waarde"-student (DQN): Deze student is geobsedeerd door de score. Ze vragen zich af: "Hoe goed is deze specifieke plek in het doolhof?" Ze leren plekken bij elkaar te groeperen die op hetzelfde gevoel van waarde liggen.
- De Analogie: Stel je een stadskaart voor waarbij de student wijken niet groepeert op basis van wat je er kunt doen, maar op basis van hoe "duur" of "waardevol" de vastgoedwaarde is. Als twee verschillende straten dezelfde onroerendgoedwaarde hebben, behandelt deze student ze als identiek, zelfs als de gebouwen er anders uitzien.
- De Bevinding van het Papier: Deze student leert MDP Homomorfie-symmetrieën. In begrijpelijke taal: ze leren de onderliggende wiskundige structuur van het doolhof te zien. Ze beseffen: "Hé, deze hoek aan de linkerkant is wiskundig gezien identiek aan die hoek aan de rechterkant, omdat de regels van het doolhof symmetrisch zijn." Ze comprimeren de wereld tot een kleinere, eenvoudigere versie van zichzelf.
De "Actie"-student (PPO): Deze student is geobsedeerd door wat de volgende stap is. Ze vragen zich af: "Welke beweging moet ik hier maken?" Ze leren plekken bij elkaar te groeperen waar de beste actie hetzelfde is.
- De Analogie: Deze student kijkt naar de stad en groepeert wijken op basis van de verkeerslichten. "Als het licht op groen staat, ga ik; als het op rood staat, stop ik." Ze geven niet om het feit dat de gebouwen verschillend zijn; ze geven er alleen om dat de benodigde actie hetzelfde is.
- De Bevinding van het Papier: Deze student leert Actie-symmetrieën. Ze groeperen staten op basis van de optimale zet. Als de beste zet in Staat A "Naar links draaien" is en de beste zet in Staat B is ook "Naar links draaien", dan behandelen ze A en B als hetzelfde, ongeacht de diepere wiskundige structuur van het doolhof.

2. Het Bewijs: Dezelfde Doelstelling, Verschillende Breinen

De onderzoekers testten dit in een navigatietaak (een digitaal doolhof).

Het Resultaat: Beide studenten losten het doolhof perfect op. Maar toen de onderzoekers in hun "breinen" (de interne datarepresentaties) keken, zagen ze een duidelijke splitsing.
- De "Waarde"-student (DQN) vertoonde een hoge gelijkenis tussen staten die wiskundig symmetrisch waren (zoals spiegelbeelden van het doolhof).
- De "Actie"-student (PPO) vertoonde een hoge gelijkenis tussen staten die dezelfde beweging vereisten, zelfs als de wiskunde erachter anders was.

Het is alsof twee chefs precies dezelfde taart maken. De ene chef organiseert zijn keuken op basis van ingrediënten (bloem, suiker, eieren), terwijl de andere organiseert op basis van stappen (mengen, bakken, decoreren). Beide taarten smaken hetzelfde, maar hun interne organisatie is totaal verschillend.

3. Waarom Is Dit Belangrijk? (De Transfertest)

Het papier vraagt zich af: Maakt dit verschil in "denkstijl" uit wanneer de student voor een nieuw probleem komt te staan?

Het Experiment: Ze namen de studenten die getraind waren op één spel (zoals Breakout) en vroegen hen om een nieuw, vergelijkbaar spel te spelen (zo zoals Pong).
De Uitkomst: De "Waarde"-student (DQN) was veel beter in het overdragen van hun vaardigheden naar het nieuwe spel. Omdat ze de diepe, structurele regels van de omgeving hadden geleerd (de "symmetrieën"), konden ze zich snel aanpassen.
De "Actie"-student (PPO) had meer moeite. Omdat ze zo gefocust waren op specifieke acties, vonden ze het moeilijker om te beseffen dat het nieuwe spel slechts een geroteerde of gespiegelde versie van het oude spel was.

De Metafoor: Als je iemand leert autorijden door specifieke bochten te memoriseren ("Sla linksaf bij de rode schuur"), kunnen ze verdwaald raken als de schuur weg is. Als je hen echter de principes van het rijden en de weggeometrie leert, kunnen ze met een nieuwe stad met andere herkenningspunten omgaan. De "Waarde"-student leerde de principes; de "Actie"-student memoriseerde de bochten.

4. De "Chatbot"-Verrassing (Large Language Models)

De onderzoekers testten ook een Large Language Model (LLM) — een type AI dat chatbots aandrijft — op dezelfde doolhoftaak. Ze trainden de chatbot niet; ze gaven de chatbot simpelweg een beschrijving van het doolhof in de chat.

De Bevinding: De "denkstijl" van de chatbot veranderde afhankelijk van hoe het doolhof werd beschreven.
- Als het doolhof werd beschreven als een eenvoudige lijst van verbindingen, gedroeg de chatbot zich als de "Actie"-student (gericht op bewegingen).
- Als het doolhof werd beschreven als een visuele ASCII-art boom (die de structuur duidelijk weergaf), begon de chatbot plotseling te handelen als de "Waarde"-student, waarbij hij de diepe symmetrieën herkende.
De Les: In tegen tegenstelling tot de vaste AI-studenten, is de chatbot flexibel. De chatbot kan tussen "denkstijlen" schakelen door simpelweg de prompt (de instructies) aan te passen.

Samenvatting

Het papier concludeert dat hoe een AI leert, bepaalt hoe zij de wereld ziet.

Als je een AI wilt die de diepe, structurele regels van een omgeving begrijpt (geweldig voor het aanpassen aan nieuwe situaties), moet je waarde-gebaseerde methoden gebruiken (zoals DQN).
Als je een AI wilt die hyper-geconcentreerd is op de directe beste zet, kun je beleidsgebaseerde methoden (zoals PPO) gebruiken.

Dit gaat niet alleen over wiskunde; het gaat over het begrijpen dat twee systemen exact hetzelfde perfecte resultaat kunnen bereiken terwijl ze een totaal andere interne kaart van de werkelijkheid opbouwen. Dit helpt wetenschappers niet alleen te begrijpen hoe AI werkt, maar potentieel ook hoe de hersenen van dieren het leren verschillend organiseren afhankelijk van wat ze proberen te bereiken.

Technische Samenvatting: Taak-geïnduceerde Representatieve Invarianties Afhankelijk van het Leerdoel in Deep RL

Probleemstelling

Hoewel Deep Reinforcement Learning (RL) opmerkelijk succes heeft geboekt in domeinen variërend van spelcomputers tot de afstemming van Large Language Models (LLM's), blijft het theoretisch begrip van de geleerde representaties binnen deze modellen beperkt. Deze kloof belemmert directe vergelijkingen tussen computationele modellen en dierlijk leren, evenals de systematische analyse van hoe taakstructuren worden gecodeerd. Specifiek is het onduidelijk hoe verschillende RL-algoritmen (bijv. waarde-gebaseerd versus policy-gradient) symmetrieën in taken coderen en of deze verschillen in representatie functionele gevolgen hebben voor transfer learning.

Methodologie

De auteurs analyseren deep RL-representaties door de lens van MDP-reductietheorie, met een specifieke focus op invarianties ten opzien van symmetrieën. De methodologie omvat:

Theoretisch Kader:
- MDP-homomorfisme: Het gebruik van groepentheorie om symmetrieën in de staat-actie-ruimte te identificeren waarbij transitie- en beloningsfuncties invariant blijven onder specifieke transformaties (bijv. reflectie). Dit definieert "MDP-symmetrie".
- Policy-symmetrie: Het definiëren van symmetrie op basis van de vraag of een gegeven policy dezelfde actie selecteert voor verschillende staten (optimale policy-symmetrie, $\pi^*$ ).
- Representational Similarity Analysis (RSA): Het toepassen van RSA om de interne representaties van verschillende algoritmen te vergelijken. In plaats van ruwe activaties te vergelijken, berekenen de auteurs een Representation Similarity Matrix (RSM) op basis van paarwijze cosinus-similariteiten tussen staat-representaties. Ze meten specifiek de gelijkenis voor staat-paren die equivalent zijn onder MDP-homomorfisme versus paren die equivalent zijn onder policy-symmetrie.
Experimentele Domeinen:
- Navigatietaak: Een labyrint-gridworld (gebaseerd op Rosenberg et al.) met bekende MDP-homomorfismen (reflectiesymmetrie). Zowel tabelvormige als visuele (CNN-gebaseerde) versies werden gebruikt.
- Vergelijking van Algoritmen:
  - DQN: Een waarde-gebaseerde methode (leert een waardefunctie om een policy af te leiden).
  - PPO: Een policy-gradient methode (optimaliseert direct de policy).
  - Deep SARSA(n): Een controle-experiment getraind via on-policy methoden (zoals PPO) maar waarde-gebaseerd (zoals DQN) om het leerdoel te isoleren van datacollectiestrategieën.
- Complexe Omgevingen: CartPole (continu) en Pong (hoog-dimensionale pixels) om generalisatie buiten exact reduceerbare MDP's te testen.
- Transfer Learning: Experimenten op Atari-games (Breakout, SpaceInvaders, Pong) om te testen of geleerde symmetrieën generalisatie naar nieuwe taken bevorderen.
- LLM-analyse: Het prompten van Qwen2.5-72B-Instruct om de navigatietaak op te lossen met verschillende inputformaten (ASCII-boom versus edge list) om emergente symmetrieën in in-context leren te observeren.

Belangrijkste Bijdragen

Doelafhankelijke Representatieve Invarianties: Het artikel toont aan dat het leerdoel systematisch bepaalt welk type symmetrie in de representatie wordt gecodeerd, zelfs wanneer algoritmen dezelfde taak oplossen met vergelijkbare prestaties.
- Waarde-gebaseerde methoden (DQN) leren representaties die invariant zijn voor MDP-homomorfisme-symmetrieën (structurele omgevingssymmetrieën).
- Policy-gradient methoden (PPO) leren representaties die invariant zijn voor actie-symmetrieën (staten die dezelfde optimale actie delen).
Causale Isolatie van het Leerdoel: Door middel van het Deep SARSA(n)-experiment laten de auteurs zien dat de divergentie in symmetrie-codering wordt gedreven door het leerdoel (waarde-gebaseerd versus policy-gradient) in plaats van door datacollectiestrategieën (off-policy versus on-policy).
Gevolgen voor Transfer Learning: Het artikel levert empirisch bewijs dat representaties die MDP-homomorfismen coderen (DQN), transfer learning tussen Atari-taken met gedeelde omgevingssymmetrieën faciliteren vergeleken met methoden die actie-symmetrieën coderen (PPO).
Prompt-afhankelijkheid van LLM's: De studie onthult dat LLM's beide typen symmetrieën kunnen vertonen, maar dat de emergentie van MDP-homomorfisme-symmetrie prompt-afhankelijk is. Het verschijnt wanneer de taakstructuur expliciet wordt beschreven (ASCII-boom), maar niet wanneer deze via een minder gestructureerde edge list wordt beschreven, in tegenstelling tot de robuuste policy-symmetrie die in beide formaten wordt waargenomen.

Belangrijkste Resultaten

Navigatietaak: In de labyrinttaak vertoonde DQN een hoge representatieve gelijkenis voor MDP-symmetrische staat-paren, maar een lage gelijkenis voor staten die dezelfde optimale actie delen. Omgekeerd vertoonde PPO een hoge gelijkenis voor actie-equivalente staten en een lage gelijkenis voor MDP-symmetrische paren.
Generalisatie: Deze dissociatie hield stand in continue (CartPole) en hoog-dimensionale (Pong) omgevingen, hoewel het MDP-symmetrie-signaal zwakker was in Pong, waarschijnlijk door de lokale receptieve velden in CNN's.
Transfer Learning: In Atari transfer-experimenten (bijv. Breakout $\to$ Pong) vertoonden DQN-agenten (die MDP-symmetrieën coderen) significante prestatiewinsten en stabiliteit onder observatie-rotaties. PPO-agenten vertoonden weinig tot geen transfervoordeel en waren gevoeliger voor transformaties van de observatie.
LLM-bevindingen: LLM's codeerden robuust policy-symmetrie ongeacht het promptformaat. Echter, MDP-homomorfisme-symmetrie kwam alleen naar voren wanneer de prompt de hiërarchische structuur expliciet benadrukte (ASCII-representatie), wat suggereert dat LLM's over een flexibiliteit in representatie beschikken die getrainde RL-algoritmen missen.

Betekenis en Claims

De auteurs stellen dat dit werk een geprincieerd aanpak biedt om geleerde representaties over RL-algoritmen te vergelijken met behulp van MDP-reductietheorie. De betekenis ligt in:

Algoritme Selectie: Het bieden van een theoretische basis voor het kiezen van RL-algoritmen op basis van downstream doelen. Praktijkgebruikers die op zoek zijn naar representaties die de omgevingsstructuur vastleggen voor transfer of generalisatie, kunnen de voorkeur geven aan waarde-gebaseerde methoden, terwijl zij die prioriteit geven aan actie-niveau organisatie, de voorkeur kunnen geven aan policy-gradient methoden.
Neurowetenschappen: Het bieden van een framework om biologische neurale circuits te onderzoeken. De auteurs suggereren dat deze pijplijn kan worden uitgebreid naar neurale opnames om te bepalen of dierlijke hersenen bij voorkeur MDP-achtige taaksymmetrieën of policy-achtige actie-mappings coderen.
LLM Post-Training: Het benadrukken dat RLHF en andere post-training methoden de representaties van LLM's op manieren kunnen veranderen die invloed hebben op in-context leervermogen, wat potentieel biases introduceert die vergelijkbaar zijn met de geobserveerde falen van PPO bij transfer.

Het artikel sluit bescheiden af door beperkingen te erkennen, zoals de aanname van een één-op-één staat-observatie mapping (wat problematisch is in POMDP's), het gebruik van specifieke gelijkenis-metrieken (cosinus-similariteit), en het gebrek aan een formele theorie die voorspelt welke symmetrieën uit specifieke algoritmische eigenschappen voortkomen. Zij beschouwen hun bevindingen als een initiële empirische karakterisering in plaats van een volledige theorie.