Technische Samenvatting: De Bellman-vergelijking Inverteren: Van Q-waarden naar Wereldmodellen

Probleemstelling

Reinforcement learning (RL) wordt traditioneel verdeeld in model-vrije en model-gebaseerde paradigma's. Model-vrije agenten schatten waardefuncties ($Q$) in die gekoppeld zijn aan specifieke policies en beloningsfuncties, waarbij ze de expliciete leerprocessen van omgevingsdynamiek (de transitiekernel $P$) omzeilen. Een fundamenteel theoretisch obstakel in dit domein is het waarde-equivalentieprobleem: verschillende wereldmodellen kunnen identieke waardefuncties en optimale policies opleveren, wat impliceert dat model-vrije agenten niet uniek de omgeving coderen waarin zij zich bevinden.

Hoewel agenten steeds vaker worden getraind op diverse doelen via Goal-Conditioned RL (GCRL), blijft het onduidelijk of de verzameling geleerde waardefuncties over deze doelen impliciet een uniek en accuraat wereldmodel codeert. Dit artikel adresseert de kernvraag: Wanneer coderen model-vrije agenten impliciet een accuraat model van hun omgeving?

Methodologie: P-learning

De auteurs introduceren P-learning, een invers tegenovergestelde van Q-learning, ontworpen om een impliciet wereldmodel te extraheren uit een getrainde agent.

• Concept: Waar Q-learning iteratief een waardefunctie $Q$ bijwerkt om te voldoen aan de Bellman-vergelijking $T^\star(Q) = Q$ voor een vaste omgeving $P$, behandelt P-learning de waardefunctie $Q$ (en de bijbehorende policy $\pi$ en beloning $r$) als vaststaand. Het werkt vervolgens een kandidaat-wereldmodel $P_\phi$ bij om de Bellman-residue te minimaliseren:
  $$L(\phi) = \| T^\pi_\phi(Q) - Q \|_d^2$$
  waarbij $T^\pi_\phi$ de Bellman-operator is geparametriseerd door het wereldmodel $P_\phi$.
• Mechanisme: P-learning neemt monsters van de $Q$-waarden, policies en beloningen van de agent om het interne model te decoderen. In de tabelaire setting bewijzen de auteurs dat P-learning convergeert naar een oplossing die de Moore-Penrose pseudo-inverse is van een matrix $M$, afgeleid van de beloningen en waardefuncties. Specifiek, indien $M$ volledige rang heeft, is het geëxtraheerde model uniek en gegeven door $P_\infty = M^+ Q$.
• Differentieerbaarheid: Voor continue of deterministische settings maakt de methode gebruik van gradiëntgebaseerde optimalisatie (of reparameterisatie-trucs) om de parameters van het wereldmodel bij te werken, wat effectief de Bellman-vergelijking "inverteert".

Belangrijke Theoretische Bijdragen

Het artikel stelt voldoende voorwaarden vast waaronder de transitiekernel $P$ uniek identificeerbaar is vanuit een set doel-geconditioneerde Q-waarden $(Q_g, \pi_g, r_g)_{g \in G}$, waardoor waarde-equivalentie wordt doorbroken.

1. Eindige MDP's:

   • Deterministisch: Een enkele generieke doelstelling is voldoende om $P$ uniek te identificeren (Theorem 2). Uniciteit houdt stand voor bijna alle beloningsfuncties, mits de resulterende matrix $M$ kolom-injectief is.
   • Stochastisch: Doelen moeten de toestandsruimte beslaan (d.w.z. de rang van de beloningsmatrix moet gelijk zijn aan het aantal toestanden) om te garanderen dat $P$ uniek identificeerbaar is (Theorem 3). Dit geldt voor generieke beloningsfuncties of policies.
   • Benadering: De auteurs bieden nauwe foutmargen aan die laten zien dat als Q-waarden $\epsilon$-benaderingen zijn, de fout in het geëxtraheerde model lineair schaalt met $\epsilon$.

2. Continue MDP's:

   • Deterministisch: Een eindig aantal doelen kan volstaan onder specifieke condities (bijv. Gaussische beloningen met terminatie). Voor indicator-beloningen is een doelset vereist die de toestandsruimte dekt met een specifieke straal (Theorem 4).
   • Stochastisch: Identificeerbaarheid wordt gedreven door de dekking van de doelset in plaats van het aantal (Theorem 6 en 7). Voor Gaussische beloningen volstaat een doelset met een niet-leeg interieur; voor indicator-beloningen moet de set de toestandsruimte dekken, uitgebreid met de beloningsstraal.

3. Lokale MDP's: Het artikel breidt de resultaten uit naar $N$-lokale MDP's (waar transities beperkt zijn tot een nabijheid), waarbij aantoont dat er minder doelen nodig zijn als de ondersteuning van de transitiekernel bekend is.

Empirische Resultaten

De auteurs valideren hun theorie en methode in verschillende omgevingen, waarbij zij aantonen dat P-learning zeer accurate wereldmodellen kan extraheren, zelfs wanneer de theoretische garanties (zoals oneindige doelen) niet worden behaald.

• FourRooms (Eindige MDP's):
  • Deterministisch: Exacte reconstructie van $P$ met $|G|=1$.
  • Windy (Lokale Stochastische): Quasi-perfecte reconstructie met $|G|=4$.
  • Teleporting (Volledig Stochastisch): Quasi-optimale planning met $|G|=20$, aanzienlijk minder dan de theoretische worst-case grens van $|S|=68$.
• Reacher (Continu, Deterministisch):
  • Getraind op slechts $|G|=4$ positie-gebaseerde doelen, bereikte het geëxtraheerde wereldmodel een hoge getrouwheid (NMSE $1.2 \times 10^{-4}$), ondanks imperfecte Q-waarden.
  • Zero-Shot Generalisatie: Policies getraind uitsluitend binnen het geëxtraheerde impliciete wereldmodel bereikten bijna optimale prestaties op out-of-distribution doelen (bijv. het bereiken van specifieke hoeksnelheden of gewrichtsconfiguraties) die nooit tijdens de training zijn gezien. Dit suggereert dat de agent dynamica heeft gecodeerd voor variabelen (snelheid, hoeken) waarvoor hij nooit expliciet werd beloond.
• MountainCar (Continu, Deterministisch):
  • Agenten getraind op positie-gebaseerde doelen en agenten getraind op snelheid-gebaseerde doelen convergeerden naar bijna identieke impliciete wereldmodellen.
  • Planning binnen deze modellen maakte succesvolle zero-shot transfer mogelijk naar taken met de ongetrainde variabele (bijv. een op positie getrainde agent die een snelheid-gebaseerd doel oplost).

Betekenis en Claims

Het artikel betoogt dat Goal-Conditioned RL fungeert als een impliciete hybride methode, die de kloof tussen model-vrije en model-gebaseerde leerprocessen overbrugt.

1. Impliciete Wereldmodellen: Model-vrije agenten die getraind zijn op een voldoende rijke set doelen, coderen impliciet een uniek en accuraat wereldmodel, zelfs in stochastische en continue omgevingen.
2. Verborgen Generalisatie: Deze impliciete modellen bevatten "verborgen generalisatiecapaciteiten", waardoor agenten taken kunnen oplossen die gedefinieerd zijn op variabelen die orthogonaal staan aan hun training-beloningen (bijv. het leren van snelheid-dynamica uit positie-beloningen).
3. Prestatiecorrelatie: Er is een sterke correlatie ($\rho = 0.98$) tussen de prestaties van een agent en de nauwkeurigheid van zijn geïnternaliseerde wereldmodel, wat suggereert dat hoogpresterende GCRL-agenten van nature betere wereldrepresentaties ontwikkelen.
4. Nut van P-learning: Het voorgestelde P-learning algoritme biedt een praktisch hulpmiddel om deze interne modellen te extraheren, wat het hergebruik van model-vrije agenten voor nieuwe taken mogelijk maakt zonder extra interactie met de omgeving.

De auteurs concluderen dat hoewel P-learning geen vervanging is voor expliciete model-gebaseerde RL, het een fundamentele connectie onthult: divers, rijk beloonde training stelt model-vrije agenten in staat om "alles" over de dynamica van de omgeving te leren, waardoor zij effectief een wereldmodel binnen hun waardefuncties coderen.