Reinforcing the World's Edge: A Continual Learning Problem in the Multi-Agent-World Boundary

Dit artikel onderzoekt hoe de onstabiele grens tussen agent en wereld in decentrale multi-agent-versterkingslearning leidt tot een continu-leerprobleem waarbij de invariante kern van succesvolle beslissingsstructuren kan verdwijnen door beleidsgestuurde niet-stationariteit.

De kern

De Onzichtbare Muur die Beweegt: Waarom Samenwerken Moeilijker is dan Het Lijkt

Stel je voor dat je een videospel speelt. In een gewone, eenzame spelletje (zoals een solospelletje) zijn de regels vast. De muren staan stil, de vijanden bewegen volgens een vast patroon en als je een bepaalde route volgt om te winnen, werkt die route altijd.

Dit artikel, geschreven door Dane Malenfant van McGill University, gaat over wat er gebeurt als je dat spelletje niet alleen speelt, maar samen met een andere speler. En dan wordt het lastig.

1. De Vaste Muur (Alleen Spelen)

In een standaard spelletje trek je een onzichtbare lijn tussen jou (de speler) en de wereld (het spel).

• Jij bent de speler die leert.
• De wereld is het spelbord, de muren en de beloningen.

Als je eenmaal een slimme route hebt gevonden om te winnen (bijvoorbeeld: pak de sleutel, ga naar de deur, open de deur), dan is die route een "invariant kern". Dat is een fancy woord voor: een vaste, herbruikbare strategie. Omdat de wereld niet verandert, kun je die strategie elke keer opnieuw gebruiken. Het is als een recept voor een taart: als je de ingrediënten (de wereld) niet verandert, werkt het recept altijd.

2. De Beweeglijke Muur (Samen Spelen)

Nu stel je je voor dat je samen speelt met een vriend. Maar hier zit de twist: je vriend is ook een speler die leert.

In dit artikel noemen ze dit het "verplaatsen van de grens".

• In het begin denk je: "Mijn vriend is een vast onderdeel van de wereld, net als een muur."
• Maar je vriend past zich aan. Hij leert van zijn fouten en verandert zijn strategie.
• Het probleem: Omdat je vriend verandert, verandert ook de "wereld" waar jij in speelt.

De Metafoor van de Dans:
Stel je voor dat je een danspartner hebt.

• Situatie A (Vaste wereld): Je danst met een pop. De pop beweegt precies zoals je hebt ingesteld. Je leert een stap: links, rechts, draai. Dat werkt altijd.
• Situatie B (Lerende partner): Je danst met een mens. Als jij links doet, doet hij misschien rechts omdat hij iets nieuws heeft geleerd. Plotseling werkt jouw oude stap links-rechts-draai niet meer. Je moet een nieuwe stap leren.

Het artikel zegt dat dit niet alleen betekent dat je iets nieuws moet leren, maar dat de basis van je kennis instabiel wordt. De "muur" tussen jou en de wereld beweegt mee met je partner.

3. Waarom is dit een probleem? (Het Verdwijnen van Strategieën)

Het artikel laat zien dat wat gisteren een perfecte strategie was, vandaag volledig nutteloos kan zijn.

• Voorbeeld: Stel, in een spel moet je samen met je vriend een sleutel vinden.
  • Gisteren: Jij pakte de sleutel en gaf hem aan je vriend. Dat was de beste manier.
  • Vandaag: Je vriend heeft geleerd dat hij de sleutel zelf kan vinden. Hij doet het niet meer.
  • Het gevolg: Jouw strategie "pakt sleutel en geeft door" is nu verdwenen. Het bestaat niet meer in de nieuwe versie van het spel. De "invariant kern" (de vaste regel) is ingestort.

Dit is wat ze grensdrift noemen. De grens tussen "wat ik doe" en "wat de wereld doet" is gaan schuiven.

4. De Oplossing: Een Budget voor Chaos

De schrijver bedenkt een manier om te meten hoeveel de wereld verandert. Hij noemt dit een "Variatie Budget".

• Denk hieraan als een chaos-meter.
• Als je partner heel weinig verandert, is de meter laag. Je oude strategieën werken nog grotendeels.
• Als je partner heel veel verandert, loopt de meter op. Dan zijn je oude strategieën waardeloos en moet je alles opnieuw leren.

5. Wat betekent dit voor de toekomst?

De conclusie van het artikel is dat samenwerken met andere AI's (of mensen) eigenlijk een voortdurend leerproces is, niet omdat de taken veranderen, maar omdat de grens tussen jou en de ander beweegt.

De boodschap voor de toekomst:
In plaats van te proberen AI's te leren om alleen maar sneller te reageren op veranderingen, moeten we AI's leren om:

1. Stabiele strategieën te vinden die werken, zelfs als de partner een beetje verandert (zoals een danspas die werkt met verschillende partners).
2. De beweging van de partner te voorspellen, zodat ze weten wanneer hun oude regels niet meer werken.

Kortom:
In een solospel is de wereld een statisch huis. In een teamspel is de wereld een levend wezen dat meedanst. Als je vergeet dat je partner beweegt, val je om. Dit artikel helpt ons te begrijpen hoe we die dans kunnen blijven doen, zelfs als de muziek en de partner veranderen.

Technische samenvatting

Titel: Reinforcing the World's Edge: A Continual Learning Problem in the Multi-Agent-World Boundary

Auteur: Dane Malenfant (McGill University & Mila)
Context: Geaccepteerd voor de World Modeling Workshop 2026.

---

1. Het Probleem

Het paper adresseert een fundamenteel probleem in Versterkend Leren (RL): de stabiliteit van herbruikbare beslissingsstructuren over meerdere episodes heen.

• Standaard RL: In stationaire, eindige MDP's (Markov Decision Processes) wordt de grens tussen agent en wereld als statisch beschouwd. Succesvolle trajecten delen vaak een "invariante kern" (gemeenschappelijke subsequence van state-action paren) die over episodes kan worden hergebruikt.
• Het Uitdaging in Multi-Agent Systemen (MARL): In gedecentraliseerde Markov-spellen wordt de "wereld" mede bepaald door het beleid van andere agenten. Omdat deze peers hun beleid updaten, verandert de effectieve dynamiek van de omgeving voor de focus-agent.
• De Kernvraag: De paper stelt dat deze veranderingen niet alleen leiden tot niet-stationariteit, maar dat de grens tussen agent en wereld zelf instabiel wordt. Dit leidt tot een continu leerproblema waarbij herbruikbare patronen (prototypes) kunnen verdwijnen, zelfs als de onderliggende taak (de doelen) ongewijzigd blijft.

2. Methodologie en Formele Kader

De auteur hanteert een formele benadering om de stabiliteit van beslissingsstructuren te analyseren:

• Traject-Trie Representatie: Succesvolle trajecten worden gemodelleerd als een trie (prefix-boom) over state-action paren.
• Invariante Kern (Invariant Core):
  • Gedefinieerd als de verzameling van $\preceq$-maximale subsequences die gedeeld worden door alle succesvolle trajecten.
  • Er wordt toegestaan om een abstractie $\phi$ (bijv. opties of vaardigheden) toe te passen om semantisch duidelijkere prototypes te isoleren.
  • Stelling 2.1 (Existentie): In een stationaire, enkel-agent MDP met een uniek absorberend doel, is de invariante kern niet-leeg. Deze kern is onafhankelijk van het specifieke beleid dat de data verzamelt, zolang de dynamiek $(P, R)$ stationair blijft.
• Drift in Multi-Agent Settings:
  • Wanneer een peer-agent wordt opgenomen in de "wereld", wordt de dynamiek $P_e$ en de beloning $R_e$ afhankelijk van het beleid van de peer $\pi_2^e$.
  • Elke update van de peer ($\pi_2^e \to \pi_2^{e+1}$) creëert een nieuwe geïnduceerde MDP ($M_e$).
  • Propositie 2.1: Er bestaat geen garantie dat de invariante kern van episode $e$ overlapt met die van episode $e+1$. Prototypes die universeel waren in episode $e$, kunnen volledig verdwijnen in $e+1$ omdat de peer een andere strategie hanteert om het doel te bereiken.
• Variatiebudget ($V_E$):
  • Om deze drift te kwantificeren, introduceert de auteur een variatiebudget over de reeks geïnduceerde MDP's:
    $$V_E = \sum_{e=2}^{E} \left( \sup_{s,a_1} \sum_{s'} |P_e(s'|s,a_1) - P_{e-1}(s'|s,a_1)| + \sup_{s,a_1} |R_e(s,a_1) - R_{e-1}(s,a_1)| \right)$$
  • Een $V_E > 0$ impliceert dat de werelddynamiek is veranderd, wat kan leiden tot het verlies van invarianter.

3. Belangrijkste Bijdragen

1. Formalisatie van de Invariante Kern: De paper definieert en bewijst het bestaan van een set van gedeelde, herbruikbare prototypes (subsequences) in stationaire single-agent RL.
2. Identificatie van Boundary Drift: Het toont aan dat in gedecentraliseerde MARL de agent-wereldgrens niet statisch is, maar verschuift door de adaptieve aard van peers. Dit maakt het probleem endogeen (binnen het systeem) in plaats van exogeen (buiten het systeem).
3. Verdwijning van Prototypes: Het bewijst dat zelfs bij kleine updates in het beleid van een peer, de invariante kern van succesvolle trajecten kan krimpen tot niets, waardoor transfer learning tussen episodes faalt.
4. Kwantificering via Variatiebudget: Het koppelt de stabiliteit van hergebruik aan een meetbare drift ($V_E$) in de geïnduceerde MDP's, wat een brug slaat tussen MARL en Continual Reinforcement Learning (CRL).
5. Herformulering van MARL: Het stelt dat decentralisatie in MARL fundamenteel een continu leerproblema is dat wordt gedreven door instabiliteit van de agent-wereldgrens, en niet alleen door externe taakswitches.

4. Resultaten en Analyse

• Single-Agent: In een stationaire omgeving is de invariante kern stabiel. Als een agent een complete set van succesvolle trajecten heeft, blijft de kern (bijv. "sleutel vinden -> deur openen") geldig ongeacht welke policy de data verzamelde.
• Multi-Agent: In een Markov-spel kan een update van de peer-agent leiden tot een situatie waar de focus-agent het doel bereikt via een volledig ander pad.
  • Voorbeeld: In een coöperatieve "sleutel-deur" taak vereiste episode $e$ dat de focus-agent de sleutel voor de peer liet vallen. Als de peer in episode $e+1$ de sleutel zelf oppakt, verdwijnt dit prototype uit de set van succesvolle trajecten. De overlap tussen de kernen van twee opeenvolgende episodes kan leeg zijn ($Core \cap Core' = \emptyset$).
• Implicatie: Transfer learning faalt niet omdat de taak verandert, maar omdat de "wereld" (de peer) verandert, waardoor de previously geldige heuristieken niet langer leiden tot succes.

5. Betekenis en Toekomstperspectief

Dit paper biedt een nieuw theoretisch perspectief op Multi-Agent Reinforcement Learning:

• Paradigmaverschuiving: Het behandelt MARL niet alleen als een probleem van niet-stationariteit, maar als een probleem van grensinstabiliteit. De "wereld" is geen vaste entiteit, maar een dynamische constructie die meebeweegt met de agenten.
• Implicaties voor Algoritmen:
  • Bestaande methoden voor continu leren moeten rekening houden met de drift van de agent-wereldgrens.
  • Toekomstig werk moet zich richten op het behoud van invariants via robuuste opties of het voorspellen van grensschommelingen via tegenstander-modellering (opponent modeling).
• Praktische Toepassing: Het suggereert dat voor succesvolle transfer in MARL, systemen moeten kunnen omgaan met een variatiebudget ($V_E$) en moeten kunnen schatten wanneer een bestaande kern niet meer geldig is.

Conclusie: De stabiliteit van herbruikbare kennis in RL is niet alleen afhankelijk van de taak, maar fundamenteel afhankelijk van hoe de grens tussen agent en wereld wordt getrokken. In multi-agent systemen is deze grens inherent onstabiel, wat een continu leerproblema creëert dat nieuwe methoden vereist voor het beheren van deze drift.