Technische Samenvatting: PLATO (Pointer Learner for Agent and Task Openness)

Probleemstelling

Open Agent Systems (OASYS) zijn multi-agent omgevingen waar de verzamelingen agenten en taken onvoorspelbaar over de tijd veranderen. Deze "openheid" manifesteert zich als Agent Openness (AO), waarbij agenten het systeem binnenkomen of verlaten, en Task Openness (TO), waarbij taken verschijnen of verdwijnen. Deze dynamiek vormt een fundamentele uitdaging voor standaard Multi-Agent Reinforcement Learning (MARL), dat doorgaans uitgaat van vaste state- en action-spaces. Bestaande methoden pakken deze problemen slechts gedeeltelijk aan: padding- en masking-benaderingen introduceren kunstmatige grenzen, terwijl recente graaf-gebaseerde of hypergraaf-methoden vaak slechts één dimensie van openheid afhandelen of vertrouwen op restrictieve aannames (bijv. vaste agent-verzamelingen of begrensde task-ruimtes). Bijgevolg is er een gebrek aan frameworks die zowel AO als TO gezamenlijk kunnen afhandelen zonder hertraining te vereisen of vaste grenzen op te leggen aan de agent-task-ruimte.

Methodologie

Het artikel introduceert PLATO (Pointer Learner for Agent and Task Openness), een Centralized Training and Decentralized Execution (CTDE) MARL-algoritme dat is ontworpen om te opereren over onbegrensde state- en action-spaces.

1. Formalisering: TaAgO-MG

De auteurs formaliseren het probleem als een Task-and-Agent-Open Markov Game (TaAgO-MG). Dit breidt eerdere Task-Open Markov Games (TaO-MG) uit door zowel de agent-verzameling ($N$) als de task-verzameling ($X$) te behandelen als dynamische variabelen die in de loop van de tijd evolueren. Een generatorfunctie $\Psi$ past de basiscomponenten van het Markov-spel (state, action, transitie en reward) op elk tijdstip aan op basis van de huidige compositie van agenten en taken.

2. Architectuur

PLATO maakt gebruik van een actor-critic architectuur met de volgende componenten:

• Pointer Actor (Decentralized):

  • In plaats van acties te classificeren vanuit een vaste vocabulaire, gebruikt de actor een pointer network mechanisme.
  • Observatie Factorisatie: De lokale observatie van de agent wordt gefactoreerd in een agent-feature matrix en een task-feature matrix.
  • Query Generatie: Om AO af te handelen, wordt de agent-verzameling geaggregeerd in een query-vector met een vaste lengte met behulp van permutatie-invariante statistieken (gemiddelde, variantie, min, max) die door een MLP worden verwerkt. Dit zorgt ervoor dat het beleid invariant is voor de volgorde van agenten.
  • Key Generatie: Elke beschikbare taak wordt via een MLP gecodeerd in een key-vector.
  • Content-Based Pointing: De actor berekent attention-scores tussen de query en de task-keys met behulp van additive attention. De output is een waarschijnlijkheidsverdeling direct over de momenteel beschikbare taken (plus een NO-OP actie). Naarmate taken verschijnen of verdwijnen, verandert de support van deze verdeling automatisch zonder hertraining.

• GNN Critic (Centralized):

  • De critic schat de waarde van de globale state tijdens de training in.
  • Het representeert de open state als een bipartite graaf waarbij de knopen agenten en taken zijn, en de randen potentiële interacties vertegenwoordigen.
  • Een Graph Convolutional Network (GCN) propageert informatie over de agent-task randen.
  • De graafstructuur verandert dynamisch met het aantal agenten en taken, waardoor vaste concatenatie wordt vermeden. Een mean pooling laag gevolgd door een MLP produceert een scalaire waardeschatting.

3. Training

PLATO wordt getraind met behulp van Multi-Agent Proximal Policy Optimization (MAPPO). De actor en critic worden gezamenlijk geoptimaliseerd met behulp van Generalized Advantage Estimation (GAE). De computationele complexiteit per tijdstap schaalt met het aantal actieve agenten ($|N_t|$) en taken ($|X_t|$), specifiek $O(|N_t|^2 + |N_t||X_t|)$, in plaats van een vaste grens.

Belangrijkste Bijdragen

1. PLATO Architectuur: De eerste MARL-architectuur die gezamenlijk AO en TO afhandelt via content-based pointing, waardoor de noodzaak voor vaste grenzen, padding of hertraining bij veranderingen in de omgevingscompositie vervalt.
2. TaAgO-MG Formalisering: Een rigoureuze uitbreiding van task-open formuleringen die formele garanties biedt dat PLATO goed gedefinieerd en permutatie-invariant is over aftelbare, onbegrensde state- en action-spaces.
3. Empirische Evaluatie: Een uitgebreide evaluatie in het Wildfire Suppression domein (onderdeel van de MOASEI initiatief), die prestaties demonstreert over verschillende grid-groottes en openness-configuraties (S0–S3).
4. Zero-Shot Generalisatie: Bewijs dat policies getraind op specifieke grid-groottes effectief generaliseren naar ongeziene, grotere grid-groottes zonder hertraining, waarbij zij de state-of-the-art baselines in consistentie overtreffen.

Experimentele Resultaten

De auteurs hebben PLATO geëvalueerd tegen slimme baselines (DICG, DGN, MOHITO) en heuristische baselines (NOOP, Random, Strongest, Weakest) over 2×3, 3×3 en 4×4 grids onder vier scenario's variërend van gesloten (S0) tot volledig open (S3, waarbij endogene verspreiding, exogene ontbrandingen en agent-depletie gecombineerd worden).

• Prestaties: PLATO behaalde de hoogste episode returns in de meest veeleisende open scenario's (S2 en S3) op 3×3 en 4×4 grids met statistische significantie. In de gesloten setup (S0) presteerde het op gelijke voet met andere slimme methoden.
• Efficiëntie: PLATO vertoonde een superieure reward-per-fight efficiëntie in de meeste open configuraties, wat wijst op betere middelenallocatie en taakprioritering.
• Generalisatie: In zero-shot evaluaties (trainen op kleinere grids, testen op grotere grids) toonde PLATO een meer consistente generalisatie dan de baselines. Opvallend genoeg stortte MOHITO in bepaalde zero-shot open scenario's in tot negatieve returns, terwijl PLATO positieve returns behield.
• Ablatie Studies: De auteurs onderzochten de types encoders (MLP versus LSTM) en attention scoring (additive versus dot-product). De resultaten gaven aan dat de combinatie van LSTM + Additive attention de sterkste zero-shot generalisatie opleverde in zeer open (S3) settings, terwijl MLP + Dot-product het best presteerde in simpelere, gesloten (S0) settings.

Betekenis en Claims

Het artikel claimt dat PLATO een fundamentele beperking in huidige MARL aanpakt: het onvermogen om te schalen naar onbegrensde, dynamische agent- en task-verzamelingen zonder architecturale wijzigingen of hertraining. Door gebruik te maken van pointer networks en graph neural networks, behandelt PLATO de action-space als een dynamische verzameling van content in plaats van een vaste index.

De auteurs stellen dat PLATO een goed gedefinieerde oplossing biedt voor OASYS, waarbij bewezen wordt dat de policy geldig blijft ongeacht het aantal agenten of taken. De empirische resultaten suggereren dat deze aanpak een robuuste, schaalbare implementatie mogelijk maakt in real-world scenario's waar de systeemcompositie onvoorspelbaar is, wat een belangrijke stap voorwaarts is in het toepasbaar maken van MARL in open, dynamische omgevingen. Het werk claimt niet alle vormen van openness op te lossen (het sluit specifiek Frame Openness uit), maar legt een sterk fundament voor het afhandelen van structurele veranderingen in agent- en task-verzamelingen.