A Self-Evolving Default Action for Cooperative Tasks with Continuous Action Space

Technische Samenvatting: SAFE (Self-Evolving Default Action From Experiences)

Probleemstelling
Multi-agent reinforcement learning (MARL) heeft succes geboekt in discrete actieruimtes (bijv. StarCraft II), maar stuit op aanzienlijke hindernissen bij real-world continue controle-taken, zoals autonome voertuignetwerken. Bestaande benaderingen ondervinden drie primaire uitdagingen:

1. Continue Actieruimtes: Veel schema's voor credit assignment zijn ontworpen voor discrete ruimtes en kunnen niet direct worden toegepast op continue controle.
2. Decentralisatievereisten: Real-world toepassingen vereisen vaak volledig gedecentraliseerde policies voor veiligheid en latentie, terwijl veel schaalbare methoden vertrouwen op gecentraliseerde inputs die niet goed schalen met het aantal agenten.
3. Credit Assignment in Continue Domeinen: Hoewel Counterfactual Multi-Agent Policy Gradients (COMA) effectief credit toewijst in discrete ruimtes door een agent's actie te marginaliseren, introduceert de uitbreiding naar continue ruimtes via Monte Carlo-sampling bias. De gesamplede acties in continue ruimtes zijn vaak onvoldoende getraind, wat betekent dat de gecentraliseerde critic de waarden ervan niet voldoende heeft geleerd. Bijgevolg is de baseline-verwachting niet nul onder de gezamenlijke policy, wat leidt tot vertekende (biased) policy gradients en een gebrek aan convergentiegaranties naar lokale optima.

Methodologie
Het paper stelt SAFE (Self-Evolving Default Action From Experiences) voor, een nieuw MARL-framework ontworpen om deze beperkingen aan te pakken binnen het Centralized Training with Decentralized Execution (CTDE) paradigma.

• Kernmechanisme: SAFE introduceert een counterfactual baseline geconditioneerd op een self-evolving default action. In tegenstelling tot eerdere methoden die vertrouwen op door gebruikers gedefinieerde default acties of aanvullende simulaties, samplet SAFE deze default actie ($\bar{a}_i$) rechtstreeks uit de experience replay buffer van elke agent ($D_t$).
• Baseline Constructie: Voor een gegeven agent $i$ wordt de baseline $b_i$ berekend door de werkelijke actie van de agent $a_i$ te vervangen door een gesamplede default actie $\bar{a}_i(t)$ in de input van de gecentraliseerde critic, terwijl de acties van andere agenten ($a_{-i}$) constant blijven:
  $$b_i = Q(s, a_{-i}, \bar{a}_i(t)), \quad \bar{a}_i(t) \sim D_t$$
• Self-Evolution: Naarmate de training vordert, evolueert de gesamplede default actie van nature om de gemiddelde prestaties van de agent te reflecteren. De distributie van gesamplede acties in de buffer verschuift naar de acties die het meest frequent door de agent worden uitgevoerd, waardoor wordt gewaarborgd dat de baseline afgeleid is van voldoende getrainde waarden.
• Theoretische Garantie: De auteurs bewijzen wiskundig (Lemma 0.1) dat deze baseline nul bias introduceert in de deterministische policy gradient. Door de deterministische policy te behandelen als een limietgeval van een stochastische policy, laten zij zien dat de verwachting van de baseline-term verdwijnt, wat convergentie naar lokale optima garandeert.
• Architectuur: Het framework maakt gebruik van een gecentraliseerde critic geconditioneerd op de globale staat en gezamenlijke actie-observatie geschiedenissen (histories), terwijl gedecentraliseerde actors alleen geconditioneerd zijn op hun lokale geschiedenissen. Parameter sharing wordt toegepast onder actors voor coöperatieve rollen.

Belangrijkste Bijdragen

1. Uitbreiding naar Continue Ruimtes: SAFE breidt counterfactual credit assignment op natuurlijke wijze uit naar continue actieruimtes zonder dat er extra simulaties, beloningsmodellen of omgeving-specifieke priors nodig zijn.
2. Bias-vrije Convergentie: Het paper biedt een theoretisch bewijs dat de self-evolving default action baseline geen bias introduceert in deterministische policy gradients, wat convergentie naar lokale optima garandeert—een eigenschap die vaak ontbreekt bij naïeve Monte Carlo-extensies.
3. Dynamische Adaptatie: De baseline past zich dynamisch aan naarmate het gedrag van de agent evolueert, waarbij de gesamplede default actie steeds meer de gemiddelde prestaties van de agent tijdens de training reflecteert.
4. Empirische Validatie: Uitgebreide experimenten op coöperatieve autonome rij-taken (Highway-Env) tonen aan dat SAFE consistent beter presteert dan state-of-the-art modellen (VDN, QMIX, IQL, COMA, MAPPO) in scenario's met variërende aantallen voertuigen en obstakels.

Experimentele Resultaten

• Prestaties: In coöperatieve snelweg-rijscenario's (2V1O tot 7V2O) behaalde SAFE superieure prestaties vergeleken met benchmarks. Discrete-actie modellen (VDN, QMIX, IQL) faalden in het vermijden van botsingen in complexe scenario's vanwege de grove granulariteit van discrete meta-acties. COMA en MAPPO faalden in het convergeren naar optimale policies, grotendeels toegeschreven aan de lage sample-efficiëntie in on-policy training.
• Ablatie-studies:
  • Credit Assignment vs. Continuïteit: Vergelijkingen met baselines die zich aanpassen aan continue ruimtes maar andere credit assignment schema's gebruiken (bijv. Centralized_critic, COMA_cont) bevestigden dat de prestatiewinst van SAFE specifiek voortkomt uit zijn credit assignment mechanisme, en niet louter uit zijn vermogen om continue acties te verwerken.
  • Enkele vs. Meerdere Samples: Parameteranalyse onthulde dat het gebruik van een enkele gesamplede default actie (SAFE1) betere resultaten oplevert dan het middelen van meerdere samples (SAFE30 tot SAFE100). Het middelen van meerdere samples introduceerde extra biases en verminderde de schattingsnauwkeurigheid.
  • Bron van de Default Actie: Het vervangen van de uit ervaring gesamplede actie door een vaste nul-actie (SAFE_a=0) of een batch-gemiddelde (SAFE_batch_mean) resulteerde in inferieure prestaties, wat de noodzaak van de self-evolving, op ervaring gebaseerde selectie valideert.
• Gedragsanalyse: Visualisaties van de waarschijnlijkheidsdichtheid van de default actie toonden aan dat de gesamplede acties in de loop van de tijd evolueerden om aan te sluiten bij de geleerde strategieën van de agents (bijv. verschuiving van neutraal sturen naar specifieke ontwijkingsmanoeuvres), wat de uitlijning van de baseline met de werkelijke policy van de agent bevestigt.

Betekenis
Dit paper positioneert SAFE als een effectieve oplossing voor real-world multi-agent systemen die continue controle vereisen. Door de bias- en convergentieproblemen die gepaard gaan met counterfactual credit assignment in continue domeinen op te lossen, maakt SAFE de inzet van schaalbare, gedecentraliseerde coöperatieve policies mogelijk in complexe omgevingen zoals autonome voertuignetwerken. Het werk vestigt dat nauwkeurige credit assignment in continue ruimtes kan worden bereikt door middel van ervaring-gebaseerde zelfevolutie in plaats van externe modellering of simulatie.