Bayesian Ego-graph Inference for Networked Multi-Agent Reinforcement Learning

Probleemstelling

In Networked Multi-Agent Reinforcement Learning (Networked-MARL) moeten gedecentraliseerde agenten autonoom handelen op basis van lokale waarneembaarheid en beperkte communicatie over vaste fysieke grafen (bijv. wegen in een verkeersnetwerk). Bestaande methoden maken vaak de aanname van statische buurten, waarbij agenten met alle lokale buren communiceren, ongeacht de contextuele relevantie. Dit leidt tot inefficiënte coördinatie, onnodig berichtenverkeer en prestatieverlies, vooral in dynamische omgevingen zoals verkeersbesturing waar congestie fluctueert.

Hoewel centrale frameworks (CTDE) dynamische grafen kunnen leren, zijn deze onpraktisch voor real-world gedecentraliseerde systemen omdat ze toegang tot globale toestanden en centrale infrastructuur vereisen. De kernvraag is: Kunnen gedecentraliseerde agenten hun interactiestructuur dynamisch aanpassen op basis van lokale observaties en taakfeedback, zonder globale supervisie?

Methodologie: BayesG

De auteurs stellen BayesG voor, een gedecentraliseerd actor-critic framework dat variational inference gebruikt om latente interactiestructuren te leren. De kern van de methode bestaat uit de volgende componenten:

1. Stochastische Graf-gebaseerde Policy:
   In plaats van te vertrouwen op een vaste communicatiegraf, conditioneert elke agent $i$ zijn beslissing op een gesamplede subgraaf ($G_{V_i}$) over zijn fysieke buurten. Agenten opereren binnen een "ego-graph" (een gelokaliseerde subgraaf) en sample een binair masker $Z_i$ dat bepaalt welke buren relevant zijn voor de huidige taak.

2. Bayesiaanse Variational Inference:
   Het leren van het interactiemasker wordt geformuleerd als een Bayesiaans inferentieprobleem. Het masker $Z_i$ wordt behandeld als een latente variabele. De posterior verdeling $p(Z_i | G^{env}_{V_i}, D_i)$ (waarbij $D_i$ lokale data zoals buurtoestanden en trajecten omvat) wordt benaderd door een variational distributie $q(Z_i; \phi_i)$.

   • Het masker wordt gegenereerd via een Gumbel-Softmax reparameterisatie om gradienten door discrete steekproeven mogelijk te maken.
   • Agenten leren een verdeling over mogelijke subgrafen die de meest informatieve connecties prioriteren.

3. ELBO-Doelfunctie (Evidence Lower Bound):
   De training combineert policy learning en grafinferentie in één doel. De totale loss bestaat uit:

   • De Actor-loss (geconditioneerd op de gesamplede subgraaf).
   • Een KL-divergentie term die de variational distributie regulariseert ten opzichte van een prior (vaak een Bernoulli-verdeling met een behouds-bias).
   • Een Critic-loss voor waarde-schatting.
     Dit zorgt ervoor dat agenten zowel de interactietopologie als de beslissingsstrategie gezamenlijk optimaliseren, waarbij ze onzekerheid over de communicatiestructuur kunnen modelleren.

Belangrijkste Bijdragen

1. Stochastische Graf-Policy: Een nieuw paradigma waarbij agenten beslissingen baseren op een gesamplede subgraaf van hun fysieke omgeving, in plaats van een vaste set buren.
2. Bayesiaanse Formulering: Het formuleren van het leren van latente grafen als Bayesiaanse variational inference, waarbij randmaskers worden behandeld als posterior-verdelingen beperkt door de fysieke topologie.
3. End-to-End Training: Een algoritme dat variational grafinferentie integreert met actor-critic learning via een ELBO-doel, waardoor agenten context-bewuste en communicatie-efficiënte coördinatie kunnen leren zonder globale supervisie.

Resultaten

De auteurs evalueren BayesG op vijf benchmarks voor adaptieve verkeerslichtbesturing (ATSC), variërend van synthetische roosters tot grote-scale real-world scenario's (NewYork met tot 167 agenten).

• Prestatie: BayesG presteert consequent beter dan sterke MARL-baselines (zoals IA2C, CommNet, NeurComm, en consensus-based methoden) in termen van totale beloning (minimale wachttijden en congestie).
• Schaalbaarheid: De methode toont superieure schaalbaarheid in grote netwerken (tot 167 agenten), waar andere methoden vaak vastlopen of instabiel worden. BayesG bereikt snellere convergentie en hogere asymptotische returns.
• Interpreteerbaarheid: Visualisaties tonen aan dat BayesG dynamisch prioriteit geeft aan kritieke communicatieverbindingen (bijv. tussen congestiegebieden) en irrelevante links onderdrukt. Dit leidt tot soepelere verkeersstromen in vergelijking met methoden die met vaste of uniforme communicatie werken.
• Ablatie Studies: Experimenten bevestigen dat het leren van het masker essentieel is; willekeurige masking degradeert de prestaties aanzienlijk. Het combineren van toestands-, traject- en beleidsfeatures voor het masker levert de beste resultaten op.

Significantie

BayesG biedt een principieel antwoord op het probleem van schaalbaarheid en adaptiviteit in gedecentraliseerde multi-agent systemen. Door context-bewuste communicatie te leren via lokale observaties, overbrugt het de kloof tussen theoretische MARL-methoden (die vaak globale kennis vereisen) en praktische toepassingen (zoals verkeersnetwerken en slimme netwerken) waar communicatie beperkt en lokaal is.

De methode demonstreert dat agenten niet alleen kunnen leren wat ze moeten doen, maar ook met wie ze moeten communiceren om de taak efficiënt te voltooien. Dit opent nieuwe wegen voor schaalbaar, robuust en interpreteerbaar leren in complexe, netwerkgebonden systemen.