Technische Samenvatting: HiComm: Hiërarchische Communicatie voor Multi-agent Reinforcement Learning

Probleemstelling

Coöperatieve Multi-Agent Reinforcement Learning (MARL) opereert vaak onder partiële observeerbaarheid, waarbij agenten moeten coördineren op basis van beperkte lokale inzichten. Hoewel communicatie een standaardmechanisme is om dit te mitigeren, behandelen bestaande protocollen berichten doorgaans als platte, dichte vectoren. Deze vectoren zijn geleerde projecties van de volledige observatie van een agent, losgekoppeld van de intrinsieke structuur van die observatie.

Veel coöperatieve omgevingen (bijv. cyberverdediging, teamsporten of micromanagement) bezitten een natuurlijke hiërarchische observatiestructuur (bijv. groepen entiteiten, subnets met hosts, of eenheden van specifieke klassen). Huidige methoden slagen er niet in om deze structuur binnen het bericht zelf te benutten. In plaats daarvan verzenden ze ofwel ongestructureerde samenvattingen, of leggen ze hiërarchie op aan de communicatiegrafiek of de rollen van de agenten (bijv. feodale architecturen), in plaats van aan de gegevens die worden uitgewisseld. Dit overzicht negeert een rijke bron van inductieve bias, wat leidt tot inefficiënte communicatie waarbij agenten redundante of ongestructureerde informatie verzenden.

Methodologie: HiComm

De auteurs stellen HiComm voor, een plug-in communicatiemodule die berichten direct fundeert in de hiërarchische observatie van de zender. In tegen afhankelijk van traditionele zendergestuurde protocollen waar een agent zijn volledige staat codeert, is HiComm ontvangergestuurd en behandelt het communicatie als gestructureerde informatie-extractie.

Kernmechanisme

De observatieruimte voor elke agent $i$ wordt gemodelleerd als een driedimensionale tensor $z_i \in G \times E \times F$, waarbij:

• $G$: Coarse groep-as (bijv. subnets, eenheidsklassen).
• $E$: Fine entiteit-as (bijv. hosts binnen een subnet, specifieke eenheden).
• $F$: Feature-vector-as.

HiComm transformeert communicatie van het verzenden van een vector naar het ophalen van een specifieke adres-waarde-paar $((g, \ell), F)$ uit de observatietensor van de zender. Het proces verloopt in drie differentieerbare stadia met behulp van Straight-Through Gumbel-Softmax (ST-GS) voor discrete selectie:

1. Fase 1: Query Generatie (ontvangerzijde)
   De ontvanger vat zijn lokale observatiecontext en observability-masker samen in een query-vector $q_i$. Deze query vertegenwoordigt de informatiebehoefte van de ontvanger.

2. Fase 2: Hiërarchische Zenderselectie (ontvangerzijde)
   De ontvanger daalt de hiërarchie af om een zender te selecteren:

   • Stadium 1 (Groepselectie): De ontvanger selecteert een onderwerp-groep $g^*$ door de query $q_i$ te scoren tegen leerbare groep-keys $\kappa_g$.
   • Stadium 2 (Agentselectie): Geconditioneerd op $g^*$ selecteert de ontvanger een specifieke zender $j^*$ uit het team (exclusief zichzelf) op basis van een context-geconditioneerde affiniteitsfunctie $\Phi(j, g^*; h_i)$.
   • Opmerking: Deze twee-staps afdaling reduceert de discrete beslissingsruimte van $|G| \cdot |E| \cdot (N-1)$ naar $|G| + (N-1) + |E|$, wat de credit assignment lokaliseert.

3. Fase 3: Entiteit Extractie (zenderzijde)
   De ontvanger verzendt $(q_i, g^*)$ naar de geselecteerde zender $j^*$. De zender:

   • Selecteert een specifieke entiteit $\ell^*$ binnen groep $g^*$ op zijn eigen lokale observatie $z_{j^*}$, waarbij ongeobserveerde vermeldingen worden gemaskeerd.
   • Geeft de letterlijke feature-vector $F = z_{j^*}[g^*, \ell^*, :]$ terug aan de ontvanger.
   • Cruciaal is dat het bericht de ruwe observatie-entry is, niet een geleerde compressie.

Training en Integratie

HiComm is ontworpen als een lichtgewicht, stateless transformatie die naadloos integreert in standaard MARL-pipelines (bijv. IPPO, MAPPO) zonder de onderliggende policy- of critic-architecturen te wijzigen.

• Optimalisatie: De communicatieparameters $\theta_{comm}$ worden samen met de policy-parameters $\theta_{pol}$ bijgewerkt via een enkele backward pass.
• Verliesfunctie: Het doel combineert de standaard PPO-surrogaatverlies met een scalaire informatiewinst-shaping prior. Deze prior moedigt de selectie van coördinaten aan die een hoge informatiewinst bieden ten opzichte van de huidige staat van de ontvanger, wat 'sender collapse' voorkomt.
• Bandbreedte: Het protocol verzendt alleen het adres (groep- en entiteitsindices) en de ruwe feature-vector, wat de bandbreedte aanzienlijk vermindert vergeleken met het verzenden van volledige observatiesamenvattingen.

Belangrijkste Bijdragen

1. HiComm Protocol: Een ontvangergestuurd communicatiemodule die gebruikmaakt van de intrinsieke groep-entiteit hiërarchie van de observatieruimte. Het vervangt ongestructureerde vectortransmissie door de gestructureerde extractie van specifieke observatieslices.
2. Differentieerbare Implementatie: Een lichtgewicht, plug-in ontwerp met behulp van ST-GS voor discrete selectie en een gedeelde projectiekop, waardoor het naadloos kan worden gekoppeld aan standaard MARL-algoritmen zonder de kern van de policy-architectuur te wijzigen.
3. Empirische Validatie: Demonstratie over drie diverse benchmarks (CAGE Challenge 4, SMACv2, Google Research Football) waar HiComm de representatieve geleerde communicatie-baselines (CACOM, T2MAC) evenaart of overtreft, terwijl het het communicatievolume drastisch vermindert.

Experimentele Resultaten

De auteurs hebben HiComm geëvalueerd op drie benchmarks met variërende observatiestructuren en coördinatie-eisen, met zowel IPPO (gedecentraliseerde critic) als MAPPO (gecentraliseerde critic) als backbone.

• Prestaties (RQ1): HiComm overbrugt een aanzienlijk deel van het prestatieverschil tussen partiële observeerbaarheid (geen communicatie) en volledige observeerbaarheid (volledige staatdeling). In 9 van de 10 algoritme-scenario cellen overtrof HiComm de baselines of presteerde het gelijk. Met name onder MAPPO in de CAGE Challenge 4 omgeving herstelde HiComm ongeveer 85% van de kloof naar volledige observeerbaarheid, waarmee het CACOM en T2MAC aanzienlijk versloeg.
• Bandbreedte-efficiëntie (RQ2): HiComm behaalt deze resultaten terwijl het het communicatievolume met 5× tot 23× vermindert per ontvanger per episode vergeleken met de baselines, en met meer dan 1000× vergeleken met volledige staatdeling. Dit wordt bereikt door alleen de relevante feature-slice te verzenden in plaats van een afgeplatte projectie van de gehele observatie.
• Generaliteit (RQ3): De prestatiewinsten en de bandbreedte-efficiëntie blijven standhouden over verschillende critic-architecturen (IPPO vs. MAPPO) en verschillende methoden voor het definiëren van de hiërarchie (natuurlijke subnets, semantische eenheidsklassen en semantische spelersrollen).

Betekenis en Beperkingen

Het artikel stelt dat HiComm een nieuwe dimensie introduceert aan MARL-communicatie: de hiërarchie van de observatieruimte. Door de ontvanger toe te staan actief specifieke coördinaten in de observatiestructuur van de zender te bevragen, vermijdt het protocol de "verlieslatende projectie" die inherent is aan platte vectormethoden. De resultaten suggereren dat het benutten van de natuurlijke structuur van observaties leidt tot efficiëntere en effectievere coördinatie.

Beperkingen:
De auteurs geven expliciet aan dat het werk een gebrek heeft aan een formele theoretische analyse van communicatie-efficiëntie. Het gedemonstreerde bandbreedtevoordeel is gebaseerd op empirische vergelijking in plaats van een informatie-theoretische grens die bewijst waarom hiërarchische adressering bewezen efficiënter is dan platte codering bij een gelijkwaardige taakprestatie. Het vaststellen van een dergelijke theorie wordt geïdentificeerd als een primaire richting voor toekomstig werk.

Conclusie:
HiComm demonstreert dat het behandelen van communicatie als gestructureerde extractie uit een hiërarchische observatieruimte een levensvatbaar en efficiënt alternatief is voor traditionele geleerde communicatieprotocollen, waarbij aanzienlijke bandbreedtebesparingen worden gerealiseerd zonder de coöperatieve prestaties op te offeren (en deze zelfs te verbeteren).