Technische Samenvatting: LLM-Gestuurde Communicatie voor Cooperatieve Multi-Agent Versterkende Leer

Probleemstelling

In Cooperatieve Multi-Agent Versterkende Leer (MARL) opereren agenten vaak onder gedeeltelijke waarneembaarheid, waarbij ze geen toegang hebben tot de globale staat. Hoewel het framework voor Gecentraliseerde Training met Gedecentraliseerde Uitvoering (CTDE) dit tijdens training mitigeert, ondervinden agenten tijdens uitvoering nog steeds informatiehiaten. Bestaande communicatiemethoden proberen deze kloof te overbruggen, maar lijden vaak onder twee primaire inefficiënties:

1. Inefficiënte Informatieuitwisseling: Methoden zoals broadcast-communicatie (bijv. MASIA) of het delen van volledige observaties (FullComm) zenden redundante data uit en slagen er niet in om de specifieke statedimensies te isoleren die noodzakelijk zijn voor reconstructie.
2. Mislukte State-reconstructie: Agent-specifieke methoden (bijv. TarMAC, SMS, T2MAC) slagen er vaak niet in om expliciet aan te geven hoe nauwkeurig en uniform agenten de onderliggende globale staat kunnen reconstrueren. Dit leidt tot berichten die de werkelijke staat niet voldoende vastleggen of resulteren in aanzienlijke variatie in staatbewustzijn tussen agenten, wat coördinatie belemmert.

Het identificeren van de essentiële berichten die vereist zijn voor state-herstel is uitdagend omdat het een diepgaand begrip vereist van de taakdoelstelling en de complexe relatie tussen lokale observaties en de globale staat.

Methodologie: LMAC

De auteurs stellen LLM-gedreven Multi-Agent Communicatie (LMAC) voor, een framework dat gebruikmaakt van de redeneercapaciteiten van Large Language Models (LLM's) om communicatieprotocollen te ontwerpen en iteratief te verfijnen. In tegenstelling tot eerdere benaderingen die vertrouwen op online LLM-interactie of vaste berichtstructuren, werkt LMAC in twee distincte fasen: Offline Protocolontwerp en Online MARL-training.

1. Offline Protocolontwerp via Iteratieve Verfijning

LMAC maakt gebruik van een LLM om uitvoerbare, code-gebaseerde communicatieprotocollen ($f_C$) te genereren die lokale observaties afbeelden op agent-specifieke berichten. Dit proces is gebaseerd op het Reflexion-framework, maar aangepast voor protocolontwerp met twee specifieke doelen: Herstelverbetering en Ongelijkheidsmitigatie.

• Invoerprompt ($x$): De LLM ontvangt een taakbeschrijving ($I_T$) met details over het coöperatieve doel en natuurlijke-taalbeschrijvingen van staten en observatiedimensies, samen met een protocolontwerpinstructie ($I_P$) die de uitvoer van uitvoerbare Python-code voorschrijft.
• Criterium-gebaseerde Feedback: In plaats van vaste feedback hanteert LMAC een dynamische, criterium-gebaseerde feedbacklus met behulp van een offline transitiedataset ($\mathcal{B}$) verzameld van een baseline RL-agent.
  • State-Awareness Indicator (SAI): Een auxiliaire decoder ($D_\phi$) wordt getraind om de globale staat te reconstrueren vanuit de lokale trajectorie van een agent. De reconstructiefout wordt gebruikt om een SAI ($\chi$) te berekenen, die kwantificeert of een specifieke statedimensie wel of niet met het huidige communicatieprotocol kan worden hersteld.
  • Stap-voor-stap Verfijning: Het protocol ondergaat een twee-staps verfijningsproces:
    1. Herstelverbetering ($k=1$): De LLM analyseert het herstelsuccespercentage ($E_t[\chi]$) om statedimensies te identificeren die agenten niet kunnen reconstrueren. Het genereert feedback om ontbrekende informatie aan het protocol toe te voegen.
    2. Ongelijkheidsmitigatie ($k=2$): De LLM analyseert de inter-agent variatie van de SAI ($\text{Var}_i[\chi]$) om informatieasymmetrieën te identificeren. Het genereert feedback om berichten aan te vullen voor agenten met onvoldoende informatie, zodat een uniform staatbewustzijn wordt gewaarborgd.
• Uitvoer: Het resultaat is een verfijnde protocolsequentie $f_C = (f^{(0)}_C, f^{(1)}_C, f^{(2)}_C)$ die progressief alleen de noodzakelijke berichten toevoegt voor nauwkeurige en uniforme state-reconstructie.

2. Meta-cognitieve Representatieleren

Tijdens de online MARL-trainingsfase wordt het door de LLM ontworpen protocol geïntegreerd in het CTDE-framework (specifiek QMIX).

• Latente Representatie: In plaats van ruwe berichten direct aan agenten te geven, verwerkt een encoder-decoder-paar ($\text{Enc}_\psi, \text{Dec}_\psi$) het traject en de berichten om een latente representatie $z^i_t$ te produceren.
• Meta-cognitieve Supervisie: Het systeem hergebruikt de SAI als een dynamisch supervisiessignaal. De decoder wordt getraind om de globale staat te reconstrueren en de SAI te voorspellen ($\hat{\chi}^i_{d,t}$), waardoor de latente representatie wordt aangemoedigd om onderscheid te maken tussen betrouwbare kennis en onzekerheid.
• Cyclus-consistentie: Een cyclus-consistentieverlies wordt geïntroduceerd om irrelevante informatie te onderdrukken. Door de latente representatie te decoderen en opnieuw te encoderen, wordt het model gestraft voor informatie die niet kan worden behouden, waardoor $z^i_t$ wordt gedwongen om alleen reconstrueerbare, taakrelevante kenmerken te behouden.

Belangrijkste Bijdragen

1. LLM-gedreven Protocolontwerp: Het artikel introduceert een nieuwe aanpak waarbij LLM's niet worden gebruikt als beleidsnetwerken, maar als protocolontwerpers. De LLM redeneert over taakdoelen en observatiestructuren om uitvoerbare code voor communicatie te genereren, waardoor de hoge kosten van online LLM-interactie worden vermeden.
2. Criterium-gebaseerde Iteratieve Verfijning: Het framework stelt een twee-staps verfijningsproces voor (Herstelverbetering en Ongelijkheidsmitigatie) dat wordt geleid door kwantitatieve metrieken afgeleid van offline RL-data. Dit zorgt ervoor dat het protocol evolueert om specifieke reconstructiefouten en kennishiaten aan te pakken.
3. Meta-cognitieve Latente Module: De integratie van een meta-cognitief representatieleren-module stelt agenten in staat de betrouwbaarheid van hun state-schattingen te kalibreren, redundante informatie te filteren en coördinatie te verbeteren.
4. Uitgebreide Benchmarking: De methode is gevalideerd op diverse benchmarks (SMAC-Comm, SMACv2, Level-Based Foraging en Google Research Football), waarbij superieure prestaties worden aangetoond ten opzichte van state-of-the-art communicatie-baselines.

Experimentele Resultaten

Experimenten zijn uitgevoerd op vier benchmark-omgevingen met variërende niveaus van complexiteit en stochasticiteit:

• SMAC-Comm & SMACv2: LMAC presteerde consequent beter dan baselines (inclusief TarMAC, SMS, T2MAC en MASIA) en benaderde of overtrof de prestaties van de oracle bovengrens (QMIX+State). Opmerkelijk is dat LMAC in de sterk stochastische SMACv2-omgeving QMIX+State overtrof, wat suggereert dat het door de LLM ontworpen protocol taakrelevante kenmerken effectiever filtert dan ruwe globale state-invoer.
• Level-Based Foraging (LBF) & Google Research Football (GRF): LMAC bereikte een snellere convergentie en hogere uiteindelijke winnpercentages in vergelijking met alle communicatie-baselines. In GRF presteerde het beter dan QMIX+State, waarschijnlijk vanwege de compressie van hoogdimensionale observaties naar compacte, taakrelevante latente kenmerken.
• Ablatiestudies:
  • Verfijningstappen: De prestaties verbeterden gestaag van $k=0$ (initieel) tot $k=2$, met afnemende meeropbrengst na $k=2$.
  • LLM-varianten: De methode bleef robuust over verschillende LLM-ruggengraten (GPT-4.1, Gemini, Claude), wat aangeeft dat het verfijningsproces de primaire drijver van succes is in plaats van het specifieke model.
  • Componenten: Het verwijderen van het consistentieverlies of de SAI-supervisie degradeerde de prestaties aanzienlijk, wat de noodzaak bevestigt van onderdrukking van redundantie en kalibratie van betrouwbaarheid.
  • Prompt-gevoeligheid: De methode bleef effectief zelfs met vereenvoudigde prompts, wat suggereert dat deze niet sterk afhankelijk is van gedetailleerde semantische annotaties.

Betekenis en Claims

Het artikel beweert dat LMAC een kritieke bottleneck in MARL aanpakt: de inefficiëntie van bestaande communicatieprotocollen bij het reconstrueren van globale staten onder gedeeltelijke waarneembaarheid. Door gebruik te maken van LLM-redenering om protocollen te ontwerpen die expliciet zijn geoptimaliseerd voor state-herstel en uniformiteit, stelt LMAC agenten in staat effectiever te coördineren zonder de computationele overhead van online LLM-inferentie.

De auteurs benadrukken dat hun aanpak:

• LLM-kosten verlaagt: Door protocolontwerp en verfijning offline uit te voeren met behulp van transitiedata, vermijdt LMAC de latentie en kosten van het oproepen van een LLM bij elke tijdstap.
• State-bewustzijn verbetert: Het richt zich expliciet op de vermindering van kennisongelijkheid tussen agenten, een factor die in eerdere werken vaak over het hoofd werd gezien.
• Generaliseert: Het framework is toepasbaar op verschillende CTDE-ruggengraten (QMIX, VDN, QPLEX) en schaalbaar naar omgevingen met grotere aantallen agenten en hogere stochasticiteit.

Het artikel concludeert dat LMAC een robuust, generaliseerbaar framework biedt voor het verbeteren van coöperatieve multi-agent systemen door communicatieprotocollen af te stemmen op de specifieke informatiebehoeften die vereist zijn voor state-reconstructie.