Linear-Quadratic Gaussian Games with Distributed Sparse Estimation

Titel: Lineair-Kwadratische Gaussische Spellen met Gedistribueerde Sparse Schatting

1. Probleemstelling

Lineair-Kwadratische Gaussische (LQG) spellen bieden een raamwerk voor het modelleren van strategische interacties in multi-agent systemen, waarbij agenten systeemtoestanden moeten schatten op basis van ruisachtige waarnemingen en beslissingen moeten nemen om een kwadratische kostenfunctie te minimaliseren.

De kernuitdaging die dit artikel adresseert, is de onrealistische aanname in bestaande LQG-formuleringen dat agenten de volledige set van beschikbare waarnemingen gebruiken om hun toestandschatting te vormen. In grootschalige of hulpbronbeperkte scenario's (zoals zwermen van robots met beperkte energie en rekenkracht) is het verwerken of uitwisselen van alle metingen onpraktisch. Er is een behoefte aan methoden die sparsiteit (het selectief gebruiken van een subset van sensoren) in de schattingsfase integreren, zonder de stabiliteit of prestaties van het spel te compromitteren. Bestaande werken richten zich vaak op deterministische spellen of centrale systemen, maar de combinatie van strategische interactie, ruis en gedistribueerde schatting met sparsiteit blijft onontgonnen terrein.

2. Methodologie

De auteurs ontwikkelen een raamwerk voor LQG-spellen waarbij agenten individuele, ruisachtige waarnemingen hebben en een gedistribueerde, sparse schatter gebruiken.

• Systeemmodel: Er wordt een N-speler LQG-spel beschouwd met lineaire dynamica en kwadratische kosten. Agenten hebben geen toegang tot de volledige gezamenlijke toestand, maar slechts tot hun eigen waarnemingsvector $y^i_t$.
• Feedback Nash Strategieën: Agenten volgen feedback Nash-evenwicht strategieën gebaseerd op hun geschatte toestand $\hat{x}^i_t$. Omdat de scheidingstheorema (separation principle) niet direct geldt voor LQG-spellen met individuele waarnemingen, hangen de strategieën af van de informatiepatronen.
• Gedistribueerde Schatting:
  • Agenten updaten hun schattingen lokaal op basis van hun eigen waarnemingen en een schatting van de gezamenlijke controle-input.
  • De auteurs leiden de propagatie van de schattingsfout en de covariantie af, waarbij ze laten zien dat de fout wordt beïnvloed door de mismatch tussen de geschatte en werkelijke gezamenlijke controle.
• Sparse Schatting via Group Lasso:
  • Om sparsiteit te forceren, wordt de schattingsgain $K^i_t$ geoptimaliseerd via een Group Lasso probleem.
  • De kostenfunctie bestaat uit twee delen: een kwadratische term die de schattingsfout minimaliseert (dicht bij de optimale dichte gain) en een regularisateterm die de Frobenius-norm van blokken van de gain matrix straft. Dit zorgt ervoor dat hele blokken van de gain (corresponderend met specifieke sensoren) naar nul worden gedrukt.
  • Het probleem wordt omgezet in een convex conisch programma dat oplosbaar is met standaard optimalisatietools.
• Reset-mechanisme: Om te voorkomen dat de schattingskwaliteit te zeer degradeert, wordt een drempelwaarde ($r_{th}$) ingesteld. Als de norm van de gesparseerde gain te klein wordt ten opzichte van de optimale gain, wordt de gain "teruggezet" naar de optimale dichte gain. Dit garandeert dat de schattingsfout niet onbeperkt groeit.
• Game-Theoretische Adaptieve Regularisatie:
  • De regularisatieparameter $\lambda$ wordt niet statisch gekozen, maar dynamisch aangepast op basis van de strategische afhankelijkheid tussen agenten.
  • Als de controle van agent $i$ sterk afhankelijk is van de toestand van agent $j$ (hoge waarde in de feedback gain $\Gamma^i_t[j]$), wordt de regularisatie voor de waarneming van $j$ verlaagd (waarneming behouden). Bij zwakke afhankelijkheid wordt de regularisatie verhoogd (waarneming genegeerd).

3. Belangrijkste Bijdragen

1. Ontwerp van een Gedistribueerde Sparse Schatter: Een nieuwe schatter voor LQG-spellen die werkt met lokale metingen en feedback Nash strategieën, waarbij sparsiteit wordt geïntroduceerd via Group Lasso.
2. Convex Optimalisatie Formulering: Het vertalen van het sparse schattingsprobleem naar een convex conisch programma, wat efficiënte oplossing garandeert.
3. Garantie voor Schattingskwaliteit: Het leveren van voldoende voorwaarden (Theorema 1) die aantonen dat het reset-mechanisme zal worden geactiveerd als de schattingsfoutcovariantie te groot wordt, waardoor de degradatie van de schatting wordt begrensd.
4. Game-Theoretische Adaptieve Strategie: Een innovatieve methode om de regularisatieparameters dynamisch te koppelen aan de strategische afhankelijkheid tussen agenten, wat leidt tot een intelligente verdeling van communicatiemiddelen.

4. Resultaten en Simulaties

De methode werd gevalideerd in een simulatie van een drie-robot formatiespel:

• Opzet: Een leidende robot (R1) volgt een referentiepad, terwijl twee volgers (R2, R3) een vaste afstand tot elkaar en de leider moeten behouden.
• Vergelijking: De auteurs vergeleken hun adaptieve methode met statische regularisatieniveaus ($\lambda = 50$ en $\lambda = 1000$).
• Vindingen:
  • Trade-off: Er is een duidelijke afweging tussen communicatiekosten (aantal gebruikte sensoren) en controleprestaties. Hoge regularisatie reduceert het aantal sensoren maar verhoogt de schattingsfout, wat de trajectprestaties verslechtert.
  • Adaptieve Superioriteit: De game-theoretische adaptieve methode presteert beter dan statische methoden. R1 (de leider) gebruikt voornamelijk zijn eigen sensoren (zelfmeting), terwijl R2 en R3 vaker meten naar R1 dan naar elkaar, wat de hiërarchische structuur van het spel weerspiegelt.
  • Stabiliteit: De schattingsfout covariantie blijft gebonden; wanneer de fout te groot dreigt te worden door het overslaan van metingen, wordt het systeem automatisch teruggezet naar een dichte schatting.
  • Efficiëntie: De adaptieve strategie resulteert in een aanzienlijke reductie in verbruikte communicatiemiddelen met slechts een minimaal verlies in de nominale evenwichtstrajecten.

5. Significantie

Dit werk is significant omdat het een brug slaat tussen sparsiteitspromotie (voor hulpbronbesparing) en stochastische speltheorie. Het lost het probleem op dat klassieke sensorselectiemethoden niet direct toepasbaar zijn in multi-agent spellen vanwege de strategische interactie en de gekoppelde dynamiek.

De voorgestelde aanpak biedt een praktische oplossing voor real-world toepassingen zoals robotzwermen, waarbij energie en bandbreedte beperkt zijn. Door de regularisatie dynamisch aan te passen aan de strategische noodzaak van de interactie, kunnen agenten efficiënter samenwerken zonder de stabiliteit van het systeem te riskeren. De resultaten tonen aan dat het mogelijk is om "slimme" schattingen te maken die rekening houden met zowel de ruis in de metingen als de strategische waarde van de informatie.