Optimal Modified Feedback Strategies in LQ Games under Control Imperfections

Titel: Optimale Gewijzigde Feedback-strategieën in LQ-spelen onder Controle-onvolkomenheden

Auteurs: Mahdis Rabbani, Navid Mojahed en Shima Nazari (University of California, Davis)

---

1. Probleemstelling

Het artikel adresseert een cruciaal probleem in de toepassing van speltheoretische benaderingen, specifiek Nash-evenwichten, in engineeringssystemen. Hoewel Nash-evenwichten theoretisch robuust zijn voor strategische interacties, falen ze in de praktijk vaak door implementatie-onvolkomenheden.

• Context: Twee spelers, eindige-horizon, lineair-kwadratische (LQ) niet-nul-sum games in discrete tijd.
• Het probleem: In de realiteit wijken de daadwerkelijk uitgevoerde besturingssignalen af van de theoretisch ideale Nash-commando's door factoren zoals:
  • Actuator-limieten en dynamiek (bijv. eerste-orde vertragingen).
  • Communicatie- en rekenvertragingen.
  • Meetruis en schattingen.
• Gevolg: Als Speler 2 afwijkt van zijn Nash-strategie (bijv. door een actuatorvertraging), maar Speler 1 blijft zijn oorspronkelijke, niet-compenserende feedbackstrategie toepassen, leidt dit tot suboptimale trajecten en een significante toename van de kosten (cost function) voor Speler 1. Bestaande methoden zoals $\epsilon$-evenwichten of robuuste controle benaderen dit vaak als een verzwakte optimaliteit, maar bieden geen specifieke compensatiestrategie voor de andere speler om deze uitvoeringsfouten te mitigeren.

2. Methodologie

De auteurs ontwikkelen een wiskundig raamwerk om de impact van deze afwijkingen te analyseren en een compensatiestrategie te ontwerpen.

A. Sensitiviteitsanalyse (Eerste Orde)

De auteurs analyseren eerst hoe kleine afwijkingen ($\Delta u_2$) van Speler 2 de staatstrajecten en de kosten van Speler 1 beïnvloeden, terwijl Speler 1 zijn nominale feedback behoudt.

• Ze leiden een gesloten-vorm uitdrukking af voor de verstoordheid in de staat ($\Delta x_k$) en de eerste-orde expansie van de kostenverandering ($\Delta J_1$).
• Dit resulteert in een lineaire relatie tussen de afwijkingen van Speler 2 en de kosten van Speler 1, waarbij de tijdsvariabele gesloten-lus dynamiek expliciet wordt meegenomen.

B. Ontwerp van Compensatiefeedback (CF)

Om de negatieve effecten te mitigeren, stellen de auteurs een Compensated Feedback (CF) wet voor voor Speler 1.

• Augmentatie: Het systeem wordt uitgebreid met een model van de verstoring. Als de uitvoeringsfout van Speler 2 ($w_k$) meetbaar of schatbaar is (bijv. via telemetrie of een observator), wordt deze toegevoegd aan de toestandsvector.
• Actuatormodel: Er wordt een realistisch discrete-tijd model gebruikt voor de actuatorvertraging van Speler 2 (een eerste-orde lag met factor $\alpha$).
• Optimalisatie: Speler 1 lost een nieuw optimalisatieprobleem op voor het geaugmenteerde systeem. Het doel is het minimaliseren van de eigen kosten $J_1$ binnen de klasse van causale lineaire feedbackstrategieën van de vorm:
  $$u_{1,k} = -K_k x_k - L_k w_k$$
  Hierbij is $K_k$ de feedback op de staat en $L_k$ een feedforward-term die de meetbare verstoring compenseert.
• Oplossing: De optimale gains $[K_k, L_k]$ worden verkregen via een versterkte Riccati-recursie (augmented Riccati recursion). Dit is een unieke oplossing binnen de gekozen klasse van strategieën.

C. Theoretische Eigenschappen

• De nieuwe strategie is niet een nieuw Nash-evenwicht voor het gewijzigde spel (Speler 2 reageert niet op de compensatie), maar is een optimale reactie voor Speler 1 gegeven de vaste strategie van Speler 2 en de verstoring.
• Voor kleine afwijkingen wordt bewezen dat de CF-strategie lokaal superieur is aan de ongecompenseerde referentiefeedback (REF) tot op de tweede orde. De kostenvermindering is kwantitatief vastgelegd.

3. Belangrijkste Bijdragen

1. Sensitiviteitsanalyse: Afleiding van gesloten-vorm formules die kwantificeren hoe afwijkingen van één speler zich door de systeemdynamica voortplanten en de kosten van de andere speler beïnvloeden in discrete tijd.
2. Compensatieontwerp: Een nieuwe, causale feedbackwet die de verstoring dynamiek expliciet modelleert en compenseert via een feedforward-term.
3. Optimaliteitsbewijs: Het bewijs dat deze compensatiestrategie uniek optimaal is binnen de klasse van causale lineaire feedback, en dat deze de ongecompenseerde strategie strikt verbetert (of gelijk blijft) bij kleine afwijkingen.
4. Numerieke Validatie: Een demonstratie van de methode in een realistisch scenario.

4. Resultaten (Numeriek Voorbeeld)

De auteurs testen de methode op een systeem van twee karretjes gekoppeld via een veer-dempersysteem.

• Scenario: Speler 2 ondergaat een actuatorvertraging (lag), terwijl Speler 1 drie strategieën toepast:
  1. FNE (Case I): Ideale situatie zonder vertraging.
  2. REF (Case II): Speler 2 heeft vertraging, Speler 1 gebruikt de standaard Nash-feedback (geen compensatie).
  3. CF (Case III): Speler 2 heeft vertraging, Speler 1 gebruikt de nieuwe compensatiefeedback.
• Uitkomsten:
  • In Case II stijgt de kosten van Speler 1 ($J_1$) met 51,36% ten opzichte van het ideale geval.
  • In Case III (met compensatie) daalt de kosten van Speler 1 naar een niveau dat 10,71% lager is dan in Case II.
  • De compensatie herstelt ongeveer 31,56% van het verloren prestatievermogen veroorzaakt door de vertraging.
  • Opmerkelijk: De kosten van Speler 2 ($J_2$) nemen toe in Case III ten opzichte van Case II. Dit komt omdat Speler 1 zijn strategie aanpast om zijn eigen kosten te minimaliseren, wat niet noodzakelijk gunstig is voor Speler 2 (een typisch kenmerk van niet-nul-sum games). De totale systeemkosten nemen toe, maar voor Speler 1 is de compensatie essentieel.

5. Betekenis en Conclusie

Dit werk is significant omdat het de kloof overbrugt tussen theoretische speltheorie en praktische implementatie.

• Het toont aan dat het exploiteren van meetbare uitvoeringsfouten (zoals actuatorvertragingen) essentieel is om prestatieverlies te beperken.
• De voorgestelde methode biedt een systematische manier voor een speler om proactief te reageren op de imperfecties van een tegenstander, zonder dat beide spelers hun strategie hoeven te herdefiniëren.
• Het benadrukt dat in niet-nul-sum games, een optimale reactie op verstoringen voor de ene speler niet altijd leidt tot een sociaal optimaal resultaat (Pareto-optimaliteit), maar wel cruciaal is voor de individuele rationaliteit.

Toekomstperspectief: De auteurs suggereren dat online schattingstechnieken en adaptieve controle die in real-time reageren op afwijkingen van de Nash-strategie een veelbelovende richting voor verder onderzoek zijn.