Technische Samenvatting: Het trainen van observeerbare controlebeleids voor het blootstellen van de agenttoestand via acties

Probleemstelling

Effectieve samenwerking tussen autonome agenten berust vaak op wederzijds bewustzijn van de toestand, wat doorgaans wordt bereikt via directe communicatie. Echter, fysieke of operationele beperkingen (bijv. onderwateromgevingen, bandbreedtebeperkingen of hardware-incompatibiliteit) maken communicatie vaak onbetrouwbaar of onmogelijk. Hoewel Partially Observable Markov Decision Processes (POMDP's) een theoretisch kader bieden voor het omgaan met dergelijke onzekerheid, lijden zij aan schaalbaarheidsproblemen en vereisen zij het hertrainen van alle agenten wanneer de taakparameters veranderen, wat hun praktische bruikbaarheid in federatieve systemen beperkt.

Een alternatieve benadering is het "ontkoppelen" van agenten door expliciet een estimator te formuleren die de toestand van andere agenten afleidt op basis van observeerbare acties. De controleacties van agenten zijn vaak zichtbaar zonder expliciete communicatie (bijv. een vliegtuig dat overhellend vliegt), maar standaard controlebeleids die uitsluitend geoptimaliseerd zijn voor taakprestaties missen vaak "observeerbaarheid". In dergelijke gevallen kunnen verschillende toestanden identieke actiesequenties produceren (bijv. een constante bankhoek in een cirkelvormige baan), waardoor staatreconstructie onmogelijk of gevoelig voor divergentie wordt. Het kernprobleem dat wordt aangepakt, is hoe men een controlebeleid kan trainen dat effectief blijft voor de primaire taak, terwijl het tegelijkertijd acties genereert die een externe waarnemer in staat stellen de toestand van de agent nauwkeurig te reconstrueren.

Methodologie

De auteurs stellen een raamwerk voor waarbij een controlebeleid wordt getraind met behulp van Reinforcement Learning (RL) met een beloningsfunctie die expliciet de prestaties van een state estimator incorporeert.

Agent en Omgevingsformulering

• Taak: Een onbemande luchtvaartuigen (UAS) met vaste vleugels moet een gronddoel volgen. De agent regelt de bankhoek ($\phi$) van het vliegtuig om de nabijheid tot het doel te behouden.
• Toestand: De beslistoestand van de agent bestaat uit de relatieve positie ($x, y$) en snelheid ($v_x, v_y$) ten opzichte van het doel.
• Beleid (Policy): Een neuraal netwerk brengt de toestand in kaart naar een pseudo-controleverdeling (Gaussiaans). Het gemiddelde wordt door het netwerk gegenereerd, terwijl de variantie vaststaat om stabiele exploratie te garandeen. De gesamplede pseudo-controle wordt via een verzadigingsfunctie in een bankhoekcommando omgezet.
• Estimator: Een Unscented Kalman Filter (UKF) wordt ingezet om de toestand van de agent te schatten. De filter gebruikt de systeemdynamica van de agent en behandelt het controlebeleid van de agent als de meetfunctie. De "observatie" is de gesamplede pseudo-controleactie ($\tilde{u}$) gegenereerd door het beleid.

Beloningsimplementatie (Reward Embedding)

Er worden twee beleidsregelingen getraind en vergeleken:

1. Taak-alleen Beleid (Task-Only Policy): Getraind met een beloning ($r_{task-only}$) die exponentieel afneemt met de afstand tot het doel.
2. Embedded Estimator Beleid: Getraind met een uitgebreide beloning ($r_{embedded}$) gedefinieerd als:
   $$r = r_{task-only} + R(\hat{x}, x)$$
   waarbij $R(\hat{x}, x)$ een beloningsterm is die acties bevordert die de fout tussen de ware toestand ($x$) en de geschatte toestand ($\hat{x}$) minimaliseren. Deze term is geformuleerd als een exponentiële afname van de foutnorm gewogen door een covariantie-matrix.

Door de estimator binnen de trainingslus te integreren, wordt de RL-agent geprikkeld om acties te kiezen die niet alleen het trackingdoel bereiken, maar ook de onzekerheid van de toestandsschatting verminderen, waardoor effectief wordt geoptimaliseerd voor observeerbaarheid.

Observabiliteitsanalyse

De auteurs analyseren de observeerbaarheid met behulp van twee metrieken:

1. Geliniariseerde Observabiliteitsmatrix: Berekend op elk tijdstip via Taylor-reeksbenadering om lokale observeerbaarheid te beoordelen.
2. Stripped Observability Matrix (SOM): Geconstrueerd door geliniariseerde matrices over een traject te stapelen om dynamische observeerbaarheid te beoordelen. De singuliere waarden van deze matrices geven de mate aan waarin de toestandsruimte observeerbaar is.

Belangrijkste Bijdragen

1. Implementatie van de Estimator: De auteurs implementeren een toestandsschatter die uitsluitend vertrouwt op de output (acties) van het controlebeleid als observaties, zonder expliciete toestandstelemetrie te vereisen.
2. RL voor Observeerbaarheid: Zij demonstreren een methode om de observeerbaarheid van controlebeleids te verbeteren door de prestaties van de estimator direct in de RL-beloningsfunctie te integreren.
3. Prestatievalidatie: Door middel van Singular Value Decomposition (SVD) van de observabiliteitsmatrices en Monte Carlo-simulaties tonen zij aan dat de resulterende beleidsregelingen de prestaties van de estimator aanzienlijk verbeteren met minimale degradatie van de nominale trackingtaak.

Resultaten

De studie evalueerde 14.500 simulatie-episoden waarbij het "Task-Only" en "Embedded" beleid werden vergeleken.

• Prestaties van de Estimator: Het embedded beleid presteerde aanzienlijk beter dan het task-only beleid.
  • Positiefout: Op het niveau van de mediaan prestatie verminderde het embedded beleid de positiefout met een factor van ongeveer vier vergeleken met het task-only beleid. In het 90e percentiel hield het embedded beleid de fouten in 90% van de gevallen onder de 10m, terwijl het task-only beleid dit slechts in 60% van de gevallen bereikte.
  • Divergentie: Het task-only beleid vertoonde een hoog percentage filterdivergentie (ca. 30% van de episoden), waarbij de schatting significant afweek van de ware toestand. Het embedded beleid vertoonde verwaarloosbare divergentie.
  • Convergentie: Wanneer de divergente gevallen worden uitgesloten, vertoonde het embedded beleid nog steeds een reductie van 44,2% in positiefout en een reductie van 32,1% in snelheidsfout vergeleken met het task-only beleid aan het einde van de simulatie.
• Taakprestaties: De inclusie van de estimator-beloning resulteerde in een verwaarloosbare "straf" voor de primaire trackingtaak. De trackingbeloning voor het embedded beleid was slechts 1,2% lager dan die van het task-only beleid bij het 80e percentiel, wat aangeeft dat observeerbare beleidsregelingen kunnen worden bereikt zonder de nominale taakeffectiviteit op te offeren.
• Observabiliteitsmetrieken:
  • Lokale Observeerbaarheid: Geen van beide beleidsregelingen was volledig observeerbaar op enig enkel punt in de toestandsruimte (de kleinste singuliere waarden waren nabij nul).
  • Dynamische Observeerbaarheid: De SOM-analyse onthulde dat het embedded beleid trajecten genereerde met aanzienlijk grotere singuliere waarden over de tijd. Specifiek, na ongeveer 50 seconden aan data, steeg de kleinste singuliere waarde voor het embedded geval van 0 naar 1, wat aangeeft dat de sequentie observeerbaar werd, terwijl het task-only geval minder observeerbaar bleef.

Betekenis en Claims

Het artikel claimt dat het integreren van een estimator in het trainingsproces mogelijk maakt dat controlebeleidsregelingen "observeerbaar" zijn door ontwerp. De primaire betekenis ligt in het mogelijk maken van coördinatie tussen autonome agenten in scenario's met beperkte communicatie. Door de controleacties informatief te maken over de interne toestand van de agent, kunnen agenten coördineren op basis van observatie alleen.

De auteurs stellen dat de beleidsruimte voldoende complex is zodat men een beleid kan selecteren dat zowel aan het taakdoel als aan het observeerbaarheidsdoel voldoet zonder significante trade-offs. Deze benadering biedt een "ontkoppeld" alternatief voor volledig geïntegreerde POMDP's, waarbij agenten onafhankelijk getraind en bijgewerkt kunnen worden, mits hun controlebeleidsregelingen gedeeld worden.

Verder suggereert het werk dat observeerbare beleidsregelingen de mens-autonome teaming kunnen verbeteren. Als autonome systemen op een manier handelen die hun toestand en intentie transparanter (observeerbaarder) maakt door hun acties, kunnen menselijke operators het gedrag van systemen beter begrijpen en anticiperen, wat de veiligheid en het comfort in gemengde operaties verbetert. Het artikel concludeert dat hoewel het de mens-machinecoördinatie niet volledig oplost, het een fundamentele methode vestigt om toestandreconstructie vanuit acties haalbaar en efficiënt te maken.