AoI-MDP: An AoI Optimized Markov Decision Process (Student Abstract)

Technische Samenvatting: AoI-MDP voor Onderwater Autonomie Taken

Probleemstelling
De toepassing van Versterkend Leren (RL) op Autonome Onderwater Voertuigen (AUV's) voor oceaanverkenning staat voor een kritieke uitdaging: waarnemingsvertragingen. In onderwateromgevingen leiden informatiebeperkingen en kanaalbeperkingen vaak tot aanzienlijke vertragingen tussen het moment waarop een AUV een toestand waarneemt en het moment waarop die informatie wordt ontvangen of verwerkt. Standaard Markov-beslissingsprocessen (MDP's) gaan doorgaans uit van een onmiddellijke toestandontvangst, een idealisatie die geen rekening houdt met deze vertragingen. Deze discrepantie leidt tot niet-causale controlebeleid, verminderde versheid van informatie en een afgenomen efficiëntie in besluitvorming, wat vaak resulteert in het falen van taken.

Methodologie: AoI-MDP
Om deze beperkingen aan te pakken, stellen de auteurs een Age of Information (AoI) geoptimaliseerd Markov-beslissingsproces (AoI-MDP) voor. Dit kader modelleert waarnemingsvertraging expliciet als signaalvertraging en integreert deze in de besluitvormingslus.

• Toestandsruimte ($S$): De toestand wordt herdefinieerd om niet alleen de waargenomen informatie ($s'_i$) te bevatten, maar ook de waarnemingsvertraging ($Y_i$). Aldus is $s_i = (s'_i, Y_i)$. De vertraging en de waargenomen informatie worden gemodelleerd met behulp van een Statistical Delay Modeling (SDM)-benadering op basis van sensordata.
  • Vertragingsschatting: Het systeem schat de tijdvertraging ($Y_i$) met behulp van een bekende sequentie $S[n]$ die is verstoord door Gaussisch witte ruis $W[n]$, waarbij een correlatiegebaseerde schatter wordt gebruikt om de waarschijnlijkheid van de vertraging te maximaliseren.
  • Koersschatting: Het systeem schat de koershoek ($\beta$) ten opzichte van omgevingsobjecten door een ruimtelijk periodogram afgeleid van sensorsignalen te maximaliseren.
• Actieruimte ($A$): De actieruimte wordt uitgebreid met een wachtijd-variabele ($Z_i$). Een actie wordt gedefinieerd als een tuple $a_i = (a'_i, Z_i)$, waarbij $a'_i$ de fysieke actie is die door de AUV wordt ondernomen, en $Z_i$ de duur voorstelt die het agent wacht tussen het waarnemen van omgevingsinformatie en het nemen van een beslissing. Dit stelt de agent in staat om strategisch acties uit te stellen om af te stemmen op de versheid van informatie.
• Beloningsfunctie ($R$): De beloningsfunctie wordt aangevuld om taakprestaties in evenwicht te brengen met de versheid van informatie. Deze wordt gedefinieerd als een tuple $r_i = (r'_i, -\bar{\Delta})$, waarbij $r'_i$ de oorspronkelijke taakbeloning is en $-\bar{\Delta}$ het negatieve gemiddelde van de tijd-gegemiddelde AoI voorstelt. De AoI ($\Delta(t)$) wordt gemodelleerd als een zaagtandfunctie die de tijd voorstelt die verstreken is sinds de laatste succesvolle update.

Belangrijkste Bijdragen

1. Nieuw Kader: De auteurs beweren de eersten te zijn die onderwatertaken modelleren als een MDP dat gezamenlijk informatie-updates en besluitvormingsstrategieën optimaliseert met behulp van RL, met name door waarnemingsvertraging en AoI te incorporeren.
2. Statistical Delay Modeling (SDM): Zij introduceren een sensorgestuurde statistische modelleerbenadering om waarnemingsvertragingen en koershoeken realistisch te simuleren en te schatten, en gaan hiermee voorbij aan theoretische aannames.
3. Uitbreiding Actieruimte: Door "wachtijd" in de actieruimte in te voeren, stelt het kader de AUV in staat om actief de afweging te beheren tussen direct handelen op verouderde data en wachten op versere informatie.

Experimentele Resultaten
De auteurs hebben AoI-MDP geëvalueerd met behulp van een multi-AUV dataverzamelingstaak, waarbij ze dit vergeleken met een standaard MDP onder identieke omstandigheden.

• Prestatiemetingen: Simulaties toonden aan dat AoI-MDP de standaard MDP overtrof op vier kernmetrieken:
  • Lagere Gemiddelde AoI: Bereikte een tijd-gegemiddelde AoI van ongeveer 1,97, vergeleken met hogere waarden bij standaard MDP's.
  • Verminderd Energieverbruik: Toonde lager energieverbruik (ongeveer 33,83 versus hogere baselines).
  • Hogere Totale Gegevenssnelheid: Bereikte een totale informatiesnelheid van 11,99, wat aanzienlijk beter presteerde dan standaard MDP's.
  • Grotere Cumulatieve Beloning: Toonde superieure leer-effectiviteit en totale beloningsaccumulatie.
• Generalisatie: Het model werd getest tegen veelvoorkomende vertragingverdelingen (Poisson, Exponentieel, Geometrisch). De SDM-gebaseerde AoI-MDP behaalde consistent bijna optimale resultaten over deze verdelingen, wat de robuustheid en generalisatiecapaciteiten bevestigt in vergelijking met modellen die vertrouwen op specifieke vertragingaannames.

Betekenis en Beweringen
Het artikel stelt dat AoI-MDP een haalbare en effectieve oplossing biedt voor onderwatertaken waarbij waarnemingsvertragingen onvermijdelijk zijn. Door AoI te integreren in de toestands- en beloningsstructuren en strategische wachttijden mogelijk te maken, verbetert het kader zowel de versheid van informatie als de kwaliteit van besluitvorming. De auteurs benadrukken dat hun aanpak superieure prestaties en generalisatie biedt bij het balanceren van multi-objectieve optimalisatie (energie, datasnelheid en versheid) voor mariene robotica. Om verder onderzoek te faciliteren, hebben de auteurs de broncode en aanvullende materialen als open-source vrijgegeven.