AoI-MDP: An AoI Optimized Markov Decision Process (Student Abstract)

Technischer Überblick: AoI-MDP für autonome Unterwasseraufgaben

Problemstellung
Die Anwendung von Reinforcement Learning (RL) auf autonome Unterwasserfahrzeuge (AUVs) für die Ozeanforschung steht vor einer kritischen Herausforderung: Beobachtungsverzögerungen. In Unterwasserumgebungen führen Informationsbeschränkungen und Kanalrestriktionen häufig zu erheblichen Verzögerungen zwischen dem Zeitpunkt, zu dem ein AUV einen Zustand beobachtet, und dem Zeitpunkt, zu dem diese Information empfangen oder verarbeitet wird. Herkömmliche Markov-Entscheidungsprozesse (MDPs) gehen typischerweise von einer sofortigen Zustandsrezeption aus, einer Idealisierung, die diese Verzögerungen nicht berücksichtigt. Diese Diskrepanz führt zu nicht-kausalen Steuerungsstrategien, verringerter Informationsfrische und einer verminderten Entscheidungseffizienz, was häufig zum Scheitern von Aufgaben führt.

Methodik: AoI-MDP
Um diese Einschränkungen zu adressieren, schlagen die Autoren einen altersoptimierten Markov-Entscheidungsprozess (Age of Information, AoI-MDP) vor. Dieser Rahmenmodelliert Beobachtungsverzögerungen explizit als Signallaufzeit und integriert sie in den Entscheidungsprozess.

• Zustandsraum ($S$): Der Zustand wird neu definiert, um nicht nur die beobachtete Information ($s'_i$), sondern auch die Beobachtungsverzögerung ($Y_i$) einzubeziehen. Somit gilt $s_i = (s'_i, Y_i)$. Die Verzögerung und die beobachtete Information werden mittels eines statistischen Verzögerungsmodells (Statistical Delay Modeling, SDM) basierend auf Sensordaten modelliert.
  • Verzögerungsschätzung: Das System schätzt die Zeitverzögerung ($Y_i$) unter Verwendung einer bekannten Sequenz $S[n]$, die durch weißes Gaußsches Rauschen $W[n]$ verfälscht ist, und wendet einen korrelationsbasierten Schätzer an, um die Wahrscheinlichkeit der Verzögerung zu maximieren.
  • Kurswinkelschätzung: Das System schätzt den Kurswinkel ($\beta$) relativ zu Umgebungsobjekten, indem es ein räumliches Periodogramm maximiert, das aus Sensorsignalen abgeleitet wird.
• Aktionsraum ($A$): Der Aktionsraum wird um eine Wartezeit-Variable ($Z_i$) erweitert. Eine Aktion wird als Tupel $a_i = (a'_i, Z_i)$ definiert, wobei $a'_i$ die vom AUV ausgeführte physikalische Aktion ist und $Z_i$ die Dauer darstellt, die der Agent zwischen der Beobachtung von Umgebungsinformationen und der Treffen einer Entscheidung wartet. Dies ermöglicht dem Agenten, Aktionen strategisch zu verzögern, um sie mit der Informationsfrische abzustimmen.
• Belohnungsfunktion ($R$): Die Belohnungsfunktion wird erweitert, um die Aufgabenerfüllung mit der Informationsfrische in Einklang zu bringen. Sie ist als Tupel $r_i = (r'_i, -\bar{\Delta})$ definiert, wobei $r'_i$ die ursprüngliche Aufgabenbelohnung ist und $-\bar{\Delta}$ den Negativwert des zeitgemittelten AoI darstellt. Der AoI ($\Delta(t)$) wird als Sägezahnfunktion modelliert, die die seit dem letzten erfolgreichen Update vergangene Zeit darstellt.

Hauptbeiträge

1. Neuartiger Rahmen: Die Autoren beanspruchen, als erste Unterwasseraufgaben als MDP zu modellieren, der die Aktualisierung von Informationen und Entscheidungsstrategien mittels RL gemeinsam optimiert, wobei spezifisch Beobachtungsverzögerungen und AoI integriert werden.
2. Statistisches Verzögerungsmodell (SDM): Sie führen einen sensorbasierten statistischen Modellierungsansatz ein, um Beobachtungsverzögerungen und Kurswinkel realistisch zu simulieren und zu schätzen, und gehen damit über theoretische Annahmen hinaus.
3. Erweiterung des Aktionsraums: Durch die Einführung von „Wartezeit" in den Aktionsraum ermöglicht der Rahmen dem AUV, aktiv den Kompromiss zwischen dem sofortigen Handeln auf veralteten Daten und dem Warten auf frischere Informationen zu managen.

Experimentelle Ergebnisse
Die Autoren bewerteten den AoI-MDP anhand einer Datenerfassungsaufgabe mit mehreren AUVs und verglichen ihn unter identischen Bedingungen mit einem Standard-MDP.

• Leistungsindikatoren: Simulationen zeigten, dass der AoI-MDP in vier Schlüsselindikatoren den Standard-MDP übertraf:
  • Geringerer durchschnittlicher AoI: Erzielte einen zeitgemittelten AoI von etwa 1,97 im Vergleich zu höheren Werten bei Standard-MDPs.
  • Reduzierter Energieverbrauch: Zeigte einen geringeren Energieverbrauch (ca. 33,83 gegenüber höheren Basiswerten).
  • Höhere Summen-Datenrate: Erzielte eine Summeninformationsrate von 11,99 und übertraf Standard-MDPs signifikant.
  • Größere kumulative Belohnung: Zeigte eine überlegene Lerneffektivität und eine höhere Ansammlung der Gesamtbelohnung.
• Generalisierung: Das Modell wurde gegen gängige Verzögerungsverteilungen (Poisson, Exponential, Geometrisch) getestet. Der SDM-basierte AoI-MDP erzielte konsistent nahezu optimale Ergebnisse über diese Verteilungen hinweg und bestätigte damit seine Robustheit und Generalisierungsfähigkeit im Vergleich zu Modellen, die auf spezifischen Verzögerungsannahmen beruhen.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass AoI-MDP eine machbare und effektive Lösung für Unterwasseraufgaben bietet, bei denen Beobachtungsverzögerungen unvermeidbar sind. Durch die Integration von AoI in die Zustands- und Belohnungsstrukturen und die Ermöglichung strategischer Wartezeiten verbessert der Rahmen sowohl die Informationsfrische als auch die Entscheidungsqualität erfolgreich. Die Autoren heben hervor, dass ihr Ansatz eine überlegene Leistung und Generalisierung bei der Balance multiobjektiver Optimierung (Energie, Datenrate und Frische) für marine Robotik bietet. Um weitere Forschung zu erleichtern, haben die Autoren den Quellcode und ergänzende Materialien als Open Source veröffentlicht.