🤖 machine learning

Adaptive Reinforcement Learning for Unobservable Random Delays

Dieses Paper führt ein allgemeines Interaktionsschicht-Framework und einen modellbasierten Actor-Critic mit Delay Adaptation (ACDA)-Algorithmus ein, die es Reinforcement-Learning-Agenten ermöglichen, sich dynamisch an nicht beobachtbare, zeitvariable Verzögerungen und Paketverluste anzupassen, wodurch sie bestehende Methoden in Lokomotions-Benchmarks signifikant übertreffen.

Ursprüngliche Autoren: John Wikman, Alexandre Proutiere, David Broman

Veröffentlicht 2026-07-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: John Wikman, Alexandre Proutiere, David Broman

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie spielen ein High-Speed-Videospiel, bei dem Sie einen Roboter steuern. In einer perfekten Welt sehen Sie den Bildschirm, drücken eine Taste und der Roboter bewegt sich sofort. Aber in der realen Welt ist alles chaotisch. Ihr Signal könnte im Verkehr stecken bleiben, das Gehirn des Roboters braucht einen Moment zum Nachdenken oder die Nachricht geht gänzlich verloren. Bis Ihr Befehl schließlich ankommt, hat sich der Roboter bereits bewegt und Ihre Anweisung ist nun falsch.

Dies ist das Problem, das die Forscher John Wikman, Alexandre Proutiere und David Broman angegangen sind. Sie fanden heraus, dass das Standard-KI-Training davon ausgeht, dass alles instantan geschieht, was jedoch zusammenbricht, wenn es mit realen Verzögerungen zu tun hat, die zufällig und für die KI unsichtbar sind.

Der „alte Weg“ vs. das reale Problem
Frühere Methoden versuchten, dies zu lösen, indem sie extrem vorsichtig spielten. Sie nahmen das Worst-Case-Szenario an: „Was wäre, wenn die Verzögerung 10 Sekunden beträgt?“ Also ließen sie die KI genau 10 Sekunden warten, bevor sie handelte, selbst wenn die Verzögerung normalerweise nur 1 Sekunde betrug. Es ist wie ein Autofahrer, der an einer grünen Ampel immer 10 Minuten wartet, nur für den Fall, dass die Ampel länger rot bleibt, obwohl sie normalerweise nach 2 Sekunden grün wird. Das ist sicher, aber unglaublich langsam und ineffizient.

Andere Methoden versuchten, die Verzögerung zu erraten, scheiterten aber oft, weil die KI zum Zeitpunkt ihrer Entscheidung nicht tatsächlich wusste, wie lang die Verzögerung sein würde. Das Paper argumentiert gegen diese starren, festen Verzögerungsansätze und zeigt auf, dass sie zu konservativ sind und nicht auf das Chaos realer Netzwerke reagieren können.

Die neue Lösung: Die „Interaction Layer“
Das Team führte ein kluges neues Framework namens Interaction Layer ein. Stellen Sie sich dies als ein intelligentes „Kontrollzentrum“ vor, das zwischen dem KI-Gehirn und dem Roboter sitzt.

Anstatt einen einzelnen Befehl wie „Springe jetzt“ zu senden, sendet die KI eine Matrix zukünftiger Aktionen – ein riesiges Gitter an Möglichkeiten. Es ist wie ein Schachspieler, der nicht nur einen Zug macht, sondern ein ganzes Buch voller Züge schreibt: „Wenn der Gegner hier zieht, mache ich dies; wenn er dorthin zieht, mache ich das.“

Die KI füllt dieses Gitter für viele verschiedene mögliche zukünftige Verzögerungen aus. Sie weiß nicht, welche Zeile des Gitters tatsächlich verwendet wird, da sie nicht weiß, wie lange ihre Nachricht bis zur Ankunft brauchen wird. Aber die Interaction Layer fungiert als Schiedsrichter. Wenn die Nachricht schließlich ankommt, prüft die Layer die Zeit, ermittelt exakt, wie lang die Verzögerung war, und wählt die korrekte Zeile aus dem Gitter aus, um sie auszuführen. Wenn eine Nachricht verloren geht oder in der falschen Reihenfolge ankommt, hält die Layer Ersatzzeilen bereit.

Der „Actor-Critic with Delay Adaptation“ (ACDA)
Um dies umzusetzen, entwickelten sie einen neuen KI-Algorithmus namens ACDA. Diese KI ist ein wenig wie eine Hellseherin. Da sie die Zukunft nicht sehen kann, nutzt sie ein „Modell“, um sich vorzustellen, wie die Welt aussehen wird, wenn ihre Aktion schließlich eintrifft.

Stellen Sie sich vor, Sie werfen einen Ball zu einem Freund, der von Ihnen wegrennt. Sie zielen nicht einfach dorthin, wo er jetzt ist; Sie zielen dorthin, wo Sie glauben, dass er sein wird, wenn der Ball ankommt. ACDA macht dies mathematisch. Es berechnet eine „Verteilung“ dessen, wo sich der Roboter in der Zukunft befinden wird, und generiert Aktionen basierend auf dieser Vorhersage. Es rät nicht blindlings, sondern nutzt ein gelerntes Modell darüber, wie sich der Roboter bewegt, um die Lücken fehlender Informationen zu füllen.

Was die Zahlen sagen
Die Forscher testeten dies in einer simulierten Welt unter Verwendung von MuJoCo, einer Physik-Engine für Roboter, in fünf verschiedenen Umgebungen: Ant-v4, Humanoid-v4, HalfCheetah-v4, Hopper-v4 und Walker2d-v4. Sie verwendeten dabei nicht nur künstliche Verzögerungen, sondern auch echte Daten, die aus WLAN-Netzwerken in einer Universitätsbibliothek und einem Büro gesammelt wurden.

Die Ergebnisse waren eindeutig:

In der Ant-v4 Umgebung mit einer spezifischen simulierten Verzögerung (GE1,23) erreichte die alte beste Methode (BPQL) einen Wert von 2691,88, während ACDA 4112,78 erreichte.
In der Humanoid-v4 Umgebung mit derselben Verzögerung erreichte BPQL 585,19, während ACDA 4608,76 erreichte.
Selbst mit den realen WLAN-Verzögerungen aus der Bibliothek (DLib) übertraf ACDA konsequent die State-of-the-Art-Methoden.

Das Paper stellt fest, dass ACDA in fast jedem getesteten Szenario höhere durchschnittliche Erträge erzielte als die besten existierenden Methoden. Es gab eine Ausnahme: In der Ant-v4 Umgebung mit einer spezifischen Art von Verzögerung (MM1) schnitt BPQL etwas besser ab. Jedoch war ACDA in 15 von 25 getesteten Benchmarks der Spitzenreiter.

Wie sicher sind sie sich?
Die Autoren sind sehr zuversichtlich hinsichtlich dieser Ergebnisse, basierend auf ihren Simulationen und reproduzierten realen Daten. Sie führten ihre Tests über 1 Million Schritte des Trainings durch. Sie weisen jedoch vorsichtig darauf hin, dass die Ergebnisse zwar stark sind, sie aber nicht mathematisch bewiesen haben, dass der Algorithmus in jeder denkbaren Situation immer zur perfekten Lösung konvergiert. Der Erfolg wird daran gemessen, wie gut er in ihren spezifischen Tests abgeschnitten hat, nicht durch eine theoretische Garantie, dass er in jedem Universum zu 100 % funktioniert.

Das Fazit
Dieses Paper legt nahe, dass wir, indem wir die KI ein „Menü“ zukünftiger Aktionen senden lassen und eine intelligente Zwischenschicht nutzen, die das Richtige basierend auf dem tatsächlichen Eintreffen auswählt, mit unvorhersehbaren Verzögerungen viel besser umgehen können, als indem wir einfach nur warten oder raten. Dies verwandelt ein chaotisches, unvorhersehbares Problem in ein beherrschbares Spiel des „Was wäre wenn“ und ermöglicht es Robotern, sich auch dann flüssig zu bewegen, wenn ihre Signale im Verkehr stecken bleiben.

Technisches Resümee: Adaptives Reinforcement Learning für unbeobachtbare zufällige Verzögerungen

Problemstellung

Standardmäßige Reinforcement Learning (RL)-Algorithmen, wie Proximal Policy Optimization (PPO) und Soft Actor-Critic (SAC), setzen typischerweise einen Markov-Entscheidungsprozess (MDP) voraus, bei dem der Agent den Systemzustand instantan beobachtet und Aktionen ohne Verzögerung ausführt. In realen cyber-physischen Systemen scheitert diese Annahme häufig aufgrund von Interaktionsverzögerungen, die aus der Übertragung von Beobachtungen, der Berechnung und der Aktuierung resultieren.

Bestehende Ansätze zur Handhabung von Verzögerungen lassen sich im Allgemeinen in zwei Kategorien unterteilen:

Partiell beobachtbare MDPs (POMDPs): Modellierung von Verzögerungen als veraltete Beobachtungen, was den Zugang des Agenten zu Informationen über die Entwicklung der Umgebung während der Verzögerung einschränkt.
Festverzögerungs-Annahmen (Fixed-Delay Assumptions): Erzwingen einer konstanten Verzögerung (oft der Worst-Case-Oberwert) mittels Aktionspuffern. Während dies die Entscheidungsfindung vereinfacht, indem es perfekte Informationen über den Zeitpunkt der Ausführung liefert, ist es übermäßig konservativ. Es zwingt den Agenten dazu, selbst dann unter der Worst-Case-Latenz zu operieren, wenn die tatsächlichen Verzögerungen minimal sind, was zu suboptimaler Leistung führt.

Es besteht eine kritische Lücke bei der Handhabung von unbeobachtbaren, zeitvariablen Zufallsverzögerungen. In vielen realen Szenarien (z. B. vernetzte Steuerung) weiß der Agent zum Zeitpunkt der Entscheidung nicht, wie lange eine Aktion zur Ausführung benötigen wird, noch kann er vorhersagen, ob Pakete verloren gehen oder in falscher Reihenfolge ankommen. Bestehende Methoden wie DCAC ermöglichen zwar unbeobachtbare Verzögerungen, bieten aber keine Kontrolle darüber, wann Aktionen angewendet werden, während andere State-of-the-Art-Algorithmen (z. B. BPQL, VDPO) auf Fixed-Delay-Paradigmen basieren.

Methodik

1. Das Interaction Layer Framework

Die Autoren führen ein neuartiges Framework namens Interaction Layer ein, das zwischen dem Agenten und dem gesteuerten System sitzt. Diese Schicht verwaltet die Unsicherheit unbeobachtbarer Verzögerungen durch zwei Hauptkomponenten: einen Observer und einen Action Buffer.

Observation Packets: Der Observer sampelt den Systemzustand und sendet ein Beobachtungspaket an den Agenten. Dieses Paket enthält den Zustand, den aktuellen Inhalt des Action Buffers, die Verzögerung des Pakets, das den Buffer aktualisiert hat, sowie einen Shift-Counter.
Action Packets (Matrix Generierung): Anstatt eine einzelne Aktion zu senden, generiert der Agent ein Action Packet, das eine Matrix aus Kandidatenaktionen enthält.
- Die Matrix hat $L$ Zeilen (Vorhersage-Länge) und $h$ Spalten (Action Buffer Horizont).
- Die $i$ -te Zeile entspricht der Sequenz von Aktionen, die ausgeführt werden sollen, falls das Paket zum Zeitpunkt $t+i$ ankommt.
- Die Spalten behandeln Szenarien, in denen kein neues Paket ankommt; wenn ein Paket an einem bestimmten Schritt fehlt, wechselt das System zur nächsten Spalte im Buffer.
Ausführungslogik: Wenn ein Action Packet an der Interaktionsschicht ankommt, berechnet das System die Round-Trip-Verzögerung ( $\delta$ ) mithilfe lokaler Uhren. Es wählt dann die spezifische Zeile aus der Matrix aus, die dieser Verzögerung entspricht. Wenn die Verzögerung die Anzahl der Matrixzeilen ( $L$ ) überschreitet oder Pakete in falscher Reihenfolge ankommen, wird das Paket verworfen.

2. Actor-Critic mit Verzögerungsadaptation (ACDA)

Aufbauend auf der Interaktionsschicht schlagen die Autoren ACDA vor, einen modellbasierten RL-Algorithmus, der dynamisch auf variierende Verzögerungen reagieren kann.

Heuristik für angenommene vorherige Aktionen: Da der Agent nicht genau wissen kann, welche Aktionen zwischen der Generierung eines Pakets und dessen Ankunft auf das System angewendet wurden, verwendet ACDA eine Heuristik. Es wird angenommen, dass, wenn das aktuelle Paket eine Verzögerung von $k$ hat, auch vorherige Pakete eine Verzögerung von $k$ hatten. Dies ermöglicht es dem Agenten, die Sequenz der auf das System angewendeten Aktionen zu rekonstruieren, was die Vorhersage der aktuellen Zustandsverteilung ermöglicht.
Modellbasierter Distributions-Agent: Standard-Neuronale Netze (MLPs) benötigen Eingaben fester Größe, aber die Sequenz der „gemerkten“ Aktionen in ACDA variiert in der Länge. Um dies zu lösen, verwendet ACDA ein Multi-Step-Distributionsmodell, um die variable Länge der Aktionshistorie in eine feste latente Repräsentation einzubetten.
- EMBED: Kodiert den aktuellen Zustand in eine latente Verteilung.
- STEP: Eine Gated Recurrent Unit (GRU), die die latente Verteilung aktualisiert, indem sie die Wirkung des Anwendens der Sequenz gemerkter Aktionen simuliert.
- EMIT: Ein Decoder, der während des Trainings verwendet wird, um sicherzustellen, dass die latente Repräsentation zukünftige Zustände präzise vorhersagt (Minimierung der KL-Divergenz).
- Die Policy $\pi_\theta$ generiert daraufhin Aktionen basierend auf diesem festen Embedding der zukünftigen Zustandsverteilung anstatt auf rohen Zustand-Aktions-Historien.
Training: ACDA folgt einem Actor-Critic-Setup basierend auf Soft Actor-Critic (SAC). Der Critic bewertet Werte auf unverzögerten Systemzuständen, was erfordert, dass der Algorithmus während des Trainings die Trajektorie aus der Perspektive des unverzögerten MDP rekonstruiert.

Zentrale Beiträge

Interaction Layer Framework: Ein allgemeines Framework, das es Agenten ermöglicht, fundierte Entscheidungen unter unbeobachtbaren, stochastischen Verzögerungen und Paketverlusten zu treffen, indem es eine Matrix zukünftiger Aktionen generiert. Dies ermöglicht eine informierte Entscheidungsfindung unter Unsicherheit, ohne eine feste Verzögerung vorauszusetzen.
ACDA Algorithmus: Ein modellbasierter RL-Algorithmus, der das Interaction Layer Framework nutzt. Er führt eine Heuristik zur Schätzung angewendeter Aktionen und einen distributionsbasierten Embedding-Mechanismus ein, um variable Längen der Aktionshistorien zu handhaben, wodurch die Policy in der Lage ist, über zukünftige Zustandsverteilungen zu schlussfolgern.
Empirische Validierung: Umfassende Evaluierung auf MuJoCo Lokomotions-Tasks sowohl unter Verwendung simulierter Verzögerungsprozesse (Gilbert-Elliot und M/M/1 Queue-Modelle) als auch real gemessener WiFi-Verzögerungen.

Ergebnisse

Das Paper evaluiert ACDA gegen State-of-the-Art-Baselines, einschließlich SAC (mit und ohne Constant-Delay Augmentation), Dreamer, BPQL und VDPO.

Leistung: ACDA übertrifft konsistent alle Baselines über eine breite Palette von Umgebungen (Ant, Humanoid, HalfCheetah, Hopper, Walker2d) und Verzögerungsprozessen hinweg.
Reale Verzögerungen: In Experimenten mit aufgezeichneten WiFi-Netzwerkverzögerungen (DLib und DOff) zeigte ACDA eine überlegene Leistung, insbesondere da reale Verzögerungen zeitliche Korrelationen aufweisen, die ACDA gezielt ausnutzt.
Robustheit: Obwohl ACDA eine zeitliche Korrelation in Verzögerungen annimmt, behält es selbst unter i.i.d.-Verzögerungsprozessen (unabhängig und identisch verteilt) eine akzeptable Leistung bei, wenn auch mit einer geringeren Differenz.
Vergleich zu Fixed-Delay-Methoden: Methoden, die auf Worst-Case-Verzögerungen basieren (wie BPQL und VDPO mit Constant-Delay Augmentation), schnitten signifikant schlechter ab, was die Ineffizienz konservativer Annahmen in stochastischen Umgebungen verdeutlicht.

Bedeutung und Ansprüche

Die Autoren behaupten, dass diese Arbeit das erste Framework darstellt, das es Agenten ermöglicht, fundierte, kontrollierte Entscheidungen unter zufälligen, unbeobachtbaren Verzögerungen in RL zu treffen. Durch das Überschreiten des Fixed-Delay-Paradigmas ermöglichen das Interaction Layer und ACDA es, sich an die tatsächliche Latenz des Systems anzupassen, anstatt an einen konservativen Oberwert gebunden zu sein.

Das Paper betont, dass, während Konvergenzgarantien für Deep RL unter zufälligen Verzögerungen (POMDP-Formulierung) theoretisch weiterhin offen sind, die empirischen Ergebnisse zeigen, dass ACDA signifikant höhere durchschnittliche Erträge als aktuelle State-of-the-Art-Ansätze erzielt. Die Arbeit legt nahe, dass die direkte Handhabung der Unsicherheit der Verzögerung – anstatt eine künstliche Konstanz zu erzwingen – eine effektivere Strategie für den Einsatz von RL in realen cyber-physischen Systemen ist. Zukünftige Forschungsrichtungen umfassen die Erweiterung des Frameworks zur Handhabung komplexerer Interaktionsverhaltensweisen und die Optimierung der Action-Packet-Struktur, um den Rechen- und Kommunikationsaufwand zu reduzieren.