🤖 machine learning

Training Observable Control Policies to Expose Agent State Through Actions

Dieses Paper schlägt vor, Reinforcement Learning einzusetzen, um autonome Agenten darauf zu trainieren, Aktionsstrategien zu übernehmen, die ihre internen Zustände durch beobachtbare Verhaltensweisen inhärent offenlegen, wodurch eine effektive Zustandsschätzung und Koordination selbst unter strengen Kommunikationsbeschränkungen bei gleichzeitiger Aufrechterhaltung der nominalen Aufgabenleistung ermöglicht wird.

Ursprüngliche Autoren: Andres Enriquez Fernandez, John J. Bird

Veröffentlicht 2026-06-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Andres Enriquez Fernandez, John J. Bird

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „stumme Pilot“

Stellen Sie sich vor, Sie versuchen, sich mit einem Freund abzustimmen, der eine Drohne fliegt, aber Ihre Walkie-Talkies sind kaputt. Sie können ihn nicht hören, und er kann Sie nicht hören. Sie können jedoch sehen, wie sich die Drohne bewegt.

Normalerweise, wenn eine Drohne in einem perfekten Kreis um ein Ziel fliegt, denken Sie vielleicht: „Okay, sie kreist.“ Aber Sie wissen nicht genau, wo sie sich auf diesem Kreis befindet, wie schnell sie fliegt oder ob sie gleich abtauchen wird. Wenn die Drohne einfach immer wieder genau dieselbe Bewegung macht, wird sie zu einem „stummen Piloten“. Ihre Handlungen verraten Ihnen nicht viel über ihre tatsächliche Situation.

Die Forscher der University of Texas at El Paso stellten eine einfache Frage: Können wir die Drohne so trainieren, dass sie durch ihre Bewegungen zu Ihnen „spricht“, selbst ohne Funkverbindung?

Die Lösung: Die Drohne darauf trainieren, mit ihren Bewegungen zu „sprechen“

Das Team nutzte eine Methode namens Reinforcement Learning (Bestärkendes Lernen). Denken Sie dabei an das Training eines Hundes.

Der alte Weg (Aufgabenorientiert): Sie sagen dem Hund: „Sitz!“ und geben ihm ein Leckerli, wenn er sich setzt. Der Hund lernt, perfekt zu sitzen. Aber wenn Sie wissen wollen, wohin der Hund schaut, sagt die Sitzbewegung Ihnen nichts darüber aus.
Der neue Weg (Eingebetteter Schätzer): Sie sagen dem Hund: „Sitz!“ und geben ihm ein Leckerli. Aber Sie fügen auch eine Regel hinzu: „Wenn du so sitzt, dass es für mich einfach ist zu erraten, wohin du schaust, bekommstst du ein zusätzliches Leckerli.“

In der Arbeit trainierten sie ein Luftfahrzeug (den „Agenten“), zwei Dinge gleichzeitig zu tun:

Die Aufgabe erfüllen: In der Nähe eines bestimmten Zielpunkts bleiben (wie bei einer Überwachungsmission).
Lesbar sein: Sich so bewegen, dass es für einen Beobachter einfach ist, Geschwindigkeit und Position allein durch das Beobachten der Steuerbefehle zu erraten.

Dies erreichten sie, indem sie dem Luftfahrzeug einen „Bonuspunkt“ gaben, wann immer seine Bewegungen dem Beobachter halfen, seinen Standort korrekt zu erraten.

Das Experiment: Der „Kreis“ vs. der „wackelige Pfad“

Um dies zu testen, bauten sie eine Simulation auf, in der ein Starrflügelflugzeug in der Nähe eines Zielpunkts schweben musste. Da echte Flugzeuge nicht schweben können, müssen sie Kreise fliegen.

Das „Aufgabenorientierte“ Flugzeug: Dieses Flugzeug lernte, einen perfekten, engen Kreis um das Ziel zu fliegen. Es war sehr gut darin, in der Nähe des Ziels zu bleiben, aber da es exakt denselben Kreis mit exakt derselben Geschwindigkeit flog, fiel es einem Beobachter schwer, genau zu bestimmen, wo es sich auf diesem Kreis befand. Es war wie ein Zeiger einer Uhr, der perfekt rotiert; man weiß, dass er rotiert, aber man kann allein am Bewegungsmuster nicht erkennen, ob er gerade auf der 12 oder der 6 steht.
Das „Beobachtbare“ Flugzeug: Dieses Flugzeug wurde darauf trainiert, in der Nähe des Ziels zu bleiben, aber auch, seine Bewegungen etwas interessanter zu gestalten, damit ein Beobachter es verfolgen kann. Es flog keinen perfekten Kreis; es machte subtile Wackelbewegungen und Anpassungen.

Die Ergebnisse: Bessere Vermutungen, gleiche Aufgabe

Die Forscher verglichen die beiden Flugzeuge nach dem Training:

Die Aufgabe wurde erledigt: Beide Flugzeuge waren fast gleichermaßen gut darin, in der Nähe des Ziels zu bleiben. Das „beobachtbare“ Flugzeug hat seine Hauptaufgabe nicht vernachlässigt, nur um besser lesbar zu sein. Es war wie ein Autofahrer, der eine etwas kurvenreichere Route zum Ziel nimmt, aber dennoch zur gleichen Zeit ankommt wie der Fahrer auf der geraden Autobahn.
Das Ratespiel: Als ein Beobachter versuchte, die Position und Geschwindigkeit des Flugzeugs allein durch das Beobachten der Steuerung zu erraten:
- Das aufgabenorientierte Flugzeug war schwer zu verfolgen. Der Beobachter verlor oft die Orientierung und vermutete, das Flugzeug sei meilenweit entfernt, obwohl es eigentlich direkt dort war.
- Das beobachtbare Flugzeug war leicht zu verfolgen. Der Beobachter konnte den Standort des Flugzeugs mit einer viel höheren Genauigkeit erraten.

Warum das wichtig ist (ohlich ohne Fachjargon)

Die Arbeit behauptet, dass sie durch das Anpassen der „Trainingsbelohnungen“ den Agenten gelehrt haben, beobachtbar zu sein.

Denken Sie an einen Zauberer. Ein schlechter Zauberer führt einen Trick vor, der verwirrend aussieht; man hat keine Ahnung, wie er es gemacht hat oder wo der Hase ist. Ein guter Zauberer (der „beobachtbare“ Agent) führt den Trick so auf, dass er zwar immer noch magisch ist, einem aber genug Hinweise gibt, um zu verstehen, was passiert.

Die Forscher fanden heraus:

Sie konnten die Handlungen des Agenten „klar sprechen“ lassen, ohne die Leistung des Agenten bei seiner eigentlichen Mission zu beeinträchtigen.
Dies ermöglicht es zwei Agenten (oder einem Menschen und einem Roboter), zu koordinieren, selbst wenn sie nicht miteinander sprechen können. Sie beobachten einfach die Bewegungen des jeweils anderen.
Wenn ein Mensch einen Roboter beobachtet und der Roboter sich auf eine „lesbare“ Weise bewegt, wird der Mensch verstehen, was der Roboter tut, und sich sicherer fühlen.

Das Fazit

Man braucht kein Funkgerät, um mit einem Team zu koordinieren, wenn alle vereinbaren, sich so zu bewegen, dass man leicht zu lesen ist. Die Arbeit beweist, dass man einen Roboter darauf trainieren kann, seine Aufgabe zu erfüllen und gleichzeitig leicht lesbar zu sein, indem man einfach die Art und Weise ändert, wie man ihn während des Trainings belohnt. Es ist, als würde man einen Tänzer darauf trainieren, eine Routine zu performen, die sowohl schön anzusehen als auch für das Publikum leicht nachvollziehbar ist.

Technisches Resümee: Training beobachtbarer Kontrollrichtlinien zur Offenlegung des Agentenzustands durch Aktionen

Problemstellung

Effektive Zusammenarbeit zwischen autonomen Agenten beruht oft auf gegenseitigem Zustandsbewusstsein, das typischerweise durch direkte Kommunikation erreicht wird. Physische oder operative Einschränkungen (z. B. Unterwasserumgebungen, Bandbreitenbeschränkungen oder Hardware-Inkompatibilität) machen die Kommunikation jedoch häufig unzuverlässig oder unmöglich. Während Partielle Beobachtbare Markov-Entscheidungsprozesse (POMDPs) einen theoretischen Rahmen für den Umgang mit einer solchen Unsicherheit bieten, leiden sie unter Skalierbarkeitsproblemen und erfordern ein erneutes Training aller Agenten, wenn sich die Aufgabenparameter ändern, was ihre Praktikabilität in föderierten Systemen einschränkt.

Ein alternativer Ansatz besteht darin, Agenten durch die explizite Formulierung eines Schätzers zu „entkoppeln“, der den Zustand anderer Agenten basierend auf beobachtbaren Aktionen ableitet. Da die Steuerungsaktionen der Agenten oft ohne explizite Kommunikation sichtbar sind (z. B. ein Kurvenflug eines Flugzeugs), fehlt es Standard-Kontrollrichtlinien, die ausschließlich auf die Aufgabenerfüllung optimiert sind, oft an „Beobachtbarkeit“. In solchen Fällen können verschiedene Zustände identische Aktionssequenzen erzeugen (z. B. ein konstanter Bankwinkel in einer Kreisbahn), was eine Zustandsrekonstruktion unmöglich macht oder zu Divergenz führt. Das Kernproblem besteht darin, wie man eine Kontrollrichtlinie trainiert, die sowohl für ihre primäre Aufgabe effektiv bleibt als auch gleichzeitig Aktionen generiert, die es einem externen Beobachter ermöglichen, den Zustand des Agenten genau zu rekonstruieren.

Methodik

Die Autoren schlagen ein Framework vor, bei dem eine Kontrollrichtlinie mittels Reinforcement Learning (RL) mit einer Belohnungsfunktion trainiert wird, die die Leistung eines Zustandsschätzers explizit einbezieht.

Agenten- und Umgebungsformulierung

Aufgabe: Ein festflügliges unbemanntes Luftfahrtsystem (UAS) muss ein Bodenziel verfolgen. Der Agent steuert den Bankwinkel ( $\phi$ ) des Flugzeugs, um die Nähe zum Ziel beizubehalten.
Zustand: Der Entscheidungszustand des Agenten besteht aus der relativen Position ( $x, y$ ) und Geschwindigkeit ( $v_x, v_y$ ) im Verhältnis zum Ziel.
Richtlinie (Policy): Ein neuronales Netzwerk bildet den Zustand auf eine Pseudo-Kontrollverteilung (Gauß-Verteilung) ab. Der Mittelwert wird vom Netzwerk ausgegeben, während die Varianz fixiert ist, um eine stabile Exploration zu gewährleisten. Die gezogene Pseudo-Kontrollgröße wird über eine Sättigungsfunktion in einen Bankwinkel-Befehl umgewandelt.
Schätzer: Ein Unscented Kalman Filter (UKF) wird zur Schätzung des Zustands des Agenten eingesetzt. Der Filter nutzt die Systemdynamik des Agenten und behandelt die Kontrollrichtlinie des Agenten als Messfunktion. Die „Beobachtung“ ist die gezogene Pseudo-Kontrollaktion ( $\tilde{u}$ ), die von der Richtlinie generiert wurde.

Einbettung der Belohnung (Reward Embedding)

Es werden zwei Richtlinien trainiert und verglichen:

Task-Only Policy (Nur-Aufgaben-Richtlinie): Trainiert mit einer Belohnung ( $r_{task-only}$ ), die exponentiell mit der Distanz zum Ziel abnimmt.
Embedded Estimator Policy (Mit Schätzer eingebettete Richtlinie): Trainiert mit einer erweiterten Belohnung ( $r_{embedded}$ ), definiert als:
$r = r_{task-only} + R(\hat{x}, x)$
wobei $R(\hat{x}, x)$ ein Belohnungsterm ist, der Aktionen fördert, die den Fehler zwischen dem wahren Zustand ( $x$ ) und dem geschätzten Zustand ( $\hat{x}$ ) minimieren. Dieser Term ist als exponentieller Zerfall der Fehlernorm formuliert, gewichtet durch eine Kovarianzmatrix.

Durch die Einbettung des Schätzers in die Trainingsschleife wird der RL-Agent dazu angeregt, Aktionen zu wählen, die nicht nur das Tracking-Ziel erreichen, sondern auch die Unsicherheit der Zustandsschätzung verringern, wodurch die Beobachtbarkeit effektiv optimiert wird.

Analyse der Beobachtbarkeit

Die Autoren analysieren die Beobachtbarkeit anhand zweier Metriken:

Linearisierte Beobachtbarkeitsmatrix: Wird an jedem Zeitschritt via Taylor-Reihenapproximation berechnet, um die lokale Beobachtbarkeit zu bewerten.
Stripped Observability Matrix (SOM): Wird durch das Stapeln linearisierter Matrizen über eine Zeit-Trajektorie erstellt, um die dynamische Beobachtbarkeit zu bewerten. Die Singulärwerte dieser Matrizen geben an, in welchem Maße der Zustandsraum beobachtbar ist.

Zentrale Beiträge

Implementierung des Schätzers: Die Autoren implementieren einen Zustandsschätzer, der sich ausschließlich auf die Ausgabe (Aktionen) der Kontrollrichtlinie als Beobachtungen stützt, ohne explizite Zustands-Telemetrie zu benötigen.
RL für Beobachtbarkeit: Sie demonstrieren eine Methode zur Verbesserung der Beobachtbarkeit von Kontrollrichtlinien, indem die Leistung des Schätzers direkt in die RL-Belohnungsfunktion eingebettet wird.
Leistungsvalidierung: Durch die Verwendung der Singulärwertzerlegung (SVD) von Beobachtbarkeitsmatrizen und Monte-Carlo-Simulationen zeigen sie, dass die resultierenden Richtlinien die Leistung des Schätzers signifikant verbessern, bei minimaler Verschlechterung der nominalen Tracking-Aufgabe.

Ergebnisse

Die Studie evaluierte 14.500 Simulationsepisoden im Vergleich zwischen der „Task-Only“- und der „Embedded“-Richtlinie.

Leistung des Schätzers: Die eingebettete Richtlinie schnitt signifikant besser ab als die Task-Only-Richtlinie.
- Positionsfehler: Auf dem Niveau der mittleren Leistung reduzierte die eingebettete Richtlinie den Positionsfehler um etwa den Faktor vier im Vergleich zur Task-Only-Richtlinie. Im 90. Perzentil hielt die eingebettete Richtlinie die Fehler in 90 % der Fälle unter 10 m, während die Task-Only-Richtlinie dies nur in 60 % der Fälle erreichte.
- Divergenz: Die Task-Only-Richtlinie wies eine hohe Rate an Filterdivergenz auf (ca. 30 % der Episoden), bei der die Schätzung signifikant vom wahren Zustand abwich. Die eingebettete Richtlinie zeigte eine vernachlässigbare Divergenz.
- Konvergenz: Unter Ausschluss der divergenten Fälle zeigte die eingebettete Richtlinie im Vergleich zur Task-Only-Richtlinie am Ende der Simulation immer noch eine Reduktion des Positionsfehlers um 44,2 % und eine Reduktion des Geschwindigkeitsfehlers um 32,1 %.
Aufgabenleistung: Die Einbeziehung der Schätzer-Belohnung führte zu einer vernachlässigbaren „Strafe“ für die primäre Tracking-Aufgabe. Die Tracking-Belohnung der eingebetteten Richtlinie lag am 80. Perzentil nur 1,2 % niedriger als die der Task-Only-Richtlinie, was zeigt, dass beobachtbare Richtlinien ohne signifikante Einbußen bei der nominalen Aufgabeneffektivität erreicht werden können.
Beobachtbarkeitsmetriken:
- Lokale Beobachtbarkeit: Keine der Richtlinien war an einem einzelnen Punkt im Zustandsraum vollständig beobachtbar (die kleinsten Singulärwerte lagen nahe Null).
- Dynamische Beobachtbarkeit: Die SOM-Analyse ergab, dass die eingebettete Richtlinie Trajektorien mit signifikant größeren Singulärwerten über die Zeit generierte. Speziell nach etwa 50 Sekunden Datenerfassung stieg der kleinste Singulärwert im eingebetteten Fall von 0 auf 1 an, was darauf hindeutet, dass die Sequenz beobachtbar wurde, während der Task-Only-Fall weniger beobachtbar blieb.

Bedeutung und Ansprüche

Das Paper behauptet, dass die Integration eines Schätzers in den Trainingsprozess die Erzeugung von Kontrollrichtlinien ermöglicht, die „beobachtbar“ durch Design sind. Die primäre Bedeutung liegt in der Ermöglichung der Koordination zwischen autonomen Agenten in kommunikationsbeschränkten Szenarien. Indem die Kontrollaktionen Informationen über den internen Zustand des Agenten enthalten, können Agenten allein durch Beobachtung koordinieren.

Die Autoren argumentieren, dass der Richtlinienraum ausreichend komplex ist, sodass man eine Richtlinie auswählen kann, die sowohl das Aufgabenobjektiv als auch das Beobachtbarkeitsziel erfüllt, ohne signifikante Trade-offs einzugehen. Dieser Ansatz bietet eine „entkoppelte“ Alternative zu vollständig integrierten POMDPs, die es ermöglicht, Agenten unabhängig zu trainieren und zu aktualisieren, sofern ihre Kontrollrichtlinien geteilt werden.

Darüber hinaus legt die Arbeit nahe, dass beobachtbare Richtlinien die Mensch-Autonomie-Teamarbeit verbessern könnten. Wenn autonome Systeme auf eine Weise agieren, die ihren Zustand und ihre Absicht (Intent) durch ihre Aktionen transparenter (beobachtbarer) macht, können menschliche Operatoren das Verhalten der Systeme besser verstehen und antizipieren, was die Sicherheit und das Vertrauen in gemischten Operationen erhöht. Das Paper schließt damit, dass es die Mensch-Maschine-Koordination zwar nicht vollständig löst, aber eine grundlegende Methode etabliert, um die Rekonstruktion des Zustands aus Aktionen effizient und praktikabel zu machen.