🤖 machine learning

Stochastic Decision Horizons for Constrained Reinforcement Learning

Dieser Artikel stellt Stochastic Decision Horizons (SDH) vor, ein theoretisch fundiertes Rahmenwerk, das die Einhaltung von Nebenbedingungen in jedem Schritt beim constrained Reinforcement Learning gewährleistet, indem es Verletzungen als effektive Verkürzungen des Horizonts modelliert, was zu neuartigen off-policy-Algorithmen wie VT-MPO führt, die im Vergleich zu den aktuell besten Methoden überlegene Kompromisse zwischen Belohnung und Verletzung sowie eine höhere Trainingsstabilität erreichen.

Ursprüngliche Autoren: Nikola Milosevic, Leonard Franz, Daniel Haeufle, Georg Martius, Nico Scherf, Pavel Kolev

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nikola Milosevic, Leonard Franz, Daniel Haeufle, Georg Martius, Nico Scherf, Pavel Kolev

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter das Gehen bei. Auf die alte Art und Weise (sogenannte Constraint MDPs oder CMDPs) geben Sie dem Roboter ein „Budget" an Fehlern, das er machen darf. Denken Sie daran wie an eine Kreditkarte: „Sie dürfen 10-mal auf den Rasen treten, bevor Sie in Schwierigkeiten geraten." Der Roboter mag eine Weile vorsichtig gehen, dann ein riesiges Risiko eingehen, 9-mal hintereinander auf den Rasen treten und trotzdem noch „sicher" sein, weil er das Limit noch nicht erreicht hat. Das funktioniert für Dinge wie Kraftstoffverbrauch, ist aber gefährlich für Dinge wie das Umfallen eines Roboters oder einen plötzlichen Anstieg der Herzfrequenz eines Patienten, wo ein falscher Schritt sofortige Katastrophen verursacht.

Dieser Artikel schlägt eine neue Art vor, Robotern beizubringen, die Stochastische Entscheidungshorizonte (SDH) genannt wird. Anstelle eines Kreditkarten-Budgets behandelt SDH jeden Schritt als einen „Überlebenscheck".

Die Kernidee: Die Analogie des „zerbrechlichen Glases"

Stellen Sie sich vor, der Roboter geht auf einem Boden aus zerbrechlichem Glas.

Die alte Art (Budget): Der Boden hat einen Zähler. Wenn der Roboter zu fest tritt, steigt der Zähler. Solange der Zähler unter 10 liegt, ist der Roboter in Ordnung. Er könnte lernen, wild herumzuspringen und hoffen, das Limit nicht zu erreichen.
Die neue Art (SDH): Jedes Mal, wenn der Roboter einen Schritt macht, besteht die Chance, dass das Glas Risse bekommt. Wenn der Schritt sicher ist, bleibt das Glas stark. Wenn der Schritt gefährlich ist (eine „Verletzung"), wird das Glas etwas zerbrechlicher. Wenn der Roboter einen wirklich schlechten Schritt macht, könnte das Glas komplett zerspringen, und das „Leben" des Roboters in diesem spezifischen Trainingslauf endet sofort.

Bei SDH fügt eine Verletzung nicht nur einen Punkt zu einer Punktzahl hinzu; sie verkürzt die Zukunft des Roboters. Wenn der Roboter weiß, dass ein schlechter Schritt sein „Leben" sofort beenden könnte, lernt er, jedes einzelne Mal vorsichtig zu sein, nicht nur dann, wenn er sich seinem Budgetlimit nähert.

Zwei Wege, einen „Riss im Glas" zu handhaben

Der Artikel untersucht zwei verschiedene Philosophien darüber, was passiert, nachdem das Glas Risse bekommt (eine Verletzung auftritt):

Der „absorbierende Zustand" (AS-SAC): Stellen Sie sich vor, das Glas zerspringt, und der Roboter fällt in ein schwarzes Loch. Er trifft überhaupt keine Entscheidungen mehr. Für diesen spezifischen Versuch ist das Spiel vorbei. Der Roboter lernt, dass er bei einem Fehler alle zukünftigen Belohnungen verliert. Das ist wie ein „harter Stopp".
Die „virtuelle Beendigung" (VT-MPO): Stellen Sie sich vor, das Glas bekommt Risse, und der Roboter steht immer noch, ist aber nun „geisterhaft". Er kann immer noch seine Beine bewegen und Entscheidungen treffen, kann aber keine Punkte (Belohnungen) mehr für seine Handlungen verdienen. Es ist wie ein Videospiel, bei dem Sie noch am Leben sind, aber Ihre Punktzahl auf Null eingefroren ist. Der Roboter bewegt sich weiter, lernt aber, dass schlechte Züge seine Zukunft wertlos machen.

Der Artikel stellt fest, dass die zweite Methode (VT-MPO) oft stabiler und einfacher zu trainieren ist, insbesondere für komplexe Aufgaben.

Der große Durchbruch: Realistisches Gehen

Die Autoren testeten dies an einem sehr komplexen, realistischen menschenähnlichen Roboter mit 90 Muskeln (H2190 genannt). Diesen Roboter beizubringen, natürlich zu gehen, ohne umzufallen oder sich zu verletzen, ist eine enorme Herausforderung.

Das Problem: Bisherige Methoden versuchten, „schnelles Gehen" gegen „weniger Energieverbrauch" auszugleichen, indem sie ständig die Regeln änderten (wie ein Lehrer, der schreit: „Lauf schneller!" und dann: „Langsam!"). Dies machte das Training des Roboters instabil und dauerte lange.
Das Ergebnis: Mit SDH (speziell der VT-MPO-Methode) lernte der Roboter genauso realistisch zu gehen wie die besten bisherigen Methoden, aber er tat dies 4-mal schneller und mit viel stabilerem Training. Er benötigte keine ständigen Regeländerungen; er lernte einfach, dass schlechte Schritte seine Zukunft verkürzen, und fand daher auf natürliche Weise einen sicheren, effizienten Weg zu gehen.

Wann funktioniert das? (Die „Einzel-Skala"-Regel)

Der Artikel erklärt auch, wann diese Methode am besten funktioniert.

Sie funktioniert hervorragend, wenn die Gefahren konsistent sind. Zum Beispiel, wenn jedes Mal, wenn der Roboter zu fest tritt, ein „mittleres" Risiko besteht, das sein Leben ein wenig verkürzt. Das ist wie das Gehen auf einem Boden, bei dem jeder lose Fliesenkachel gleich gefährlich ist.
Sie hat Schwierigkeiten, wenn die Gefahren gemischt sind. Stellen Sie sich einen Boden vor, bei dem 99 % der Zeit das Betreten einer Fliese nichts bewirkt, aber 1 % der Zeit das Betreten einer Fliese das ganze Gebäude in die Luft jagt. Die „Überlebens"-Methode könnte diese seltene, massive Explosion möglicherweise nicht erkennen, weil sie an kleine, häufige Risse gewöhnt ist. In diesen Fällen könnte die alte „Budget"-Methode immer noch benötigt werden.

Zusammenfassung

Dieser Artikel stellt eine intelligentere Art vor, Robotern Sicherheit beizubringen. Anstatt ihnen ein „Budget" für Fehler zu geben, bringt er ihnen bei, dass jeder Fehler ihre Zukunft verkürzt. Dies zwingt sie, bei jedem einzelnen Schritt sicher zu sein, was zu schnellerem und stabilerem Lernen für komplexe Aufgaben wie dem realistischen menschlichen Gehen führt.

Technische Zusammenfassung: Stochastische Entscheidungshorizonte für eingeschränktes Reinforcement Learning

Problemstellung

Reinforcement Learning (RL) für reale Steuerungssysteme (z. B. Robotik, Biomechanik, medizinische Prozesse) erfordert häufig die Einhaltung von instantanen Einschränkungen zu jedem Zeitpunkt. Eine einzige tiefe Verletzung kann zu Hardware-Schäden, Patientenschäden oder Instabilität des Reglers führen. Der Standardrahmen für eingeschränktes RL, der eingeschränkte Markov-Entscheidungsprozess (CMDP), optimiert für ein kumulatives Kostenbudget. Während CMDPs bei globalen Budgets (z. B. Gesamt-Kraftstoffverbrauch) effektiv sind, haben sie Schwierigkeiten mit instantaner Machbarkeit. Die Kodierung einer pro-Schritt-Begrenzung in ein kumulatives Budget zwingt das Budget in einen extrem kleinen Bereich, in dem bestehende CMDP-Algorithmen oft nicht konvergieren oder effektiv lernen.

Die Arbeit schlägt Stochastische Entscheidungshorizonte (SDH) als theoretisch fundierte Alternative vor. Anstatt ein Budget bei Verletzung zu verbrauchen, behandelt SDH eine Einschränkungverletzung als instantanes (Un-)Machbarkeits-Signal, das den effektiven Planungshorizont probabilistisch verkürzt.

Methodik

1. Stochastische Entscheidungshorizonte (SDH)

SDH stellt das eingeschränkte Problem als Überlebens-Chancen-Problem neu dar.

Mechanismus: Eine Zustands-Aktions-Fortsetzungswahrscheinlichkeit $\alpha(s, a) \in [0, 1]$ wird eingeführt. Wenn eine Einschränkung verletzt wird, sinkt $\alpha$ , was die Wahrscheinlichkeit verringert, dass die Trajektorie fortgesetzt wird.
Ziel: Der Agent maximiert die erwartete Belohnung zu einem zufälligen geometrischen Terminierungszeitpunkt $T_\gamma$ , bedingt darauf, dass die Trajektorie bis zu diesem Punkt überlebt hat.
Bellman-Formulierung: Dies führt zu einer modifizierten Bellman-Gleichung mit geformten Belohnungen und zustands- und aktionsabhängigen Diskontierungen:
- $\tilde{r}(s, a) = \alpha(s, a) r(s, a)$
- $\tilde{\gamma}(s, a) = \gamma \alpha(s, a)$
Dualer Variabler: Die Lagrange-Dualvariable $\eta$ wirkt als Überlebensbonus, der zur Belohnung addiert wird ( $r + \eta$ ), anstatt als Kostenstrafe. Dies fördert Strategien, die eine hohe Überlebenswahrscheinlichkeit aufrechterhalten.

2. Steuerung als Inferenz (CaI) und Regularisierung

Um off-policy, regularisierte Algorithmen abzuleiten, verwenden die Autoren Steuerung als Inferenz. Sie identifizieren zwei unterschiedliche semantische Interpretationen dessen, was nach einer Einschränkungverletzung geschieht, was zu zwei verschiedenen Regularisierern führt:

Absorbierender-Zustand (AS) Semantik: Der Entscheidungsprozess endet sofort bei Verletzung. Nur überlebende Entscheidungen tragen zu den Informationskosten (KL-Divergenz/Entropie) bei.
- Algorithmus: AS-SAC (Absorbierender-Zustand Soft Actor-Critic).
- Regularisierer: Maximale Entropie, aber nur gewichtet durch die Masse der überlebenden Entscheidungen. Dies ergibt eine rekursive Bellman-Wechselwirkung mit variabler Diskontierung.
Virtuelle-Terminierung (VT) Semantik: Der Entscheidungsprozess setzt sich fort, aber die Belohnungsgutschrift stoppt. Der Agent handelt weiterhin auf dem zugrunde liegenden MDP, aber zukünftige Belohnungen sind durch das Überleben getrennt.
- Algorithmus: VT-MPO (Virtual-Termination Maximum a Posteriori Policy Optimization).
- Regularisierer: KL-regularisierte Strategieverbesserung am gewöhnlichen diskontierten Horizont, gepaart mit einem überlebensgeformten Kritiker.

3. Theoretischer Zusammenhang zu CMDPs

Die Arbeit führt Verletzungstiefenprofile ein, um die Beziehung zwischen SDH und additiven-Budget-CMDPs zu charakterisieren.

Ein-Skalen-Regime: Wenn Verletzungen in einem einzigen charakteristischen Maßstab auftreten (z. B. häufige flache Verletzungen oder seltene tiefe Verletzungen, die einer spezifischen Verteilung folgen), löst SDH effektiv das entsprechende additive-Budget-CMDP.
Multi-Skalen-Regime: Wenn das Verletzungsprofil Maßstäbe mischt (z. B. häufige flache Verletzungen neben seltenen tiefen Verletzungen), divergieren SDH- und CMDP-Ziele. SDH kann exakte budgetbewusste Machbarkeitsregeln nicht reproduzieren, ohne den Zustandsraum mit Historie zu erweitern.

Hauptbeiträge

Formalisierung von SDH: Die Autoren formalisieren allgemeine Fortsetzungsmodelle $\alpha(s, a)$ als Bellman-konsistente Überlebensbelegungen. Sie beweisen, dass SDH die feste-duale Lagrange-Form eines stochastischen Überlebens-Chancen-Problems ist.
Regularisierte Off-Policy-Algorithmen: Sie leiten die ersten off-policy, regularisierten Algorithmen für instantane Einschränkungen ab: AS-SAC (max-Entropie) und VT-MPO (KL-regularisiert). Beide sind mit Experience Replay kompatibel.
Theoretische Reichweitenanalyse: Durch Verletzungstiefenprofile grenzen sie präzise ab, wann SDH ein additives-Budget-CMDP löst (Ein-Skalen-Verletzungen) und wann nicht (Multi-Skalen-Verletzungen).
State-of-the-Art Biomechanische Steuerung: Sie wenden VT-MPO auf hochpräzise muskuloskelettale Modelle an und lösen das langjährige Kompromissproblem zwischen Kraftaufwand und Geschwindigkeit beim Gehen als Problem mit fester instantaner Einschränkung.

Experimentelle Ergebnisse

1. Hyfydy (Muskuloskelettale Steuerung)

Setup: Training an drei humanoiden Modellen (H0918, H1622, H2190) mit bis zu 90 Muskeln.
Vergleich: Vergleich mit Effort Weight Adaptation (EWA), der state-of-the-art domänenspezifischen Methode, die adaptive Belohnungsgewichtung verwendet.
Ergebnisse:
- Stabilität: VT-MPO konvergiert zu stabilem Gehen mit deutlich weniger Oszillationen als EWA, das unter nicht-stationären Belohnungssignalen leidet.
- Proben-Effizienz: VT-MPO erreicht state-of-the-art Gang-Realismus mit 4 $\times$ weniger Umgebungs-Schritten (z. B. Erreichen der Spitzenleistung bei H2190 in 21M Schritten gegenüber 90M für EWA).
- Realismus: Beide Methoden erreichen ähnliche Gang-Übereinstimmungswerte (ca. 63–76 %), aber VT-MPO erreicht diese Spitzenwerte viel schneller und mit einer engeren Einhaltung der Einschränkungen (Geschwindigkeit, Bodenreaktionskräfte, Gelenkmomente).

2. Safety Gymnasium (Reichweitentest)

Setup: Evaluierung an Lokomotions- und Navigationsaufgaben mit standardisierten Kostensignalen.
Erkenntnisse:
- Ein-Skalen-Aufgaben (z. B. AntVelocity): SDH (VT-MPO und AS-SAC) erreicht starke Belohnungs-Kosten-Kompromisse, übertrifft unbeschränkte Baselines und entspricht eingeschränkten Baselines mit höherer Proben-Effizienz.
- Multi-Skalen-Aufgaben (z. B. PointGoal, CarButton): Die Theorie sagt Fehlermodi korrekt voraus. In Aufgaben, bei denen der Agent einige Einschränkungsverletzungen opfern muss, um ein Ziel zu erreichen (Multi-Skalen-Verletzungsprofile), scheitert SDH entweder daran, Einschränkungen zu erfüllen, oder erleidet katastrophale Belohnungsverschlechterung. Dies bestätigt die theoretische Einschränkung, dass SDH kein universeller Löser für beliebige additive-Budget-CMDPs ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Stochastische Entscheidungshorizonte eine komplementäre Designachse für eingeschränktes RL bieten: Formen Sie den Horizont statt ein Budget zu justieren.

Praktische Auswirkungen: SDH bietet einen prinzipiellen Weg, instantane Einschränkungen zu handhaben, bei denen eine einzelne Verletzung katastrophal ist, und vermeidet dabei die Instabilität adaptiver Belohnungsgewichtung (wie EWA) und die Schwierigkeit, winzige Budgets in CMDPs festzulegen.
Theoretische Einsicht: Die Arbeit klärt auf, dass instantane Einschränkungen und kumulative Budgets unterschiedliche Ziele sind, die nur unter spezifischen geometrischen Bedingungen (Ein-Skalen-Verletzungsprofile) zusammenfallen.
Algorithmischer Fortschritt: Sie liefert die ersten regularisierten off-policy-Algorithmen (AS-SAC, VT-MPO), die speziell für instantane Einschränkungen entwickelt wurden, und ermöglicht so stabiles Training an hochdimensionalen, komplexen Systemen wie 90-Muskeln-Humanoiden.

Die Autoren betonen, dass SDH zwar kein universeller Ersatz für CMDPs ist, aber die exakte Lösung für Überlebens-Chancen-Probleme darstellt und in Regimen, in denen die Machbarkeit pro Schritt die Hauptanliegen ist, überlegene Stabilität und Proben-Effizienz bietet.