Learning Acrobatic Flight from Preferences

Die vorgestellte Arbeit führt Reward Ensemble under Confidence (REC) ein, ein probabilistisches Framework für präferenzbasiertes Reinforcement Learning, das durch die explizite Modellierung von Unsicherheit in Belohnungsmodellen erfolgreich komplexe akrobatische Drohnenflüge rein aus menschlichem Feedback lernt und dabei die Leistung manueller Belohnungsfunktionen in Simulation und auf echten Hardware-Systemen übertrifft.

Das Wesentliche

Stellen Sie sich vor, Sie möchten einem kleinen, fliegenden Roboter (einer Drohne) beibringen, akrobatische Kunststücke zu fliegen – wie einen perfekten Looping oder eine vertikale Acht. Das Problem ist: Wie erklärt man einem Computer, was ein „schöner" oder „guter" Flug ist?

Normalerweise müssten Programmierer stundenlang komplexe mathemische Formeln schreiben, die dem Roboter sagen: „Wenn du hier 5 Grad drehst, gibt es 1 Punkt. Wenn du zu schnell bist, verlierst du Punkte." Das ist mühsam, fehleranfällig und oft verpasst es den eigentlichen „Vibe" des Fluges.

Dieses Papier stellt eine neue Methode vor, die dieses Problem löst. Hier ist die Erklärung in einfachen Worten:

1. Das Problem: Der müde Chef und der verwirrte Roboter

Stellen Sie sich vor, Sie sind der Chef (der Programmierer) und Ihr Roboter ist ein junger Auszubildender.

• Der alte Weg (Manuelle Belohnung): Sie schreiben ein 50-seitiges Regelwerk, wie der Auszubildende fliegen soll. Aber am Ende fliegt er steif und klobig, weil Sie nicht alle Nuancen in die Regeln schreiben konnten. Der Roboter macht das, was Sie geschrieben haben, nicht das, was Sie wollen.
• Das Ergebnis: In diesem Papier haben die Forscher herausgefunden, dass ihre eigenen, mühsam erstellten Regeln nur in 60 % der Fälle mit dem übereinstimmen, was ein menschlicher Beobachter als „gut" empfindet. Der Rest ist einfach „falsch".

2. Die Lösung: Der „Schmeiß-und-Vergleiche"-Ansatz (PbRL)

Statt Regeln zu schreiben, nutzen die Forscher eine Methode namens Preference-Based Reinforcement Learning (PbRL).

• Die Analogie: Statt dem Roboter eine Liste von Regeln zu geben, zeigen Sie ihm zwei Videos von Flügen. Dann fragen Sie: „Welcher Flug sieht besser aus?"
• Der Roboter lernt nicht aus Zahlen, sondern aus Vergleichen. Er sieht: „Aha, Flug A war glatter als Flug B, also werde ich versuchen, Flug A nachzuahmen."

3. Das neue Werkzeug: REC (Der „Zweifels-Experte")

Das eigentliche Genie dieses Papers ist eine neue Technik namens REC (Reward Ensemble under Confidence).

Stellen Sie sich vor, Sie haben nicht einen Trainer, sondern ein Team von 5 Trainern, die alle den Flug bewerten.

• Das Problem beim alten System: Wenn die Trainer sich nicht einig sind (z. B. einer sagt „gut", der andere „schlecht"), war das alte System verwirrt und hat oft die falsche Entscheidung getroffen.
• Die REC-Methode: REC nutzt die Uneinigkeit des Teams als Kraftstoff!
  • Wenn alle Trainer sich einig sind, ist der Roboter sicher.
  • Wenn die Trainer sich streiten (hohe Unsicherheit), weiß REC: „Aha, hier wissen wir es noch nicht genau! Roboter, geh genau dorthin und probiere etwas Neues aus, damit wir lernen können!"
  • Es ist, als würde ein Team von Lehrern sagen: „Wir sind uns bei dieser Aufgabe unsicher. Schüler, versuche es nochmal auf eine andere Art, damit wir alle etwas lernen."

4. Die Ergebnisse: Vom Simulator in die echte Welt

Die Forscher haben ihre Drohne zuerst in einer virtuellen Welt trainiert und dann ohne weitere Anpassung (Zero-Shot Transfer) in die echte Welt geschickt.

• Der Erfolg: Die Drohne, die mit der neuen Methode (REC) trainiert wurde, flog 88 % so gut wie eine Drohne, die mit perfekten, aber mühsam erstellten Regeln trainiert wurde. Die alte Methode (ohne REC) schaffte nur 55 %.
• Das Highlight: Sie haben eine Drohne trainiert, die eine komplexe „vertikale Acht" fliegt. Das haben sie nur durch menschliches Feedback erreicht („Nein, das war zu wackelig", „Ja, das war schön rund"), ohne jemals eine einzige mathemische Formel für den Flug zu schreiben.

Zusammenfassung in einer Metapher

Stellen Sie sich vor, Sie wollen jemandem beibringen, wie man einen perfekten Tanz tanzt.

• Der alte Weg: Sie schreiben ein Skript mit Schritten: „Schritt links, Arm hoch, 3 Sekunden warten." Das Ergebnis ist steif und roboterhaft.
• Der neue Weg (REC): Sie zeigen dem Tänzer zwei Videos und sagen: „Das hier war besser als das da." Wenn der Tänzer unsicher ist, wie er sich bewegen soll, ermutigt das System ihn, mutig neue Schritte auszuprobieren, bis er den Rhythmus trifft.

Das Fazit: Man muss nicht alles mathematisch definieren, um einen Roboter zu trainieren. Man kann ihn einfach fragen: „Was sieht besser aus?" und ihm helfen, aus seinen Unsicherheiten zu lernen. So können Roboter komplexe Kunststücke fliegen, die wir ihnen gar nicht explizit beibringen mussten.

Technische Zusammenfassung

Problemstellung

Die autonome Steuerung von Drohnen für akrobatische Manöver stellt eine der größten Herausforderungen in der Robotik dar. Während Reinforcement Learning (RL) vielversprechende Ergebnisse liefert, ist die Entwicklung effektiver Belohnungsfunktionen (Reward Functions) ein kritischer Engpass.

• Subjektivität: Bei akrobatischen Flügen hängen die gewünschten Eigenschaften oft von subjektiven menschlichen Präferenzen ab (z. B. Glätte der Flugbahn, Timing, visueller Eindruck), die sich schwer in formale, handgefertigte Regeln übersetzen lassen.
• Fehlende Übereinstimmung: Die Autoren zeigen, dass handgefertigte Belohnungsfunktionen in nur 60,7 % der Fälle mit menschlichen Urteilen übereinstimmen. Dies unterstreicht, dass traditionelle Reward-Engineering-Ansätze für solche Aufgaben unzureichend sind.
• Unsicherheit: Bestehende Methoden des Preference-based Reinforcement Learning (PbRL) ignorieren oft die inhärente Unsicherheit in Präferenzdaten, was zu instabilem Lernen oder suboptimalen Strategien führt, insbesondere bei verrauschten oder spärlichen Feedback-Signalen.

Methodik: Reward Ensemble under Confidence (REC)

Das Paper stellt REC vor, ein probabilistisches Framework für PbRL, das Unsicherheiten explizit modelliert. Im Gegensatz zu deterministischen Ansätzen behandelt REC Belohnungen als Wahrscheinlichkeitsverteilungen.

Die Kernkomponenten von REC sind:

1. Ensemble von Verteilungsmodellen:
   Statt eines einzelnen Reward-Modells wird ein Ensemble aus mehreren neuronalen Netzen (Multi-Layer Perceptrons) verwendet. Jedes Mitglied des Ensembles gibt eine Vorhersage für die Belohnung pro Zeitschritt ab. Daraus werden Mittelwert ($\mu$) und Standardabweichung ($\sigma$) der Belohnung berechnet.

2. Probabilistische Verlustfunktion (Loss Function):
   Anstelle des üblichen Bradley-Terry-Softmax-Modells (das deterministische Präferenzen annimmt) verwendet REC eine Gaussian CDF (Cumulative Distribution Function).

   • Die Wahrscheinlichkeit, dass Trajektorie $\tau_1$ besser ist als $\tau_2$, wird als Wahrscheinlichkeit berechnet, dass eine Stichprobe aus der Verteilung von $r(\tau_1)$ größer ist als eine aus $r(\tau_2)$.
   • Dies integriert die Unsicherheit ($\sigma$) direkt in den Lernprozess: Wenn das Modell unsicher ist (hohe Varianz), wird die Präferenz als weniger sicher behandelt.

3. Unsicherheitsbewusste Belohnungsaggregation:
   Um Exploration zu fördern, wird die aggregierte Belohnung um einen „Noise"-Term erweitert, der von der Varianz des Ensembles abhängt:
   $$r_{agg} = \text{Mittelwert} + |X|$$
   wobei $X$ aus einer Normalverteilung mit der Varianz der Ensemble-Vorhersagen gezogen wird. Dies belohnt den Agenten für das Besuchen von Zuständen, in denen das Reward-Modell unsicher ist (hohe Diskrepanz im Ensemble), und lenkt die Exploration dorthin, wo mehr Feedback benötigt wird.

4. Ensemble-Resetting:
   Um zu verhindern, dass sich die Mitglieder des Ensembles zu ähnlichen Vorhersagen entwickeln (was die Unsicherheitsschätzung zerstört), werden die schlechtesten performierenden Mitglieder vor jedem Retraining neu initialisiert. Dies erhält die Diversität des Ensembles.

Wichtige Beiträge

1. Neues Framework (REC): Einführung eines probabilistischen Reward-Learning-Frameworks, das Unsicherheit pro Zeitschritt modelliert und die Standard-Bradley-Terry-Logik durch ein Verteilungsmodell ersetzt.
2. Signifikante Leistungssteigerung: REC erreicht auf der Aufgabe der akrobatischen Quadrotor-Kontrolle 88,4 % der Leistung einer manuell gestalteten Belohnungsfunktion (Shaped Reward), im Vergleich zu nur 55,2 % bei standardmäßigem Preference PPO.
3. Zero-Shot Sim2Real Transfer: Die trainierten Strategien wurden erfolgreich ohne Feinabstimmung (Zero-Shot) auf eine reale 220g-Quadrotor-Drohne übertragen.
4. Validierung menschlicher Präferenzen: Demonstration, dass manuelle Reward-Designs nur in 60,7 % der Fälle mit menschlicher Intuition übereinstimmen, was die Notwendigkeit von Präferenz-basierten Ansätzen für subjektive Aufgaben unterstreicht.

Ergebnisse

Die Evaluation umfasste Simulationsexperimente (Flightmare) und reale Tests:

• Benchmark (DM Control): Auf dem Walker-Walk-Task zeigte REC eine höhere Konsistenz (geringere Varianz über verschiedene Seeds) und bessere Endleistung als der Standard-Prefence-PPO.
• Akrobatischer Flug (Quadrotor):
  • Continuous Powerloop: REC erreichte eine mittlere Bewertung von 382,4 (88,4 % des Shaped-Reward-Baselines), während Standard-Prefence-PPO nur 238,9 (55,2 %) erreichte.
  • Robustheit: REC zeigte eine deutlich geringere Varianz über verschiedene Trainingsläufe (Seeds), was auf stabilere Konvergenz bei diesem schwierigen Explorationsproblem hindeutet.
• Menschliches Feedback: Das System wurde erfolgreich mit Präferenzen eines menschlichen Annotators trainiert. Trotz der nur 60,7 %igen Übereinstimmung zwischen dem menschlichen Urteil und dem Shaped Reward lernte die Drohne komplexe Manöver.
• Neue Manöver: Ein Policy für ein neuartiges vertikales „Figure-8" (Doppel-Powerloop) wurde ausschließlich aus menschlichen Präferenzen gelernt, ohne Änderungen an den Hyperparametern oder manuelle Reward-Designs.

Bedeutung und Fazit

Dieses Paper demonstriert einen entscheidenden Fortschritt im Bereich des autonomen Fliegens und des Reinforcement Learning:

• Überwindung des Reward-Design-Engpasses: Es zeigt, dass komplexe, subjektive Aufgaben wie akrobatische Flugmanöver erfolgreich nur durch vergleichendes Feedback (Präferenzen) gelöst werden können, ohne dass Experten manuelle Belohnungsfunktionen entwerfen müssen.
• Umgang mit Unsicherheit: Die explizite Modellierung von Unsicherheit durch Ensembles und deren Nutzung zur Steuerung der Exploration ist ein Schlüsselmechanismus für das stabile Lernen in physikalischen Systemen.
• Praktische Anwendbarkeit: Der erfolgreiche Zero-Shot-Transfer auf reale Hardware beweist die Robustheit des Ansatzes für den Einsatz in der echten Welt.

Zusammenfassend etabliert REC einen neuen Standard für das Lernen von agilen Roboterverhalten, bei dem die menschliche Bewertung im Mittelpunkt steht, und liefert eine Lösung für die inhärente Unsicherheit und Subjektivität solcher Aufgaben.