🤖 machine learning

Formulating Reinforcement Learning for Human-Robot Collaboration through Off-Policy Evaluation

Dieses Paper schlägt ein neuartiges Offline-Reinforcement-Learning-Framework vor, das Off-Policy-Evaluation auf protokollierten Interaktionsdaten nutzt, um automatisch optimale Zustandsrepräsentationen und Belohnungsfunktionen für die Mensch-Roboter-Kollaboration auszuwählen, wodurch die Notwendigkeit kostspieliger Echtzeit-Umweltinteraktionen eliminiert und die Skalierbarkeit von RL in sicherheitskritischen Anwendungen verbessert wird.

Ursprüngliche Autoren: Saurav Singh, Rodney Sanchez, Alexander Ororbia, Jamison Heard

Veröffentlicht 2026-02-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Saurav Singh, Rodney Sanchez, Alexander Ororbia, Jamison Heard

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, neben einem Menschen zu arbeiten, wie etwa ein Co-Pilot in einem Cockpit oder eine Pflegekraft in einem Krankenhaus. Um dies zu tun, müssen Sie dem Roboter ein „Gehirn“ (Reinforcement Learning) geben, das durch Versuch und Irrtum lernt. Aber hier liegt das Problem: In der realen Welt können Sie den Roboter nicht ein Flugzeug abstürzen lassen oder einen Patienten verletzen lassen, nur um zu sehen, was passiert. Das ist zu gefährlich und zu teuer.

Normalerweise müssen Menschen Jahre damit verbringen, die „Sinne“ des Roboters (worauf er seine Daten achtet) und seine „Motivation“ (wofür er belohnt wird) manuell zu entwerfen. Wenn der Roboter scheitert, muss man raten, warum, und von vorne beginnen. Es ist, als würde man versuchen, ein Radio abzustimmen, indem man blind am Regler dreht, während man in einem schallisolierten Raum steht.

Dieses Paper schlägt einen klügeren Weg vor, dieses Radio abzustimmen, ohne den Raum jemals zu verlassen.

Die große Idee: Der „Zeitreise“-Coach

Die Autoren führen eine Methode namens Off-Policy Evaluation (OPE) ein. Betrachten Sie dies als einen „Zeitreise-Coach“.

Anstatt den Roboter in der realen Welt üben zu lassen, nehmen die Forscher einen riesigen Stapel alter Protokolle – Aufzeichnungen darüber, wie Menschen und Roboter in der Vergangenheit interagiert haben. Sie nutzen diese Protokolle, um Tausende von verschiedenen „Was-wäre-wenn“-Szenarien zu simulieren.

Das Problem: Sie müssen herausfinden, welcher Satz von „Sinnen“ (State Space) und welche „Regeln für Belohnungen“ (Reward Function) den Roboter zum besten Partner machen werden.
Die Lösung: Sie nutzen den OPE-Coach, um in die alten Protokolle zu schauen und zu sagen: „Wenn wir den Roboter mit diesem spezifischen Satz von Sinnen und dieser spezifischen Belohnungsregel gelehrt hätten, dann wäre er genau so gut gewesen.“

Dies ermöglicht es ihnen, das beste Trainingsrezept auszuwählen, ohne jemals eine einzige echte Interaktion zu riskieren.

Die Experimente: Zwei verschiedene Spielplätze

Um zu beweisen, dass dies funktioniert, haben sie ihren „Zeitreise-Coach“ in zwei sehr unterschiedlichen Umgebungen getestet.

1. Lunar Lander (Der Videospiel-Test)

Zuer Sie verwendeten ein Videospiel namens Lunar Lander, bei dem ein Roboter ein Raumschiff auf dem Mond landen muss.

Der Test: Sie versuchten, den Roboter mit unterschiedlichen „Sinnen“ zu lehren. Eine Version sah alles (Position, Geschwindigkeit, Winkel). Eine andere Version sah zusätzliches „Rauschen“ (falsche Daten). Eine dritte Version sah weniger (keine Positionsdaten).
Das Ergebnis: Der Coach analysierte die Protokolle und identifizierte korrekt, dass die „vollständige Sicht“ die beste war. Er wusste, dass das Hinzufügen von falschem Rauschen den Roboter verwirrte und das Entfernen der Positionsdaten zum Absturz führte.
Die Belohnung: Sie testeten auch verschiedene Wege, dem Roboter Punkte zu geben. Sie fanden heraus, dass das beste Belohnungssystem nicht nur aus dem sicheren Landen bestand, sondern eine Mischung aus stabil Bleiben, effizientem Treibstoffverbrauch und sanftem Landen war. Der Coach wählte den Gewinner sofort aus und sparte ihnen so den Bau eines neuen Roboters für den Test.

2. NASA MATB-II (Der menschliche Stresstest)

Als Nächstes wechselten sie zu einem realen menschlichen Szenario unter Verwendung einer Simulation namens MATB-II. Stellen Sie sich einen vielbeschäftigten Fluglotsen oder Piloten vor, der vier Aufgaben gleichzeitig bewältigt:

Tracking: Einen Punkt auf einem beweglichen Ziel verfolgen.
Monitoring: Anzeigen auf Instrumenten im Auge behalten.
Ressourcenmanagement: Brennstofftanks im Gleichgewicht halten.
Kommunikation: Funkbefehle zu hören.

In dieser Studie arbeiteten Menschen neben einem Automatisierungssystem. Die Forscher wollten wissen: Welche Daten sollte der Roboter nutzen, um zu entscheiden, wann er helfen muss?

Die Daten: Sie probierten aus, dem Roboter nur Aufgaben-Daten, nur Herzfrequenz-Daten oder eine Mischung aus Aufgaben-Daten, Herzfrequenz und geschätztem Stresslevel zu geben.
Die Erkenntnis: Der „Zeitreise-Coach“ stellte fest, dass der Roboter am besten performte, wenn er alles sehen konnte: was der Mensch tat, seine Herzfrequenz und sein Stresslevel. Er fand jedoch auch heraus, dass es nicht ausreichte, nur auf das Stresslevel zu schauen; der Roboter musste auch die eigentlichen Aufgaben sehen.
Die Belohnung: Sie testeten auch verschiedene Wege, den Roboter zu belohnen. Sie fanden heraus, dass ein „ausgewogenes“ Belohnungssystem (das schlechte Handlungen bestrafte und gute Handlungen belohnte) am besten funktionierte, um den Roboter zu lehren, ein hilfreicher Partner zu sein.

Der Praxistest: Den Roboter zur Arbeit bringen

Nachdem der Coach das beste Rezept ausgewählt hatte, bauten sie den Roboter tatsächlich und brachten ihn in einen Raum mit 19 freiwilligen Helfern. Sie verglichen drei Arten von Helfern:

Der regelbasierte Roboter: Folgt einem strikten Handbuch (z. B. „Wenn der Mensch gestresst ist, übernehme Aufgabe A“).
Der Standard-RL-Roboter: Lernte aus den Protokollen mit dem besten vom Coach gefundenen Rezept.
Der feinabgestimmte RL-Roboter: Lernte aus den Protokollen und versuchte dann, sein Verhalten in Echtzeit an den spezifischen Menschen anzupassen, mit dem er gerade arbeitete.

Die Ergebnisse:

Der Standard-RL-Roboter war am konsistentesten. Er war am besten darin, bewegliche Ziele zu verfolgen und Alarme zu überwachen. Er sorgte für das geringste Stresslevel beim Menschen und baute das meiste Vertrauen auf. Er war wie ein zuverlässiger, ruhiger Co-Pilot, der genau wusste, wann er eingreifen musste.
Der regelbasierte Roboter war bei einfachen Aufgaben ganz okay, hatte aber Schwierigkeiten, wenn es chaotisch wurde.
Der feinabgestimmte Roboter war interessant. Er war am besten bei der „Kommunikation“ (Zuhören auf Funkbefehle), weil er sich perfekt an diese spezifische Person anpasste. Wenn die Arbeitsbelastung jedoch hoch wurde, agierte er etwas unvorhersehbar. Er war wie ein Co-Pilot, der toll im Chatten war, aber manchmal vergaß, auf die Treibstoffanzeige zu achten, wenn es hektisch wurde.

Das Fazit

Das Paper kommt zu dem Schluss, dass man keine Raketen abstürzen lassen oder einige Piloten stressen muss, um herauszufinden, wie man ein gutes Roboter-Team baut. Durch den Einsatz von Off-Policy Evaluation können Sie alte Daten nutzen, Millionen von Trainingsszenarien simulieren und die perfekten „Sinne“ sowie die perfekte „Motivation“ für Ihren Roboter auswählen, noch bevor Sie ihn überhaupt einschalten.

Dies macht den Aufbau sicherer und effektiver Mensch-Roboter-Teams viel schneller, kostengünstiger und sicherer. Es verwandelt den Prozess des „Ratens und Prüfens“ in eine präzise, datengesteuerte Wissenschaft.

Technisches Resümee: Formulierung von Reinforcement Learning für die Mensch-Roboter-Kollaboration durch Off-Policy-Evaluation

1. Problemstellung

Reinforcement Learning (RL) besitzt ein erhebliches Potenzial zur Optimierung sequenzieller Entscheidungsfindung in dynamischen Umgebungen, insbesondere in der Mensch-Roboter-Interaktion (HRI). Die Implementierung von RL in realen, sicherheitskritischen Szenarien (z. B. Gesundheitswesen, Luft- und Raumfahrt, autonomes Fahren) steht jedoch vor erheblichen Barrieren. Traditionelle RL-Ansätze beruhen stark auf extensiven Online-Interaktionen, Trial-and-Error sowie Domänenexpertise, um effektive Zustandsrepräsentationen und Belohnungsfunktionen zu definieren. Dieser Prozess ist oft kostspielig, zeitaufwendig und unsicher.

Während Offline Reinforcement Learning (ORL) die Notwendigkeit von Echtzeit-Interaktionen durch das Training auf vorab gesammelten Daten mindert, bleibt eine kritische Herausforderung bestehen: die Auswahl optimaler Zustandsräume und Belohnungsfunktionen ohne Online-Experimente. Darüber hinaus erfordert die Gewährleistung, dass offline trainierte Policies in dynamischen Mensch-Roboter-Team-Szenarien sicher und effektiv sind, robuste Evaluierungsmethoden, die keine weitere reale Bereitstellung erfordern.

2. Methodik

Die Autoren schlagen ein neuartiges Framework vor, das Off-Policy Evaluation (OPE) nutzt, um systematisch optimale Zustandsraumrepräsentationen und Belohnungsfunktionen ausschließlich unter Verwendung von protokollierten Interaktionsdaten auszuwählen. Dieser Ansatz eliminiert die Notwendigkeit eines Echtzeit-Umweltzugriffs oder menschlichen Feedbacks während der Designphase.

2.1 Auswahl des Zustandsraums via OPE

Das Framework evaluiert mehrere Kandidaten für Zustandsrepräsentationen ( $S_1, S_2, ..., S_K$ ), die aus Domänenwissen oder Merkmalsauswahl abgeleitet wurden.

Offline-Training: Ein Offline-RL-Agent (speziell Constrained Q-Learning, CQL) wird für jeden Kandidaten-Zustandsraum unter Verwendung des protokollierten Datensatzes trainiert.
OPE-Schätzung: Ein OPE-Schätzer (unter Verwendung von Methoden wie Importance Sampling, Direct Method oder Fitted Q-Evaluation) schätzt den erwarteten Ertrag jeder trainierten Policy ohne Online-Interaktion.
Selektion: Der optimale Zustandsraum ( $S^*$ ) wird basierend auf dem höchsten O-PE-geschätzten Ertrag ausgewählt, was Repräsentationen nach ihrer Fähigkeit zur Induktion hochperformanter Policies rankt.

2.2 Auswahl der Belohnungsfunktion via OPE

Das Framework evaluiert analog dazu Kandidaten für Belohnungsfunktionen ( $r_1, r_2, ..., r_M$ ), indem es deren Fähigkeit bewertet, zwischen hochperformanten und niedrigperformanten Policies zu unterscheiden.

Policy-Evaluierung: Vordefinierte hochperformante ( $\pi^+$ ) und niedrigperformante ( $\pi^-$ ) Policies werden unter jeder Kandidaten-Belohnungsfunktion mittels OPE evaluiert.
Separationsmetriken: Die Effektivität einer Belohnungsfunktion wird durch die Divergenz zwischen den geschätzten Erträgen von $\pi^+$ $π^{+}$ und $\pi^-$ $π^{-}$ quantifiziert. Die Autoren nutzen hierfür:
- Mittlere Differenz des Ertrags ( $\Delta V$ ).
- Kullback-Leibler-Divergenz (KL-Divergenz).
- Jensen-Shannon-Divergenz (JS-Divergenz).
Selektion: Die optimale Belohnungsfunktion ( $r^*$ ) ist diejen otherwise, welche die Separation zwischen guten und schlechten Policies maximiert und somit ein starkes Lernsignal gewährleistet.

3. Experimentelle Validierung

Die vorgeschlagene Methodik wurde in zwei unterschiedlichen Umgebungen validiert:

3.1 Kontrollierte Umgebung: OpenAI Gym Lunar Lander

Zielsetzung: Bewertung der Fähigkeit des Frameworks, Zustandsräume und Belohnungsfunktionen in einer kontrollierten Umgebung auszuwählen.
Ergebnisse zum Zustandsraum: Drei Kandidaten wurden getestet: Original ( $S_{orig}$ ), erweitert durch Rauschen ( $S_{more}$ ) und reduziert ( $S_{less}$ ). OPE identifizierte korrekt $S_{orig}$ als die optimale Repräsentation und zeigte damit, dass unnötige Merkmalserweiterung die Leistung verschlechtert, während übermäßige Kompression kritische Informationen auslässt.
Ergebnisse zur Belohnungsfunktion: Das Framework identifizierte erfolgreich eine Baseline-Belohnungsfunktion, die zustandsbasierte, aktionsbasierte und terminale Belohnungen kombiniert, als überlegen gegenüber Alternativen (z. B. rein terminal oder rein aktionsbasiert). Die ausgewählte Funktion wies die höchste JS-Divergenz auf, was ihre Fähigkeit zur Bereitstellung effektiver Lernsignale bestätigte.

3.2 Reale Umgebung: NASA-MATB-II Human Subjects Study

Zielsetzung: Evaluierung der Anwendbarkeit auf die Mensch-Roboter-Teamarbeit unter Verwendung von Daten aus einer Simulation der Multi-Attribute Task Battery-II (MATB-II), an der neun Teilnehmer unter variierenden Arbeitsbelastungen teilnahmen.
Auswahl des Zustandsraums: Die Kandidaten umfassten Kombinationen aus Aufgaben-Daten, physiologischen Daten (Herzfrequenz, Atmung) und geschätzter Arbeitsbelastung (Workload).
- Ergebnis: Der multimodale Zustandsraum ( $S_{task+physio+wl}$ ) lieferte den höchsten OPE-Ertrag. Eine weitere Analyse ergab jedoch, dass die Workload-Daten nur einen marginalen Nutzen brachten, wenn Aufgaben- und physiologische Daten bereits vorhanden waren. Folglich wurde $S_{task+physio}$ als die bevorzugte Repräsentation gewählt, um Leistung und Recheneffizienz in Einklang zu bringen.
Auswahl der Belohnungsfunktion: Drei Belohnungsfunktionen wurden getestet: Bestrafung von Fehlverhalten ( $r_1$ $r_{1}$ ), Belohnung von gutem Verhalten ( $r_2$ $r_{2}$ ) und eine gewichtete Summe ( $r_3$ $r_{3}$ ).
- Ergebnis: Die gewichtete Summe ( $r_3$ ) wurde als optimal ausgewählt, da sie die höchste KL- und JS-Divergenz aufwies, was auf die beste Separation zwischen den Policy-Performances hindeutet.

3.3 Online-Validierung mit menschlichen Probanden

Eine anschließende, durch das IRB genehmigte Studie mit 19 Teilnehmern verglich drei Agenten:

Regelbasiert (RB): Vordefinierte Regeln, die Automatisierung bei Überlastung aktivieren.
RL-Agent: Offline trainiert unter Verwendung des durch OPE ausgewählten Zustandsraums und der Belohnungsfunktion.
RL-Feinabstimmung (RLFT): Der RL-Agent, der durch Echtzeit-Interaktion weiter feinabgestimmt wurde.

Wichtigste Erkenntnisse:

Aufgabenleistung: Der RL-Agent zeigte die konsistenteste Leistung bei Tracking- und Systemüberwachungsaufgaben und übertraf RB und RLFT hinsichtlich Reaktionszeiten und Fehlerraten unter variierenden Lasten signifikant. Der RLFT-Agent war exzellent in der Kommunikationsaufgabe, zeigte jedoch Instabilitäten im Ressourcenmanagement und höhere Fehlerraten unter Überlastung.
Vertrauen und Arbeitsbelastung: Der RL-Agent erhielt die höchsten Vertrauensbewertungen und führte zu der geringsten wahrgenommenen Arbeitsbelastung sowie der höchsten Fluenz. Im Gegensatz dazu erzielte RLFT trotz hoher Post-Trial-Vertrauenswerte bezüglich der Zuverlässigkeit die höchste subjektive Arbeitsbelastung und Frustration, was darauf hindeutet, dass Echtzeit-Feinabstimmung Unvorhersehbarkeit und kognitive Belastung induzieren kann.
Automatisierungsfrequenz: Der RL-Agent nutzte selektive, gut getimte Automatisierung, während RLFT je nach Aufgabe oft zu viel oder zu wenig automatisierte, was zu inkonsistenter Leistung führte.

4. Zentrale Beiträge

OPE-gesteuertes Design-Framework: Einführung eines Frameworks, das Off-Policy Evaluation nutzt, um optimale Zustandsräume und Belohnungsfunktionen aus protokollierten Daten auszuwählen und so die Notwendigkeit kostspieliger Echtzeit-Interaktionen umgeht.
Datengesteuerte Optimierung: Eine Methode zur Optimierung von RL-Formulierungen sowohl für kontrollierte (Lunar Lander) als auch für komplexe Mensch-Roboter-Interaktionsszenarien (NASA-MATB-II) durch systematische Evaluierung von Kandidaten-Konfigurationen.
Empirische Validierung: Nachweis, dass die OPE-basierte Auswahl zu RL-Agenten führt, die regelbasierte Baselines und feinabgestimmte Varianten in Bezug auf Adaptivität, Zuverlässigkeit und Nutzervertrauen in sicherheitskritischen Multi-Task-Umgebungen übertreffen.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass diese Arbeit die Machbarkeit und Skalierbarkeit von Offline-RL für reale Umgebungen durch die Automatisierung kritischer Designentscheidungen verbessert. Durch die Reduzierung der Abhängigkeit von Trial-and-Error und Online-Interaktionen bietet das Framework einen zuverlässigeren, effektiveren und nachhaltigeren Ansatz zur Formulierung von RL für komplexe HRI-Settings.

Die Autoren betonen einen kritischen Trade-off, der in ihren Ergebnissen beobachtet wurde: Während Personalisierung durch Feinabstimmung (RLFT) die Ausrichtung auf spezifische Aufgaben verbessern kann, kann sie die Systemstabilität gefährden und die kognitive Last erhöhen. Daher bietet der vorgeschlagene OPE-basierte Offline-Ansatz eine robuste Alternative, die Adaptivität mit Vorhersehbarkeit in Einklang bringt. Die Arbeit legt nahe, dass für sicherheitskritische Domänen eine robuste Policy-Evaluierung vor der Bereitstellung mittels OPE essenziell ist und dass die Integration physiologischer Daten in Zustandsrepräsentationen die Mensch-Roboter-Teamleistung signifikant verbessern kann, ohne die Risiken, die mit extensiven Online-Experimenten verbunden sind.