Stochastic Decision-Making Framework for Human-Robot Collaboration in Industrial Applications

Technische Zusammenfassung: Stochastisches Entscheidungsmodell für die Mensch-Roboter-Kollaboration in industriellen Anwendungen

Problemstellung
Die Integration von kollaborativen Robotern (Cobots) in industrielle Umgebungen hat den Betrieb von isolierten, sicherheitsbeschränkten Settings hin zu kooperativen Umgebungen verschoben, in denen Roboter und Menschen gemeinsam Arbeitsräume nutzen. Während die bestehende Forschung Sensoren (Vision, Proximität, EMG) effektiv zur Erkennung menschlicher Intentionen einsetzt, bleiben signifikante Herausforderungen bei der Handhabung der Unsicherheit menschlicher Faktoren, insbesondere emotionaler Zustände (Motivation und Aggression) sowie dynamischer Verhaltensmerkmale, bestehen. Aktuelle Sicherheitsmechanismen stützen sich oft auf statische Muskel-Skelett-Modelle oder einfache Distanzschwellenwerte, was in offenen, unkontrollierten Umgebungen, in denen das menschliche Verhalten stochastisch ist, unzureichend sein kann. Das Kernproblem, das hier adressiert wird, ist die Notwendigkeit eines Entscheidungsmodells, das menschliche Handlungen und Emotionen unter Unsicherheit antizipieren kann, um sowohl Sicherheit als auch Effizienz in der Mensch-Roboter-Kollaboration (MRK) zu gewährleisten.

Methodik
Das Paper schlägt ein stochastisches Entscheidungsmodell vor, das auf einem Partiellem Beobachtbaren Markov-Entscheidungsprozess (Partially Observable Markov Decision Process, POMDP) basiert. Der Ansatz geht über die Annahme eines festen menschlichen Modells hinaus; stattdessen lernt er menschliche Modelle aus beobachteten Daten, um verborgene Zustände wie menschliche Emotionen und Motivation zu handhaben.

1. Zustandsraum-Formulierung: Das Modell definiert einen umfassenden Zustandsraum ($S$), der fünf Variablentypen umfasst:

   • Aufgabenzuweisung ($\tau$): Beinhaltet Priorität, Dauer, Art (nur Roboter, nur Mensch oder kollaborativ) und den Status der Verpflichtung (Commitment).
   • Distanz ($d$): Modelliert mittels eines neuartigen „Tri-Circle“-Sicherheitsansatzes. Die Kreise repräsentieren: (1) den Arbeitsraum des Menschen, (2) den Menschen mit voll ausgestreckten Armen (aggressiver Akt) und (3) einen fallenden Menschen (Unfall). Der Roboter wählt den entsprechenden Sicherheitskreis dynamisch basierend auf dem Kontext aus.
   • Menschliche Emotion ($e$): Beinhaltet das Motivationsniveau und das Aggressionsniveau, welche verborgene Zustände sind, die aus Beobachtungen abgeleitet werden.
   • Menschliche Aktivität ($h$) und Roboter-Aktivität ($b$): Repräsentieren die aktuelle Priorität und den Fortschritt der Aufgaben für beide Akteure.

2. Beobachtung und Inferenz: Da emotionale Zustände nicht direkt beobachtbar sind, nutzt das System einen Beobachtungsraum ($O$), der aus der menschlichen Körperposition, Gelenkwinkeln und Winkelgeschwindigkeiten (z. B. durch visuelle Sensoren) besteht. Das POMDP-Framework nutzt diese Beobachtungen, um einen Belief-Zustand (Wahrscheinlichkeitsverteilung über verborgene Zustände wie Motivation und Aggression) zu aktualisieren.

3. Entscheidungsvariablen: Der Aktionssatz des Roboters ($D$) umfasst:

   • Normaler Arbeitsmodus ($nw$).
   • Aufforderung an den Menschen, alleine zu arbeiten ($rh1$) oder kollaborativ ($rh2$).
   • Motivieren des Menschen ($mh$).
   • Verpflichtung zu einer Aufgabe ($ct$).
   • Anpassung der Distanz ($dp$ zum Vergrößern, $dm$ zum Verkleinern).
   • Nichts tun/Leerlaufmodus ($dn$).

4. Kostenfunktion: Die Zielfunktion ($J$) balanciert drei Ziele aus: Vermeidung von Kollisionen (Einhalten eines sicheren Abstands basierend auf Aggressionsleveln), effiziente Aufgabenbewältigung und Berücksichtigung menschlicher emotionaler Zustände. Die Kostenfunktion bestraft unsichere Distanzen, nicht zugewiesene Aufgaben, niedrige Motivation und falsche Aufgaben zuweisungen.

5. Lösungsansatz: Die Autoren verwenden Value Iteration, um den zugrunde liegenden MDP zu lösen und eine optimale Policy abzuleiten. Um die partielle Beobachtbarkeit zu handhaben, wird eine heuristische Aktionsselektionsmethode verwendet, bei der der Roboter Gewichte aus der Belief-Zustandsverteilung aggregiert, um die Aktion mit der höchsten kumulativen Wahrscheinlichkeit zu wählen, die optimal ist.

Zentrale Beiträge

• Tri-Circle-Sicherheitsmodell: Ein neuartiger Sicherheitsentscheidungsansatz, der die Sicherheitszone des Roboters dynamisch basierend auf drei distinkten menschlichen Szenarien (Arbeiten, Strecken, Fallen) anpasst, statt sich auf einen einzelnen statischen Sicherheitsradius zu verlassen.
• Emotionsbewusste MRK: Die Integration menschlicher emotionaler Zustände (Motivation und Aggression) in die Entscheidungsschleife, was es dem Roboter ermöglicht, sein Verhalten anzupassen (z. B. den Abstand zu vergrößern, wenn die Aggression hoch ist, oder den Menschen zu motivieren, wenn das Engagement gering ist).
• Bilaterale Intention Vorhersage: Im Gegensatz zu früheren Arbeiten, die sich primär auf die Detektion menschlicher Intention konzentrierten, nutzt dieses Framework ein POMDP, um die bilaterale Interaktion zu begründen, wobei menschliche Entscheidungen als exogene Ereignisse behandelt werden, während der Roboter seine eigene Policy optimiert, um eine sichere und reibungslose Kollaboration zu ermöglichen.
• Vereintes Framework: Die Kombination von Aufgabenmanagement, Sicherheitsbeschränkungen und emotionaler Argumentation innerhalb eines einzigen stochastischen Kontrollframeworks.

Ergebnisse
Das vorgeschlagene Framework wurde durch eine numerische Fallstudie in einem simulierten industriellen Szenario mit einem Menschen und einem Roboter validiert. Die Simulation führte drei sequentielle Aufgaben mit variierenden Prioritäten, Dauern und Kollaborationsanforderungen (kollaborativ, nur Mensch, nur Roboter) ein.

• Aufgabenausführung: Das System identifizierte erfolgreich optimale Policies, um Aufgaben in kürzester Zeit bei gleichzeitiger Einhaltung der Sicherheit auszuführen.
• Dynamische Anpassung: Die Ergebnisse zeigten die Fähigkeit des Roboters, sein Verhalten basierend auf der Art der Aufgabe anzupassen. Für kollaborative Aufgaben hielt der Roboter einen geringen Abstand (kleiner Sicherheitskreis) und motivierte den Menschen. Für Aufgaben, die nur vom Menschen zu erledigen waren, vergrößerte der Roboter den Abstand und motivierte den Menschen, bevor er die Aufgabe zuwies.
• Sicherheitsmanagement: Die Simulation zeigte, dass der Roboter die „Tri-Circle“-Sicherheitszonen effektiv verwaltet, indem er den Abstand vergrößerte, wenn der Mensch nicht an einer kollaborativen Aufgabe beteiligt war, und ihn reduzierte, wenn eine Kollaboration erforderlich war.
• Belief-Zustands-Updates: Das System konnte verborgene emotionale Zustände (Motivation und Aggression) basierend auf beobachteten menschlichen Geschwindigkeiten erfolgreich inferieren und den Belief-Zustand aktualisieren, um die Entscheidungsfindung zu steuern.

Bedeutung und Ansprüche
Das Paper behauptet, dass seine primäre Bedeutung darin liegt, die Lücke in der aktuellen MRK-Forschung zu schließen, die sich oft auf die Intentiondetektion konzentriert, ohne die stochastische Natur menschlicher Emotionen und die dynamischen Anforderungen an die Sicherheit angemessen zu berücksichtize. Durch die Nutzung eines POMDP bietet das Framework einen generalisierten Ansatz zur Handhabung von Unsicherheiten, die aus verborgenen menschlichen Handlungen und unvollkommenen Sensordaten resultieren. Die Autoren führen aus, dass dieser Ansatz die Sicherheit und Transparenz kollaborativer Roboter erhöht, indem er es ihnen ermöglicht, menschliche Handlungen zu antizipieren und ihr Verhalten in Echtzeit anzupassen. Die Studie kommt zu dem Schluss, dass die Einbeziehung sowohl der Roboterzustände als auch der unsicheren menschlichen emotionalen Zustände in eine einheitliche hierarchische Struktur eine umfassende Lösung für die dynamische Mensch-Roboter-Interaktion bietet, die über einfache Kollisionsvermeidung hinausgeht und hin zu einer proaktiven, emotionsbewussten Kollaboration führt.