Longitudinal Robot Learning from Demonstration with Care Providers in a Home Environment

Technisches Resümee: Longitudinale Robotik-Lernverfahren durch Demonstration mit Pflegekräften in einer häuslichen Umgebung

Problemstellung
Das Lernen durch Demonstration (Learning from Demonstration, LfD) ermöglicht es nicht-expertenbasierten Nutzern, Robotern neue Fähigkeiten beizubringen, ohne dass eine explizite Programmierung erforderlich ist. Die derzeitigen Usability-Evaluierungen von LfD mit Nicht-Experten werden jedoch überwiegend in kontrollierten Laborumgebungen unter Anwesenheit eines Robotik-Experimentators durchgeführt. Dies schafft eine Lücke im Verständnis der Barrieren, denen nicht-expertenbasierte Endnutzer beim Unterrichten von Robotern in unstrukturierten, dynamischen häuslichen Umgebungen ohne Live-Expertenfeedback gegenüberstehen. Darüber hinaus deutet vorangegangene Forschung darauf an, dass sich Demonstranten über mehrere Sitzungen hinweg verbessern, doch es mangelt an longitudinalen Daten darüber, wie sich Nicht-Experten – insbesondere Pflegekräfte – im Laufe der Zeit an das Unterrichten assistiver Aufgaben in realistischen häuslichen Umgebungen anpassen.

Methodik
Die Autoren schlagen ein Experiment mit menschlichen Probanden vor, das über drei Besuche im „Georgia Tech Aware Home“, einer authentischen häuslichen Umgebung, durchgeführt wird. Die Studie richtet sich an eine Gruppe von Pflegekräften (sowohl formell, wie Pflegepersonal und Therapeuten, als auch informell, wie Familienmitglieder) ohne vorherige Erfahrung in Robotik oder Informatik.

• Systemarchitektur:

  • Perzeption: Das System verarbeitet RGB-D-Streams einer Intel RealSense Kamera unter Verwendung von YOLOE zur Objekterkennung und -segmentierung. Tiefenmessungen werden in 3D-Punktwolken zurückprojiziert, und Objektposen werden mittels Iterative Closest Point (ICP) Registrierung gegen vordefinierte Formen geschätzt.
  • Lernalgorithmus: Der Roboter nutzt kartesische probabilistische Bewegungsprimitiven (ProMPs) über Endeffektor- und verfolgte Objektposen. ProMPs wurden aufgrund ihrer Fähigkeit ausgewählt, aus begrenzten Demonstrationen zu lernen, schnelle Trainingszeiten zu ermöglichen und eine höhere Robustheit gegenüber wechselnden Objektposen im Vergleich zu Behavior Cloning oder Vision-Language-Action-Modellen zu bieten.
  • Schnittstelle: Eine interaktive Schnittstelle ermöglicht es den Teilnehmern, Aufgaben in Low-Level-Skills zu zerlegen, diese zu demonstrieren und Skill-„Rezepte“ zu erstellen.

• Experimentelle Bedingungen:
  Die Studie verwendet ein Between-Subjects-Design mit zwei Bedingungen:

  1. PT+AF-Bedingung: Die Teilnehmer erhalten in Besuch 1 ein Pre-Training (PT), bei dem sie versuchen, Aufgaben zu zerlegen, und Videos optimaler Zerlegungen sowie Experten-Demonstrationen ansehen. Danach erhalten sie in den Besuchen 2 und 3 ein Adaptives Feedback (AF).
  2. AF-Bedingung: Die Teilnehmer überspringen Besuch 1 und erhalten in den Besuchen 2 und 3 nur AF.

• Feedback-Mechanismen (AF):

  • Foundation Model (FM) Feedback: Bietet Anleitung zur Generalisierbarkeit der Aufgabenzerlegung. Ein iteratives Klärungsmodul hilft Novizen dabei, Domänen und Aufgaben mit ausreichender Detailtiefe zu definieren.
  • Real Robot Replay (RRR): Der Roboter führt die gelernte Policy in der physischen Umgebung zur Beobachtung durch den Nutzer aus.
  • Augmented Reality (AR) Feedback: Der Roboter führt die Policy in AR aus, was es den Nutzern ermöglicht, Leistung und Generalisierbarkeit zu visualisieren, ohne physische Risiken oder zeitaufwendige Interaktionen einzugehen.

• Ablauf:

  • Besuch 1: Teilnehmer der PT-Bedingung lehren Aufgaben in vordefinierten Domänen (z. B. Stapeln von Tupperware).
  • Besuch 2: Teilnehmer lehren zusätzliche Aufgaben in neuen Domänen mit allen drei verfügbaren AF-Typen.
  • Besuch 3: Teilnehmer definieren benutzerdefinierte Domänen und Aufgaben mit verfügbarem AF.
  • Metriken: Die Studie evaluiert den Prozentsatz der Aufgabenabgeschlossenheit, die Übereinstimmung zwischen vorhergesagter und tatsächlicher Roboterleistung sowie Nutzererlebnis-Metriken (Usability, Akzeptanz, erlernte Vertrauenswürdigkeit und Arbeitsbelastung). Die statistische Analyse erfolgt mittels multipler linearer Regressionen mit gemischten Effekten.

Wesentliche Beiträge

1. Experimentelles Design: Das Paper schlägt ein Experiment mit menschlichen Probanden vor, das darauf ausgelegt ist, die Herausforderungen und Chancen beim Einsatz von LfD-Systemen mit nicht-expertenbasierten Endnutzern in einer häuslichen Umgebung zu charakterisieren, wobei speziell Pre-Training und adaptives Feedback genutzt werden.
2. Datensatz-Veröffentlichung: Die Autoren schlagen vor, einen longitudinalen Datensatz Open-Source bereitzustellen, der Pflegekräfte umfasst, die einem Roboter assistive Aufgaben beibringen. Dieser Datensatz enthält natürliche Sprachbeschreibungen, Punktwolken, Endeffektor-/Gelenktrajektorien, Audio- und Videomaterial (egozentrisch und exozentrisch). Er zielt darauf ab, bestehende Datensätze wie MIME und RoboPro durch realistische, longitudinale assistive Aufgaben zu ergänzen.

Ergebnisse und Ausgänge
Da dieses Paper ein vorgeschlagenes Studium und einen Datenerfassungsrahmen skizziert, berichtet es keine abschließenden statistischen Ergebnisse oder spezifischen Leistungsmetriken des abgeschlossenen Experiments. Stattdessen beschreibt der Abschnitt „Outcomes“ die beabsichtigten Ergebnisse:

• Die Veröffentlichung des longitudinalen Datensatzes, um ein standardisiertes Benchmarking für interaktive Robotik-Lernalgorithmen zu ermöglichen.
• Die Berichterstattung über Human-Factors-Erkenntnisse in Bezug auf die drei Forschungsfragen (Unterschiede in der Aufgabenleistung, Vorhersage-Übereinstimmung und Nutzererfahrung).
• Der Vorschlag von Design-Richtlinien für Forscher und Praktiker, die LfD-Systeme in häuslichen Umgebungen für assistive Aufgaben einsetzen, speziell zugeschnitten auf Pflegekräfte und die longitudinale Datenerhebung.

Bedeutung
Das Paper beansprucht Bedeutung durch die Adressierung der „ökologischen Validität“ der LfD-Forschung. Durch den Wechsel von Laborumgebungen zu einer realistischen häuslichen Umgebung und den Fokus auf eine longitudinale Studie mit Pflegekräften versucht die Arbeit, die spezifischen Barrieren zu identifizieren, denen Nicht-Experten beim Unterrichten von Robotern ohne Live-Expertenfeedback begegnen. Der resultierende Datensatz und die Design-Richtlinien sollen die Entwicklung robusterer, personalisierterer und benutzerfreundlicherer assistiver Robotik unterstützen, die sich an unstrukturierte menschliche Umgebungen anpassen kann.