RFM-HRI : A Multimodal Dataset of Medical Robot Failure, User Reaction and Recovery Preferences for Item Retrieval Tasks

Die Studie stellt den multimodalen RFM-HRI-Datensatz vor, der menschliche Reaktionen und Wiederherstellungspräferenzen bei Fehlern medizinischer Roboter während der Entnahme von Gegenständen erfasst, um die Grundlage für zuverlässigere Fehlererkennung und -behebung in sicherheitskritischen HRI-Szenarien zu schaffen.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschung, als würde man sie einem Freund beim Kaffee erzählen:

Das große Problem: Wenn der Roboter im Krankenhaus "vergisst"

Stell dir vor, du bist in einer stressigen Notaufnahme. Du brauchst dringend ein bestimmtes Medikament, das in einem speziellen Wagen (einem "Crash Cart") liegt. Normalerweise müsstest du selbst suchen, aber diesmal hilft dir ein Roboter. Er soll dir sagen, in welcher Schublade das Medikament ist.

Aber was passiert, wenn der Roboter nicht perfekt ist? Was, wenn er vergisst, welche Schublade er meint? Oder wenn er zu lange braucht, um zu antworten? Oder wenn er einfach nicht versteht, was du sagst?

Genau das untersuchen die Forscher in diesem Papier. Sie haben einen Datensatz namens RFM-HRI erstellt. Das ist wie ein riesiges Video-Archiv, das zeigt, wie Menschen reagieren, wenn ein medizinischer Roboter einen Fehler macht.

Die Idee: Ein "Zauberer im Hintergrund"

Um zu testen, wie Menschen auf Fehler reagieren, haben die Forscher einen Trick benutzt: den "Wizard-of-Oz"-Ansatz.
Stell dir vor, du sitzt vor einem Roboterwagen, der wie ein selbstständiger Computer aussieht. Aber in Wirklichkeit sitzt ein Mensch (der "Zauberer") direkt hinter dem Roboter und steuert ihn per Fernbedienung.

• Der Roboter tut so, als wäre er intelligent.
• Der Zauberer entscheidet: "Heute macht der Roboter einen Fehler!"
• Dann lässt der Zauberer den Roboter absichtlich verwirrende Dinge sagen oder die falsche Schublade aufleuchten.

Die Teilnehmer wussten davon nichts. Sie dachten wirklich, der Roboter sei autonom. So konnten die Forscher genau beobachten, wie die Menschen reagierten, als sie dachten, der Roboter habe einen echten Fehler gemacht.

Was ist passiert? (Die vier Fehler-Typen)

Die Forscher haben vier Arten von "Störungen" simuliert, die im echten Leben passieren könnten:

1. Die "Vage-Antwort"-Falle (Sprach-Fehler): Der Roboter sagt nur: "Öffne die Schublade." Aber er sagt nicht, welche! (Stell dir vor, du fragst jemanden: "Wo ist der Zucker?" und er antwortet nur: "Dort drüben." ohne zu zeigen, wo.)
2. Die "Langweiler"-Falle (Zeit-Fehler): Der Roboter antwortet erst nach 3 Sekunden. In einer Notaufnahme ist jede Sekunde wichtig. Das nervt.
3. Die "Falsch-versteht"-Falle (Such-Fehler): Der Roboter zeigt auf die falsche Schublade. Er sagt: "Das Medikament ist in Schublade 1", aber es ist in Schublade 3.
4. Die "Ich-verstehe-nichts"-Falle (Verständnis-Fehler): Der Roboter sagt: "Ich habe dich nicht verstanden", obwohl du ganz klar gesprochen hast.

Was haben die Menschen getan? (Die Gefühle)

Die Forscher haben die Gesichter der Teilnehmer aufgezeichnet (wie bei einem Emotion-Scanner) und sie danach gefragt, wie sie sich fühlten.

• Bei Erfolg: Wenn der Roboter alles richtig machte, fühlten sich die Leute erleichtert, zuversichtlich und manchmal sogar überrascht (im positiven Sinne).
• Bei Fehlern: Wenn der Roboter einen Fehler machte, kamen sofort Verwirrung, Ärger und Frustration.
  • Die spannende Erkenntnis: Am Anfang waren die Leute eher verwirrt ("Was macht er da?"). Aber je öfter der Roboter einen Fehler machte, desto mehr wurden sie frustriert ("Hör auf damit!"). Die Frustration stieg mit jedem Fehler an.

Was wollten die Leute, dass der Roboter tut? (Die Lösung)

Das Wichtigste an der Studie ist, was die Teilnehmer wollten, als der Roboter einen Fehler machte. Sie sollten sich aussuchen, wie der Roboter sich "entschuldigen" oder den Fehler korrigieren sollte.

• Die klare Antwort: Die Menschen wollten nicht, dass der Roboter nur mit Lichtern blinkt oder nur mit dem Kopf nickt.
• Der Wunsch: Sie wollten, dass der Roboter spricht und klar erklärt, was passiert ist.
  • Beispiel: Statt nur auf die richtige Schublade zu zeigen, sollte der Roboter sagen: "Entschuldigung, ich habe mich vertan. Das Medikament ist eigentlich in Schublade 4."

Fast 64 % der Leute wollten eine verbale Entschuldigung und Erklärung. Sie wollten Transparenz. Sie wollten wissen: "Der Roboter hat einen Fehler gemacht, aber er weiß es jetzt und korrigiert es."

Warum ist das wichtig?

Stell dir vor, du fährst ein Auto, das selbstständig fährt. Wenn es einen Fehler macht, willst du nicht nur, dass es kurz zögert. Du willst, dass es sagt: "Entschuldigung, ich habe das Stoppschild übersehen, ich bremse jetzt."

Diese Studie zeigt uns:

1. Fehler sind unvermeidbar: Roboter werden in Krankenhäusern Fehler machen.
2. Unsere Gefühle ändern sich: Wir werden von verwirrt zu frustriert, wenn Fehler oft passieren.
3. Sprache ist der Schlüssel: Wenn ein Roboter einen Fehler macht, hilft es am meisten, wenn er laut und klar darüber spricht, statt nur zu blinken.

Zusammenfassung in einem Satz

Die Forscher haben gezeigt, dass wenn ein Roboter im Krankenhaus einen Fehler macht, die Menschen am glücklichsten sind, wenn der Roboter sich laut entschuldigt, den Fehler zugibt und genau erklärt, wie es weitergeht – ganz ähnlich wie ein guter menschlicher Kollege, der sich bei einem Missverständnis sofort klar und ehrlich verhält.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „RFM-HRI: A Multimodal Dataset of Medical Robot Failure, User Reaction and Recovery Preferences for Item Retrieval Tasks" auf Deutsch:

1. Problemstellung

Der Einsatz autonomer Roboter in realen Umgebungen, insbesondere im hochkritischen Gesundheitswesen (z. B. Notfallmedizin), ist unvermeidlich mit Interaktionsfehlern verbunden. Bisherige Forschung im Bereich der Mensch-Roboter-Interaktion (HRI) hat sich jedoch stark auf soziale Umgebungen oder asynchrone Videoauswertungen konzentriert und vernachlässigt oft stressbelastete Arbeitsumgebungen wie Krankenhäuser.
Es besteht eine signifikante Lücke im Verständnis, wie Nutzer auf Roboterfehler in sicherheitskritischen Szenarien reagieren (verbal und non-verbal) und welche Wiederherstellungsstrategien (Recovery Strategies) sie bevorzugen. Insbesondere fehlen multimodale Datensätze, die technische Fehlerinduktion mit den emotionalen und verhaltensbezogenen Reaktionen der Nutzer in physisch verankerten medizinischen Aufgaben (wie dem Auffinden von Medikamenten auf einem Notfallwagen) verknüpfen.

2. Methodik

Studiendesign und Setting:

• Plattform: Ein halbautonomer „Crash Cart"-Roboter (Notfallwagen), der mit multimodalen Rückmeldungen (Sprache, LED-Lichter) ausgestattet ist.
• Aufgabe: Geführtes Auffinden von Gegenständen (Item Retrieval) in den Schubladen des Wagens unter Zeitdruck.
• Setting: Die Datenerhebung erfolgte in zwei Umgebungen: einem kontrollierten Labor (mit Proxy-Objekten) und einem klinischen Trainingsbereich eines Krankenhauses (mit echten medizinischen Vorräten).
• Teilnehmer: 41 Teilnehmer (12 medizinisches Fachpersonal, 29 Laien) wurden rekrutiert.
• Methode: Wizard-of-Oz (WoZ) Studie. Ein menschlicher Operator steuerte den Roboter in Echtzeit über eine benutzerdefinierte GUI, während die Teilnehmer glaubten, der Roboter handele autonom.

Fehlerinduktion (Failure Injection):
Basierend auf drei Jahren Feldbeobachtungen wurden vier spezifische Fehlerkategorien systematisch induziert:

1. Sprachfehler (Speech Failure): Unvollständige oder mehrdeutige Anweisungen (z. B. „Öffne die Schublade" ohne Angabe welcher).
2. Zeitfehler (Timing Failure): Verzögerte Antworten (3 Sekunden Pause) vor der Korrektur.
3. Suchfehler (Search Failure): Der Roboter weist auf die falsche Schublade hin (falsche LED und falsche Sprachansage).
4. Verstehensfehler (Comprehension Failure): Der Roboter signalisiert, dass er die Anfrage nicht verstanden hat, ohne weitere Hilfe zu bieten.

Datenerfassung und Annotation:

• Multimodale Daten: Für 214 Interaktionsproben wurden synchronisierte Daten aufgezeichnet:
  • Visuell: Gesichtsausdrücke (Action Units via MediaPipe), Kopfposition, Blickrichtung (Gaze).
  • Auditiv: Transkripte der Sprachinteraktion (Whisper-Modell).
  • Subjektiv: Post-Interaktions-Fragebögen (Self-Assessment Manikin - SAM für Valenz, Erregung, Kontrolle; Auswahl der dominanten Emotion; Präferenz für Wiederherstellungsstrategien).
• Annotation: Fehler wurden manuell durch Forscher basierend auf Systemprotokollen und Videoaufnahmen annotiert.

3. Hauptbeiträge

1. RFM-HRI Datensatz: Ein öffentlich verfügbarer, multimodaler Datensatz mit 214 Proben von 41 Teilnehmern. Er enthält synchronisierte Daten zu Gesichtsausdrücken, Kopfpose, Sprache und subjektiven Berichten über emotionale Reaktionen und Wiederherstellungspräferenzen.
2. Analyse von Fehlerreaktionen: Eine empirische Untersuchung, wie Nutzer auf verschiedene Fehlerarten reagieren. Die Studie zeigt, dass Fehler signifikant die emotionale Valenz verschlechtern und das wahrgenommene Kontrollgefühl reduzieren.
3. Szenario für medizinische Aufgaben: Ein realistisches Szenario (Notfallwagen), das systematische Vergleiche von Wiederherstellungsstrategien ermöglicht und Implikationen für sicherheitskritische Anwendungen liefert.

4. Ergebnisse

Emotionale Reaktionen:

• Dominante Emotionen bei Fehlern: Verwirrung (Confusion), Ärger (Annoyance) und Frustration dominieren bei Fehlversuchen.
• Emotionen bei Erfolg: Überraschung, Erleichterung und Selbstvertrauen sind charakteristisch für erfolgreiche Interaktionen.
• Statistische Signifikanz: Es besteht ein starker Zusammenhang zwischen dem Interaktionsergebnis (Erfolg vs. Fehler) und den berichteten Emotionen (Chi-Quadrat-Test, p < .001).
• Zeitlicher Verlauf: Bei wiederholten Fehlern nimmt die Verwirrung ab, während die Frustration mit der Zeit zunimmt.

Affektive Bewertung (SAM-Skala):

• Fehlerhafte Interaktionen führen zu einer signifikant negativeren Valenz, höherer Erregung (Arousal) und einem deutlich reduzierten Gefühl der Kontrolle im Vergleich zu erfolgreichen Interaktionen.
• Es besteht eine negative Korrelation zwischen negativer Valenz und dem Gefühl der Kontrolle.

Wiederherstellungspräferenzen (Recovery Preferences):

• Sprachliche Dominanz: 63,9 % der Teilnehmer bevorzugten verbale Wiederherstellungsstrategien (z. B. explizite Entschuldigung, Klärung, Umleitung).
• Non-verbale/Multimodale Strategien: Diese wurden deutlich seltener gewählt (32,5 % non-verbal, 3,6 % multimodal).
• Inhaltliche Präferenzen: Die am häufigsten gewünschten Strategien waren „Klärende Aufforderungen" (z. B. Wiederholung der Anfrage) und „Selbstkorrektur mit Anerkennung des Fehlers".
• Fazit: Nutzer bevorzugen Transparenz und klare verbale Anweisungen, auch wenn der Roboter physische Handlungen ausführt.

5. Bedeutung und Implikationen

• Für die HRI-Forschung: Der Datensatz schließt eine Lücke, indem er Fehlerreaktionen in sicherheitskritischen, physischen Umgebungen dokumentiert, im Gegensatz zu rein konversationellen oder sozialen Szenarien.
• Design-Implikationen: Roboter in kritischen Umgebungen sollten Fehler nicht nur erkennen, sondern transparent kommunizieren. Die Kombination aus verbaler Entschuldigung/Klärung und visuellen Hinweisen (z. B. LEDs) scheint am effektivsten, obwohl Nutzer primär verbale Lösungen bevorzugen.
• Zukünftige Anwendungen: Der Datensatz bildet die Grundlage für das Training von Klassifikatoren zur automatischen Fehlererkennung basierend auf multimodalen Signalen (Gesicht, Sprache) und für die Entwicklung adaptiver Wiederherstellungssysteme, die auf den Zustand des Nutzers eingehen.
• Einschränkungen: Die Studie basierte auf einer WoZ-Simulation (keine echten autonomen Fehler) und einer einmaligen Interaktion. Langzeiteffekte auf das Vertrauen und die Anpassung an wiederkehrende Fehler in echten klinischen Abläufen bleiben weiter zu untersuchen.

Zusammenfassend liefert RFM-HRI eine empirische Basis, um Roboter so zu gestalten, dass sie Fehler nicht nur technisch beheben, sondern die menschliche Interaktion durch angemessene, transparente und nutzerzentrierte Wiederherstellungsstrategien wiederherstellen können.