RFM-HRI : A Multimodal Dataset of Medical Robot Failure, User Reaction and Recovery Preferences for Item Retrieval Tasks

Dit artikel introduceert de RFM-HRI-dataset, een multimodaal corpus dat de reacties van gebruikers op verschillende soorten robotfouten en hun voorkeuren voor herstelstrategieën tijdens medische item-ophaaltaken documenteert, met als doel de ontwikkeling van veiligheidsgerichte foutdetectie- en herstelmethodes in mens-robotinteractie te ondersteunen.

De kern

Stel je voor dat je in een drukke, stressvolle ziekenhuisafdeling staat. Je moet snel een medicijn vinden uit een speciale karretje (een "crash cart") dat vol zit met spullen. Plotseling komt er een robotkarretje naar je toe om je te helpen. Maar in plaats van je direct naar de juiste lade te wijzen, zegt de robot: "Open de lade." (zonder te zeggen welke), of hij doet alsof hij je niet begrijpt, of hij wijst je naar de verkeerde lade.

Wat doe jij dan? Raak je in paniek? Word je boos? Of probeer je gewoon rustig te blijven?

Dit is precies waar dit onderzoek over gaat. De auteurs hebben een nieuwe dataset gemaakt, genaamd RFM-HRI. Dit is een soort "digitair spiegelbeeld" van wat er gebeurt als robots in het ziekenhuis het even niet goed doen en hoe mensen daarop reageren.

Hier is een eenvoudige uitleg van wat ze hebben gedaan en wat ze hebben ontdekt, met een paar creatieve vergelijkingen:

1. Het Experiment: De "Pijnlijke" Robot

De onderzoekers hebben 41 mensen (zowel verpleegkundigen als gewone mensen) gevraagd om een taak te doen: items zoeken in een robotkarretje. Ze hebben dit gedaan in een laboratorium en in een echt ziekenhuis.

Om te zien hoe mensen reageren op fouten, hebben ze de robot expres laten "struikelen". Ze noemen dit een Wizard-of-Oz studie. Dat klinkt als magie, maar het betekent simpelweg: er zat een mens achter de schermen die de robot bediende. De proefpersonen dachten dat de robot zelfstandig werkte, maar de mens achter de scherm zorgde ervoor dat de robot soms de verkeerde dingen zei of deed.

Ze lieten de robot vier soorten fouten maken:

• Spraak-fout: De robot zegt iets vaags (bijv. "Doe de lade open" zonder te zeggen welke).
• Tijds-fout: De robot doet alsof hij nadenkt en laat je 3 seconden wachten (in een noodsituatie is dat eeuwig!).
• Zoek-fout: De robot wijst je naar de verkeerde lade.
• Begrip-fout: De robot zegt: "Ik snap je niet," terwijl je heel duidelijk was.

2. De Camera's en De "Gevoelsmeter"

Tijdens deze interacties hielden ze alles bij. Ze hadden camera's die keken naar:

• Het gezicht: Zie je de wenkbrauwen fronsen? (Net als wanneer je een raadsel probeert op te lossen).
• De kop: Kijkt de persoon verward om zich heen?
• De stem: Wat zeggen ze?

Na elke ronde kregen de mensen een vragenlijst. Ze mochten zeggen hoe ze zich voelden (bijv. "Ik ben gefrustreerd" of "Ik heb het onder controle") en wat ze graag van de robot hadden willen zien om de fout te herstellen.

3. Wat Vonden Ze? (De Verassende Resultaten)

De Emotionele Reis
Stel je voor dat de robot een slechte danspartner is. Als hij de dansstappen niet goed doet, voel je je eerst verward ("Hé, waar gaan we naartoe?"). Maar als hij het blijft doen, verandert dat in frustratie en irritatie.

• Bij succes: Mensen voelden zich verrast, opgelucht en zeker.
• Bij fouten: Mensen voelden zich vooral verward, geïrriteerd en gefrustreerd.
• De tijd-factor: Hoe langer de sessie duurde en hoe vaker de robot een fout maakte, hoe minder verward de mensen werden, maar hoe bozer ze werden. Het is alsof je eerst denkt: "Oh, hij is nog nieuw," en later denkt: "Oh man, doe het nou gewoon goed!"

Wat willen mensen dat de robot doet?
Dit is het belangrijkste stukje. Als de robot een fout maakt, wat willen mensen dan?

• Ze willen praten! 64% van de mensen wilde dat de robot verbaal excuses bood en uitleg gaf. Ze wilden horen: "Sorry, ik bedoelde lade 4, niet lade 2."
• Lichtjes alleen zijn niet genoeg. Mensen wilden niet alleen dat een lampje oplichtte. Ze wilden een duidelijke uitleg.
• Transparantie is koning. Mensen wilden dat de robot eerlijk zei: "Ik heb een fout gemaakt" en daarna direct de oplossing gaf.

4. Waarom is dit belangrijk?

Vroeger dachten veel robotontwikkelaars: "Als de robot maar snel genoeg is, is het goed." Of ze dachten: "Als de robot een lampje laat knipperen, begrijpt de mens het wel."

Deze studie zegt: Nee, dat werkt niet in stressvolle situaties.
In het ziekenhuis, waar tijd cruciaal is en fouten levens kunnen kosten, willen mensen dat de robot:

1. Eerlijk is over zijn fouten.
2. Duidelijk uitlegt wat er misging.
3. Direct helpt om het goed te maken.

Conclusie: De Robot als Goede Danspartner

Deze dataset (RFM-HRI) is als een groot leerboek voor robotontwikkelaars. Het laat zien dat robots niet alleen "slim" moeten zijn in hun berekeningen, maar ook "sociaal" moeten zijn in hun reactie op fouten.

Als een robot in het ziekenhuis struikelt, moet hij niet stil blijven staan en wachten tot iemand hem helpt. Hij moet zeggen: "Oeps, ik heb de verkeerde lade aangewezen, sorry! Kijk maar hier, het zit in lade 4." Op die manier blijft de mens kalm, blijft het vertrouwen bestaan, en kan de patiënt geholpen worden.

Kortom: Een robot die fouten maakt, is oké. Een robot die niet weet hoe hij die fouten moet herstellen, is gevaarlijk. En deze studie helpt ons te leren hoe die robots het beste kunnen herstellen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "RFM-HRI: A Multimodal Dataset of Medical Robot Failure, User Reaction and Recovery Preferences for Item Retrieval Tasks", geschreven in het Nederlands.

Probleemstelling

Hoewel robots in real-world omgevingen onvermijdelijk interactiefouten ervaren, blijft het begrijpen van hoe gebruikers hierop reageren via verbale en non-verbale gedragingen onderbelicht in Human-Robot Interaction (HRI) onderzoek. Deze kennislacune is kritiek in zorginstellingen, waar interactiefouten direct van invloed kunnen zijn op taakprestaties en gebruikersvertrouwen. Bestaande datasets focussen vaak op sociale of conversatieve contexten en missen vaak:

1. Data uit veiligheidskritieke werkplekken (zoals spoedeisende zorg).
2. Gekoppelde annotaties van foutgebeurtenissen en de voorkeuren van gebruikers voor herstelstrategieën.
3. Systematisch onderzoek naar herstelstrategieën voor specifieke fouttypes in fysiek verankerde zorgscenario's.

Het doel van dit werk is om deze lacune op te vullen door een gestructureerde dataset te creëren die robotfouten, gebruikersreacties en voorkeuren voor herstel in een medische context vastlegt.

Methodologie

De auteurs hebben een Wizard-of-Oz (WoZ) studie uitgevoerd om de RFM-HRI dataset te genereren.

• Opdracht en Platform: De studie richtte zich op het ophalen van items uit een "crash cart" (een noodwagentje met medicijnen en apparatuur). Een semi-autonome robot (omgebouwde crash cart) gaf verbale instructies en visuele hints (LED-verlichting) om gebruikers naar specifieke items te leiden.
• Deelnemers: 41 deelnemers (29 in een laboratorium, 12 in een ziekenhuisomgeving), bestaande uit zowel medische professionals (verpleegkundigen, artsen) als niet-experts.
• Foutinjectie: Er werden vier specifieke types communicatiefouten systematisch geïntroduceerd tijdens de interactie, gebaseerd op drie jaar veldobservaties:
  1. Spraakfout (Speech): Onvolledige instructies (bijv. "Open de lade" zonder specificatie).
  2. Tijdfout (Timing): Een opzettelijke vertraging van 3 seconden voordat er gereageerd werd.
  3. Zoekfout (Search): De robot gaf de verkeerde locatie aan (via spraak en LED).
  4. Begripsfout (Comprehension): De robot gaf aan de vraag niet te begrijpen zonder verdere hulp.
  • Er was ook een succesvolle (foutloze) voorwaarde als controlegroep.
• Dataverzameling: Voor elke proef (trial) werden multimodale data opgenomen:
  • Visueel: Ego-centrische video van de gebruiker, verwerkt tot gezichtspunten (MediaPipe), hoofdpositie, blikrichting en gezichtsbewegingen (Facial Action Units - AUs).
  • Auditief: Spraaktranscripties (via Whisper ASR).
  • Subjectief: Post-interactie enquêtes over emotionele reacties (gebruikmakend van de Self-Assessment Manikin voor valentie, arousal en controle) en voorkeuren voor herstelstrategieën.
• Dataset: De dataset bevat 214 interactiestalen van 41 deelnemers.

Belangrijkste Bijdragen

1. RFM-HRI Dataset: Een openbaar beschikbare, multimodale dataset met 214 samples die synchrone gezichtsuitdrukkingen, hoofdpositie, spraaktranscripties en zelfrapportages bevat van gebruikersreacties op robotfouten in een medische context.
2. Analyse van Gebruikersreacties: Een empirische analyse van hoe gebruikers reageren op verschillende fouttypes en welke herstelstrategieën zij prefereren.
3. Nieuw HRI-scenario: Een realistisch scenario voor het ophalen van items uit een crash cart, dat systematische vergelijkingen van herstelstrategieën mogelijk maakt in veiligheidskritieke omgevingen.

Resultaten

De analyse van de dataset leverde de volgende inzichten op:

• Emotionele Reacties:
  • Fouten leiden significant tot negatieve affectieve waarden (valentie) en een verlaagd gevoel van controle in vergelijking met succesvolle interacties.
  • Fouten worden geassocieerd met verwarring (confusion), ergernis (annoyance) en frustratie.
  • Succesvolle interacties worden gekenmerkt door verrassing, opluchting en vertrouwen.
  • Tijdseffect: Bij herhaalde fouten neemt verwarring af, maar neemt frustratie toe. Gebruikers gaan van onzeker naar geïrriteerd naarmate de sessie vordert.
• Affectieve Dimensies (SAM-schaal):
  • Er is een sterke negatieve correlatie tussen valentie en het gevoel van controle. Fouten verminderen het gevoel van controle aanzienlijk.
  • Fouten veroorzaken een hogere arousal (opwinding) en een negatievere ervaring.
• Herstelpreferenties:
  • Gebruikers tonen een sterke voorkeur voor verbale herstelstrategieën (63,9% van de vermeldingen).
  • De meest gewenste strategieën zijn: verduidelijking vragen, zelfcorrectie/erkenning van de fout, en specifieke herleiding (bijv. "Ik bedoelde lade 4").
  • Non-verbale en multimodale strategieën werden veel minder vaak gekozen, hoewel transparantie en erkenning cruciaal zijn.
  • De voorkeur voor herstelstrategieën varieerde niet significant per fouttype, wat suggereert dat universele principes (transparantie, erkenning) belangrijker zijn dan fout-specifieke tactieken.

Betekenis en Toekomstperspectief

Dit werk biedt een fundamentele basis voor de ontwikkeling van robuuste herstelmechanismen in HRI, met name in de zorg.

• Ontwerpimplicaties: Robots moeten fouten niet alleen fysiek herstellen, maar ook expliciet en transparant communiceren (verbale erkenning + actiegericht advies). Alleen verontschuldigen of non-verbale signalen zijn onvoldoende.
• Toekomstig Onderzoek: De dataset stelt onderzoekers in staat om classifiers te trainen die fouten detecteren op basis van gezichtsuitdrukkingen en spraak, en adaptieve herstelbeleid te ontwikkelen die rekening houdt met de toestand van de gebruiker.
• Beperkingen: De studie gebruikte een WoZ-protocol (geen volledig autonome robot) en beperkte zich tot communicatiefouten, niet tot fysieke navigatiefouten. Toekomstig werk moet longitudinale effecten van fouten op vertrouwen in klinische teams onderzoeken.

Samenvattend, RFM-HRI is een cruciale resource om robots veiliger en betrouwbaarder te maken in hoog-risico omgevingen door inzicht te geven in de menselijke reactie op falen en de voorkeuren voor herstel.