Technische Samenvatting: REPAIR-Bench

Probleemstelling

Hoewel robots steeds vaker worden ingezet in omgevingen met een hoog risico, zoals spoedeisende hulpafdelingen, blijven ze vatbaar voor fouten veroorzaakt door perceptiefouten, tijdsdruk of omgevingsonzekerheid. Het karakteriseren van deze fouten en de reacties van gebruikers is cruciaal voor het behoud van vertrouwen en taakvoltooiing. Bestaande Human-Robot Interaction (HRI) benchmarks kampen echter met drie primaire beperkingen:

1. Onafhankelijkheidsaanname: Eerder werk behandelt fouten vaak als onafhankelijke gebeurtenissen, waardoor het falen van het modelleren van de cross-trial geschiedenis of de accumulatie van gebruikersadaptatie over herhaalde fouten wordt nagelaten.
2. Binaire Beperkingen: De meeste datasets ondersteunen alleen binaire foutdetectie (succes/falen) in plaats van multi-class foutcategorisering.
3. Regelgebaseerd Herstel: Herstelstrategieën zijn doorgaans door onderzoekers gedefinieerd in plaats van voorspeld op basis van gebruikersgedrag, waardoor er een gebrek is aan een framework om de door de gebruiker geprefereerde herstelmethoden af te leiden uit de interactiecontext.

Er is een gebrek aan geïntegreerde benchmarkframeworks die foutdetectie, begrip en herstelbesluitvorming binnen één evaluatieomgeving verbinden.

Methodologie

De auteurs introduceren REPAIR-Bench, een multimodale benchmark gebouwd op de RFM-HRI dataset, die interacties vastlegt tussen gebruikers en een semi-autonome medische crash-cart robot in zowel laboratorium- als ziekenhuisomgevingen.

Dataset en Preprocessing

• Databron: 214 interactietrials van 41 deelnemers met betrekking tot vier geïnduceerde fouttypen (spraak, timing, begrip, zoeken) en één succesconditie.
• Modaliteiten: De dataset bevat gesynchroniseerde video, audio en taaktranscripten.
• Feature Extractie:
  • Visueel: Facial Action Units (AUs), 3D hoofdhouding, blikschattingen (gaze) en gezichtskenmerken geëxtraheerd via Google MediaPipe.
  • Audio/Tekst: Tijdgestempelde spraaktranscripten via Whisper ASR.
  • Ground Truth: Post-interactie enquêtes die emotionele reacties en geprefereerde herstelstrategieën vastleggen.
• Preprocessing: De auteurs hebben de foutannotaties gestandaardiseerd met precieze onset/offset tijdstempels. Visuele kenmerken werden gefilterd (Butterworth-filter) en genormaliseerd. Transcripten werden opgeschoond voor herstelmodellering door tijdstempels te verwijderen om de focus op de dialooginhoud te leggen.
• Eindset: Na het uitsluiten van 30 monsters met inconsistente transcripten of tijdstempels, bestaat de analyseet uit 184 monsters.

Evaluatietaken

REPAIR-Bench definieert drie nieuwe evaluatietaken:

1. Taak 1: Temporele Foutdetectie

   • Doel: Detecteren op welk moment de respons van een robot faalt op basis van de gedragsreacties van de gebruiker, rekening houdend met cross-trial afhankelijkheden.
   • Input: Sequentiële visuele kenmerken (AUs, landmarks, pose, gaze) in sliding windows.
   • Architectuur: Een twee-niveau Hierarchical Recurrent Neural Network (HRNN) gebruikmakend van Gated Recurrent Unit (GRU) cellen. Het model verwerkt window-level kenmerken en behoudt een session-level geschiedenisvector die na elke trial wordt bijgewerkt om longitudinale gebruikersadaptatie te vangen.
   • Output: Binaire pre/post-fout labels per window en een schatting van het temporele transitiemoment.

2. Taak 2: Foutclassificatie

   • Doel: Onderscheid maken tussen specifieke foutcategorieën (begrip, spraak, timing, zoeken) en succes met behulp van visuele cues.
   • Architectuur: Een session-aware temporeel model dat een bidirectional LSTM combineert voor frame-wise encoding en een unidirectional GRU voor het verwerken van trial embeddings in chronologische volgorde.
   • Output: Multi-class fouttype label.

3. Taak 3: Voorspelling van Herstelstrategie

   • Doel: De door de gebruiker geprefereerde herstelstrategieën voorspellen (bijv. excuses aanbieden, stap-voor-stap begeleiding) op basis van interactietranscripten en de foutcontext.
   • Architectuur: Fine-tuned Small Language Models (SLMs) met behulp van Quantized Low-Rank Adaptation (QLoRA). Modellen die geëvalueerd worden zijn Mistral-7B en Gemma-9B.
   • Formulering: Een geconstrueerd generatief rankingprobleem waarbij het model een met komma's gescheiden lijst van strategieën uit een vooraf gedefinieerde kandidaatverzameling genereert.

Belangrijkste Resultaten

Taak 1: Foutdetectie

• De twee-niveau HRNN met 3-seconden windows behaalde een strikte macro F1 van 0,80, wat beter presteert dan single-session GRU baselines (0,68) en flat baselines.
• Lokalisatie: Het model behaalde een mediane absolute fout van 2,97 seconden en een gemiddelde gesigneerde fout van -0,51 seconden (wat wijst op een lichte neiging om iets te vroeg te voorspellen).
• De hiërarchische aanpak verbeterde de prestaties door cross-session geschiedenis te modelleren, wat aantoont dat gebruikersadaptatie over herhaalde fouten een significante factor is.

Taak 2: Foutclassificatie

• De HRNN behaalde een macro F1 van 0,44, waarmee het een BiLSTM-GRU baseline (0,38) met hetzelfde aantal parameters versloeg.
• De prestaties waren het sterkst voor de Success class (F1 = 0,93) en Spraakfouten, terwijl Comprehension en Timing fouten moeilijker te onderscheiden bleven.
• Statistische analyse bevestigde een matige maar significante associatie tussen zelfgerapporteerde emotie en specifieke foutcondities.

Taak 3: Voorspelling van Herstelstrategie

• Base Modellen: Base Mistral-7B presteerde beter dan base Gemma-9B, wat het belang van instruction tuning voor gestructureerde output benadrukt. Base Gemma-9B presteerde nabij het niveau van toeval.
• Fine-Tuning: QLoRA fine-tuning verbeterde de prestaties aanzienlijk. Voor Mistral-7B steeg de Hit@5 van 0,68 naar 0,76, en de F1@5 steeg van 0,30 naar 0,32.
• Fine-tuned Gemma-9B bereikte prestaties die vergelijkbaar zijn met fine-tuned Mistral-7B, wat aantoont dat parameter-efficiënte fine-tuning cruciaal is voor het afstemmen van generalistische LLM's op specifieke herstelvoorspellings-taken.

Betekenis en Bijdragen

Het artikel stelt dat REPAIR-Bench de eerste HRI benchmark is die gezamenlijk foutclassificatie, lokalisatie en herstelvoorspelling aanpakt. De primaire bijdragen zijn:

1. Verenigd Framework: Het biedt een gestandaardiseerd framework voor het evalueren van de volledige levenscyclus van falen in HRI, bewegend van geïsoleerde detectie naar inclusie van herstelbesluitvorming.
2. Longitudinale Modellering: Het demonstreert dat het modelleren van cross-trial geschiedenis (via hiërarchische architecturen) de nauwkeurigheid van foutdetectie verbetert vergeleken met het behandelen van sessies als onafhankelijk.
3. Gebruikersgerichte Herstel: Het verschuift de selectie van herstelstrategieën van regelgebaseerde systemen naar datagedreven voorspellingen van gebruikersvoorkeuren, wat essentieel is voor het bouwen van betrouwbare systemen in veiligheidskritische domeinen zoals de gezondheidszorg.
4. Community Resource: Het biedt de HRI en Medical HRI gemeenschappen een dataset met gesynchroniseerde multimodale signalen en geannoteerde ground truth voor fouten en herstel, wat onderzoek naar adaptieve en transparante robotgedragingen faciliteert.

De auteurs vermelden beperkingen, waaronder de relatief kleine steekproefomvang voor herstelvoorspelling (184 monsters) en het gebruik van een vooraf gedefinieerde set herstelstrategieën, wat suggereert dat toekomstig werk de dataset moet uitbreiden en rijkere multimodale signalen moet incorporeren.