HRIBench: Benchmarking Interaction-Centric Human-Robot Collaboration

Technische Samenvatting: HRIBench – Benchmarking van Interactie-gecentreerde Mens-Robot Samenwerking

Probleemstelling
Huidige Vision-Language-Action (VLA) benchmarks evalueren primair geïsoleerde manipulatievaardigheden (bijv. pakken-en-plaatsen, bediening van objecten) onder de impliciete aanname dat robots alleen opereren. Echter, echte mens-robot samenwerking (HRC) vereist fundamenteel coördinatie onder gedeelde agency. Bestaande evaluaties falen in het modelleren van de onderliggende interactiestructuur, waardoor kritieke capaciteiten ongetest blijven: intentie-begrip, temporele synchronisatie, protocolnaleving en veilige interactie in dynamische omgevingen. Gevolgen hiervan is dat een beleid (policy) een sterke manipulatiecompetentie kan vertonen in isolatie, maar kan falen in het reageren op een reikende beweging van een medewerker, de coördinatietiming kan schenden, of de uitvoering kan voortzetten na een verstorende menselijke interventie. Deze kloof benadrukt een disconnect tussen manipulatiecompetentie en collaboratieve intelligentie.

Methodologie
Om dit aan te pakken, introduceren de auteurs HRIBench, een diagnostische benchmark ontworpen om intentie-bewuste mens-robot samenwerking te evalueren via uitvoerbare interactiescenario's.

• Scenario Scripts: De kernabstractie is het "scenario script", een gestructureerde, uitvoerbare representatie van collaboratieve episodes. Deze scripts modelleren expliciet:

  • Agentrollen en semantische doelen.
  • Temporele afhankelijkheden en causale beperkingen.
  • Menselijke bewegingsdistributies.
  • Beloningsfuncties en succescondities.
    Deze abstractie scheidt wat samenwerking vereist van hoe een beleid dit uitvoert, wat interpreteerbare semantische lagen mogelijk maakt die hoogwaardige vereisten verbinden met simulatieomgevingen.

• Interactierollen: De benchmark organiseert gedrag rond drie fundamentele mens-robot interactiepatronen:

  1. Instructor (Instructeur): Robots moeten de beoogde acties afleiden uit menselijke demonstraties of gebaren.
  2. Collaborator (Collaborateur): Robots moeten betrokken zijn bij gesynchroniseerde multi-agent coördinatie (bijv. objectoverdracht, gezamenlijke manipulatie) die precieze timing en responsiviteit vereist.
  3. Intruder (Indringer): Robots moeten veiligheid handhaven en de uitvoering online aanpassen onder verstorende menselijke interventie (bijv. het blokkeren van paden, ongeldige interferentie).

• Generatie Pipeline: HRIBench maakt gebruik van een vierfasige pipeline:

  1. Scripting: Taalmodellen genereren scenario scripts vanuit taakmetadata.
  2. Scene Instantiation (Scène-instantiatie): Omgevingen worden samengesteld met diverse objecten en lay-outs.
  3. Motion Synthesis (Bewegingssynthese): Menselijke trajecten worden gesynthetiseerd met HY-Motion-1.0, verfijnd met taakbewuste beperkingen (bijv. handstabiliteit, benaderingsrichtingen), en gevarieerd over 50+ trajectvarianten per taak.
  4. Simulation Validation (Simulatievalidatie): Gegenereerde episodes worden gefilterd op bereikbaarheid, geldigheid en semantische correctheid. De uiteindelijke benchmark bestaat uit 13 rol-geconditioneerde taken met meer dan 650 uitvoerbare evaluatie-episodes.

• Evaluatiemetrieken: Naast binaire taaksucces introduceert HRIBench interactie-gecentreerde metrieken:

  • Effectiviteit: Collaboration Success Rate (CSR), voltooiingstijd, idle ratio.
  • Coördinatie: Temporele synchronisatie, responstijd, volgorde-naleving.
  • Veiligheid & Robuustheid: Collision-Free Rate (botsingsvrije ratio), menselijk contactveiligheid, herkenning van tegenstrijdige instructies, Disruption Success Rate.

Belangrijkste Bijdragen

1. HRIBench Benchmark: Een diagnostisch framework dat de evaluatie van interactie herformuleert als uitvoerbare coördinatiemodellering, met 13 taken die variëren van instructeur-gestuurde uitvoering en collaboratieve coördinatie tot robuustheid onder interventie.
2. Scenario Scripts: Een gestructureerde, uitvoerbare representatie die expliciet agentrollen, temporele afhankelijkheden en menselijke gedragsdistributies modelleert, wat de generatie van reproduceerbare interactie-episodes mogelijk maakt.
   3. Interactie-gecentreerd Evaluatieprotocol: Een multidimensionale metrietjesuite (synchronisatie, responsiviteit, protocolnaleving, veiligheid) die een ontkoppelde analyse van collaboratieve faalmodi van moderne robotische fundatiemodellen mogelijk maakt.

Experimentele Resultaten
De auteurs evalueerden aangepaste beleidssystemen gebaseerd op GR00T N1.5, $\pi^0.5$ en ACT onder een uniform protocol.

• Simulatieprestaties: Huidige fundamentele beleidssystemen worstelen aanzienlijk in collaboratieve settings ondanks sterke manipulatievaardigheden.

  • Instructor Taken: De beste CSR was 0.533.
  • Collaborator Taken: De beste CSR daalde naar 0.500.
  • Intruder Taken: Prestaties stortten in, met een CSR die naar slechts 0.100 daalde over alle modellen.
  • Analyse: Hoewel modellen een hoge Order Compliance (vaak 1.000) behaalden, faalden ze in het afwachten (yield), het handhaven van veilige afstand of het herstellen van verstoringen. VLA-gebaseerde beleidsystemen presteerden over het algemeen beter dan de imitatieleer-baseline (ACT) in cue grounding, maar alle modellen worstelden met temporele coördinatie en menselijke perturbatie.

• Real-World Adaptatie: Een kleinschalige studie met een LeRobot SO-100 arm demonstreerde het nut van HRIBench-data voor fysieke implementatie.

  • Real-only post-training (20 echte teleoperatie-trajecten) behaalde een gemiddelde succesratio van 0.10.
  • Sim+Real post-training (pre-training op HRIBench simulatiegegevens, gevolgd door fine-tuning op echte data) verbeterde de gemiddelde succesratio naar 0.43.
  • Deze verbetering was consistent over alle drie de interactierollen, wat suggereert dat gestructureerde interactiedata overdraagbare priors biedt voor real-world collaboratief gedrag wanneer echte demonstraties schaars zijn.

Betekenis en Claims
Het artikel beweert dat HRIBench een noodzakelijk diagnostisch instrument biedt om de beperkingen van huidige belichaamde fundamentele modellen in collaboratieve settings bloot te leggen. De auteurs stellen dat binaire taaksucces onvoldoende is voor het evalueren van collaboratieve intelligentie; een robot kan een object-niveau doel voltooien terwijl het de temporele coördinatie of veiligheidsprotocollen schendt.

Door de focus te verschuiven van geïsoleerde manipulatie naar "uitvoerbare coördinatie", onthult HRIBench dat huidige beleidssystemen een gebrek hebben aan robuust intentie-bewust gedrag en temporele coördinatie. De benchmark demonstreert dat hoewel manipulatiecompetentie een vereiste is, het niet voldoende is voor samenwerking. De auteurs claimen bescheiden dat hun werk de interactie-gecentreerde robotica vooruit helpt door een gestructureerd framework te bieden om specifieke coördinatiegebreken (bijv. intentie-grounding, timing, veiligheidsherstel) te diagnosticeren en door data te genereren die de fysieke adaptatie in data-arme scenario's effectief verbetert. Zij erkennen beperkingen en merken op dat, als een gesimuleerde benchmark, het de variabiliteit van de echte wereld niet volledig kan vatten of kan dienen als een op zichzelf staande veiligheidsevaluatie voor fysieke implementatie.