Improving Human-Robot Teamwork in Urban Search and Rescue Through Episodic Memory of Prior Collaboration

Technische Samenvatting: Verbeteren van mens-robot samenwerking in Urban Search and Rescue door middel van episodisch geheugen van eerdere samenwerking

Probleemstelling
Effectieve mens-robot samenwerking in dynamische, gevaarlijke omgevingen zoals Urban Search and Rescue (USAR) vereist dat robots zich direct aanpassen aan partners en de situaties, in plaats van uitsluitend te leren door middel van trial-and-error tijdens de interactie. Hoewel eerder werk in de MATRX USAR-omgeving heeft aangetoond dat robots over de tijd kunnen adapteren en dat mens-robotteams samenwerkingspatronen (Collaboration Patterns, CPs) kunnen externaliseren via chat- en reflectie-interfaces, blijft er een kloof bestaan in het benutten van deze historische patronen om toekomstige interacties te initialiseren. Het kernprobleem dat wordt geadresseerd is hoe eerdere, expliciete teamervaring kan worden overgedragen naar een nieuwe samenwerkings-episode, om zo de prestaties in de beginfase te verbeteren, in plaats van te vertrouwen op een robot die begint met een leeg geheugentoestand.

Methodologie
De auteurs stellen een raamwerk voor waarbij historische samenwerkingspatronen worden gerepresenteerd als knowledge-graph episodische geheugens en worden gebruikt om een robot te initialiseren voordat een nieuwe taak begint.

1. Ontologie en Representatie:

   • Samenwerkingspatronen (CPs) worden gemodelleerd als property graphs met behulp van JanusGraph. De ontologie bevat zes entiteitstypen: robot, participant, cp, situation, robot_action, en human_action.
   • Relaties worden vastgelegd via edge families (has_cp, has_situation, has_robot_action, has_human_action). Om de volgorde van acties te bewaren, worden actie-edges onderscheiden door sequentie-indices (bijv. has_robot_action_0, has_robot_action_1), wat resulteert in negen verschillende relatie-labels.
   • Node-eigenschappen bevatten numerieke metrieken (bijv. time_elapsed, success) en string-attributen (bijv. actiebeschrijvingen). String-attributen worden gecodeerd in vectoren met behulp van Sentence-BERT, terwijl numerieke kenmerken worden genormaliseerd en geprojecteerd naar een gemeenschappelijke dimensionaliteit.

2. Graph Representatie Leren:

   • Een Relational Graph Convolutional Network (RGCN) wordt ingezet om betekenisvolle representaties van de CP-graphs te leren. Het model gebruikt een node-classificatie-objectief met een enkele lineaire classifier bovenop de laatste RGCN-laag.
   • De tien node-klassen komen overeen met de schema-types (één cp, één situation, drie human_action stadia, en vijf robot_action stadia). Deze supervisie stelt de encoder in staat om onderscheid te maken tussen vroege en late stappen in een samenwerkingspatroon.
   • Na de training worden graph-level embeddings gegenereerd door middel van mean-pooling van de finale node-embeddings van elke CP-graph.

3. Geheugen Selectie en Initialisatie:

   • De geleerde graph-embeddings worden geclusterd met behulp van K-means (met $K=5$).
   • De auteurs selecteren heuristisch Cluster 1 als de bron voor herbruikbaar geheugen, omdat dit de hoogste succesratio (42%) en structurele eenvoud vertoont (gedomineerd door opeenvolgende robotacties met minimale menselijke interventie).
   • De CP die het dichtst bij het zwaartepunt (centroid) van Cluster 1 ligt, wordt geselecteerd als het representatieve geheugen. Deze CP omvat een situatie ("Top of rock pile", "Large rock") en een tweestaps robotactie-sequentie (het oppakken en neerleggen van een grote rots) zonder dat daarvoor menselijke input nodig is.
   • In de experimentele opzet wordt de robot geïnitialiseerd met deze enkele, vooraf geladen CP voordat de mens-robot interactie begint.

Belangrijkste Bijdragen
Het artikel beschrijft drie primaire bijdragen:

• Episodische Teamgeheugen Representatie: Het representeren van CPs uit eerdere interacties als kennis-graph episodische geheugens die situationele context, actiestructuur en taakuitkomsten bewaren in een herbruikbaar formaat.
• Selectie van Herbruikbare Eerdere Ervaring: Het gebruik van graph-representatie leren met node-type supervisie om historische CPs te organiseren en een representatief patroon voor initialisatie te identificeren.
• Verbeterde Vroege Teamprestaties: Het aantonen dat het initialiseren van een robot met een geselecteerd voorafgaand geheugen de prestatie-metrieken aanzienlijk verbetert, met name aan het begin van de samenwerking.

Experimentele Resultaten
De studie omvatte 20 participanten en 160 round-level observaties binnen de MATRX USAR-simulatie. De robot werd getest in twee condities: zonder geïnitialiseerd geheugen en met de enkele geselecteerde CP vooraf geladen.

• Succesratio: Het reddingssucces steeg van 25,7% (zonder geheugen) naar 41,3% (met geheugen), wat een relatieve verbetering van 60,7% betekent.
• Taaktijd: De gemiddelde taaktijd werd verminderd met 283 seconden.
• Temporele Dynamiek: De meest significante winst vond plaats in Round 1, wat suggereert dat het geheugen teams helpt te oriënteren op de taak voordat menselijke adaptatie kan plaatsvinden.
• Trade-offs: Hoewel succes en tijd verbeterden, was de victim harm (schade aan slachtoffers) gemiddeld iets hoger in de met geheugen geïnitialiseerde conditie, waarschijnlijk door accidentele rotsval wanneer de robot zware strategieën voor het verwijderen van puin uitvoerde. De prestaties namen af in de moeilijkste rondes (7 en 8), waar de hergebruikte CP geen rekening hield met de specifieke risico's van de "brown rock" die in latere scenario's werd geïntroduceerd.

Betekenis en Claims
De auteurs positioneren dit werk als een concreet mechanisme voor het initialiseren van een robot met inspecteerbare eerdere teamervaring, in plaats van een nieuwe algemene theorie over geheugentransfer.

• Transparantie: In tegenstelling tot opake beleidsupdates (policy updates), blijft de hergebruikte ervaring een expliciete, menselijk leesbare situatie-actie structuur die kan worden geïnspecteerd, besproken en aangepast door operators.
• Ondersteuning van Vroege Interactie: De resultaten suggereren dat herbruikbaar episodisch geheugen het meest effectief is aan het begin van de samenwerking, waarbij een gecoördineerd startpunt wordt geboden op het moment dat gedeelde routines nog niet zijn gevormd.
• Beperkingen: Het artikel erkent bescheiden beperkingen, waaronder de simulatie-omgeving, de kleine steekproefomvang, de heuristische selectie van een enkel centroid-nabij CP, en het gebrek aan baselines bestaande uit willekeurig of door experts geselecteerde geheugens. De auteurs merken op dat de aanpak de veiligheidsrisico's geassocieerd met agressieve puinverwijdering niet elimineert, maar een implementatiemodel biedt waarbij voorkennis de coördinatie ondersteunt onder menselijk toezicht.