Improving Human-Robot Teamwork in Urban Search and Rescue Through Episodic Memory of Prior Collaboration

Resumen Técnico: Mejora del Trabajo en Equipo Humano-Robot en la Búsqueda y Rescate Urbana mediante la Memoria Episódica de Colaboración Previa

Declaración del Problema
El trabajo efectivo en equipo humano-robot en entornos dinámicos y peligrosos, como la Búsqueda y Rescate Urbana (USAR, por sus siglas en inglés), requiere que los robots se adapten a sus compañeros y a las situaciones de la tarea de forma inmediata, en lugar de aprender únicamente mediante el ensayo y error durante la interacción. Si bien trabajos previos en el entorno MATRX USAR han demostrado que los robots pueden adaptarse con el tiempo y que los equipos humano-robot pueden externalizar patrones de colaboración (CP) a través de interfaces de chat y reflexión, persiste una brecha en la utilización de estos patrones históricos para inicializar futuras interacciones. El problema central abordado es cómo transferir la experiencia de equipo explícita y previa a un nuevo episodio de colaboración para mejorar el rendimiento en las etapas iniciales, en lugar de depender de que el robot comience con un estado de memoria vacío.

Metodología
Los autores proponen un marco donde los patrones de colaboración históricos se representan como memorias episódicas de grafos de conocimiento y se utilizan para inicializar un robot antes de que comience una nueva tarea.

1. Ontología y Representación:

   • Los patrones de colaboración (CP) se modelan como grafos de propiedades utilizando JanusGraph. La ontología incluye seis tipos de entidades: robot, participante, cp, situación, acción_del_robot y acción_humana.
   • Las relaciones se capturan mediante familias de aristas (tiene_cp, tiene_situación, tiene_acción_del_robot, tiene_acción_humana). Para preservar el orden de las acciones, las aristas de acción se distinguen por índices de secuencia (por ejemplo, tiene_acción_del_robot_0, tiene_acción_del_robot_1), lo que resulta en nueve etiquetas de relación distintas.
   • Las propiedades de los nodos incluyen métricas numéricas (por ejemplo, tiempo_transcurrido, éxito) y atributos de cadena (por ejemplo, descripciones de acciones). Los atributos de cadena se codifican en vectores utilizando Sentence-BERT, mientras que las características numéricas se normalizan y se proyectan a una dimensionalidad común.

2. Aprendizaje de Representación de Grafos:

   • Se emplea una Red Convolucional de Grafos Relacionales (RGCN) para aprender representaciones significativas de los grafos de CP. El modelo utiliza un objetivo de clasificación de nodos con un clasificador lineal único sobre la capa final de la RGCN.
   • Las diez clases de nodos corresponden a los tipos de esquema (un cp, una situación, tres etapas de acción_humana y cinco etapas de acción_del_robot). Esta supervisión permite al codificador distinguir entre los pasos iniciales y finales de un patrón de colaboración.
   • Tras el entrenamiento, se generan incrustaciones (embeddings) a nivel de grafo mediante el pooling de la media de las incrustaciones de los nodos finales de cada grafo de CP.

3. Selección de Memoria e Inicialización:

   • Las incrustaciones de grafos aprendidas se agrupan mediante K-means (con $K=5$).
   • Los autores seleccionan heurísticamente el Clúster 1 como fuente de memoria reutilizable porque exhibe la tasa de éxito más alta (42%) y una simplicidad estructural (dominada por acciones consecutivas del robot con una intervención humana mínima).
   • Se selecciona el CP más cercano al centroide del Clúster 1 como la memoria representativa. Este CP involucra una situación ("Parte superior de una pila de rocas", "Roca grande") y una secuencia de acción de dos pasos del robot (recoger y soltar una roca grande) sin requerir la intervención humana.
   • En la configuración experimental, el robot se inicializa con este único CP precargado antes de que comience la interacción humano-robot.

Contribuciones Clave
El artículo describe tres contribuciones principales:

• Representación de la Memoria Episódica del Equipo: Representar los CP de interacciones previas como memorias episódicas de grafos de conocimiento que preservan el contexto situacional, la estructura de las acciones y los resultados de la tarea en un formato reutilizable.
• Selección de Experiencia Previa Reutilizable: Utilizar el aprendizaje de representación de grafos con supervisión de tipo de nodo para organizar los CP históricos e identificar un patrón representativo para la inicialización.
• Mejora del Rendimiento Temprano del Equipo: Demostrar que inicializar un robot con una memoria previa seleccionada mejora significamente las métricas de rendimiento, particularmente al inicio de la colaboración.

Resultados Experimentales
El estudio involucró a 20 participantes y 160 observaciones de nivel de ronda dentro de la simulación MATRIA USAR. El robot fue probado en dos condiciones: sin memoria inicializada y con el único CP seleccionado precargado.

• Tasa de Éxito: El éxito del rescate aumentó del 25.7% (sin memoria) al 41.3% (con memoria), lo que representa una mejora relativa del 60.7%.
• Tiempo de la Tarea: El tiempo promedio de la tarea se redujo en 283 segundos.
• Dinámicas Temporales: Las ganancias más significativas ocurrieron en la Ronda 1, lo que sugiere que la memoria ayuda a los equipos a orientarse hacia la tarea antes de que pueda ocurrir la adaptación humana.
• Compromisos (Trade-offs): Aunque el éxito y el tiempo mejoraron, el daño a la víctima fue ligeramente mayor en promedio en la condición con memoria inicializada, probablemente debido a caídas accidentales de rocas cuando el robot ejecutó estrategias de remoción de escombros pesados. El rendimiento también disminuyó en las rondas más difíciles (7 y 8), donde el CP reutilizado no tuvo en cuenta los riesgos específicos de la "roca marrón" introducida en escenarios posteriores.

Significado y Reivindicaciones
Los autores posicionan este trabajo como un mecanismo concreto para inicializar un robot con experiencia de equipo previa e inspeccionable, en lugar de una nueva teoría general de transferencia de memoria.

• Transparencia: A diferencia de las actualizaciones de políticas opacas, la experiencia reutilizada permanece como una estructura de situación-acción explícita y legible por humanos que puede ser inspeccionada, discutida y revisada por los operadores.
• Apoyo a la Interacción Temprana: Los resultados sugieren que la memoria episódica reutilizable es más efectiva al comienzo de la colaboración, proporcionando un punto de partida coordinado cuando las rutinas compartidas aún no se han formado.
• Limitaciones: El artículo reconoce modestamente limitaciones, incluyendo el entorno de simulación, el pequeño tamaño de la muestra, la selección heurística de un único CP cercano al centroide y la falta de líneas base que involucren memorias aleatorias o seleccionadas por expertos. Los autores señalan que el enfoque no elimina los riesgos de seguridad asociados con la remoción agresiva de escombros, sino que ofrece un modelo de despliegue donde el conocimiento previo apoya la coordinación bajo la supervisión humana.