Model Reconciliation through Explainability and Collaborative Recovery in Assistive Robotics

Resumen Técnico: Reconciliación de Modelos mediante la Explicabilidad y la Recuperación Colaborativa en la Robótica Asistiva

Planteamiento del Problema
En la robótica asistiva y los escenarios de control compartido, el comportamiento inesperado del robot suele derivar de una divergencia entre el modelo mental del mundo que posee el usuario humano y el modelo interno del robot. Cuando un robot falla al ejecutar una tarea (por ejemplo, agarrar un objeto), es posible que el usuario no comprenda su razonamiento, lo que provoca una ruptura en la confianza y la colaboración. Los enfoques actuales de reconciliación de modelos suelen asumir que el robot posee un modelo formal completo del estado mental del humano, lo cual es poco realista en entornos asistivos dinámicos. Además, aunque las explicaciones pueden aclarar por qué ocurrió un fallo, estas no proporcionan inherentemente un mecanismo para que el humano corrija las creencias erróneas del robot para recuperarse del fallo.

Metodología
Los autores proponen un marco de reconciliación de modelos que aprovecha los Modelos Fundacionales (específicamente, Modelos de Lenguaje de Gran Escala [LLM] y Modelos de Lenguaje-Visión [VLM]) para cerrar la breera entre los modelos mentales del humano y del robot sin requerir un modelo formal predefinido del usuario. El marco opera en tres etapas:

1. Inicio y Generación de Explicaciones:

   • El proceso se inicia mediante una consulta en lenguaje natural del usuario (por ejemplo, "¿Por qué no puedes agarrar la taza verdosa?").
   • Un flujo de trabajo de LLM extrae entidades semánticas (objetos, acciones, adjetivos) de la consulta.
   • El sistema realiza una búsqueda de cuatro pasos contra los modelos internos del robot:
     • Verificación de la Base de Datos de Objetos: Verifica si el objeto existe en la base de conocimientos estática del robot.
     • Verificación del Modelo de Acción (Paso 1): Determina si la acción es teóricamente posible dado el estado actual del mundo.
     • Verificación del Modelo del Mundo: Verifica si la instancia específica del objeto es percibida y localizada actualmente por el robot.
     • Verificación del Modelo de Acción (Paso 2): Identifica si la acción está bloqueada por precondiciones no cumplidas (por ejemplo, un gripper que no está libre) o si la acción simplemente no ha sido entrenada.
   • Basándose en esta búsqueda, el sistema predice el tipo específico de divergencia de modelo (por ejemplo, el robot no sabe que el objeto existe frente a que el robot ve el objeto pero no puede actuar) y genera una explicación en lenguaje natural.

2. Recuperación Colaborativa:

   • Si la explicación revela una discrepancia que el usuario puede corregir (por ejemplo, el robot pasó por alto un objeto o tiene una creencia errónea sobre un estado), el usuario proporciona una refutación (por ejemplo, "¡Pero el cajón está cerrado!").
   • Arbitraje de VLM: Un Modelo de Lenguaje-Visión actúa como un "oráculo" para validar la afirmación del usuario frente a la transmisión de la cámara del robot.
     • Para Errores de Percepción (DSO): Si el usuario afirma que un objeto está presente, el VLM intenta localizarlo en la imagen. Si tiene éxito, sugiere movimientos del robot (por ejemplo, mover la silla de ruedas) para mejorar la vista para la detección. Si el VLM no puede confirmarlo pero el usuario insiste, el sistema puede sobrescribir el modelo del mundo para incluir el objeto.
     • Para Errores de Estado (DSA): Si el usuario corrige un estado (por ejemplo, "El microondas está abierto"), el sistema mapea esta corrección de lenguaje natural al modelo de mundo simbólico (PDDL) y actualiza el grafo de acciones en consecuencia.

3. Implementación:

   • El marco se implementó en un manipulador móvil basado en una silla de ruedas diseñada para personas con discapacidades motoras.
   • El sistema utiliza un flujo de trabajo de VLM de pesos abiertos local (Mistral-Small-3.2-24B-Instruct) con técnicas de Cadena de Pensamiento (Chain of Thought) y Aprendizaje de Pocos Ejemplos (Few-Shot Prompting) para gestionar la fundamentación semántica y el razonamiento.

Contribuciones Clave
El artículo presenta contribuciones en tres niveles:

1. Teórico: Un marco de reconciliación de modelos para el control compartido en robótica asistiva que abarca la actualización bidireccional: el robot actualiza al humano mediante la explicación, y el humano actualiza al robot mediante la corrección.
2. Metodológico: La integración de flujos de trabajo de modelos fundacionales aumentados con datos recuperados de módulos del robot (bases de datos de objetos, modelos del mundo, grafos de acción). Este enfoque elimina la necesidad de que el robot modele explícitamente todo el estado mental del usuario, permitiendo al mismo tiempo predecir diferencias en las bases de conocimiento.
3. Experimental: Una implementación completa y evaluación que involucra a un robot asistivo real y su gemelo digital, demostrando la capacidad del sistema para manejar escenarios de la vida diaria.

Resultados
Los autores realizaron un estudio piloto en un robot real y dos experimentos (B1 y B2) en un gemelo digital utilizando un conjunto de datos de 40 episodios (120 conversaciones de salida en total).

• Precisión: El marco alcanzó entre un 78% y un 100% de precisión en diversas pruebas unitarias. Específicamente, alcanzó un 100% de precisión al explicar fallos de localización de objetos, un 78,79% al comunicar errores de estado simbólico y un 78,12% en la generación de sugerencias de recuperación.
• Comparación: En el Experimento B1, el método propuesto superó significativamente a una línea base de VLM "naiva" que carecía de acceso a los modelos internos del robot, demostrando que la capacidad del LLM para recuperar y sintetizar datos específicos de los módulos del robot es crucial para explicaciones precisas.
• Fundamentación Semántica: El Experimento B2 mostró que proporcionar un diccionario de traducción para términos específicos del robot poco comunes (por ejemplo, mapear "ikea bagganas" a "armario") aumentó la precisión en la reconciliación de acciones del 78,8% al 92,4%.
• Limitaciones: Los autores señalan que las sugerencias de movimiento de recuperación (razonamiento espacial) mostraron una menor precisión, debido probablemente a las limitaciones del VLM específico utilizado. Además, los adjetivos en las consultas a veces causaron confusión, y el estudio se limitó a un conjunto específico de escenarios de la vida diaria.

Significancia
El artículo sostiene que este trabajo proporciona un flujo de trabajo práctico para explicar el comportamiento inesperado del robot y permitir la recuperación colaborativa en la robótica asistiva. Al utilizar modelos fundacionales para predecir y explicar las divergencias de modelos, el sistema permite que los humanos comprendan las creencias del robot y las corrijan activamente, restaurando así el entendimiento compartido sin requerir un modelado de usuario complejo y predefinido. Los autores enfatizan que, aunque la implementación actual es modesta y limitada a escenarios específicos, establece un conducto viable para la transparencia y la confianza en los equipos humano-robot, allanando el camino para trabajos futuros sobre la optimalidad de los planes, el desalineamiento de objetivos y casos de instancias de objetos más diversos.