Vision Language Model-based Testing of Industrial Autonomous Mobile Robots

Este artículo presenta RVSG, un enfoque de prueba basado en Modelos de Lenguaje Visual (VLM) desarrollado junto con PAL Robotics para generar escenarios de comportamiento humano que violan los requisitos de seguridad de los Robots Móviles Autónomos (AMR) industriales en simulación, permitiendo así identificar comportamientos inciertos de manera segura y eficiente.

Lo esencial

Imagina que tienes un robot muy inteligente, como un camión de reparto autónomo o un carrito de la compra que se mueve solo por un almacén gigante. Este robot es muy bueno siguiendo mapas, pero tiene un problema: no sabe cómo reaccionar ante el caos humano.

Si un robot está entrenado para moverse en un pasillo vacío, ¿qué pasa si un humano se pone a bailar, a correr o a dejar caer una caja justo enfrente? El robot podría chocar, volcarse o quedarse bloqueado.

Los autores de este paper (un equipo de investigadores y de la empresa PAL Robotics) se dieron cuenta de que probar estos robots en la vida real es peligroso y caro. No puedes pedirle a 100 personas que corran locamente por un almacén solo para ver si el robot choca; alguien podría salir herido.

Así que crearon una solución genial llamada RVSG. Aquí te explico cómo funciona usando una analogía sencilla:

🎭 El Director de Cine con un "Super Cerebro"

Imagina que el robot es un actor en una obra de teatro y el almacén es el escenario. Para probar si el actor es bueno, necesitas un director de cine que le diga: "¡Haz algo que rompa la escena! ¡Haz que el actor tropiece!".

El problema es que los directores de cine tradicionales (los métodos antiguos de prueba) son como guiones rígidos: "Haz que una persona camine en línea recta". Eso no es suficiente para encontrar los errores ocultos.

Aquí es donde entra el VLM (Modelo de Lenguaje Visual). Piensa en este modelo como un director de cine que tiene un "super cerebro". Este cerebro no solo lee el guion, sino que puede ver el escenario (las fotos del almacén) y entender la lógica del mundo real.

¿Cómo funciona el proceso? (La receta de cocina)

1. El Entrenamiento (Ver el escenario):
   Primero, el "Super Cerebro" mira una foto del almacén. Le dice: "Veo estanterías, cajas y pasillos estrechos. Aquí la gente suele levantar cajas o hablar entre sí". Entiende el contexto, no solo los objetos.

2. El Reto (Crear el caos):
   Los investigadores le dan una regla al cerebro: "Quiero que el robot choque con alguien" o "Quiero que el robot se vuelva inestable".
   El cerebro piensa: "¡Ah, ya veo! Si pongo a un humano corriendo en zigzag justo cuando el robot gira en un pasillo estrecho, ¡el robot se va a marear!".

3. El Ensayo (La simulación):
   En lugar de hacerlo en la vida real, el cerebro crea un "personaje virtual" (un humano digital) con esas instrucciones exactas y lo pone a actuar en una película simulada (un videojuego muy realista llamado Gazebo).
   El robot intenta navegar y el humano virtual hace su "baila".

4. El Crítico (Feedback y Memoria):
   Si el robot no choca, el sistema le dice al cerebro: "Ese humano no fue lo suficientemente loco. Intenta de nuevo, pero hazlo más rápido".
   Además, el sistema tiene una memoria. Si ya probó 100 formas de hacer que el robot choque, no repetirá las mismas. Recordará lo que ya hizo y buscará algo nuevo y diferente.

¿Por qué es esto un gran avance?

• Es un "Abogado del Diablo": En lugar de intentar que el robot funcione perfecto, el sistema se dedica a encontrar la forma más creativa de hacerlo fallar. Es como un hacker ético, pero para robots.
• Es seguro: Todo ocurre en una película (simulación). Si el robot choca contra un humano virtual, nadie sale herido y no se rompe nada.
• Es inteligente: A diferencia de los métodos antiguos que lanzaban humanos al azar (como tirar dardos a un tablero), este sistema entiende el contexto. Sabe que en un almacén la gente no suele volar, pero sí suele levantar cajas pesadas.

En resumen

Este paper presenta una herramienta que usa una Inteligencia Artificial muy avanzada para actuar como un director de cine del caos. Su trabajo es inventar situaciones humanas impredecibles y realistas dentro de una simulación para "torturar" al robot y ver dónde falla, asegurando que cuando el robot salga al mundo real, esté preparado para cualquier locura humana que le encuentre.

Es como tener un entrenador de fútbol que diseña ejercicios imposibles para que el equipo juegue perfecto en el partido real. ¡Y todo sin que nadie se lastime!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Vision Language Model-Based Testing of Industrial Autonomous Mobile Robots", presentado en español:

1. Problema

Los Robots Móviles Autónomos (AMR) industriales, como los fabricados por PAL Robotics, operan en entornos dinámicos compartidos con humanos (almacenes, oficinas, retail). La principal dificultad radica en la imprevisibilidad del comportamiento humano, lo que puede llevar a situaciones de riesgo no previstas por los algoritmos de navegación del robot.

Existen desafíos críticos para probar estos sistemas:

• Costo y Seguridad: Probar con robots físicos y humanos reales es costoso, poco práctico y potencialmente peligroso (riesgo de colisiones y lesiones).
• Limitaciones de la Simulación: Aunque la simulación es una alternativa segura, generar comportamientos humanos realistas y contextualmente adecuados dentro del simulador es un reto significativo. Los métodos tradicionales (como algoritmos de búsqueda aleatoria) a menudo fallan en capturar la complejidad semántica y lógica de las interacciones humano-robot en entornos específicos.
• Necesidad de Pruebas de Requisitos: Es crucial generar escenarios que violen específicamente los requisitos funcionales y de seguridad (F&S) para asegurar la fiabilidad del robot antes de su despliegue.

2. Metodología: RVSG

Los autores proponen RVSG (Requirement-Driven Vision Language Model-based Scenario Generation), un enfoque de generación de escenarios de prueba basado en Modelos de Lenguaje Visuales (VLM). El método consta de dos etapas principales y un ciclo iterativo:

A. Preprocesamiento del Entorno

1. Mapeo y Etiquetado: Se captura una vista cenital del mundo de simulación. Se etiquetan las áreas (manual o automáticamente) y se convierte en una cuadrícula (grid map) con puntos de referencia (waypoints).
2. Descripción del Entorno: El VLM analiza las imágenes etiquetadas mediante un proceso de conversación multi-turno para extraer características visuales y generar descripciones en lenguaje natural del entorno (disposición de estantes, zonas de paso, etc.).

B. Generación de Escenarios de Prueba

Este es el núcleo del sistema, que utiliza un Generador de Prompts y un VLM (GPT-4.1 en el estudio) para crear configuraciones de agentes humanos:

1. Generación por Conversación Multi-turno: Basándose en los requisitos de seguridad/funcionales, la ruta de navegación del robot y la descripción del entorno, el VLM genera:
   • Descripción del escenario de prueba.
   • Tareas de alto nivel para los humanos.
   • Rutas de waypoints de bajo nivel (movimiento físico).
   • Configuración final en formato JSON.
2. Validación y Revisión: El VLM verifica la coherencia de la configuración generada (ej. ¿es factible la ruta dada la descripción del escenario?) y la corrige si es necesario.
3. Ejecución y Retroalimentación (Feedback):
   • La configuración se ejecuta en el simulador Gazebo utilizando el controlador de agentes humanos HuNavSim (basado en modelos de fuerza social y árboles de comportamiento).
   • Se recopilan métricas de violación de requisitos (ej. distancia mínima, inestabilidad, tiempo de llegada).
   • Bucle de Memoria: Los resultados y el historial de conversaciones se almacenan. El sistema utiliza esta memoria y los datos de retroalimentación para refinar los prompts en iteraciones posteriores, buscando generar escenarios más diversos y efectivos para violar los requisitos.

3. Contribuciones Clave

1. Método RVSG: Una técnica novedosa y guiada por requisitos para generar escenarios de prueba de navegación de robots utilizando VLMs, capaz de entender el contexto visual y semántico del entorno.
2. Plantillas de Prompts Dinámicas: Un conjunto de plantillas que permiten al VLM entender el entorno, generar configuraciones de humanos y, crucialmente, incorporar retroalimentación de la simulación y memoria histórica para mejorar iterativamente la diversidad y calidad de los escenarios.
3. Evaluación Industrial Rigurosa: Validación del método en el AMR más reciente de PAL Robotics (TIAGo OMNI Base) dentro del simulador Gazebo, cubriendo múltiples requisitos de seguridad y rutas de navegación complejas.

4. Resultados

El estudio comparó RVSG contra una versión base sin retroalimentación ni memoria (RVSGR):

• Efectividad en la Violación de Requisitos: RVSG generó escenarios que violaron los requisitos de seguridad (evitación de colisiones), estabilidad (jerk/acceleración) y eficiencia (tiempo de llegada) de manera significativamente más efectiva que RVSGR.
  • Ejemplo: En la ruta de evitación de colisiones, RVSG redujo la distancia mínima al obstáculo (DTO) mucho más que la línea base, indicando escenarios de riesgo más críticos.
• Variabilidad del Comportamiento del Robot: Los escenarios generados por RVSG aumentaron la variabilidad en el comportamiento del robot, revelando comportamientos inestables o inesperados que no se detectaban con métodos no guiados.
• Diversidad: RVSG superó a la línea base en diversidad de descripciones de escenarios (SDD) y tareas de alto nivel (HTD). Sin embargo, su capacidad para generar interacciones humano-robot físicamente diversas (SSD) fue ligeramente menor en algunos casos, sugiriendo que su estrategia de búsqueda guiada es más eficiente pero menos exploratoria que una búsqueda aleatoria pura.
• Impacto de las Rutas: Se demostró que la complejidad de la ruta de navegación (ej. pasar cerca de estantes vs. zonas abiertas) afecta drásticamente la estabilidad de la ejecución y la diversidad de los resultados. Las rutas complejas generaron más violaciones de requisitos.

5. Significado e Impacto

• Seguridad Industrial: RVSG ofrece una herramienta práctica y segura para validar robots industriales antes de su despliegue, reduciendo el riesgo de accidentes en entornos reales.
• Integración con Adaptación Autónoma: El enfoque se alinea con el bucle MAPLE-K (Monitor-Analyze-Plan-Legitimate-Execute-Knowledge), utilizado en el proyecto europeo RoboSAPIENS. RVSG ayuda a alimentar la base de conocimientos del robot con escenarios críticos, permitiendo que el robot se adapte y aprenda de situaciones peligrosas simuladas.
• Validación de Modelos Fundacionales: Demuestra que los VLMs pueden ir más allá de la simple generación de texto; pueden actuar como "ingenieros de pruebas" que comprenden la física y la lógica espacial de entornos robóticos para generar casos de prueba realistas.
• Lecciones Aprendidas: Se destaca la importancia de combinar la automatización con la supervisión experta (para validar la viabilidad de los escenarios) y la necesidad de equilibrar la búsqueda guiada (para relevancia) con la exploración (para cubrir casos extremos).

En resumen, el paper presenta un avance significativo en la ingeniería de software para robótica, utilizando IA generativa multimodal para automatizar y mejorar la calidad de las pruebas de seguridad en robots autónomos industriales.