Resumen Técnico: Control Robótico Multiagente con Modelos de Lenguaje y Visión Integrados

Declaración del Problema

Los Modelos de Lenguaje y Visión (VLM) y los modelos de Visión, Lenguaje y Acción (VLA) han demostrado un potencial significativo en el control robótico, pero enfrentan barreras considerables para su despliegue práctico en entornos industriales. Estas limitaciones incluyen:

• Dependencias de Cómputo y Conectividad: Muchas soluciones requieren una potencia de cómputo externa sustancial y conectividad de red, lo que aumenta los costos operativos y la latencia.
• Explicabilidad y Seguridad: La falta de interpretabilidad en las decisiones del modelo plantea preocupaciones éticas y de seguridad.
• Problemas de Generalización: Los métodos existentes, incluidos aquellos que utilizan técnicas de interpretabilidad o funciones de restricción, a menudo tienen dificultades para generalizarse a datos fuera de la distribución (out-of-distribution).
• Retención de Contexto: El despliegue de un único VLM para manejar tareas diversas de largo horizonte (por ejemplo, inspección de seguridad, mantenimiento, búsqueda e interacción humana) conlleva el riesgo de desbordamiento de la ventana de contexto, donde se pierde información crucial a medida que la variedad de tareas crece.

Metodología

Los autores proponen una arquitectura de Sistema Multiagente (MAS) diseñada para ejecutarse íntegramente en hardware integrado, eliminando la dependencia de servidores en la nube o en el borde (edge). El sistema controla un manipulador móvil autónomo multipropósito (RB-KAILES+) dentro de un entorno de almacén industrial simulado.

Arquitectura del Sistema

El MAS está construido utilizando el marco RAI e integra ROS 2, MoveIt 2 y Nav2. La arquitectura consta de varios agentes especializados:

1. Megamind (Agente de Orquestación): Un agente supervisor que aborda los problemas de retención de contexto en modelos compactos. Opera mediante un bucle de retroalimentación propia de dos estados:
   • Estado de Planificación: Selecciona la siguiente tarea basándose en el estado del robot y la cola de tareas, delegando a los subagentes.
   • Estado de Análisis: Evalúa los resultados de los subagentes. Si se requiere una recuperación, genera pasos correctivos y los añade a la cola antes de volver a la planificación. Esto externaliza la lógica de progreso de tareas y recuperación.
2. Agente de Inspección: Monitorea la cámara frontal en busca de anomalías (cajas fuera de lugar, obstrucciones, derrames). Utiliza un flujo de trabajo de dos etapas: generar una descripción en lenguaje natural y señalar problemas, y luego categorizarlos (por ejemplo, "caja" para objetos agarrables, "basura", "otro" o "nada"). Emite un JSON estructurado con tipos de problemas y poses 3D.
3. Agente de Seguridad: Realiza un monitoreo continuo del cumplimiento normativo. Emplea un pipeline de tres etapas:
   • Visión: El VLM identifica peligros potenciales.
   • Recuperación (Retrieval): El agente consulta una base de datos vectorial (FAISS) que contiene las regulaciones OSHA 29 CFR 1910, filtradas por relevancia para almacenes. Utiliza Qwen3-Embedding-0.6B para la indexación y Qwen3-Reranker-0.6B para la re-clasificación.
   • Razonamiento: El VLM cruza la escena visual con los extractos regulatorios recuperados para determinar violaciones, emitiendo IDs de regulación, niveles de severidad y justificaciones.
4. Agentes MoveIt y Nav2: Proporcionan control de bajo nivel para la manipulación y navegación, ejecutando comandos de Megamind.
5. Interfaz Humano-Robot (HRI): Una interfaz gráfica basada en Qt que permite a los operadores emitir comandos en lenguaje natural y visualizar actualizaciones de video y estado en tiempo real.

Estrategia de Modelos

• Modelo Base: El sistema utiliza un VLM compacto de 3 mil millones de parámetros (LFM2-VL-3B) para todas las tareas visuales (Inspección, Seguridad y Megamind).
• Ajuste Fino mediante Destilación de Conocimiento: Para abordar la dificultad del modelo base con la verificación de calidad de paquetes (Tarea T4), los autores realizaron un ajuste fino del modelo. Utilizaron Qwen3-256B-A22B como modelo profesor para generar datos de entrenamiento sintéticos (descripciones en lenguaje natural) a partir de imágenes de simulación anotadas. El modelo de 3B fue ajustado durante un epoch con este conjunto de datos.
• Hardware: Todo el stack se ejecuta en una mini PC AMD Ryzen™ AI (128 GB de RAM unificada, 96 GB asignados a la GPU) en una simulación de Hardware-in-the-Loop (HIL).

Contribuciones Clave

1. Arquitectura MAS Integrada: Un sistema multiagente plenamente funcional que se ejecuta en hardware local, demostrando que los modelos compactos (3-20 mil millones de parámetros) pueden controlar manipuladores móviles complejos sin computación externa.
2. Gestión de Contexto vía Orquestación: El agente "Megamind" mitiga con éxito las limitaciones de retención de contexto de los modelos pequeños mediante la delegación explícita de tareas y un bucle de retroalimentación de recuperación.
3. Pipeline de Seguridad Especializado: Una integración novedosa de VLMs con bases de datos regulatorias (OSHA) utilizando técnicas de generación aumentada por recuperación (RAG) (embedding, re-clasificación, razonamiento) para proporcionar un cumplimiento de seguridad interpretable.
4. Lanzamiento de Código Abierto: El entorno de simulación, incluyendo el almacén configurable, la plataforma robótica y el stack de software, se libera bajo la licencia Apache 2.0 para facilitar la investigación en sistemas de agentes para manipuladores móviles.
5. Optimización del Rendimiento: Se demostró que el ajuste fino de un modelo compacto mediante destilación de conocimiento mejora significativamente la precisión de tareas específicas (ej. inspección de paquetes) manteniendo bajos costos de inferencia.

Resultados

El sistema fue validado en una simulación de Hardware-in-the-Loop cubriendo cinco categorías de tareas:

• T1: Inspección de seguridad.
• T2: Mantenimiento de almacén.
• T3: Búsqueda en almacén.
• T4: Verificación de calidad de paquetes.
• T5: Respuesta a peticiones humanas.

Mejoras Cuantitativas:
Tras el ajuste fino para la inspección de paquetes (Tarea T4), el modelo logró:

• Precisión de anotación de condición de caja: Aumentó de 76.7% a 91.5%.
• F1-score: Mejoró de 0.755 a 0.915.
• Verdaderos Negativos: Aumentaron del 54% al 95.5%.
• Falsos Positivos: Disminuyeron del 46% al 4.5%.

El sistema demostró con éxito la respuesta y operación en tiempo real en entornos industriales dinámicos, incluyendo la prevención de tareas de usuario para manejar anomalías de alta prioridad y la ejecución de flujos de trabajo de múltiples pasos (ej. inspeccionar, reubicar o desechar objetos).

Significación y Reivindicaciones

El artículo afirma que una arquitectura MAS totalmente integrada es una alternativa viable y rentable a los despliegues dependientes de la nube. Al utilizar VLMs compactos alojados localmente, el sistema aborda los altos costos operativos (electricidad, hardware) y los problemas de latencia asociados con las plataformas de computación externa.

Los autores posicionan este trabajo como un paso hacia la robótica flexible para pequeñas y medianas empresas (PYMES), donde los sistemas autónomos rentables, interpretables y seguros son críticos. La validación exitosa en las cinco categorías de tareas justifica la transición a pruebas con robots reales y abre vías de investigación para sistemas de agentes en entornos industriales. El trabajo enfatiza que los stacks maduros (ROS 2, MoveIt 2) combinados con un diseño de agentes modulares pueden superar los desafíos de la reactividad en tiempo real y el control certificable que las políticas generalistas suelen tener dificultades para cumplir.