COHORT: Hybrid RL for Collaborative Large DNN Inference on Multi-Robot Systems Under Real-Time Constraints

El artículo presenta COHORT, un marco de inferencia colaborativa de redes neuronales profundas para sistemas multi-robot que utiliza una estrategia híbrida de aprendizaje por refuerzo (offline y online) para optimizar dinámicamente la distribución de tareas, logrando una reducción del 15,4% en el consumo de batería y un aumento del 51,67% en la utilización de la GPU mientras cumple con las restricciones de tiempo real.

Lo esencial

¡Claro que sí! Imagina que tienes un equipo de robots de rescate (como perros, tanques pequeños y vehículos con ruedas) que deben trabajar juntos en un desastre, como un terremoto. No hay internet, no hay servidores en la nube y la batería de cada robot es limitada. Tienen que "ver" y "entender" lo que pasa alrededor usando inteligencia artificial muy avanzada, pero esa IA es tan pesada que si un robot intenta hacer todo solo, se agota en minutos.

Aquí es donde entra COHORT.

¿Qué es COHORT? (La analogía del "Equipo de Cocina")

Imagina que tienes que preparar un banquete gigante (la tarea de inteligencia artificial) para una fiesta, pero tienes tres cocineros con habilidades muy diferentes:

1. El Chef Pro (Husky): Tiene un horno industrial y cuchillos de alta gama (mucha potencia de cómputo).
2. El Ayudante Rápido (Jackal): Tiene una estufa decente, pero no es tan potente.
3. El Aprendiz (Spot): Tiene una cocina pequeña y portátil, con recursos limitados.

Si el Chef Pro intenta cortar, cocinar y decorar todo el banquete solo, se cansará y el banquete se retrasará. Si el Aprendiz intenta hacer todo, se quemará la comida y se quedará sin gas.

COHORT es como un jefe de cocina inteligente que no está en la cocina, sino que vive dentro de la mente de cada robot. Su trabajo es decidir, en tiempo real, quién hace qué parte del trabajo para que todos terminen rápido y sin quedarse sin energía.

¿Cómo funciona? (El entrenamiento híbrido)

El problema es que entrenar a un robot para tomar estas decisiones en la vida real es peligroso: si se equivoca, se queda sin batería en medio del rescate. Por eso, COHORT usa una estrategia de "dos pasos" (aprendizaje híbrido):

1. El Entrenamiento en Simulación (La fase "Offline"):
   Imagina que antes de ir al desastre, los robots pasan meses en un "gimnasio virtual". Allí, practican miles de veces usando un sistema de subastas.

   • La metáfora: Cuando llega una tarea (ej. "buscar una persona"), cada robot grita: "¡Yo puedo hacerlo por 5 minutos de batería!". El robot con la oferta más barata (que tiene más energía y potencia) gana la tarea.
   • COHORT observa estas miles de subastas virtuales y aprende patrones: "Ah, cuando el Chef Pro está cansado, mejor que el Ayudante haga la tarea fácil".

2. El Entrenamiento en Vivo (La fase "Online"):
   Una vez que van al campo de desastre, los robots ya saben lo básico. Pero el mundo real es caótico: un robot se calienta, la batería baja más rápido de lo esperado, o aparece un nuevo robot.

   • Aquí, COHORT usa un sistema llamado MAPPO (como un entrenador que grita instrucciones en tiempo real). Si el robot nota que está fallando, ajusta su estrategia al instante.
   • La magia: Si un robot se rompe o se va, los demás no entran en pánico. El sistema recalcula quién hace qué, como si el equipo de cocina se reorganizara automáticamente si uno se va a casa.

¿Qué logra COHORT? (Los resultados)

Gracias a este sistema, los robots logran cosas increíbles:

• Ahorran batería: En lugar de gastar energía en tareas que no pueden hacer bien, delegan a quien puede. Ahorraron un 15% de batería, lo que significa más tiempo de rescate.
• Usan mejor la fuerza bruta: Aprovechan al máximo la potencia de los robots fuertes (como el Chef Pro) para que no se desperdicie.
• Son más rápidos: Logran procesar imágenes y tomar decisiones 2.5 veces más a menudo que si intentaran hacerlo solos o con métodos antiguos.

En resumen

COHORT es un sistema que convierte a un grupo de robots con diferentes habilidades en un equipo perfectamente sincronizado. En lugar de que cada robot luche solo contra la complejidad de la inteligencia artificial, se comunican (de forma muy eficiente) para repartirse el trabajo como un equipo de fútbol: el delantero hace lo que mejor sabe, el defensa cubre sus espaldas, y todos se aseguran de no cansarse antes de tiempo para ganar el partido (salvar vidas).

Es la diferencia entre tener tres personas corriendo en círculos y tener un equipo que sabe exactamente quién debe correr, quién debe pasar el balón y cuándo descansar.

Resumen técnico

Resumen Técnico: COHORT

1. El Problema

Los sistemas robóticos autónomos, especialmente en misiones críticas como la búsqueda y rescate (SAR), enfrentan desafíos significativos al ejecutar modelos de redes neuronales profundas (DNN) grandes y complejos, como los Modelos Visión-Lenguaje (VLMs: CLIP, SAM).

• Limitaciones de Recursos: Los robots de campo (UGVs, robots de patas) tienen restricciones severas de energía, memoria y capacidad de cómputo. Ejecutar VLMs completos en un solo robot agota rápidamente la batería y viola las restricciones de tiempo real.
• Falta de Infraestructura: En escenarios de desastre, la conectividad a la nube o servidores centrales es inestable o inexistente, lo que hace inviables las soluciones de computación en la nube o edge-cloud tradicionales.
• Heterogeneidad y Dinamismo: Los equipos robóticos suelen ser heterogéneos (diferentes capacidades de CPU/GPU, baterías, sensores) y dinámicos (los robots pueden unirse o salir del sistema, o fallar). Las estrategias de asignación de tareas estáticas o basadas en subastas puras no escalan ni se adaptan bien a estas variaciones en tiempo real.
• Ineficiencia de Métodos Actuales: Los enfoques existentes a menudo requieren intercambio frecuente de información (alto ancho de banda), no consideran la heterogeneidad de la carga de trabajo, o no garantizan el cumplimiento de plazos estrictos (FPS, latencia) y la eficiencia energética simultáneamente.

2. Metodología: El Marco COHORT

COHORT es un marco de ejecución colaborativa de DNNs distribuidas basado en el Sistema Operativo Robótico (ROS). Su núcleo es una estrategia de Aprendizaje por Refuerzo (RL) Híbrido (Offline-Online) diseñado para la toma de decisiones descentralizada.

A. Arquitectura del Sistema:

• Entorno: Múltiples agentes robóticos heterogéneos (ej. Husky, Jackal, Spot) operando como pares (peers).
• Carga de Trabajo: Pipelines de percepción divididos en módulos (ej. CLIP y Grounded-SAM divididos en 6 unidades modulares: codificadores, decodificadores, detectores, etc.).
• Decisión: Cada robot decide localmente si ejecutar una tarea, descargarla (offload) a un vecino, o aceptar una tarea entrante, basándose en el estado de sus recursos (batería, CPU/GPU, cola de tareas) y la latencia de red.

B. Estrategia de Aprendizaje por Refuerzo Híbrido (3 Fases):
Para superar la ineficiencia de muestreo y los riesgos de seguridad en hardware real, COHORT utiliza un currículo de tres fases:

1. Fase A: Aprendizaje por Imitación (Behavior Cloning - BC):
   • Se recopilan datos offline de un sistema real utilizando una heurística de subasta distribuida.
   • Se entrena una política compartida (Actor) para imitar las decisiones de la subasta, proporcionando una inicialización segura y evitando la exploración aleatoria peligrosa al inicio.
2. Fase B: Mejora de Política Offline (Advantage-Weighted Regression - AWR):
   • Se utiliza el mismo conjunto de datos para refinar la política sin interacción en tiempo real.
   • Se entrena un crítico centralizado y se aplica AWR para sesgar la política hacia acciones históricas que generaron mayores recompensas (menor latencia, mejor uso de energía), filtrando decisiones subóptimas de la heurística original.
3. Fase C: Ajuste Fino Online (MAPPO con Restricciones de Lagrange):
   • Despliegue en el sistema multi-robot real.
   • Se utiliza Multi-Agent PPO (MAPPO) con entrenamiento centralizado y ejecución descentralizada (CTDE).
   • Restricciones: Se incorporan restricciones estrictas de energía y latencia mediante relajación de Lagrange, penalizando las violaciones de los plazos (deadlines) y el consumo excesivo de batería en la función de recompensa.
   • Adaptabilidad: La política se ajusta en tiempo real a cambios en la carga de trabajo, tamaño del equipo y condiciones ambientales.

3. Contribuciones Clave

1. Marco de Ejecución Distribuida Consciente de Recursos: COHORT introduce un pipeline de RL de dos etapas que equilibra cargas de trabajo en agentes heterogéneos con comunicación mínima, eliminando la dependencia de servidores centralizados.
2. Estrategia de Reasignación Tolerante a Fallos: Mecanismo dinámico que reasigna tareas ante fallos de recursos, sobrecargas o agotamiento de energía, manteniendo la estabilidad de la precisión de percepción y la salud de la batería.
3. Despliegue y Evaluación en Mundo Real: Implementación exitosa en tres plataformas robóticas heterogéneas (Husky, Jackal, Spot) con cargas de trabajo VLM reales (CLIP, SAM). Se demuestra escalabilidad al añadir/remover robots y robustez bajo restricciones de tiempo real.

4. Resultados Experimentales

El marco se evaluó comparándolo con una ejecución local (Baseline), algoritmos genéticos (GA) y subastas tradicionales.

• Rendimiento en Tiempo Real:
  • COHORT logra cumplir simultáneamente los objetivos de FPS y latencia 2.55 veces más a menudo que los métodos basados en subastas o algoritmos genéticos.
  • Mejora la tasa de éxito en el cumplimiento de restricciones en un 54% (Husky), 41.5% (Jackal) y 33.2% (Spot), superando significativamente a la línea base (que ronda el 10-21%).
• Eficiencia Energética y de Recursos:
  • Reducción de Batería: Disminuye el consumo de batería en un 15.4% en comparación con las líneas base.
  • Utilización de GPU: Aumenta la utilización de la GPU en un 51.67%, indicando una mejor distribución de la carga de cómputo.
  • SoC (Estado de Carga): Muestra la menor caída de SoC en todos los robots, demostrando una gestión de energía más efectiva.
• Escalabilidad y Robustez:
  • El sistema escala sin necesidad de reentrenar desde cero; al añadir un nuevo dispositivo, se inicializa con la política de un robot con perfil de recursos similar.
  • Mantiene un rendimiento competitivo incluso cuando un robot falla (escenario de 2 robots) o cuando se añade una carga de trabajo extra pesada (detección YOLOv8).

5. Significado e Impacto

El trabajo de COHORT es significativo porque aborda la brecha entre la teoría de la inferencia colaborativa y la realidad operativa en entornos hostiles.

• Autonomía Real: Permite que enjambres de robots operen de forma autónoma en entornos sin infraestructura, maximizando la duración de la misión mediante la optimización conjunta de energía y rendimiento.
• Viabilidad de VLMs en el Borde: Demuestra que es posible ejecutar modelos de visión-lenguaje masivos en robots de campo mediante la colaboración inteligente, algo que antes se consideraba imposible debido a las limitaciones de hardware.
• Nueva Metodología de RL: La combinación de Offline RL (AWR) con Online Fine-tuning (MAPPO) ofrece un paradigma robusto para el aprendizaje multi-agente en sistemas físicos, reduciendo el costo de interacción y los riesgos de seguridad.

En conclusión, COHORT establece un nuevo estándar para la coordinación de tareas de percepción en sistemas multi-robot, demostrando que el aprendizaje por refuerzo híbrido puede resolver problemas complejos de asignación de recursos en tiempo real bajo restricciones físicas estrictas.