Resumen Técnico: Planificación de Visión-Lenguaje en Bucle Cerrado para la Coordinación Multiagente (COMPASS)

Declaración del Problema

El Aprendizaje por Refuerzo Multiagente Cooperativo (MARL) enfrenta desafíos significativos en eficiencia de muestras, interpretabilidad y generalización, particularmente en entornos complejos y parcialmente observables. Si bien los Modelos de Lenguaje Grande (LLM) han demostrado capacidades de planificación poderosas, su aplicación a sistemas multiagente ha estado limitada por dos factores principales:

1. Entradas Solo de Texto: Los agentes basados en LLM existentes a menudo dependen exclusivamente de observaciones textuales, fallando en aprovechar la información multimodal (visual) crucial para la toma de decisiones tácticas en tiempo real.
2. Limitaciones de Bucle Abierto: Muchos enfoques utilizan planificación de bucle abierto que no maneja adecuadamente la naturaleza no markoviana y parcialmente observable de las tareas multiagente, donde los agentes deben adaptarse dinámicamente a entornos estocásticos e información incompleta.

Además, los métodos tradicionales de MARL a menudo luchan con la escalabilidad cuando los controladores centralizados son inviables debido a la sobrecarga de comunicación, mientras que los enfoques descentralizados sufren la discrepancia entre las observaciones locales y el estado global.

Metodología: El Marco COMPASS

Los autores introducen COMPASS, un marco descentralizado de bucle cerrado que integra Modelos de Visión-Lenguaje (VLM) para permitir una coordinación multiagente robusta. La arquitectura consta de tres componentes sinérgicos:

1. Planificador de Bucle Cerrado Basado en VLM

Inspirado en arquitecturas cognitivas, el planificador emplea cuatro módulos especializados de VLM para percibir, razonar, reflexionar y actuar iterativamente:

• Percepción: Procesa entradas multimodales (capturas de pantalla visuales y descripciones textuales) para construir una comprensión ambiental comprehensiva. Opera en dos niveles: procesamiento de observación directa y síntesis de información colaborativa mediante un protocolo de comunicación.
• Razonamiento de Tareas: Descompone objetivos de alto nivel (por ejemplo, "derrotar a todas las unidades enemigas") en subtareas concretas y ejecutables basadas en la retroalimentación ambiental actual y los objetivos del equipo.
• Autoreflexión: Evalúa continuamente la calidad de las habilidades ejecutadas y la finalización de tareas, generando retroalimentación verbal para refinar la toma de decisiones futura.
• Actor: Selecciona y ejecuta las habilidades más apropiadas de una biblioteca de habilidades dinámica basándose en las subtareas propuestas y la retroalimentación de la reflexión.

2. Síntesis Adaptativa de Habilidades

COMPASS utiliza una biblioteca de habilidades dinámica que contiene código Python ejecutable que representa comportamientos tácticos. Esta biblioteca evoluciona a través de dos mecanismos:

• Arranque con Demostraciones: Para evitar una exploración ineficiente desde cero, el sistema inicializa la biblioteca de habilidades analizando videos de demostración de expertos (recopilados mediante MAPPO). Los VLM extraen patrones estratégicos y los traducen en funciones Python documentadas.
• Síntesis Incremental: Durante la ejecución de la tarea, si las habilidades existentes son insuficientes para una subtarea propuesta, el VLM genera nuevos scripts de Python. Estos scripts siguen una interfaz estructurada con score_target(unit) para la priorización dinámica y control_logic() para la coordinación de comportamientos. El sistema refina continuamente estas habilidades basándose en la autoreflexión y los resultados de la ejecución.

3. Protocolo de Comunicación Estructurado

Para abordar la observabilidad parcial sin inducir alucinaciones comunes en la comunicación de lenguaje natural no restringida, COMPASS implementa un protocolo estructurado basado en entidades:

• Propagación Multi-salto: Los agentes comparten observaciones locales de entidades (aliados y enemigos) a través de una memoria global. La información se propaga a través de aliados intermedios (multi-salto), permitiendo a los agentes inferir el estado y la ubicación de entidades fuera de su campo de visión directo.
• Memoria Global: Un repositorio compartido accesible para todos los agentes, que permite la construcción de una comprensión coherente y holística del entorno a pesar de la ejecución descentralizada.

Contribuciones Clave

1. Planificación Descentralizada de Bucle Cerrado: A diferencia de trabajos anteriores basados en LLM para múltiples agentes que a menudo dependen de planificación centralizada o ejecución de bucle abierto, COMPASS implementa un sistema completamente descentralizado y de bucle cerrado donde los VLM adaptan continuamente las estrategias basándose en retroalimentación visual y textual en tiempo real.
2. Código como Política con Bibliotecas Dinámicas: El marco va más allá de las acciones primitivas fijas generando y refinando código Python ejecutable (habilidades) sobre la marcha. Este enfoque mejora la interpretabilidad y permite la acumulación de conocimiento táctico reutilizable.
3. Comunicación Estructurada Basada en Entidades: El artículo propone un protocolo de comunicación que mitiga los riesgos de charla sin sentido y alucinaciones al centrarse en la propagación estructurada y multi-salto de información de entidades, abordando efectivamente el desafío de la observabilidad parcial.
4. Arranque con Datos de Expertos: El método demuestra cómo inicializar una biblioteca de habilidades compleja a partir de demostraciones de expertos fuera de línea, reduciendo significativamente la complejidad de muestras requerida para descubrir estrategias viables.

Resultados Experimentales

El marco fue evaluado en el punto de referencia SMACv2 (StarCraft Multi-Agent Challenge v2), que presenta mayor complejidad y observabilidad parcial en comparación con el SMAC original.

• Rendimiento: COMPASS superó significativamente a las líneas base de MARL más avanzadas (incluyendo QMIX, MAPPO, HAPPO, HASAC y MAT) en escenarios simétricos Protoss 5v5, logrando una tasa de victorias del 57% en comparación con el 27% de QMIX (una ventaja de 30 puntos porcentuales).
• Robustez: El sistema mantuvo un rendimiento moderado en escenarios Terran y manejó efectivamente configuraciones asimétricas (5v6), demostrando la utilidad de la biblioteca de habilidades y el protocolo de comunicación para compensar las desventajas numéricas.
• Limitaciones: El rendimiento fue limitado en escenarios Zerg (16% de tasa de victorias), particularmente contra unidades de enjambre como Banelings y Zerglings. Los autores atribuyen esto a la discrepancia entre la frecuencia de consultas del VLM (cada 10-20 pasos de tiempo) y las ventanas tácticas subsegundarias requeridas para la coordinación de enjambre en combate cuerpo a cuerpo.
• Estudios de Ablación:
  • Comunicación: Eliminar la comunicación multi-salto causó una caída drástica en la tasa de victorias (del 57% al 6%), destacando su papel crítico en la observabilidad parcial.
  • Entrada Visual: Omitir las entradas de imagen resultó en una caída del 10% en el rendimiento, confirmando la necesidad de anclaje visual para la comprensión espacial.
  • Autoreflexión: Eliminar el módulo de autoreflexión condujo a una disminución del 10% en el rendimiento.
  • Arranque: Utilizar solo la biblioteca de habilidades inicializada (sin síntesis incremental) produjo un rendimiento no trivial, pero fue significativamente inferior al sistema completo de COMPASS, validando la necesidad de una evolución dinámica de habilidades.

Significado y Afirmaciones

El artículo afirma que COMPASS demuestra la viabilidad de utilizar Modelos de Visión-Lenguaje para generar comportamientos tácticos interpretables para el control cooperativo multiagente bajo observabilidad parcial. Establece que los VLM pueden sintetizar y refinar efectivamente estrategias basadas en código cuando se integran con comunicación estructurada y retroalimentación de bucle cerrado.

Sin embargo, los autores son modestos respecto al alcance de estos hallazgos. Reconocen explícitamente que el enfoque actual no es adecuado para dominios que requieren control reactivo rápido y continuo (como las mecánicas de enjambre Zerg) debido a la latencia de inferencia de los VLM. El artículo postula que la planificación basada en VLM es más ventajosa en escenarios donde la coordinación estratégica domina y las acciones permanecen válidas durante múltiples pasos de tiempo. Se sugiere que el trabajo futuro se centre en reducir la latencia de inferencia o desarrollar arquitecturas híbridas que deleguen decisiones de alta frecuencia a políticas reactivas aprendidas, reservando los VLM para la supervisión estratégica.