CRAFT: Grounded Multi-Agent Coordination Under Partial Information

1. El Problema: Coordinación Multiagente bajo Información Parcial

El artículo aborda un desafío fundamental en los sistemas de agentes de Inteligencia Artificial: la coordinación pragmática en entornos donde múltiples agentes poseen información incompleta y complementaria.

• Contexto: Los Grandes Modelos de Lenguaje (LLM) han evolucionado de asistentes individuales a componentes de sistemas multiagente. Sin embargo, la coordinación entre estos agentes sigue siendo frágil, incluso en escenarios simples.
• La Brecha: La mayoría de las evaluaciones actuales se centran en el razonamiento interno de un solo agente o en la interpretación offline. No evalúan adecuadamente la capacidad de los modelos para generar comunicación pragmática efectiva (decidir qué decir, cuánto decir y cuándo) cuando deben colaborar bajo observabilidad parcial.
• El Escenario Específico: En tareas reales, los agentes tienen "vistas privadas" del mismo objetivo (asimetría de información) y deben comunicarse mediante lenguaje natural para construir un estado compartido que ninguno puede observar por sí solo. El problema no es solo razonar, sino integrar las creencias privadas de otros agentes para la acción conjunta.

2. Metodología: El Benchmark CRAFT

Los autores introducen CRAFT (Collaborative Reasoning Agents For Construction Tasks), un nuevo benchmark y entorno de evaluación diseñado para medir la comunicación pragmática en entornos físicos simulados.

Arquitectura del Sistema

El sistema simula un juego de construcción en una cuadrícula 3x3 con bloques de colores y tamaños (pequeños y grandes/dominó):

1. Generador de Estructuras: Crea un objetivo 3D y genera tres vistas 2D privadas (parciales) para los agentes "Directores".
2. Agentes Directores (3): Cada uno ve una pared diferente de la estructura (izquierda, fondo, derecha). Tienen acceso a su vista privada, el estado actual del tablero y el historial de conversación. Deben razonar internamente (en un bloque <thinking>) y emitir instrucciones públicas (<message>) al constructor.
3. Agente Constructor (1): Observa el estado actual del tablero y las instrucciones de los directores. No tiene acceso a la estructura objetivo. Su tarea es seleccionar una acción (colocar, eliminar o aclarar) basándose únicamente en las instrucciones de los directores.
4. Motor de Juego: Ejecuta las acciones, verifica la validez física (gravedad, superposición) y calcula el progreso.

Formalización Teórica: Bounded Pragmatic Speaker (BPS) Multi-emisor

El marco teórico formaliza a los directores como Hablantes Pragmáticos Acotados (BPS) dentro de un entorno de múltiples emisores:

• Definición: Un emisor pragmático selecciona enunciados razonando sobre un modelo generativo base ($S_{base}$) y un oyente con Teoría de la Mente ($L_{ToM}$) que evalúa qué tan bien el mensaje comunica la intención.
• Innovación: En CRAFT, el "oyente" efectivo es un Oyente ToM Conjunto que integra las instrucciones de los tres directores simultáneamente.
• Teorema: La política óptima requiere que cada director elija mensajes que sean consistentes con su observación privada y, crucialmente, maximicen la utilidad para el constructor dado lo que los otros directores ya han comunicado (Maximización de la Cantidad de Grice).

Evaluación Automatizada (LLM Judges)

Para diagnosticar fallos, el sistema utiliza tres "jueces" basados en LLM que analizan cada turno:

1. Grounding Espacial (SG): Evalúa el razonamiento privado del director. ¿Identificó correctamente los bloques faltantes y sus capas?
2. Modelado de Mente (MM): Evalúa el mensaje público. ¿Añade información nueva? ¿Evita redundancias? ¿Reconoce las perspectivas de los otros directores?
3. Suficiencia Pragmática (PS): Evalúa el resultado colectivo. ¿Fue suficiente la información combinada de los tres directores para que un constructor racional identificara una acción correcta?

3. Contribuciones Clave

1. Benchmark CRAFT: Un entorno de construcción multiagente con estructuras generadas proceduralmente, un motor de juego restringido por física y un registro detallado de trayectorias. Introduce una interfaz asistida por "oráculo" para el constructor, lo que permite aislar el fallo de comunicación de los directores del fallo de ejecución del constructor.
2. Marco Teórico Multi-emisor BPS: Una formalización teórica que extiende el modelo BPS a escenarios de información asimétrica y múltiples emisores, proporcionando un marco para diagnosticar fallos de comunicación a nivel grupal.
3. Evaluación Empírica a Gran Escala: Una evaluación exhaustiva de 15 modelos (8 de código abierto y 7 modelos propietarios/de vanguardia) utilizando una suite de evaluadores automáticos para descomponer los fallos en categorías específicas.

4. Resultados Principales

Los hallazgos desafían la intuición común de que los modelos más grandes o avanzados son necesariamente mejores colaboradores:

• Desacoplamiento entre Razonamiento Individual y Colaboración:
  • Los modelos de vanguardia (Frontier, como GPT-4o, Claude, Gemini) obtienen puntuaciones más altas en Grounding Espacial (SG) y Modelado de Mente (MM) individual.
  • Sin embargo, no superan consistentemente a los modelos de código abierto más pequeños (como Mistral-7B o Qwen-2.5-7B) en la tarea final (progreso de construcción). De hecho, algunos modelos pequeños superan a los modelos de vanguardia.
• La Paradoja de la Calidad de Comunicación:
  • Una mayor calidad en la comunicación individual (puntuaciones altas en SG/MM) no se traduce en una mejor colaboración grupal. En muchos casos, hay una correlación negativa: los modelos que razonan mejor individualmente tienden a tener un peor rendimiento colectivo.
• El Fenómeno de los "Espirales de Corrección" (Correction Spirals):
  • Se identificó un patrón de fallo conductual donde los agentes, al no resolver la asimetría de información, entran en un bucle de correcciones excesivas.
  • Los modelos de vanguardia tienden a realizar demasiadas acciones de eliminación (over-removal) de manera proactiva, consumiendo el presupuesto de turnos sin avanzar en la tarea. Esto se debe a que, al razonar profundamente sobre su vista privada, generan instrucciones de corrección que ignoran el estado global o las instrucciones de otros, llevando a conflictos y bloqueos.
• Correlación Negativa: La métrica de "brecha de eliminación" (diferencia entre eliminaciones intentadas y necesarias) está fuertemente correlacionada negativamente con el progreso de la tarea.

5. Significado e Implicaciones

• Competencia Formal vs. Funcional: El estudio demuestra que la competencia lingüística formal (razonamiento interno) es necesaria pero insuficiente para la competencia comunicativa funcional en entornos multiagente. Un modelo puede "saber" la respuesta pero fallar en "comunicarla" de manera que el grupo avance.
• Limitaciones de los Modelos Actuales: La coordinación multiagente bajo información parcial sigue siendo un problema fundamentalmente no resuelto para los LLM actuales. La capacidad de tomar perspectiva (Theory of Mind) no garantiza una coordinación exitosa si no se traduce en una comunicación pragmática eficiente y no redundante.
• Necesidad de Nuevos Benchmarks: Las métricas tradicionales de rendimiento individual o de tareas de un solo agente son engañosas para evaluar sistemas colaborativos. Se necesitan evaluaciones que midan la "calidad de la comunicación" y la "suficiencia pragmática" a nivel de grupo.
• Dirección Futura: El trabajo sugiere que mejorar la colaboración requiere no solo modelos más grandes, sino arquitecturas o estrategias de entrenamiento que prioricen la alineación de objetivos grupales y la gestión de la información compartida sobre el razonamiento individual aislado.

En resumen, CRAFT revela que la inteligencia colectiva en LLMs no es una simple suma de inteligencias individuales, y que los modelos más avanzados a menudo fallan en la coordinación precisamente porque sus capacidades de razonamiento individual les llevan a estrategias de comunicación contraproducentes en entornos de información asimétrica.