Resumen Técnico: El modelado bayesiano de socios permite la replanificación adaptativa para la coordinación de LLM

Declaración del problema

Los sistemas multi-agente de Grandes Modelos de Lenguaje (LLM) frecuentemente tienen dificultades para colaborar con nuevos compañeros cuyas estrategias cambian a mitad de la tarea. Aunque los agentes pueden inferir con éxito la intención de un socio (una capacidad asociada con la "Teoría de la Mente"), a menudo no logran traducir este conocimiento actualizado en cambios de comportamiento oportunos. Específicamente, los agentes tienden a continuar ejecutando habilidades de múltiples pasos ya obsoletas incluso después de que la evidencia pública indica que un compañero ha cambiado su estrategia. Esto crea una brecha entre creencia y acción: el agente posee un modelo preciso del rol actual del socio, pero no logra interrumpir su propia ejecución en curso para seleccionar una habilidad complementaria. Los métodos existentes o tratan el seguimiento del socio como contexto pasivo (lo que conduce a tiempos de reacción lentos) o activan la replanificación de forma indiscriminada (lo que causa un exceso de agitación computacional).

Metodología: BayesBeliefAgent

Los autores presentan BayesBeliefAgent, un agente de coordinación de LLM jerárquico diseñado para cerrar la brecha entre la creencia sobre el socio y el control. El sistema opera a través de tres mecanismos centrales:

1. Actualización de la creencia de la habilidad del socio mediante el método Bayesiano en línea

El agente mantiene una creencia posterior recursiva $b_t(\psi)$ sobre la habilidad activa del compañero $\psi$ a partir de una biblioteca finita de habilidades $\Psi$. Dado que la política de alto nivel del compañero es inobservable, el agente infiere la habilidad utilizando planificación inversa bayesiana basada en acciones primitivas públicamente observables.

• Ventana de inferencia: El agente actualiza las creencias sobre un segmento de trayectoria reciente, asumiendo que la habilidad del compañero permanece fija dentro de una ventana de $k$ pasos.
• Aproximación de la verosimilitud: Debido a que el controlador de bajo nivel real del compañero es desconocido, el agente aproxima la verosimilitud de la acción utilizando su propio controlador de acción de bajo nivel $\pi^i_{low}$ para predecir lo que el socio haría si estuviera ejecutando una habilidad específica $\psi$.
• Inicialización de la creencia previa (Prior): La creencia previa se inicializa utilizando un modelo de conteo suavizado basado en el historial de habilidades completadas del compañero dentro del episodio actual, lo que permite al agente aprender las preferencias de comportamiento a lo largo del tiempo.

2. Interrupción de habilidad condicionada por contradicción

En lugar de replanificar constantemente, el agente emplea un mecanismo de interrupción con compuerta. El agente evalúa la verosimilitud de las acciones recién observadas del compañero bajo la estimación actual de la Máxima Probabilidad a Posteriori (MAP) de la habilidad.

• Señal de contradicción: Si la verosimilitud de las acciones observadas cae por debajo de un umbral $\theta_{obs}$, se activa una señal de contradicción.
• Compuertas de interrupción: Para evitar la replanificación inducida por ruido, la interrupción ocurre solo si:
  1. Se detecta una contradicción.
  2. La estimación de la habilidad MAP se ha mantenido estable durante las actualizaciones recientes.
  3. La confianza en la creencia actual supera un umbral $\Gamma_{conf}$.
  4. El agente egoísta se encuentra actualmente en medio de una habilidad y no en un periodo de enfriamiento (cooldown).

3. Replanificación selectiva

Cuando las compuertas de interrupción se satisfacen, el agente detiene su habilidad actual e invoca al planificador de alto nivel de LLM. El planificador recibe la creencia posterior actualizada y la nueva estimación MAP como contexto de coordinación para seleccionar una habilidad complementaria. Esto asegura que el agente solo replanifique cuando el plan actual es demostrablemente inconsistente con el comportamiento del socio.

Contribuciones clave

1. Método: La introducción de BayesBeliefAgent, que utiliza contradicciones basadas en la verosimilitud bajo una estimación actual de la habilidad del compañero para interrumpir y replanificar de forma selectiva, en lugar de depender de disparadores periódicos o basados en eventos.
2. Diagnóstico: Un protocolo de evaluación novedoso que define la tasa de brecha entre creencia y acción (la fracción de decisiones donde el agente tiene una estimación correcta del socio pero ejecuta una habilidad no complementaria), la recuperación condicionada por contradicción y la eficiencia de replanificación. Estas métricas revelan fallos de coordinación que las métricas de recompensa agregadas suelen ocultar.
3. Evidencia: Resultados empíricos que demuestran que la interrupción regulada por la posterior convierte las creencias sobre el socio de un contexto pasivo en señales de control activas, reduciendo significativamente la brecha entre creencia y acción y requiriendo órdenes de magnitud menos replanificaciones que las líneas base heurísticas.

Resultados experimentales

El sistema fue evaluado en entornos Overcooked y Burrito a través de tres diseños (Abierto, Anillo, Coordinación Forzada) y tres grupos de socios con diversas preferencias de comportamiento.

• Desempeño de coordinación: Bayes_BeliefAgent superó a las líneas base de LLM (ProAgent, Hypothetical Minds) en los diseños Abierto y Anillo, particularmente contra socios con distintas preferencias de logística o abastecimiento. Sin embargo, las líneas base basadas en RL (TALENTS, GAMMA) generalmente lograron recompensas brutas más altas, lo que indica que el planificador de LLM subyacente sigue siendo un cuello de botella en el desempeño.
• Cierre de la brecha entre creencia y acción: A pesar de lograr una precisión de predicción de la habilidad del compañero casi idéntica a la de la línea base ProAgent, BayesBeliefAgent redujo significativamente la brecha entre creencia y acción (por ejemplo, de 0.41 a 0.20 en el diseño Abierto) y redujo las tasas de habilidades duplicadas.
• Eficiencia de replanificación: El método logró recompensas comparables a las heurísticas de replanificación genéricas (Periódica-10, Disparada por finalización, LLM-juez), pero con drásticamente menos replanificaciones. Por ejemplo, en el entorno Open G1, BayesBeliefAgent promedió 2.0 replanificaciones por episodio, mientras que las heurísticas dispararon entre 43 y 169 replanificaciones para un desempeño similar.
• Estudios de ablación: Los experimentos confirmaron que usar la posterior como una señal de control (disparando la interrupción) es más efectivo que usarla meramente como contexto en el prompt del planificador. Se demostró que el acoplamiento directo de la creencia con las decisiones de replanificación es el principal motor de la mejora en la coordinación.

Significado y afirmaciones

El artículo argumenta que la coordinación multi-agente efectiva requiere más que solo un modelado preciso del socio; requiere un mecanismo basado en principios para decidir cuándo actuar sobre ese modelo. Los autores afirman que:

• La creencia es insuficiente sin el control: Inferir correctamente la intención de un socio no garantiza la coordinación si el agente no logra interrumpir un plan obsoleto.
• La replanificación selectiva es superior a la replanificación frecuente: Reaccionar a cada cambio de comportamiento causa una agitación excesiva. Detectar contradicciones específicas contra una creencia estable permite una adaptación eficiente.
• Cerrar la brecha de la ToM: El trabajo aborda la brecha entre la "Teoría de la Mente literal y funcional", demostrando que la actualización de las creencias debe estar directamente acoplada con las señales de control para evitar que los agentes continúen ejecutando estrategias redundantes o conflictivas.

Los autores señalan modestamente las limitaciones, específicamente que el método depende de una biblioteca de habilidades fija y especificada manualmente, y es menos efectivo en entornos de acoplamiento estrecho (Coordinación Forzada) donde las limitaciones del planificador de LLM subyacente son más pronunciadas. Identifican el aprendizaje del espacio de habilidades y el ajuste conjunto de la estimación de la creencia con la selección de acciones como direcciones futuras necesarias.