Resumen Técnico: Moldeamiento de la Coordinación Zero-Shot mediante Bloqueo de Estados

Enunciado del Problema

La Coordinación Zero-Shot (ZSC) tiene como objetivo permitir que los sistemas multiagente cooperen con socios entrenados de forma independiente (incluidos humanos) sin interacción conjunta previa. Si bien los métodos existentes como el Auto-Juego (SP) son efectivos para agentes entrenados conjuntamente, a menudo convergen hacia una única convención de coordinación, lo que provoca una degradación severa del rendimiento al emparejarse con socios entrenados bajo diferentes semillas aleatorias o métodos (Cross-Play, XP).

Los enfoques anteriores intentan mitigar esto aumentando la diversidad de socios mediante poblaciones, políticas aleatorizadas o modificación del entorno. Sin embargo, estas estrategias a menudo fallan en capturar un conjunto diverso de modos de coordinación subóptimos estructurados. O bien producen comportamientos demasiado similares a la convención óptima, o introducen variabilidad no estructurada que no generaliza bien. Además, los enfoques basados en la diversidad del entorno a menudo requieren acceso explícito o modificación del entorno, lo que limita su aplicabilidad. El desafío central permanece: ¿cómo exponer sistemáticamente a un agente egoísta a un conjunto diverso de comportamientos de socios estructurados y subóptimos sin modificar el entorno subyacente ni requerir datos humanos externos?

Metodología: Coordinación Bloqueada por Estados (SBC)

Los autores proponen la Coordinación Bloqueada por Estados (SBC), un marco que induce diversidad estructurada en los comportamientos de los socios mediante la creación de variaciones ambientales virtuales a través del bloqueo de estados.

1. MDP Bloqueado por Estados (SB-MDP)

SBC define un Proceso de Decisión de Markov modificado donde estados específicos se designan como "estados de penalización".

• Mecanismo: Se selecciona un conjunto de estados de penalización $\tilde{S}$ del búfer de repetición. La función de recompensa se modifica para penalizar las transiciones hacia estos estados:
  $$\tilde{R}(s_t, a_t, s_{t+1}; \tilde{S}) = R(s_t, a_t, s_{t+1}) - \alpha \sum_{\tilde{s} \in \tilde{S}} \frac{1}{\|s_{t+1} - \tilde{s}\|^2 + \epsilon}$$
  donde $\alpha$ es el coeficiente de penalización.
• Efecto: Al forzar a los socios a evitar estados específicos mientras aún completan la tarea, el SB-MDP induce estrategias de coordinación distintas y localmente óptimas. Estas estrategias representan comportamientos subóptimos estructurados que difieren del óptimo global pero siguen siendo válidos para la tarea.

2. Procedimiento de Entrenamiento

SBC emplea un proceso de entrenamiento de dos etapas que involucra una política consciente del bloqueo y una política egoísta normal:

• Política Consciente del Bloqueo ($\tilde{\pi}$): Esta política se entrena en el SB-MDP. Se condiciona sobre el conjunto específico de estados bloqueados $\tilde{S}$ como entrada. Al muestrear conjuntos diversos de estados de penalización durante el entrenamiento, el sistema genera una familia de socios conscientes del bloqueo, cada uno adhiriéndose a una convención de coordinación diferente dictada por sus estados bloqueados específicos.
• Política Egoísta Normal ($\pi_e$): La política final utilizada en el momento de la prueba se entrena en el MDP original (sin entradas de estados de penalización). Se expone a una mezcla de:
  1. Socios estándar de Auto-Juego (copias de sí mismo).
  2. Socios conscientes del bloqueo (entrenados en SB-MDPs pero actuando en el MDP original durante el entrenamiento del egoísta).
     Esta exposición permite que el agente egoísta aprenda a coordinarse con un amplio espectro de comportamientos estructurados sin sobreajustarse a una sola convención.

3. Programación de Estados de Penalización Guiada por Valor

Para evitar la selección de estados de penalización críticos para la finalización de la tarea (lo que degradaría demasiado el rendimiento del socio), SBC introduce un mecanismo de programación:

• Métrica de Criticidad: La brecha de valor $\Delta V(\tilde{s}) = V^{\pi}(s_0) - \tilde{V}^{\tilde{\pi}}(s_0, \tilde{s})$ cuantifica cuánto degrada el bloqueo de un estado el retorno.
• Estrategia de Muestreo: Los estados de penalización se muestrean con probabilidad $P(\tilde{s}) \propto \exp(-\beta \Delta V(\tilde{s}))$.
• Recocido: La temperatura $\beta$ se recocida de 0 a 1. Al inicio del entrenamiento, el muestreo es casi uniforme para maximizar la diversidad. Más tarde, el programador reduce progresivamente el peso de los estados altamente críticos, centrándose en configuraciones de bloqueo que inducen comportamientos subóptimos significativos pero no catastróficos.

4. Componentes Adicionales

Para mejorar aún más la robustez, SBC incorpora:

• Predicción de Acciones del Socio: Un modelo auxiliar predice las acciones del socio, que se introducen en la política egoísta para ayudar a la adaptación.
• Inyección de Acciones Aleatorias: Los socios ejecutan ocasionalmente acciones aleatorias para mejorar la robustez frente a desviaciones.

Contribuciones Clave

1. Marco: Introducción de SBC, un método que genera diversidad estructurada de socios mediante bloqueo de estados sin modificar las dinámicas de transición del entorno ni requerir datos externos.
2. Mecanismo: La formulación del MDP Bloqueado por Estados y la estrategia de programación guiada por valor para equilibrar la diversidad con la viabilidad de la tarea.
3. Rendimiento: Demostración de que SBC logra un rendimiento superior de Coordinación Zero-Shot en múltiples puntos de referencia, reduciendo significativamente la brecha entre las puntuaciones de Auto-Juego y Cross-Play.
4. Coordinación Humano-IA: Validación de que SBC se coordina eficazmente tanto con proxies humanos como con participantes humanos reales, superando a las líneas base existentes en términos de retorno de la tarea, reducción de colisiones y fluidez percibida de la coordinación.

Resultados Experimentales

Los autores evaluaron SBC en Multi-Destination Spread y Overcooked v1 (cinco diseños), comparándolo con líneas base que incluyen IPPO, FCP, MEP, E3T, GAMMA y CEC.

• Multi-Destination Spread: SBC logró una puntuación XP de 957.2 (frente a 77.4 de IPPO) con una Brecha de 24.8 (frente a 912.6 de IPPO). Fue el único método que mantuvo un alto rendimiento tanto en SP como en XP.
• Overcooked v1: SBC superó consistentemente a las líneas base en Cross-Play en todos los diseños. Por ejemplo, en el diseño Coordination Ring, SBC logró un XP de 316 (Brecha 17), mientras que IPPO obtuvo 41 (Brecha 246). SBC también mantuvo o mejoró el rendimiento de Auto-Juego en comparación con otros métodos.
• XP de Reserva: SBC demostró una generalización robusta a socios entrenados con diferentes métodos ZSC, no solo con diferentes semillas.
• Evaluación Humano-IA: En experimentos con 40 participantes humanos reales, SBC obtuvo las puntuaciones más altas en los cinco diseños. Resultó en el menor número de colisiones por entrega y las puntuaciones más altas de los participantes para la fluidez de la coordinación en una escala Likert de 7 puntos.

Significado y Afirmaciones

El artículo afirma que SBC aborda la limitación fundamental de los métodos ZSC existentes: la incapacidad de construir comportamientos de socios subóptimos diversos pero estructurados. Al inducir socios "conscientes del bloqueo", SBC expone al agente egoísta a una amplia gama de convenciones de coordinación, permitiendo una generalización robusta a socios no vistos.

Los autores enfatizan que:

• SBC no requiere modificación explícita del entorno (a diferencia de CEC) ni recopilación de datos humanos a gran escala.
• El método mejora la coordinación con socios humanos, lo que sugiere que la exposición a estrategias diversas y localmente óptimas ayuda a los agentes a adaptarse a las idiosincrasias humanas.
• Aunque SBC introduce hiperparámetros ($\alpha$ y $K$), la programación guiada por valor hace que el método sea robusto a variaciones moderadas, y la sobrecarga computacional es modesta en comparación con las ganancias de rendimiento y en comparación con líneas base más pesadas como GAMMA o CEC.

El trabajo posiciona a SBC como un paso práctico hacia el despliegue de agentes de IA cooperativos que puedan integrarse sin problemas con sistemas entrenados de forma independiente y colaboradores humanos en escenarios del mundo real.