Resumen Técnico: Coordinación Adaptativa Humano–IA mediante Desentrelazamiento Jerárquico de Acciones

Declaración del Problema

Desarrollar agentes inteligentes capaces de colaborar eficazmente con socios humanos sigue siendo un desafío significativo en el Aprendizaje por Refuerzo Multiagente (MARL). A diferencia de los entornos adversarios, donde el éxito se define por superar a un oponente, la colaboración requiere que los agentes se adapten a socios con comportamientos diversos e impredecibles, niveles de habilidad variables y preferencias individuales.

Los enfoques existentes enfrentan limitaciones críticas:

• Clonación de Comportamiento (BC): Aunque son efectivos para demostraciones específicas, estos métodos son costosos en términos de datos y luchan por generalizar más allá de los datos de entrenamiento.
• Aprendizaje por Refuerzo Jerárquico Profundo (DHRL): Aunque el DHRL ofrece abstracción temporal al descomponer tareas en habilidades de alto nivel y acciones de bajo nivel, los métodos actuales de descubrimiento de habilidades a menudo sufren de colapso de habilidades (donde múltiples habilidades convergen en comportamientos similares) o aprenden habilidades redundantes que capturan ruido en lugar de patrones relevantes para el socio.
• Falta de Conciencia del Socio: Muchos mecanismos de recompensa intrínseca promueven la diversidad basándose en la exploración propia del agente o en distribuciones de estado, fallando en modelar explícitamente las dinámicas de interacción o los comportamientos dependientes del socio. En consecuencia, los agentes a menudo se sobreajustan a los socios de entrenamiento y fallan al generalizar a socios novedosos con estilos de coordinación diferentes.

Metodología: Desentrelazamiento Intrínseco de Acciones (IAD)

Los autores proponen el Desentrelazamiento Intrínseco de Acciones (IAD), un marco de Aprendizaje por Refuerzo Jerárquico Profundo de dos niveles diseñado para aprender secuencias de acciones de bajo nivel distintas y conscientes del socio, condicionadas a habilidades latentes de alto nivel.

Arquitectura del Marco

El sistema opera sobre una política jerárquica $\pi_\theta = (\pi_{hi}, \pi_{lo}, \beta)$:

1. Gestor de Alto Nivel ($\pi_{hi}$): Observa patrones temporalmente extendidos del comportamiento del socio y selecciona una habilidad latente $z \in \mathcal{Z}$. Se implementa como una red recurrente para capturar dependencias secuenciales.
2. Controlador de Bajo Nivel ($\pi_{lo}$): Ejecuta secuencias de acciones atómicas condicionadas a la habilidad seleccionada $z$.
3. Función de Terminación ($\beta$): Una función estocástica que determina cuándo debe terminar la habilidad actual, permitiendo un cambio adaptativo basado en el contexto colaborativo.

Innovación Central: Desentrelazamiento Intrínseco de Acciones

La contribución central de IAD es una recompensa intrínseca novedosa aplicada a la política de bajo nivel para fomentar explícitamente el desentrelazamiento de las distribuciones de acciones entre diferentes habilidades.

• Objetivo: La política de bajo nivel se regulariza para asegurar que cada habilidad latente $z$ produzca una secuencia de acciones distinta y predecible que refleje los patrones de coordinación del socio, en lugar de reflejar variaciones centradas en el agente.
• Formulación de la Recompensa Intrínseca: La recompensa intrínseca $r^{IAD}$ se define como la divergencia de Kullback–Leibler (KL) entre la distribución de acciones condicionada a la habilidad y la distribución marginal de acciones:
  $$r^{IAD}(s_t, a_t, z_k) = \text{KL}(\pi_{lo}(\cdot | s_t, z_k) \parallel \pi_{lo}(\cdot | s_t))$$
  donde $\pi_{lo}(a | s) = \sum_{z \in \mathcal{Z}} \pi_{hi}(z | s) \pi_{lo}(a | s, z)$.
• Dinámicas de Entrenamiento:
  • Objetivo de Bajo Nivel: Maximiza una combinación de recompensas extrínsecas del equipo y la recompensa intrínseca de desentrelazamiento. Esto asegura que las habilidades aprendan patrones de coordinación reutilizables y específicos del socio.
  • Objetivo de Alto Nivel: Maximiza la recompensa extrínseca acumulada del equipo sobre segmentos de habilidades, aprovechando los comportamientos estructurados de bajo nivel para seleccionar la habilidad más efectiva para las dinámicas actuales del socio.
  • Optimización: Toda la jerarquía se entrena de extremo a extremo utilizando Optimización de Política Proximal (PPO). La función de terminación $\beta$ se optimiza utilizando la misma señal de ventaja de alto nivel para asegurar que las habilidades terminen de manera apropiada y maximicen el rendimiento.

Contribuciones Clave

1. Marco IAD: Un marco novedoso de DHRL de dos niveles que permite a los agentes adaptarse a socios previamente no vistos con diversos estilos de coordinación y niveles de habilidad, logrando una coordinación robusta en tareas colaborativas.
2. Recompensa de Desentrelazamiento Intrínseco: Un mecanismo de recompensa específico para la política de bajo nivel que fomenta explícitamente el desentrelazamiento de secuencias de acciones atómicas entre habilidades. Esto previene el colapso de habilidades y alinea cada habilidad de alto nivel con un patrón de comportamiento distinto y relevante para el socio.
3. Evaluación Exhaustiva: Experimentos extensos en el entorno Overcooked-AI a través de cinco diseños, probando la generalización hacia:
   • Grandes poblaciones de socios de autojuego con niveles de habilidad variables.
   • Un modelo proxy humano clonado en comportamiento, entrenado sobre trayectorias reales humano-humano.
   • Socios humanos reales en un estudio de usuario controlado.

Resultados Experimentales

Los autores evaluaron IAD frente a bases sólidas: Fictitious Co-Play (FCP), DIAYN y Entrenamiento de Población Jerárquica (HiPT).

• Socios de Autojuego: IAD logró consistentemente los retornos medios más altos en todos los diseños (por ejemplo, 172.96 en Cramped Room frente a 137.7 para FCP y 117.9 para HiPT). Demostró una convergencia más rápida y un rendimiento estable, mientras que DIAYN tuvo dificultades debido a su sensibilidad a variaciones de estado irrelevantes, y HiPT/FCP mostraron un rendimiento inconsistente debido a la falta de habilidades de bajo nivel estructuradas.
• Socios Proxy Humanos: Al emparejarse con un proxy humano entrenado por BC, IAD volvió a superar a todas las bases (por ejemplo, 148.76 en Cramped Room frente a 118.75 para FCP), demostrando la capacidad de generalizar a comportamientos similares a los humanos a pesar de las limitaciones de los datos humanos finitos.
• Socios Humanos Reales: En un estudio de usuario con 24 participantes válidos, IAD logró recompensas conjuntas significativamente más altas que HiPT en todos los diseños, con mejoras que oscilaron entre 22% y 47%.
• Análisis Cualitativo: Las proyecciones UMAP de las incrustaciones de secuencias revelaron que IAD produce clusters compactos y bien separados para diferentes habilidades, indicando una fuerte consistencia intrínseca de la habilidad y un claro desentrelazamiento inter-habilidad. Las visualizaciones de trayectorias confirmaron que habilidades específicas se alinearon consistentemente con subtrayectorias humanas distintas (por ejemplo, diferentes estrategias de selección de platos o coordinación en sentido horario vs. antihorario).

Significado y Afirmaciones

El artículo afirma que IAD aborda la brecha crítica en los métodos jerárquicos existentes al modelar explícitamente las dinámicas de interacción en lugar de simplemente promover la diversidad centrada en el agente. Al desentrelazar las distribuciones de acciones basándose en el comportamiento del socio, IAD permite a los agentes:

• Aprender comportamientos condicionados a habilidades estructuradas y reutilizables que son robustos a cambios distribucionales.
• Adaptarse eficazmente a socios heterogéneos sin sobreajustarse a instancias de entrenamiento específicas.
• Lograr una coordinación confiable en escenarios reales de humano-IA, como lo demuestra el rendimiento superior tanto con proxies humanos simulados como con participantes humanos reales.

Los autores concluyen que su enfoque proporciona una manera principista de manejar la complejidad temporal de la colaboración humano-IA, asegurando que las decisiones de alto nivel estén fundamentadas en patrones de ejecución de bajo nivel distintos y conscientes del socio.