Resumen Técnico: Descubrimiento de Habilidades Jerárquico Consciente del Socio para una Colaboración Robusta entre Humanos e IA

Declaración del Problema

La colaboración efectiva entre múltiples agentes, particularmente en el trabajo en equipo entre humanos e IA, requiere agentes capaces de adaptarse a nuevos socios con comportamientos diversos y dinámicos. Los métodos convencionales de Aprendizaje por Refuerzo Jerárquico Profundo (DHRL) se centran típicamente en recompensas centradas en el agente, optimizando la diversidad sin tener en cuenta explícitamente la influencia del socio. Esta limitación conduce al "aprendizaje de atajos", donde los agentes explotan correlaciones espurias en las características del estado en lugar de capturar información relevante para las interacciones con el socio. En consecuencia, las habilidades aprendidas a menudo no generalizan a nuevos socios, lo que resulta en una coordinación deficiente e inconsistencia conductual. Los enfoques existentes que maximizan la información mutua (MI) entre habilidades y estados suelen sufrir este problema, ya que están limitados por la entropía de las habilidades y no garantizan la sensibilidad al comportamiento del socio, lo que conduce a habilidades estáticas con adaptabilidad limitada.

Metodología

Los autores proponen el Descubrimiento de Habilidades Consciente del Socio (PASD), un marco DHRL diseñado para aprender habilidades condicionadas al comportamiento del socio. La innovación central es una recompensa intrínseca contrastiva que moldea las representaciones de las habilidades para que sean consistentes entre socios con comportamientos similares, manteniendo al mismo tiempo la discriminabilidad entre estrategias diversas.

Visión General del Marco

PASD opera dentro de una estructura jerárquica que consta de un gestor de alto nivel ($\pi_{hi}$) que selecciona habilidades latentes ($z$) y un controlador de bajo nivel ($\pi_{lo}$) que ejecuta acciones primitivas condicionadas al estado actual y a la habilidad activa. El marco utiliza una población de socios ($\mathcal{D}_p$) muestreada de una distribución durante el entrenamiento.

Mecanismos Clave

1. Recompensa Intrínseca Contrastiva:
   En lugar de maximizar la MI estándar entre habilidades y estados, PASD maximiza una cota inferior variacional de la MI entre habilidades y sub-trayectorias. Esto se logra mediante un objetivo contrastivo al estilo de InfoNCE.

   • Pares Positivos: Sub-trayectorias generadas por la misma habilidad interactuando con diferentes socios.
   • Pares Negativos: Sub-trayectorias generadas por diferentes habilidades.
   • Objetivo: La recompensa intrínseca ($r_{int}$) alienta a la política a seleccionar habilidades que produzcan incrustaciones de estado consistentes entre socios con comportamientos similares (consistencia intra-habilidad), asegurando al mismo tiempo incrustaciones distintas para diferentes habilidades (discriminabilidad inter-habilidad).

2. Objetivo de Entrenamiento:
   La recompensa total para las políticas de alto y bajo nivel es una combinación ponderada de la recompensa extrínseca del equipo ($r$) y la recompensa intrínseca contrastiva ($r_{int}$):
   $$\tilde{r} = (1 - \lambda)r + \lambda r_{int}$$
   Durante las primeras etapas del entrenamiento, $\lambda$ es alto para promover la exploración de patrones diversos condicionados al socio. A medida que avanza el entrenamiento, $\lambda$ se reduce gradualmente para priorizar el rendimiento de la tarea, manteniendo la consistencia conductual aprendida.

3. Optimización:
   El gestor de alto nivel, el controlador de bajo nivel y la función de terminación se optimizan de extremo a extremo utilizando el algoritmo de Optimización de Política Proximal (PPO).

Contribuciones Clave

1. Marco PASD: Introducción de un marco DHRL que condiciona el descubrimiento de habilidades al comportamiento del socio, permitiendo una coordinación robusta con nuevos socios.
2. Nueva Recompensa Intrínseca: Propuesta de una recompensa intrínseca contrastiva derivada de la pérdida InfoNCE. Esta recompensa captura patrones compartidos a partir de despliegues paralelos con socios diversos, mitigando el aprendizaje de atajos causado por información de estado espuria y aprovechando directamente la información relevante para el socio.
3. Evaluación Exhaustiva: Evaluación extensa en el benchmark Overcooked-AI a través de poblaciones diversas de socios (variando niveles de habilidad y estilos de juego) y modelos proxy humanos. El estudio demuestra que PASD aprende habilidades transferibles que generalizan eficazmente a una amplia gama de comportamientos de socios.

Resultados Experimentales

Los autores evaluaron PASD frente a líneas base que incluyen Fictitious Co-Play (FCP), DIAYN y Entrenamiento de Población Jerárquica (HiPT) en el entorno Overcooked-AI.

• Rendimiento con Socios de IA: PASD superó consistentemente a todas las líneas base en cinco diseños estándar (Habitación Apretada, Ventajas Asimétricas, Anillo de Coordinación, Circuito de Contador, Coordinación Forzada). Por ejemplo, en el diseño de Habitación Apretada, PASD logró una recompensa media de 165.8, significativamente superior a FCP (137.7) y HiPT (117.9).
• Rendimiento con Modelos Proxy Humanos: Cuando se emparejó con modelos de clonación de comportamiento (BC) entrenados en trayectorias humano-humano, PASD mantuvo un rendimiento superior, logrando los retornos más altos en todos los diseños (por ejemplo, 150.00 en Habitación Apretada frente a 118.75 para FCP).
• Estudio con Sujetos Humanos: En un estudio controlado con 19 participantes humanos, PASD logró recompensas conjuntas más altas que HiPT en todos los diseños, mejorando la colaboración humano-IA entre un 22% y un 47%.
• Análisis Cualitativo: El análisis de las incrustaciones de habilidades aprendidas (mediante mapas de calor de similitud coseno y proyecciones UMAP) reveló que PASD logra desentrañar con éxito las habilidades. Las incrustaciones para la misma habilidad formaron grupos compactos independientemente del socio, mientras que las diferentes habilidades permanecieron distintas, confirmando la capacidad del modelo para capturar dinámicas condicionadas al socio en lugar de ruido centrado en el agente.

Significado y Afirmaciones

El artículo afirma que PASD aborda una brecha crítica en el aprendizaje por refuerzo multiagente: la incapacidad de los métodos jerárquicos estándar para adaptarse a los comportamientos dinámicos de nuevos socios. Al desplazar el enfoque de la diversidad centrada en el agente hacia la consistencia consciente del socio, el método mitiga el aprendizaje de atajos y promueve la robustez conductual.

Los autores afirman que PASD proporciona una base para agentes colaborativos más adaptables y eficientes al aprender habilidades que no solo son diversas, sino también significativas en el contexto de la interacción humano-IA. Los resultados sugieren que condicionar el descubrimiento de habilidades al comportamiento del socio permite a los agentes generalizar eficazmente a socios no vistos, incluidos aquellos con estilos de juego similares a los humanos, sin requerir datos humanos extensos para el entrenamiento. El trabajo destaca que la coordinación robusta requiere razonar sobre comportamientos extendidos en el tiempo que son sensibles a las estrategias específicas de los colaboradores.