Nested Training for Mutual Adaptation in Human-AI Teaming

1. El Problema: La Adaptación Mutua en Equipos Humano-IA

El desafío central abordado en este trabajo es la adaptación mutua en la colaboración entre humanos y robots. En el aprendizaje por refuerzo multiagente (MARL) actual, existen dos enfoques principales que presentan limitaciones críticas:

• Entrenamiento contra estrategias estáticas: Los agentes se entrenan contra poblaciones de estrategias simuladas que, aunque diversas, son fijas. Esto genera políticas que son "conformes" (se adaptan a un patrón específico) pero no verdaderamente adaptativas ante cambios dinámicos.
• Aprendizaje simultáneo: El entrenamiento simultáneo de múltiples agentes a menudo conduce a la emergencia de convenciones de coordinación "frágiles" u opacas. Estas convenciones funcionan bien durante el entrenamiento con los mismos agentes, pero fallan al generalizarse ante nuevos socios o cuando el humano adapta su comportamiento en respuesta al robot.

La premisa fundamental es que la colaboración humano-IA es inherentemente interactiva: los humanos ajustan sus estrategias basándose en el comportamiento del agente, y el agente debe ser capaz de modelar y anticipar esta adaptación, no solo reaccionar a un socio estático.

2. Metodología: I-POMDP Anidado y Entrenamiento Jerárquico

Los autores proponen un marco novedoso que modela la colaboración como un Proceso de Decisión de Markov Interactivo Parcialmente Observable (I-POMDP) de nivel finito, combinado con un régimen de entrenamiento anidado.

A. Modelado I-POMDP (Nivel 2)

El problema se formula para permitir un razonamiento de "nivel 2":

• Nivel 0: El robot asume que el humano tiene una política fija.
• Nivel 1: El humano (o un modelo de él) mantiene creencias sobre las posibles políticas del robot (nivel 0) y adapta su comportamiento en consecuencia.
• Nivel 2 (El enfoque propuesto): El robot mantiene creencias sobre las políticas adaptativas del humano (nivel 1). Es decir, el robot razona sobre cómo el humano está razonando sobre el robot.

B. Régimen de Entrenamiento Anidado

Para resolver aproximadamente este I-POMDP sin incurrir en costos computacionales prohibitivos, se introduce un esquema de entrenamiento en dos etapas:

1. Entrenamiento de Nivel 1 (Humanos Adaptativos): Se entrena un conjunto de políticas de humanos simulados ($\pi_H$) contra un conjunto fijo de políticas de robots de nivel 0 ($\pi_R$). Estos humanos aprenden a adaptarse a las políticas fijas, generando un conjunto de comportamientos adaptativos que representan el "nivel 1".
2. Entrenamiento de Nivel 2 (Robot Propuesto): El robot final ($\pi_R$) se entrena contra el conjunto de políticas de humanos adaptativos (nivel 1) generados en la etapa anterior.
   • Ventaja clave: Al entrenar contra políticas de nivel inferior que son fijas durante la fase de entrenamiento del nivel superior (en lugar de co-adaptación simultánea), se evita que el agente colapse en una única convención de coordinación específica. El robot aprende a manejar una variedad de respuestas adaptativas.

C. Representación Latente

Para manejar la incertidumbre sobre el tipo de socio y actualizar creencias de manera tratable, el método utiliza una incrustación latente ($z_t$). Esta se aprende a partir del historial de interacciones ($h_t$) y condiciona la política del agente ($a_t \sim \pi_\theta(a|o_t, z_t)$). Esto permite una optimización de extremo a extremo que amortiza la incertidumbre sobre los tipos de socios.

3. Contribuciones Clave

1. Formulación I-POMDP Práctica: Traducen el marco teórico del I-POMDP a un régimen de entrenamiento de aprendizaje por refuerzo (RL) viable para la colaboración humano-robot.
2. Prevención de Colapso de Convenciones: Demuestran teóricamente y empíricamente que el entrenamiento anidado previene la convergencia a convenciones de coordinación arbitrarias y específicas del socio, un problema común en el entrenamiento simultáneo.
3. Generalización Superior: El método permite que el agente se coordine de manera estable con socios adaptativos nunca vistos, superando la limitación de los enfoques actuales que solo funcionan bien con socios estáticos o específicos.

4. Resultados Experimentales

Los experimentos se realizaron en el dominio Overcooked (una tarea de cocina cooperativa que requiere coordinación estricta), utilizando una variante de cooperación obligatoria.

• Comparativa: Se comparó el método propuesto contra baselines de última generación: LIAM, LILI, PACE y una política Generalista.
• Métricas de Éxito:
  • Evaluación Corta (5 episodios por ronda): El método propuesto alcanzó una tasa de éxito promedio de 0.90, superando significativamente al siguiente mejor baseline (Generalista con 0.575). LIAM falló completamente (0.00).
  • Evaluación Extendida (25 episodios por ronda): El rendimiento del método propuesto se mantuvo alto (0.935), mientras que los baselines mostraron mejoras marginales o inestables.
• Análisis de Comportamiento:
  • Los agentes baselines mostraron oscilaciones persistentes en la elección de recetas, fallando en establecer una convención estable con socios adaptativos.
  • El agente propuesto mostró un comportamiento de adaptación mutua estructurada: inicialmente observa (nivel 1), y luego se compromete proactivamente (nivel 2), anticipando la respuesta del socio y estabilizando rápidamente la coordinación.
• Robustez: El método mantuvo un alto rendimiento consistentemente a través de 8 semillas de socios diferentes, mientras que los baselines mostraron alta varianza y sobreajuste a socios específicos.

5. Significado e Impacto

Este trabajo es significativo porque aborda la no estacionariedad inherente a la interacción humano-IA. Al modelar explícitamente la adaptación del humano dentro del estado del agente y utilizar un entrenamiento anidado, se logra una colaboración más robusta y generalizable.

• Implicaciones Prácticas: El enfoque permite diseñar agentes de IA que pueden trabajar eficazmente con humanos reales, quienes son impredecibles y adaptativos, sin necesidad de pre-entrenamiento extensivo con cada individuo específico.
• Futuro: Los autores planean evaluar el método con participantes humanos reales y extender el marco a entornos de motivación mixta (donde los agentes no comparten funciones de recompensa idénticas).

En resumen, la propuesta demuestra que para lograr una verdadera colaboración humano-IA, los agentes deben ser entrenados no solo para responder a comportamientos, sino para razonar sobre cómo los humanos adaptan sus comportamientos en respuesta a ellos.