Resumen Técnico: Evaluación de los Límites del Aprendizaje por Refuerzo en Contexto para el Trabajo en Equipo Ad-Hoc

1. Declaración del Problema

El Aprendizaje por Refuerzo en Contexto (ICRL) ha permitido recientemente que los agentes fundamentales se adapten instantáneamente a tareas novedosas al tratar el historial de interacciones como un prompt para modelos de secuencia, logrando éxito en dominios de agente único (por ejemplo, mediante Destilación de Algoritmos y Transformadores Preentrenados para Decisiones). Sin embargo, su eficacia en el Trabajo en Equipo Ad-Hoc (AHT), donde un agente debe coordinarse con socios desconocidos y heterogéneos sin comunicación previa ni protocolos de coordinación, sigue siendo en gran medida inexplorada.

Las actuales pruebas de referencia (benchmarks) de AHT adolecen de tres limitaciones críticas:

1. Falta de Escala: Suelen depender de conjuntos pequeños de socios homogéneos o variantes de tareas limitadas, fallando en proporcionar los millones de transiciones necesarias para probar rigurosamente la generalización en contexto.
2. Generalización Conflada: A menudo no logran desentrañar la generalización entre compañeros de la generalización entre diseños ambientales, lo que dificulta distinguir una coordinación genuina de un sobreajuste estadístico a pares específicos de socio-entorno.
3. Infraestructura Ausente: Existe una falta de pipelines estandarizados y reproducibles para generar historiales de aprendizaje (secuencias de episodios que muestran mejora) y realizar evaluaciones en línea de la adaptación en tiempo de prueba.

En consecuencia, no está claro si los agentes actuales de ICRL basados en modelos de secuencia pueden realizar la inferencia estratégica necesaria para identificar la intención oculta de un socio y adaptar su política puramente a partir del historial de interacciones en entornos multiagente.

2. Metodología: La Prueba de Referencia ICRL4AHT

Para abordar estas brechas, los autores introducen ICRL4AHT, una prueba de referencia a gran escala y reproducible construida sobre una implementación de alto rendimiento en JAX de OvercookedV2. La prueba está diseñada para sondear rigurosamente los límites del ICRL en entornos cooperativos mediante un pipeline de tres etapas:

A. Especificación de la Prueba y Suite de Compañeros

• Entorno: OvercookedV2 se modela como un Proceso de Decisión de Markov Parcialmente Observable Descentralizado (Dec-POMDP). Introduce complejidades críticas ausentes en versiones anteriores, incluyendo observabilidad parcial (campo de visión de 5x5), posiciones de inicio estocásticas y cambios dinámicos en las recetas.
• Diversidad de Compañeros: La prueba construye una "Suite de Compañeros" heterogénea compuesta por:
  • Políticas de RL: Una población diversa de socios entrenados utilizando algoritmos conocidos por generar comportamientos variados (FCP, BRDiv, LBRDiv, CoMeDi).
  • Políticas Heurísticas: Cuatro familias distintas (H1–H4) que van desde "Conscientes de la Receta" (mínima autonomía) hasta "Avidas de Utilidad" (alta autonomía), ordenadas por creciente capacidad de cooperación.
• Desplazamiento de Distribución: El diseño experimental separa estrictamente las distribuciones de entrenamiento y prueba. Los agentes se entrenan exclusivamente con historiales de aprendizaje generados por RL y se prueban exclusivamente con políticas heurísticas no vistas, induciendo un desplazamiento de distribución severo que previene una simple interpolación.

B. Infraestructura de Datos

• Historiales de Aprendizaje: A diferencia de los conjuntos de datos estándar de RL offline que contienen trayectorias de expertos estáticas, ICRL4AHT recopila "historiales de aprendizaje": secuencias de episodios donde un agente ego (entrenado mediante PPO) mejora desde un comportamiento aleatorio hasta uno de experto contra un compañero fijo.
• Escala y Filtrado: El pipeline genera más de 1.19 mil millones de transiciones originales, filtradas hasta aproximadamente 150 millones de transiciones de alta calidad a través de 80 compañeros únicos. Un mecanismo de filtrado basado en la calidad selecciona trayectorias con alto rendimiento final y gradientes de mejora significativos para asegurar que los modelos de ICRL aprendan dinámicas de adaptación genuinas.
• Almacenamiento: Los datos se serializan en formato HDF5 fragmentado con un índice JSONL para una búsqueda eficiente de metadatos y muestreo por lotes de ventanas de contexto.

C. Pistas de Evaluación

La prueba define dos pistas de evaluación rigurosas para desentrañar las capacidades de generalización:

1. Pista 1 (Generalización de Compañero): Prueba la adaptación a comportamientos de socios no vistos dentro de diseños familiares ($L_{train} \times \Pi_{test}$).
2. Pista 2 (Generalización de Diseño): Prueba la robustez bajo desplazamientos simultáneos tanto en el comportamiento del socio como en la dinámica ambiental ($L_{test} \times \Pi_{test}$).

D. Líneas Base

Los autores evalúan algoritmos representativos de ICRL condicionados por historial:

• Destilación de Algoritmos (AD): Entrena un modelo de secuencia para predecir acciones autoregresivamente a partir de historiales de aprendizaje, con el objetivo de aprender "cómo aprender" a partir del contexto.
• Transformador Preentrenado para Decisiones (DPT): Entrena un Transformador para predecir acciones óptimas de expertos dado un contexto específico de la tarea, tratando el historial como un prompt para la adaptación de cero disparos (zero-shot).

3. Resultados Clave

El análisis empírico revela limitaciones notables en las líneas base actuales de ICRL cuando se aplican a AHT:

• Fallo en Superar lo Aleatorio: Contrario a su éxito en dominios de agente único, tanto AD como DPT a menudo fallan en superar una línea base aleatoria simple en ambas pistas de evaluación. En varios escenarios complejos de coordinación (por ejemplo, compañeros H1 en diseños de "prueba amplia"), los agentes de ICRL logran retornos significativamente negativos, lo que indica que interfieren activamente con el socio en lugar de coordinarse.
• Ausencia de Mejora en Contexto: Una característica definitoria del ICRL es la mejora del rendimiento dentro de una sola ventana de contexto a medida que se acumula el historial. Las curvas de evaluación para AD y DPT son consistentemente planas, mostrando ninguna tendencia ascendente en los retornos a medida que aumenta el número de episodios de prueba. Esto sugiere que los modelos fallan en realizar la inferencia bayesiana necesaria para identificar la política del socio a partir del historial de interacciones.
• Robustez del Fallo: El fallo persiste a través de:
  • Longitud del Contexto: Aumentar la ventana de contexto de 250 a 2,000 (y hasta 10,000) transiciones no produce ninguna mejora consistente.
  • Escala del Modelo: Escalar los parámetros del modelo (de configuraciones Pequeñas a Grandes) resulta solo en ganancias modestas, fallando en restaurar una adaptación robusta.
  • Condicionamiento de Acción del Compañero: Proporcionar acceso explícito a las acciones del socio (+TA) no resuelve el problema, lo que sugiere que el cuello de botella no es la disponibilidad de información, sino la incapacidad del modelo para vincular causalmente las acciones observadas con la intención latente.
  • Arquitectura: Cambiar a una arquitectura recurrente (Hybrid-AD) o utilizar un objetivo de RL offline (AMAGO-Offline) no cambia cualitativamente el resultado.

4. Contribuciones Clave

1. Prueba de Referencia y Pipeline Escalables: Los autores proporcionan el primer pipeline reproducible basado en JAX para la generación de compañeros, la recolección de historiales de aprendizaje y la evaluación estandarizada de métodos de ICRL multiagente cooperativos con diversidad controlable.
2. Suite Diversa de Compañeros: Construyen una biblioteca heterogénea de compañeros que separa estrictamente las distribuciones de entrenamiento (basadas en RL) y prueba (basadas en heurísticas), imponiendo una prueba rigurosa de generalización que previene el sobreajuste a clusters específicos de socios.
3. Evaluación de los Límites: El documento demuestra que las líneas base representativas de ICRL basadas en modelos de secuencia condicionados por historial, aunque exitosas en entornos de agente único, luchan con la inferencia estratégica requerida para la adaptación al socio bajo el protocolo AHT de OvercookedV2.

5. Significado y Afirmaciones

El documento posiciona a ICRL4AHT como un campo de pruebas crítico para la próxima generación de algoritmos de coordinación. Los autores afirman que sus hallazgos destacan un desafío fundamental: las arquitecturas actuales de modelos de secuencia luchan por realizar la inferencia bayesiana implícita de socios requerida para AHT bajo desplazamientos de distribución realistas.

El significado de este trabajo es principalmente diagnóstico. En lugar de proponer un nuevo sistema operativo, los autores caracterizan sistemáticamente las limitaciones de los enfoques actuales de ICRL. Argumentan que el fallo no es meramente un detalle de implementación o un problema de ajuste de hiperparámetros, sino que refleja una limitación sustancial de los paradigmas estudiados frente a la diversidad realista de socios y los desplazamientos ambientales. La prueba de referencia de código abierto y los hallazgos empíricos tienen la intención de guiar a la comunidad hacia el desarrollo de arquitecturas con módulos explícitos de inferencia de socios y objetivos de entrenamiento que incentiven la exploración orientada a la búsqueda de información.