Resumen Técnico: ASH (Agentes que se Afianzan a través del Aprendizaje Encarnado)

Enunciado del Problema

Las tareas encarnadas de largo horizonte siguen siendo un desafío fundamental en la inteligencia artificial. Los métodos actuales para entrenar agentes en estos entornos enfrentan problemas significativos de escalabilidad:

• Clonación de Comportamiento (BC): Depende de conjuntos de datos masivos, de alta calidad y etiquetados con acciones. Recopilar tales datos requiere una extensa anotación humana y conocimiento del dominio. Además, las políticas estándar de BC a menudo condicionan solo la memoria a corto plazo, fallando en capturar dependencias a través de secuencias que abarcan horas.
• Aprendizaje por Refuerzo (RL): Aunque es exitoso en entornos complejos, el RL depende típicamente de funciones de recompensa densas y diseñadas a mano. Diseñar recompensas para tareas abiertas de varias horas con diversos subobjetivos es frágil, laborioso y a menudo intratable para secuencias largas.
• Modelos Fundacionales: Los enfoques de cero disparos a menudo alucinan o fallan al adaptarse a nuevos contextos visuales y mecánicas sin acceso privilegiado al estado o andamiaje específico.

El problema central es la falta de un método escalable para que los agentes aprendan políticas de largo horizonte a partir de videos de internet no etiquetados y ruidosos, sin moldeado de recompensas humano ni anotación experta.

Metodología: ASH

Los autores presentan ASH, un sistema de agentes que emplea un bucle dinámico de auto-mejora para aprender a partir de videos de internet no etiquetados. ASH opera sin moldeado de recompensas, confiando en su lugar en un mecanismo de arranque en falso (bootstrap) activado cuando el agente se "atasca".

Arquitectura Central

ASH utiliza un sistema de doble memoria para manejar dependencias de largo horizonte:

1. Memoria a Corto Plazo: Los $w_s$ pares observación-acción más recientes (32 segundos de contexto) para control reactivo.
2. Memoria a Largo Plazo: Un búfer de los $w_l$ "momentos clave" más recientes (observaciones salientes) que proporcionan contexto para decisiones tomadas horas antes.

La política $\pi$ es un transformador causal que condiciona ambos tipos de memoria para predecir acciones.

El Bucle de Auto-mejora

ASH sigue un ciclo de tres pasos (Algoritmo 1):

1. Inferencia:

   • $N$ agentes interactúan con el entorno bajo una política compartida $\pi$.
   • Un clasificador de momentos clave $K$ (basado en agrupamiento HDBSCAN) identifica observaciones salientes en tiempo real.
   • Si un agente encuentra un nuevo momento clave, este se añade a la memoria a largo plazo del agente y se reinicia un "temporizador de atasco".
   • Si algún agente no encuentra un nuevo momento clave durante $\Delta$ pasos (indicando que está atascado), el sistema detiene la inferencia e inicia el arranque en falso.

2. Recuperación:

   • El sistema incrusta la trayectoria del agente atascado utilizando DINOv2.
   • Recupera los segmentos de video visualmente más similares (top-$k$) de un corpus masivo de internet (YouTube).
   • Un algoritmo de emparejamiento uno a uno codicioso puntúa las ventanas temporales para asegurar una recuperación de alta calidad de segmentos de juego relevantes.

3. Arranque en Falso (Actualización de la Política):

   • Actualización del Modelo de Dinámica Inversa (IDM): El IDM se actualiza utilizando las propias trayectorias del agente (pares observación-acción) para mejorar su capacidad de predecir acciones a partir de observaciones.
   • Descubrimiento de Momentos Clave: El clasificador $K$ se actualiza utilizando los nuevos videos de internet recuperados para identificar nuevos patrones recurrentes.
   • Entrenamiento de la Política: Los videos de internet recuperados (que son solo observaciones) se etiquetan con pseudo-acciones generadas por el IDM actualizado. Estas trayectorias etiquetadas, combinadas con la memoria a largo plazo construida por $K$, forman un nuevo conjunto de datos de entrenamiento $D_\pi$. La política $\pi$ se entrena luego en estos datos mediante aprendizaje supervisado (pérdida de entropía cruzada).

Contribuciones Clave

1. Arranque en Falso Dinámico: Los autores proponen un mecanismo donde los agentes actualizan autónomamente sus políticas y modelos de recuperación solo cuando encuentran obstáculos, permitiendo una adaptación continua en entornos abiertos.
2. Memoria a Largo Plazo a partir de Videos de Internet: En lugar de depender de memoria curada a mano o ventanas de contexto fijas, ASH descubre y retiene autónomamente "momentos clave" de datos de internet a gran escala, habilitando la planificación de varias horas.
3. Receta Escalable de Aprendizaje Encarnado: A través de experimentación, el artículo demuestra que combinar el arranque en falso dinámico con memoria a largo plazo crea un enfoque escalable capaz de control motor de grano fino y adaptación a nuevos contextos visuales sin anotación humana.

Resultados Experimentales

ASH fue evaluado en dos entornos complementarios de largo horizonte:

• Pokémon Emerald: Un RPG por turnos que requiere batallas estratégicas y exploración abierta.
• The Legend of Zelda: The Minish Cap: Un juego de acción y aventura en tiempo real que requiere resolución de acertijos y control motor fino.

Métricas de Rendimiento:

• Rendimiento de ASH: Después de una evaluación de 8 horas, ASH alcanzó un promedio de 11.2/12 hitos en Pokémon Emerald y 9.9/12 en The Legend of Zelda.
• Rendimiento de la Línea Base: Las líneas base más fuertes (Clonación de Comportamiento, Aumentada por Recuperación y Modelos Fundacionales de Cero Disparos) se estancaron significativamente antes, alcanzando promedios de 6.5/12 y 6.0/12 hitos, respectivamente.
• Adaptabilidad: Mientras que las líneas base fallaron al encontrar nuevas dinámicas (por ejemplo, entrar al castillo de Zelda o a la interfaz de batalla de Pokémon), ASH se adaptó con éxito. Por ejemplo, el punto de control inicial de ASH no podía luchar; después del arranque en falso, logró una tasa de victoria del 87% en batallas de Pokémon.
• Ablación de Componentes: Eliminar la memoria a largo plazo o el arranque en falso dinámico resultó en caídas claras de rendimiento, confirmando que ambos componentes son esenciales para el progreso sostenido.
• Calidad de la Recuperación: El método de recuperación de ASH logró una tasa de relevancia del 94% para los datos de entrenamiento, superando significativamente a la recuperación aleatoria (8%) y a otras líneas base de similitud.
• Olvido Catastrófico: Las pruebas de reproducción fuera de línea mostraron que ASH no exhibió olvido catastrófico; la política final pudo reproducir el entorno desde el principio más rápido que el agente de aprendizaje en línea.

Significado y Afirmaciones

El artículo afirma que ASH demuestra una receta escalable para el aprendizaje encarnado de largo horizonte. Al aprovechar videos de internet no etiquetados y un bucle de auto-mejora, ASH supera las limitaciones de los corpus de entrenamiento estáticos y las recompensas diseñadas a mano.

Los autores afirman que este enfoque permite a los agentes:

• Mantener el progreso a lo largo de horizontes de varias horas donde las políticas fijas fallan.
• Adquirir nuevas habilidades (por ejemplo, batallas, esgrima) de forma autónoma mediante recuperación e imitación.
• Adaptarse a cambios de distribución y nuevos contextos visuales sin intervención humana.

El trabajo sugiere que los agentes de auto-mejora, que se arrancan en falso a partir de sus propios fracasos y del conocimiento colectivo de internet, ofrecen un camino viable hacia una IA abierta y de largo horizonte que no dependa de la escalada impráctica de datos etiquetados por humanos o de la ingeniería de recompensas. Los autores permanecen modestos, señalando limitaciones como la dependencia de la disponibilidad de videos útiles de internet y la dificultad de inferir acciones que no son visualmente distintivas.