🤖 machine learning

Goal-Conditioned Agents that Learn Everything All at Once

Este artículo introduce Aprenderlo Todo a la Vez (LEO), un método que permite actualizaciones fuera de política eficientes y paralelas para todos los objetivos en el aprendizaje por refuerzo condicionado por objetivos, generando simultáneamente valores y acciones para cada objetivo, logrando así mejoras significativas en el rendimiento y aceleraciones masivas en comparación con las técnicas de reetiquetado tradicionales.

Autores originales: Michael Matthews, Matthew Jackson, Michael Beukman, Thomas Foster, Alistair Letcher, Scott Fujimoto, Cédric Colas, Jakob Foerster

Publicado 2026-05-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Michael Matthews, Matthew Jackson, Michael Beukman, Thomas Foster, Alistair Letcher, Scott Fujimoto, Cédric Colas, Jakob Foerster

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un robot a navegar por un laberinto gigante y en constante cambio. En la antigua forma de hacerlo (llamada Aprendizaje por Refuerzo Condicionado por Objetivos), le darías al robot una instrucción específica, como "Ve a la cocina". El robot deambularía, chocaría contra las paredes y, finalmente, quizás encontraría la cocina.

Cuando el robot termina, el profesor examina el camino que tomó. Si al robot se le dijo que fuera a la cocina pero que, por accidente, pasó junto a la biblioteca en el camino, el antiguo método diría: "Esa parte de la biblioteca fue un error; tírala. Solo nos importa la cocina".

El Problema: ¡Esto es un desperdicio de información! El robot aprendió mucho sobre la biblioteca mientras intentaba encontrar la cocina. Al tirar esos datos, el robot tiene que volver a aprender sobre la biblioteca más tarde si alguna vez le pides que vaya allí.

El antiguo "arreglo" (Reproducción de Experiencias a Posteriori):
Anteriormente, los investigadores intentaron solucionar esto observando el camino del robot y diciendo: "Oh, ¡terminó en la biblioteca! Hagamos como si siempre hubiéramos querido que fuera a la biblioteca". Esto ayuda un poco, pero es como intentar reetiquetar toda una película después de verla. Es lento y solo puedes hacerlo para unos pocos finales diferentes a la vez.

La nueva solución: "Aprenderlo todo a la vez" (LEO)
Los autores de este artículo proponen una forma más inteligente. En lugar de enseñar al robot un objetivo a la vez, construyen un "super-cerebro" que aprende todos los objetivos posibles simultáneamente.

Piensa en ello como un chef que está cocinando un banquete masivo.

La antigua forma: El chef cocina un plato (la cocina), lo prueba, tira las notas sobre cómo cortó las cebollas y luego comienza de nuevo para cocinar el siguiente plato (la biblioteca).
La forma LEO: El chef cocina todo el banquete de una sola vez. Tiene un tablero gigante con 512 recetas diferentes (objetivos) escritas en él. Mientras corta una cebolla, actualiza instantáneamente su conocimiento para las 512 recetas al mismo tiempo. Se da cuenta: "¡Oye, cortar cebollas es útil para la sopa, el guiso y la ensalada!".

Cómo funciona técnicamente (pero simplemente):
Por lo general, una red informática pregunta: "¿Cuál es el mejor movimiento para este objetivo específico?".
LEO cambia la red para que pregunte: "¿Cuál es el mejor movimiento para cada objetivo individual ahora mismo?". Genera una lista gigante de respuestas para cada destino posible en un solo paso. Esto hace que el aprendizaje sea increíblemente rápido (más de 250 veces más rápido que el antiguo método de "re-etiquetado") porque el robot no tiene que replayar el mismo viaje cientos de veces.

La trampa: El problema de la "Fusión Tardía"
Los autores encontraron un pequeño defecto. Como el robot tiene que pensar en todos los objetivos a la vez, a veces se confunde. Es como un estudiante que intenta estudiar para 500 exámenes diferentes en el mismo momento exacto. Podría tener una idea general del material, pero podría no ser tan agudo para responder una pregunta específica como un estudiante que solo estudió para ese único examen.

En el artículo, esto significaba que LEO era excelente para resolver objetivos difíciles y complejos, pero a veces peor en los sencillos porque estaba "diluyendo" su enfoque.

El arreglo definitivo: "Dual LEO" (El sistema Profesor-Alumno)
Para resolver esto, los autores crearon un equipo:

El Profesor (LEO): Esta red es la "esponja de datos". Aprende todo sobre todo, incluso si es un poco desordenado. Proporciona un mapa aproximado del mundo.
El Alumno (Red Estándar): Esta red es la especialista. Se enfoca solo en el objetivo específico que le estás pidiendo que haga actualmente.

El Profesor le dice al Alumno: "Oye, conozco la dirección general hacia la biblioteca, incluso si no soy perfecto. Aquí tienes una pista". El Alumno toma esa pista y la refina para convertirse en un experto en llegar a la biblioteca.

Los Resultados
El equipo probó esto en un videojuego complejo llamado Craftax (un poco como Minecraft) y en algunas tareas de movimiento de robots.

En la versión grande y difícil del juego con 512 objetivos diferentes, el nuevo método Dual LEO fue el claro ganador, superando a todos los demás métodos.
Aprendió mucho más rápido y pudo manejar una gran variedad de tareas que otros métodos abandonaron.
También demostraron que esto funciona para movimientos continuos (como un brazo robótico moviéndose suavemente), no solo para pasos de videojuegos.

En Resumen
Este artículo introduce un método donde una IA aprende a resolver todos los problemas posibles al mismo tiempo, en lugar de uno por uno. Cuando se vuelve demasiado amplia y pierde el enfoque, la emparejan con una red especialista "alumno" que utiliza el conocimiento amplio como guía. Esto permite que los robots y las IAs que juegan videojuegos aprendan cantidades masivas de información mucho más rápido y de manera más eficiente que antes.

Resumen Técnico: Aprender Todo a la Vez (LEO)

Enunciado del Problema

El Aprendizaje por Refuerzo Condicionado por Objetivos (GCRL) tiene como objetivo entrenar agentes que puedan ejecutar una variedad diversa de tareas bajo comando. Un desafío fundamental en GCRL es la eficiencia de los datos. Cuando un agente explora un entorno para lograr un objetivo específico comandado, la trayectoria resultante contiene información rica relevante para muchos otros objetivos potenciales. Las actualizaciones en línea estándar o los métodos que solo reetiquetan trayectorias con un único objetivo alternativo (por ejemplo, Replay de Experiencia Retrospectiva, HER) descartan la gran mayoría de esta información.

Aunque el aprendizaje de "todos los objetivos" —actualizar la función de valor con respecto a cada objetivo posible para cada transición— ofrece una vía teórica para la extracción máxima de información, históricamente ha sido computacionalmente inviable. La reetiquetación ingenua de objetivos escala linealmente con el número de objetivos, lo que la hace poco práctica para conjuntos de objetivos grandes o continuos. Además, los enfoques existentes a menudo luchan por equilibrar el costo computacional de actualizar contra todos los objetivos con la capacidad representacional requerida para aprender políticas de alta fidelidad para comandos específicos.

Metodología

El artículo propone Aprender Todo a la Vez (LEO), un método diseñado para realizar actualizaciones eficientes y paralelas de todos los objetivos en conjuntos de objetivos discretos arbitrarios.

1. La Arquitectura LEO

En lugar de condicionar la red de valor en un objetivo específico (como en los Aproximadores de Función de Valor Universal, UVFA), LEO reparametriza la red para generar valores para cada objetivo simultáneamente.

Currying: La función Q se transforma de $Q(s, g) \to \mathbb{R}^A$ a $Q(s) \to \mathbb{R}^{G \times A}$ , donde $G$ es el conjunto de objetivos y $A$ es el conjunto de acciones.
Actualizaciones Eficientes: Esto permite que el agente realice un solo pase forward para generar valores Q para todos los objetivos y un solo pase backward para actualizar la red utilizando los vectores de recompensa para todos los objetivos. Esto elimina el costo de escalado lineal de la reetiquetación ingenua.
Inferencia: Durante la ejecución, el agente simplemente indexa el vector de salida correspondiente al objetivo comandado.

2. La Limitación de Fusión Tardía y Dual LEO

Los autores identifican una compensación crítica en la arquitectura LEO. Aunque LEO destaca en la ingestión de información de todos los objetivos, sufre de fusión tardía. Dado que la red debe producir salidas para todos los objetivos antes de seleccionar el objetivo comandado específico, crea un cuello de botella de información. La red se ve obligada a aprender una representación adecuada para todos los objetivos simultáneamente, lo que puede degradar el rendimiento en objetivos específicos, particularmente en aquellos más fáciles donde una representación enfocada (fusión temprana) es superior.

Para abordar esto, el artículo introduce Dual LEO, que combina las fortalezas de LEO y las redes estándar condicionadas por objetivos al estilo UVFA:

Dinámica Maestro-Alumno: Una red LEO (el maestro) y una red UVFA (el alumno) se entrenan independientemente en el mismo flujo de datos.
Transferencia de Información: La red LEO actúa como una "esponja de datos", internalizando información máxima y proporcionando orientación direccional gruesa para objetivos que la red UVFA aún no ha visto o resuelto.
Variantes de Implementación:
- Dual LEO (PQN): El valor Q final es una combinación lineal de las estimaciones LEO y UVFA ( $\alpha Q_{LEO} + (1-\alpha) Q_{UVFA}$ ).
- Dual LEO (PPO): La red LEO proporciona términos de pérdida adicionales para guiar al actor y al crítico de PPO hacia las estimaciones de política y valor de LEO, particularmente para objetivos donde la red UVFA carece de señales positivas.

3. Extensión al Control Continuo

Los autores extienden LEO a entornos de control continuo (por ejemplo, Ant Maze) discretizando el espacio de objetivos continuo en una cuadrícula. Los objetivos continuos se ajustan al punto de la cuadrícula cuantizada más cercano, permitiendo que funcione el mecanismo de actualización de todos los objetivos. La red de política se adapta de manera similar para generar acciones para todas las cabezas de objetivos discretas.

Contribuciones Clave

Método LEO: Un enfoque novedoso que permite actualizaciones eficientes de todos los objetivos en conjuntos de objetivos discretos arbitrarios generando valores para todos los objetivos en un solo pase de red, logrando una aceleración de >250× sobre la reetiquetación ingenua de todos los objetivos.
Benchmark CraftaxGC: La introducción de un benchmark desafiante, generado proceduralmente y parcialmente observable basado en GCRL, derivado de Craftax, que presenta un conjunto grande y heterogéneo de objetivos semánticos (por ejemplo, conteos de inventario, adyacencias específicas de bloques, niveles de mazmorras) que no pueden resolverse mediante un mapeo simple de estado objetivo.
Dual LEO: Una arquitectura híbrida que mitiga el cuello de botella de fusión tardía del LEO puro utilizando LEO como maestro para iniciar una red estudiante condicionada por objetivos estándar, logrando un rendimiento de vanguardia.
Versatilidad: Demostración de que el concepto LEO se extiende más allá de los entornos discretos a tareas de control continuo, manteniendo la competitividad con las líneas base existentes.

Resultados Experimentales

Los autores evalúan sus métodos en CraftaxGC (con 136 y 512 objetivos) y JaxGCRL (tareas Ant Maze).

CraftaxGC (Conjunto Grande de Objetivos): En el benchmark completo de Craftax (512 objetivos), los métodos UVFA estándar (PPO, PQN) y PQN+HER tienen un rendimiento deficiente debido a recompensas dispersas y la incapacidad de aprovechar eficazmente los datos fuera de política. LEO supera significativamente a estas líneas base. Dual LEO (PPO) logra el mejor rendimiento final, superando masivamente a todos los demás métodos.
CraftaxGC (Conjunto Pequeño de Objetivos): En el Craftax-Classic más pequeño (136 objetivos), el PPO simple se desempeña relativamente bien. LEO supera a su PQN base pero es ligeramente más débil que PQN+HER. Sin embargo, las variantes Dual LEO superan consistentemente a sus partes constituyentes, demostrando la robustez del enfoque maestro-alumno.
Rendimiento Específico por Objetivo: El análisis revela que, aunque LEO destaca en objetivos difíciles (donde proporciona la única señal positiva), puede tener un rendimiento inferior en objetivos fáciles en comparación con UVFA debido al cuello de botella de fusión tardía. Dual LEO resuelve esto, manteniendo un alto rendimiento en objetivos difíciles sin sacrificar el rendimiento en los fáciles.
Control Continuo: En las tareas Ant Maze, SAC+LEO supera a las líneas base en laberintos más pequeños. En laberintos más grandes, el rendimiento es comparable a SAC+HER y RL Contrastivo (CRL).
Velocidad: LEO logra una ralentización del 34% en comparación con el aprendizaje de un solo objetivo, pero es 264× más rápido que la reetiquetación ingenua de todos los objetivos.

Significado y Afirmaciones

El artículo afirma que LEO desbloquea el potencial del aprendizaje de todos los objetivos a escala, proporcionando una herramienta práctica para los profesionales de RL en entornos complejos. Los autores postulan que la compensación central en GCRL reside entre:

Enfoques al estilo UVFA: Que generalizan bien mediante fusión temprana pero pueden tener dificultades para ingerir grandes cantidades de datos fuera de política de manera eficiente.
Enfoques al estilo LEO: Que ingieren información máxima de manera eficiente pero luchan con la representación de alta fidelidad debido a la fusión tardía.

Dual LEO se presenta como una solución que cierra esta brecha, permitiendo a los agentes internalizar información gruesa de todos los objetivos mientras refinan políticas específicas a través de una red dedicada condicionada por objetivos. Los autores enfatizan que, al desbloquear el aprendizaje eficiente de todos los objetivos, LEO permite a los agentes reencuadrar la experiencia previa en el contexto de nuevos objetivos, multiplicando efectivamente la información extraída de cada trayectoria. El trabajo se publica como código abierto para facilitar futuras investigaciones en dominios complejos condicionados por objetivos.