🤖 machine learning

Towards Scalable Multi-Task Reinforcement Learning with Large Decision Models

Este artículo presenta LDM-v0, una política de transformador multitarea a gran escala entrenada fuera de línea a partir de trayectorias diversas de miles de entornos, demostrando que un único modelo unificado puede igualar el rendimiento de políticas especializadas en dominios que van desde la robótica hasta la ciberseguridad.

Autores originales: Thibaut Kulak

Publicado 2026-06-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Thibaut Kulak

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a hacer de todo: jugar videojuegos, conducir un coche, gestionar un almacén e incluso controlar un brazo robótico. Tradicionalmente, tendrías que contratar a un experto instructor diferente para cada trabajo. El entrenador de videojuegos no sabe nada de conducción, y el gestor de almacenes no tiene idea de cómo jugar a Super Mario. Esto es lento, costoso y requiere mucha personalización para cada tarea.

Este artículo presenta LDM-v0, un nuevo enfoque que intenta resolver esto entrenando a un único "super-entrenador" que pueda aprender a realizar todos estos diferentes trabajos a la vez.

Aquí tienes un desgido de cómo lo hicieron, utilizando analogías sencillas:

1. El problema: Demasiados "lenguajes" diferentes

El Aprendizaje por Refuerzo (RL) es como enseñar a un estudiante dejándolo probar cosas y dándole una puntuación (recompensa) cuando lo hace bien. El problema es que cada entorno (como un videojuego o un simulador de robótica) habla un "lenguaje" diferente.

Un entorno puede usar números para describir el brazo de un robot.
Otro puede usar imágenes.
Otro puede usar texto.
Las reglas sobre qué cuenta como un "buen movimiento" son totalmente diferentes en cada uno.

Intentar entrenar un solo modelo en todos estos a la vez es como intentar enseñar a un estudiante a hablar francés, japonés y código Morse simultáneamente mientras también está aprendiendo a hacer malabares.

2. La solución: El "Traductor Universal" (LDM-v0)

Los investigadores construyeron un modelo masivo llamado LDM-v0 (Large Decision Model). Piensa en este modelo como un traductor universal que convierte todos esos diferentes "lenguajes" en un único formato común que la computadora pueda entender.

La entrada (Input): En lugar de alimentar al modelo con datos brutos, lo traducen todo a "tokens" (como palabras en una oración). Ya sea una imagen, un número o la posición de un robot, se convierte en un token estandarizado.
El cerebro: Utilizaron un tipo específico de arquitectura de IA (basada en "Llama", similar a las que se usan para los chatbots) que es muy buena recordando historias largas. En este caso, la "historia" es el historial de lo que el robot vio, lo que hizo y la puntuación que obtuvo.

3. Cómo lo entrenaron: El método de "Sombrear" (Shadowing)

No puedes simplemente lanzar el modelo a una habitación con 1,000 juegos diferentes y esperar que lo resuelva. Necesita un maestro. Pero como no existe un humano que sepa jugar perfectamente a todos estos juegos, los investigadores usaron un truco ingenioso llamado Supervisión de Política de Referencia Automatizada.

Imagina que quieres aprender a jugar ajedrez, fútbol y póker. En lugar de un humano enseñándote, contratas a 1,000 bots expertos diferentes.

Contratar a los expertos: Entrenaron miles de agentes de IA especializados (usando algoritmos estándar como PPO o DQN) para dominar entornos específicos.
Grabar a los maestros: Grabaron los movimientos "perfectos" que realizaron estos bots expertos.
El juego de imitación (Shadowing): Luego, alimentaron a LDM-v0 con estas grabaciones. El trabajo del modelo no era "pensar" o "explorar"; su trabajo era simplemente imitar a los bots expertos. Observaba el historial de un juego y predecía: "¿Qué haría el experto a continuación?".

Al hacer esto, LDM-v0 aprendió a imitar las mejores estrategias en 1,000 entornos diferentes sin necesidad de que se le explicaran explícitamente las reglas de cada uno.

4. Los resultados: ¿Un solo modelo para gobernarlos a todos?

El equipo probó este único modelo en unos 1,000 entornos diferentes, que van desde:

Robótica: Control de brazos robóticos y drones.
Conducción: Simulación de coches en autopistas.
Negocios: Gestión de inventario y comercio de acciones.
Juegos: Jugar a clásicos de arcade y Super Mario.

El gran triunfo:
El único modelo LDM-v0 funcionó tan bien como los bots "expertos" especializados en aproximadamente 1,000 de esos entornos. En otras palabras, un modelo generalista podía hacer el trabajo de 1,000 especialistas diferentes.

También descubrieron que hacer el modelo más grande (darle más "capacidad cerebral") generalmente lo hacía mejor, hasta cierto punto.

5. Qué significa esto (y qué no significa)

Lo que demuestra: Es posible entrenar un modelo de IA gigante en una gran mezcla de tareas totalmente diferentes y que funcione bien en todas ellas. Sugiere que estas diferentes tareas comparten patrones ocultos que el modelo puede aprender.
Lo que no afirma: El artículo no dice que este modelo esté listo para conducir tu coche mañana o gestionar tu cartera de acciones real. Las pruebas se realizaron en simulaciones (videojuegos y gemelos digitales).
La limitación: El modelo es muy bueno en tareas que ya ha visto (o muy similares). Los autores admiten que no han probado completamente si puede manejar un tipo de tarea completamente nueva que nunca haya visto antes. Es un maestro de la imitación, no necesariamente un maestro de la invención todavía.

Resumen de la analogía

Piensa en los modelos de IA anteriores como aprendices especializados: un carpintero que solo puede construir sillas, un fontanero que solo puede arreglar lavabos.
LDM-v0 es como un super-aprendiz que ha visto miles de videos de carpinteros, fontaneros, electricistas y chefs. Aún no ha construido una casa ni cocinado una comida por sí mismo, pero si le muestras una situación nueva, puede recordar instantáneamente: "Ah, el fontanero experto haría esto", y lo hace correctamente.

El artículo demuestra que este enfoque de "super-aprendiz" funciona sorprendentemente bien, allanando el camino para futuros sistemas de IA que puedan aprender muchas habilidades a partir de una única y masiva sesión de entrenamiento.

Resumen Técnico: Hacia un Aprendizaje por Refuerzo Multitarea Escalable con Grandes Modelos de Decisión

Planteamiento del Problema

El Aprendizaje por Refuerzo (RL) ha logrado un éxito significativo en dominios específicos como los juegos, la robótica y el control. Sin embargo, aplicar el RL a entornos del mundo real sigue siendo un desafío debido a la necesidad de una interacción extensa con el entorno, una ingeniería de recompensas cuidadosa, arquitecturas específicas para cada dominio y un ajuste sustancial de hiperparámetros. Aunque el RL fuera de línea (offline RL) y los enfoques de offline-to-online mitigan el costo de la interacción en línea, seleccionar y adaptar un algoritmo adecuado para un nuevo entorno sigue siendo difícil.

Paralelamente a estos desafíos, los modelos de secuencias a gran escala han transformado el procesamiento del lenguaje natural y la visión por computadora. En RL, los enfoques de modelado de secuencias como los Decision Transformers han demostrado que las políticas pueden representarse como modelos autorregresivos sobre trayectorias. Esto plantea una pregunta crítica: ¿Pueden las trayectorias de RL offline de múltiples dominios consolidarse en una única política de transformer escalable manteniendo un fuerte rendimiento de la tarea en muchos dominios? El obstio principal es que los ecosistemas de RL multidominio están fragmentados, son heterogéneos y difíciles de unificar.

Metodología

Los autores presentan LDM-v0 (Large Decision Model v0), una política de transformer multi-tarea y multi-modal unificada, entrenada fuera de línea sobre trayectorias de miles de entornos heterogéneos. La metodología consta de tres componentes principales:

1. Supervisión de Política de Referencia Automatizada

Para generar datos de entrenamiento de alta calidad en diversos dominios sin ingeniería de recompensas manual, los autores tratan la construcción del conjunto de datos como un problema de AutoRL:

Selección de Candidatos: Se define un grupo de algoritmos y configuraciones candidatas (de Stable-Baselines3 y SB3-Contrib, incluyendo A2C, PPO, SAC, DQN, etc.).
Clasificación (Ranking): Para cada librería de entornos, se entrenan candidatos compatibles en un subconjunto de cinco entornos. Las configuraciones se clasifican mediante comparaciones por pares basadas en una prueba t de Welch de una cola sobre el rendimiento final.
Generación de Datos: Las configuraciones mejor clasificadas se entrenan durante 3 millones de transiciones. Se registran las trayectorias y la política final entrenada se reproduce para generar anotaciones de acciones de referencia.
Filtrado: Se eliminan las ejecuciones de baja calidad (aquellas sin mejora de rendimiento estadísticamente significativa o que caen por debajo del 95% del rendimiento de la mejor política).
Resultado: Un conjunto de datos de aproximadamente 9.3 mil millones de transiciones de ~3,000 entornos distintos, anotadas con acciones de política de referencia en lugar de acciones exploratorias.

2. Infraestructura de Entorno Unificada

Para manejar la fragmentación de las librerías de RL (diferentes versiones de Python, dependencias y simuladores), los autores desarrollaron un marco de orquestación interno:

Los entornos se encapsulan en contenedores Docker aislados.
Se expone una API de interacción unificada compatible con las interfaces modernas de Gymnasium.
Este pipeline integró 146 librerías de entornos que cubren aproximadamente 15,000 entornos individuales.

3. Arquitectura del Modelo y Entrenamiento

Arquitectura: LDM-v0 es un transformer de solo decodificador basado en la arquitectura Llama, entrenado desde cero.
Procesamiento de Entrada: El modelo recibe un historial de interacción (observaciones pasadas, acciones, recompensas, señales de terminación) y la observación actual.
- Tokenización: Las entradas continuas se codifican mediante $\mu$ -law y se discretizan en 1024 bins. Las entradas discretas utilizan tablas de búsqueda. Las imágenes se redimensionan a 64x64 y se codifican mediante un codificador convolucional.
- Embedding: Las observaciones, acciones, recompensas y señales de terminación se alinean y apilan en meta-tokens de nivel de transición. Esta representación compacta reduce la longitud de la secuencia en comparación con la tokenización por dimensión (ej. Gato), lo que permite historiales más largos dentro de un presupuesto de contexto fijo.
Objetivo de Entrenamiento: El modelo se entrena mediante la predicción de la siguiente acción supervisada utilizando la pérdida de entropía cruzada sobre los bins de acción discretizados. Aprende a predecir la acción de referencia $a_t$ condicionada al historial de la trayectoria $(o_i, a_i, r_i, d_i)$ .
Escala: El modelo principal (LDM-v0) tiene 308M de parámetros, 12 capas y una longitud de contexto de 2048 transiciones. Fue entrenado durante seis días en dos nodos con 16 GPUs NVIDIA H200.

Contribuciones Clave

LDM-v0: Una política de transformer multi-modal a gran escala entrenada en un conjunto de datos unificado que abarca 146 librerías y ~3,000 entornos.
Infraestructura Escalable: Un pipeline robusto para automatizar la generación de la política de referencia y la orquestación de entornos a través de ecosistemas de RL altamente heterogéneos.
Modelado Compacto a Nivel de Transición: Una estrategia de tokenización que empaqueta señales de observación, acción, recompensa y terminación en meta-tokens únicos, permitiendo un modelado de secuencia eficiente de largo alcance.
Validación Empírica: Evidencia de que una única parametrización compartida puede lograr un rendimiento competitivo a través de diversos dominios sin ajuste fino específico de la tarea.

Resultados

Los autores evaluaron LDM-v0 a través de los entornos de entrenamiento (dentro de la distribución) y compararon su rendimiento contra políticas de referencia independientes y específicas de cada tarea.

Umbrales de Rendimiento: LDM-v0 logró >80% del rendimiento de la política de referencia en más de 1,600 entornos e igualó el rendimiento de referencia en aproximadamente 1,000 entornos.
Cobertura de Dominios: Se observó un fuerte rendimiento en:
- Robótica y control (ej. gymnasium_robotics, panda-gym).
- Conducción autónoma (highway-env).
- Trading financiero (gym_trading_env) y optimización de inventarios.
- Ciberseguridad (cymnasium).
- Entornos tipo juego (estilo Atari, procgen, Super Mario Bros).
Leyes de Escalamiento: Los experimentos con tamaños de modelo que van desde 32M hasta 736M de parámetros mostraron mejoras sustanciales de rendimiento desde 32M hasta 308M. Las ganancias parecieron estancarse entre 308M y 736M, lo que sugiere que, si bien una mayor capacidad ayuda, el modelo de 308M captura regularidades estadísticas significativas.

Significado y Reivindicaciones

El artículo afirma demostrar la viabilidad del preentrenamiento masivo fuera de línea a través de entornos de aprendizaje por refuerzo heterogéneos utilizando una única política de transformer.

Representación Unificada: Los resultados sugieren que, a pesar de la sustancial heterogeneidad en las modalidades de observación, espacios de acción, escalas de recompensa y horizontes temporales, los grandes modelos de secuencias pueden aprovechar las regularidades estadísticas compartidas entre subconjuntos de entornos.
Automatización: El trabajo destaca el potencial de los pipelines automatizados y unificados para superar la fragmentación de los actuales ecosistemas de RL, reduciendo la dependencia del conocimiento experto y las decisiones de diseño específicas de la tarea.
Dirección Futura: Los autores ven a LDM-v0 como un paso hacia sistemas de aprendizaje por refuerzo preentrenados y escalables. Señalan explícitamente que su objetivo principal no fue estudiar la generalización fuera de la distribución, sino investigar si una única política puede modelar conjuntamente diversos comportamientos de RL a escala.

Los autores mantienen la modestia respecto a la generalización, reconociendo que las evaluaciones se realizaron principalmente en entornos dentro de la distribución de entrenamiento. Identifican la comprensión de las estrategias de toma de decisiones transferibles y la mejora de la generalización a entornos no vistos (mediante adaptación en contexto o ajuste fino) como preguntas abiertas importantes para trabajos futuros.