🤖 machine learning

Towards Scalable Multi-Task Reinforcement Learning with Large Decision Models

Este artigo apresenta o LDM-v0, uma política transformer de larga escala e multitarefa treinada offline em trajetórias diversas de milhares de ambientes, demonstrando que um único modelo unificado pode igualar o desempenho de políticas especializadas em domínios que variam da robótica à cibersegurança.

Autores originais: Thibaut Kulak

Publicado 2026-06-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Thibaut Kulak

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a fazer de tudo: jogar videogame, dirigir um carro, gerenciar um armazém e até controlar um braço robótico. Tradicionalmente, você teria que contratar um especialista diferente para cada trabalho. O treinador de videogame não sabe nada sobre direção, e o gerente de armazém não tem ideia de como jogar Super Mario. Isso é lento, caro e exige muita calibração personalizada para cada tarefa.

Este artigo apresenta o LDM-v0, uma nova abordagem que tenta resolver isso treinando um único "super-treinador" que pode aprender a realizar todos esses diferentes trabalhos ao mesmo tempo.

Aqui está uma análise de como eles fizeram isso, usando analogias simples:

1. O Problema: Muitas "Línguas" Diferentes

O Aprendizado por Reforço (RL - Reinforcement Learning) é como ensinar um aluno deixando que ele tente coisas e dando a ele uma pontuação (recompensa) quando ele se sai bem. O problema é que cada ambiente (como um videogame ou um simulador de robô) fala uma "língua" diferente.

Um ambiente pode usar números para descrever o braço de um robô.
Outro pode usar imagens.
Outro pode usar texto.
As regras para o que conta como um "bom movimento" são totalmente diferentes em cada um.

Tentar treinar um único modelo em todos esses ao mesmo tempo é como tentar ensinar um aluno a falar francês, japonês e código Morse simultaneamente enquanto ele também está aprendendo a fazer malabarismo.

2. A Solução: O "Tradutor Universal" (LDM-v0)

Os pesquisadores construíram um modelo massivo chamado LDM-v0 (Large Decision Model). Pense neste modelo como um tradutor universal que converte todas essas diferentes "línguas" em um formato único e comum que o computador possa entender.

A Entrada: Em vez de alimentar o modelo com dados brutos, eles traduzem tudo em "tokens" (como palavras em uma frase). Seja uma imagem, um número ou a posição de um robô, tudo é transformado em um token padronizado.
O Cérebro: Eles usaram um tipo específico de arquitetura de IA (baseada em "Llama", semelhante às usadas para chatbots) que é muito boa em lembrar histórias longas. Neste caso, a "história" é o histórico do que o robô viu, o que ele fez e qual pontuação ele obteve.

3. Como Eles Treinaram: O Método de "Sombreamento"

Você não pode simplesmente jogar o modelo em uma sala com 1.000 jogos diferentes e esperar que ele entenda tudo. Ele precisa de um professor. Mas, como não existe um humano que saiba jogar todos esses jogos perfeitamente, os pesquisadores usaram um truque inteligente chamado Supervisão de Política de Referência Automatizada.

Imagine que você quer aprender a jogar xadrez, futebol e pôquer. Em vez de um humano te ensinar, você contrata 1.000 bots especialistas diferentes.

Contrate os Especialistas: Eles treinaram milhares de agentes de IA especializados (usando algoritmos padrão como PPO ou DQN) para dominar ambientes específicos.
Registre os Mestres: Eles gravaram os movimentos "perfeitos" que esses bots especialistas fizeram.
O Jogo de Sombreamento: Eles então alimentaram o LDM-v0 com essas gravações. O trabalho do modelo não era "pensar" ou "explorar"; seu trabalho era simplesmente imitar os bots especialistas. Ele olhava para o histórico de um jogo e previa: "O que o especialista faria a seguir?".

Ao fazer isso, o LDM-v0 aprendeu a imitar as melhores estratégias em 1.000 ambientes diferentes sem precisar que as regras de cada um fossem explicadas explicitamente.

4. Os Resultados: Um Único Modelo para Reger Todos?

A equipe testou este único modelo em cerca de 1.000 ambientes diferentes, variando de:

Robótica: Controlando braços robóticos e drones.
Direção: Simulando carros em rodovias.
Negócios: Gerenciando estoque e negociação de ações.
Jogos: Jogando clássicos de arcade e Super Mario.

A Grande Vitória:
O único modelo LDM-v0 teve um desempenho tão bom quanto os bots "especialistas" em cerca de 1.000 desses ambientes. Em outras palavras, um modelo generalista podia fazer o trabalho de 1.000 especialistas.

Eles também descobriram que tornar o modelo maior (dando-lhe mais "poder cerebral") geralmente o tornava melhor, até certo ponto.

5. O Que Isso Significa (e o Que Não Significa)

O que prova: É possível treinar um único modelo de IA gigante em uma enorme mistura de tarefas totalmente diferentes e ter um bom desempenho em todas elas. Isso sugere que essas diferentes tarefas compartilham padrões ocultos que o modelo pode aprender.
O que não afirma: O artigo não diz que este modelo está pronto para dirigir seu carro amanhã ou gerenciar sua carteira de ações real. Os testes foram feitos em simulações (videogames e gêmeos digitais).
A Limitação: O modelo é muito bom em tarefas que ele já viu antes (ou muito semelhantes). Os autores admitem que não testaram totalmente se ele consegue lidar com um novo tipo de tarefa que nunca viu antes. É um mestre da imitação, não necessariamente um mestre da invenção ainda.

Analogia de Resumo

Pense nos modelos de IA anteriores como aprendizes especializados: um carpinteiro que só sabe construir cadeiras, um encanador que só sabe consertar pias.
LDM-v0 é como um super-aprendiz que assistiu a milhares de vídeos de carpinteiros, encanadores, eletricistas e chefs. Ele ainda não construiu uma casa ou cozinhou uma refeição por conta própria, mas se você mostrar a ele uma nova situação, ele pode instantaneamente recordar: "Ah, o encanador especialista faria isso", e fazer corretamente.

O artigo mostra que essa abordagem de "super-aprendiz" funciona surpreendentemente bem, abrindo caminho para futuros sistemas de IA que podem aprender muitas habilidades a partir de uma única e massiva sessão de treinamento.

Resumo Técnico: Rumo ao Aprendizado por Reforço Multitarefa Escalável com Grandes Modelos de Decisão

Declaração do Problema

O Aprendizado por Reforço (RL) alcançou um sucesso significativo em domínios específicos, como jogos, robótica e controle. No entanto, aplicar RL a configurações do mundo real continua sendo um desafio devido à necessidade de extensa interação com o ambiente, engenharia cuidadosa de recompensas, arquiteturas específicas para cada domínio e ajuste substancial de hiperparâmetros. Embora o RL offline e as abordagens de offline-para-online mitiguem o custo da interação online, selecionar e adaptar um algoritmo adequado para um novo ambiente continua sendo difícil.

Paralelamente a esses desafios, modelos de sequência em larga escala transformaram o processamento de linguagem natural e a visão computacional. No RL, abordagens de modelagem de sequência, como o Decision Transformer, demonstraram que políticas podem ser representadas como modelos autorregressivos sobre trajetórias. Isso levanta uma questão crítica: é possível consolidar trajetórias de RL offline multi-domínio em uma única política transformer escalável, mantendo um forte desempenho de tarefa em muitos domínios? O principal obstáculo é que os ecossistemas de RL multi-domínio são fragmentados, heterogêneos e difíceis de unificar.

Metodologia

Os autores introduzem o LDM-v0 (Large Decision Model v0), uma política transformer unificada, multitarefa e multimodal, treinada offline em trajetórias de milhares de ambientes heterogêneos. A metodologia consiste em três componentes principais:

1. Supervisão de Política de Referência Automatizada

Para gerar dados de treinamento de alta qualidade em diversos domínios sem engenharia de recompensa manual, os autores tratam a construção do conjunto de dados como um problema de AutoRL:

Seleção de Candidatos: Um conjunto de algoritmos e configurações candidatas (do Stable-Baselines3 e SB3-Contrib, incluindo A2C, PPO, SAC, DQN, etc.) é definido.
Classificação (Ranking): Para cada biblioteca de ambiente, candidatos compatíveis são treinados em um subconjunto de cinco ambientes. As configurações são classificadas usando comparações pareadas baseadas em um teste t de Welch de uma cauda do desempenho final.
Geração de Dados: As configurações melhor classificadas são treinadas por 3 milhões de transições. As trajetórias são registradas e a política final treinada é reproduzida para gerar anotações de ações de referência.
Filtragem: Execuções de baixa qualidade (aquelas sem melhoria de desempenho estatisticamente significativa ou que ficam abaixo de 95% do desempenho da melhor política) são removidas.
Resultado: Um conjunto de dados de aproximadamente 9,3 bilhões de transições de ~3.000 ambientes distintos, anotadas com ações de política de referência em vez de ações exploratórias.

2. Infraestrutura de Ambiente Unificada

Para lidar com a fragmentação das bibliotecas de RL (diferentes versões de Python, dependências e simuladores), os autores desenvolveram um framework de orquestração interna:

Os ambientes são encapsulados em contêineres Docker isolados.
Uma API de interação unificada, compatível com interfaces modernas do Gymnasium, é exposta.
Este pipeline integrou 146 bibliotecas de ambientes cobrindo aproximadamente 15.000 ambientes individuais.

3. Arquitetura do Modelo e Treinamento

Arquitetura: O LDM-v0 é um transformer decoder-only baseado na arquitetura Llama, treinado do zero.
Processamento de Entrada: O modelo recebe um histórico de interação (passado de observações, ações, recompensas, sinais de terminação) e a observação atual.
- Tokenização: Entradas contínuas são codificadas via $\mu$ -law e discretizadas em 1024 bins. Entradas discretas usam tabelas de consulta (lookup tables). Imagens são redimensionadas para 64x64 e codificadas via um codificador convolucional.
- Embedding: Observação, ação, recompensa e sinais de terminação são alinhados e empilhados em meta-tokens de nível de transição. Esta representação compacta reduz o comprimento da sequência em comparação com a tokenização por dimensão (ex: Gato), permitindo históricos mais longos dentro de um orçamento de contexto fixo.
Objetivo de Treinamento: O modelo é treinado via previsão de próxima ação supervisionada usando perda de entropia cruzada sobre os bins de ação discretizados. Ele aprende a prever a ação de referência $a_t$ condicionada ao histórico da trajetória $(o_i, a_i, r_i, d_i)$ .
Escala: O modelo principal (LDM-v0) possui 308M de parâmetros, 12 camadas e um comprimento de contexto de 2048 transições. Foi treinado por seis dias em dois nós com 16 GPUs NVIDIA H200.

Principais Contribuições

LDM-v0: Uma política transformer de larga escala e multimodal, treinada em um conjunto de dados unificado abrangendo 146 bibliotecas e ~3.000 ambientes.
Infraestrutura Escalável: Um pipeline robusto para automatizar a geração de política de referência e a orquestração de ambientes através de ecossistemas de RL altamente heterogêneos.
Modelagem Compacta de Nível de Transição: Uma estratégia de tokenização que agrupa sinais de observação, ação, recompensa e terminação em meta-tokens únicos, permitindo a modelagem de sequências de longo horizonte de forma eficiente.
Validação Empírica: Evidência de que uma única parametrização compartilhada pode alcançar um desempenho competitivo em diversos domínios sem ajuste fino específico de tarefa.

Resultados

Os autores avaliaram o LDM-v0 através dos ambientes de treinamento (dentro da distribuição) e o compararam com políticas de referência independentemente treinadas e específicas para cada tarefa.

Limiares de Desempenho: O LDM-v0 alcançou >80% do desempenho da política de referência em mais de 1.600 ambientes e igualou o desempenho de referência em aproximadamente 1.000 ambientes.
Cobertura de Domínios: Um forte desempenho foi observado em:
- Robótica e controle (ex: gymnasium_robotics, panda-gym).
- Direção autônoma (highway-env).
- Negociação financeira (gym_trading_env) e otimização de estoque.
- Cibersegurança (cymnasium).
- Ambientes do tipo jogo (estilo Atari, procgen, Super Mario Bros).
Leis de Escala (Scaling Laws): Experimentos com tamanhos de modelo variando de 32M a 736M de parâmetros mostraram melhorias substanciais de desempenho de 32M para 308M. Os ganhos pareceram estagnar entre 308M e 736M, sugerindo que, embora a maior capacidade ajude, o modelo de 308M captura regularidades estatísticas significativas.

Significância e Alegações

O artigo afirma demonstrar a viabilidade de pré-treinamento offline em larga escala através de ambientes de aprendizado por reforço heterogêneos usando uma única política transformer.

Representação Unificada: Os resultados sugerem que, apesar da heterogeneidade substancial nas modalidades de observação, espaços de ação, escalas de recompensa e horizontos temporais, grandes modelos de sequência podem aproveitar regularidades estatísticas compartilhadas entre subconjuntos de ambientes.
Automação: O trabalho destaca o potencial de pipelines unificados e automatizados para superar a fragmentação dos atuais ecossistemas de RL, reduzindo a dependência de conhecimento especializado e escolhas de design específicas para cada tarefa.
Direção Futura: Os autores veem o LDM-v0 como um passo em direção a sistemas de aprendizado por reforço pré-treinados e escaláveis. Eles explicitamente observam que seu objetivo primário não era estudar a generalização fora da distribuição (out-of-distribution), mas sim investigar se uma única política pode modelar conjuntamente diversos comportamentos de RL em escala.

Os autores mantêm a modéstia quanto à generalização, reconhecendo que as avaliações foram realizadas principalmente em ambientes dentro da distribuição de treinamento. Eles identificam a compreensão de estratégias de tomada de decisão transferíveis e a melhoria da generalização para ambientes não vistos (via adaptação de contexto ou ajuste fino) como questões importantes para trabalhos futuros.