🤖 machine learning

Efficient Reinforcement Learning by Guiding World Models with Non-Curated Data

Este artigo propõe um método para aumentar a eficiência de amostragem de aprendizado por reforço online ao guiar modelos de mundo com dados offline abundantes e não curados através de ensaio de experiência e orientação de execução, superando, assim, problemas de mudança de distribuição e superando significativamente os baselines em diversas tarefas visuomotoras.

Autores originais: Yi Zhao, Aidan Scannell, Wenshuai Zhao, Yuxin Hou, Tianyu Cui, Le Chen, Dieter Büchler, Arno Solin, Juho Kannala, Joni Pajarinen

Publicado 2026-06-16

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yi Zhao, Aidan Scannell, Wenshuai Zhao, Yuxin Hou, Tianyu Cui, Le Chen, Dieter Büchler, Arno Solin, Juho Kannala, Joni Pajarinen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você queira ensinar um robô a andar, correr ou pegar uma xícara de café. Tradicionalmente, você teria que ficar sentado observando o robô, dizendo a ele cada vez que ele fizesse algo certo ou errado. Isso é lento, caro e exige muito esforço humano para rotular os dados.

Este artigo apresenta um novo método chamado NCRL (Dados offline não curados para Aprendizado por Reforço eficiente) que ensina robôs muito mais rápido usando uma abordagem de "transformar lixo em tesouro". Veja como funciona, dividido em conceitos simples:

1. O Problema: O Dilema dos Dados "Lixo"

Normalmente, para treinar um robô, você precisa de um conjunto de dados limpo e organizado, onde cada ação é rotulada com uma pontuação (ex: "Bom trabalho!" ou "Mau trabalho!"). Mas, no mundo real, temos montanhas de dados bagunçados e desorganizados.

Eles não possuem pontuações (livres de recompensa/reward-free).
São uma mistura de movimentos excelentes e erros terríveis (qualidade mista).
Vêm de diferentes tipos de robôs (multi-incorporação/multi-embodiment).

Pense nisso como uma biblioteca repleta de milhões de livros, mas nenhum deles possui títulos, resumos ou avaliações. A maioria das pessoas ignoraria essa biblioteca porque ela é difícil demais de usar. Métodos anteriores tentaram usar esses dados, mas muitas vezes falharam porque assumiam que os dados eram organizados e rotulados.

2. A Solução: Construir um "Mapa Mental" Primeiro

Em vez de tentar aprender a tarefa específica imediatamente, o método NCRL primeiro constrói um Modelo de Mundo (World Model).

A Analogia: Imagine um estudante que quer aprender a dirigir um carro. Em vez de entrar em um carro e tentar dirigir até o supermercado imediatamente, ele primeiro passa meses assistindo a todos os tipos de vídeos de direção — alguns de carros de corrida, alguns de caminhões, alguns de pessoas dirigindo mal e alguns de especialistas. Ele ainda não conhece o destino, ele apenas aprende como o carro se move, como a estrada parece e como funciona o volante.
A Alegação do Artigo: Os autores treinaram um único "cérebro" (o Modelo de Mundo) com esses dados bagunçados e não rotulados de 6 tipos diferentes de robôs. Esse cérebro aprendeu a física geral do movimento sem precisar saber qual era o objetivo final.

3. A Armadilha: Por que o "Apenas Ajustar" (Fine-Tuning) Falha

Os pesquisadores descobriram que, se você pegar esse cérebro pré-treinado e tentar ensinar imediatamente uma nova tarefa específica (como "Andar até a porta"), ele frequentemente falha.

A Analogia: É como pegar um estudante que estudou vídeos de direção geral e colocá-lo imediatamente em um carro de corrida em uma pista que ele nunca viu. O estudante entra em pânico porque a pista específica parece diferente dos vídeos que ele assistiu. O "mapa mental" que ele construiu não corresponde à realidade da nova tarefa.
A Descoberta do Artigo: Eles descobriram que isso acontece devido a uma mudança de distribuição (distributional shift). Os dados bagunçados usados para o treinamento parecem muito diferentes dos dados específicos que o robô encontra quando começa a tentar resolver a nova tarefa.

4. A Correção: Duas Técnicas Especiais

Para corrigir esse descompasso, os autores adicionaram duas "rodinhas de treinamento" para ajudar o robô a fazer a ponte entre o passado bagunçado e o presente específico.

Técnica A: Rehearsal de Experiência (O Método do "Flashcard")

Como funciona: Quando o robô começa a aprender a nova tarefa, ele não olha apenas para seu pequeno conjunto de novas experiências. Ele volta à sua enorme biblioteca de dados bagunçados e procura pelos clipes específicos que se pareçam com a situação atual.
A Analogia: Imagine que o robô está preso em uma curva específica. Em vez de apenas adivinhar, ele puxa um "flashcard" de sua biblioteca de vídeos antigos que mostra uma curva semelhante, mesmo que aquele vídeo antigo fosse de um robô diferente ou de outro dia. Ele "rehearsal" (repassa/rehearse) essas memórias relevantes para se lembrar de como as coisas funcionam, evitando esquecer o que aprendeu anteriormente.

Técnica B: Guia de Execução (O Método do "Copiloto")

Como funciona: O robô tem um "Copiloto" (uma política treinada nos dados bagunçados) que sabe se mover com segurança, mesmo que não seja perfeito. Durante os estágios iniciais do aprendizado, o robô alterna entre tentar suas próprias novas ideias e deixar o Copiloto assumir o controle por alguns segundos.
A Analogia: Pense em um novo motorista com um instrutor de direção no banco do passageiro. O novo motorista tenta dirigir, mas se começar a derivar, o instrutor assume gentilmente o controle por um momento para manter o carro na estrada, e então devolve o controle. Isso evita que o robô entre em "becos sem saída" onde ele não consegue aprender nada, guiando-o para áreas onde é mais provável que ele tenha sucesso.

5. Os Resultados: Duas Vezes Mais Rápido

O artigo testou este método em 72 tarefas diferentes, variando de uma guepardo correndo a um braço robótico empilhando blocos.

A Alegação: Usando este método, os robôs aprenderam duas vezes mais rápido do que robôs começando do zero (aprendendo sem nenhum dado prévio).
A Comparação: Mesmo quando comparado com outros métodos que tentaram usar dados offline, o NCRL venceu por uma margem significativa, especialmente em tarefas difíceis onde o robô precisa explorar e descobrir as coisas por conta própria.

Resumo

O artigo argumenta que não precisamos de dados perfeitos e rotulados para ensinar robôs. Podemos usar os dados "bagunçados" que já possuímos (vídeos de robôs se movendo sem pontuações) se:

Construirmos uma compreensão geral do mundo primeiro.
Usarmos um sistema de "busca" para encontrar memórias antigas relevantes ao aprender novas tarefas (Rehearsal de Experiência).
Usarmos um "Copiloto" para guiar o robô para que ele não se perca no início (Guia de Execução).

Isso permite que os robôs aprendam habilidades complexas com muito menos tentativas, tornando o treinamento de IA muito mais eficiente.

Resumo Técnico: Aprendizado por Reforço Eficiente ao Guiar Modelos de Mundo com Dados Não Curados

Definição do Problema
O aproveitamento de dados offline é um caminho promissor para melhorar a eficiência de amostragem do Aprendizado por Reforço (RL) online. No entanto, as abordagens existentes dependem predominantemente de conjuntos de dados offline curados, que são rotulados com recompensas e frequentemente restritos a tarefas ou formas específicas. Adquirir tais dados é caro e laborioso, particularmente para manipulação robótica, onde a anotação retrospectiva de recompensas é necessária. Trabalhos recentes exploraram o uso de abundantes dados "não curados" — caracterizados por serem livres de recompensa, de qualidade mista e coletados através de múltiplas formas (embodiments) — mas a aplicação ingênua desses conjuntos de dados provou ser insuficiente. Especificamente, o pré-treinamento de um modelo de mundo nesses dados e o posterior ajuste fino (fine-tuning) ingênuo para RL online frequentemente falham em acelerar o treinamento. Os autores identificam a causa raiz desse fracasso como um desvio distributivo entre os dados offline usados no pré-treinamento e os dados online coletados durante a fase de ajuste fino. Quando a distribuição offline não cobre suficientemente a distribuição de dados da tarefa subsequente, o modelo de mundo pré-treinado tem dificuldade em beneficiar o aprendizado da política, levando ao esquecimento catastrófico ou à degradação da precisão do modelo.

Metodologia: NCRL
O artigo propõe o NCRL (Dados Offline Não Curados para RL Eficiente), um pipeline de dois estágios projetado para utilizar efetivamente dados não curados, livres de recompensa e de múltiplas formas.

Pré-treinamento de Modelo de Mundo Multi-Embodiment:
Em vez de treinar modelos separados por tarefa, o NCRL pré-treina um único modelo de mundo agnóstico à tarefa em um conjunto de dados não curado de larga escala. A arquitetura baseia-se no Modelo de Espaço de Estado Recorrente (RSSM) com modificações específicas para lidar com diversas entradas:
- Remoção de perdas específicas da tarefa.
- Preenchimento com zeros (zero-padding) das ações para unificar as dimensões entre diferentes formas.
- Escalonamento para 280 milhões de parâmetros.
  O modelo é otimizado usando perdas padrão de predição, dinâmica e representação nas trajetórias offline brutas, sem rótulos de recompensa.
Ajuste Fino Baseado em RL com Rehearse (Ensaios) e Guia:
Para abordar o desvio distributivo e transferir efetivamente o conhecimento pré-treinado, o NCRL introduz duas técnicas principais durante a fase de ajuste fino online:
- Experiência de Rehearsal (Ensaios): Em vez de descartar os dados offline após o pré-treinamento, o NCRL recupera trajetórias relevantes para a tarefa do conjunto de dados não curado durante o treinamento online. Isso é feito computando a distância de características neurais entre observações iniciais no buffer online e trajetórias offline usando o codificador pré-treinado. Essas trajetórias recuperadas são reproduzidas para:
  - Prevenir o esquecimento catastrófico ao continuar treinando o modelo de mundo nos dados de pré-treinamento relevantes.
  - Aumentar a distribuição de estados iniciais ( $p_0(s)$ ) para rollouts do modelo, permitindo a geração de trajetórias promissoras para atualizações de política.
  - Servir como um regularizador contra o desvio distributivo.
- Guia de Execução: Para guiar a exploração em direção a regiões onde o modelo de mundo possui alta confiança (e onde existem dados offline), o NCRL treina uma política a priori ( $\pi_{bc}$ ) via clonagem comportamental (behavioral cloning) nos dados offline recuperados. Durante a coleta de dados online, o agente alterna probabilisticamente entre a política de RL ( $\pi_\phi$ ) e a política a priori ( $\pi_{bc}$ ). Essa abordagem de política mista direciona o agente para regiões de alta qualidade do espaço de estados no início do treinamento, mitigando os riscos de uma exploração difícil.

Principais Contribuições
O artigo delineia quatro contribuições primárias:

C1: Propõe um cenário mais realista para o aproveitamento de dados offline, utilizando conjuntos de dados não curados, livres de recompensa e de múltiplas formas, indo além das restrições de dados curados e rotulados com recompensas.
C2: Demonstra que o ajuste fino ingênuo de modelos de mundo falha em muitas tarefas devido ao desvio distributivo entre os dados de pré-treinamento e de ajuste fino.
C3: Introduz o rehearsal de experiência e o guia de execução como técnicas específicas para mitigar esse gap distributivo e incentivar a exploração.
C4: Apresenta o framework NCRL, que integra dados não curados tanto no estágio de pré-treinamento quanto no de ajuste fino, demonstrando desempenho superior em um conjunto diversificado de tarefas comparado a abordagens existentes.

Resultados Experimentais
Os autores avaliam o NCRL em 72 tarefas de controle visuomotor abrangendo locomoção e manipulação robótica em 6 formas (usando os benchmarks DMControl e Meta-World). O conjunto de dados offline compreende 60 mil trajetórias (10 milhões de pares estado-ação) coletadas de agentes não supervisionados e demonstrações ruidosas.

Eficiência de Amostragem: Sob um orçamento limitado de 150 mil amostras online, o NCRL alcança quase o dobro da pontuação agregada das linhas de base de aprendizado do zero (DrQ-v2 e DreamerV3). Ele iguala o desempenho dessas linhas de base treinadas com 3,3x a 6,7x mais amostras.
Comparação com Métodos Offline: O NCRL supera significativamente métodos de última geração que utilizam dados offline, incluindo R3M (pré-treinamento visual), UDS-RLPD, ExPLORe e JSRL-BC. Notavelmente, enquanto métodos como o JSRL-BC têm dificuldades com trajetórias não especialistas, o NCRL utiliza efetivamente dados exploratórios e de qualidade mista.
Comparação com Métodos Baseados em Modelo: O NCRL supera outras abordagens de pré-treinamento de modelos de mundo (ex: iVideoGPT, DreamerV3 pré-treinado) que dependem de novas arquiteturas, mas carecem de mecanismos para reutilizar dados offline durante o ajuste fino. Crucialmente, o NCRL alcança isso sem depender de truques como modelagem de recompensa (reward shaping) ou inicialização de buffer de replay de especialista usados por algumas linhas de base.
Adaptação de Tarefa: Em um cenário de aprendizado contínuo, o NCRL permite que agentes se adaptem a novas tarefas (ex: tarefas do robô Ant) significativamente mais rápido que a linha de base PackNet, alcançando a adaptação dentro de 100 tentativas por tarefa.

Significância e Alegações
O artigo afirma que a principal significância do NCRL reside em sua capacidade de desbloquear o potencial de dados abundantes e não curados para RL. Ao identificar o desvio distributivo como o gargalo para o ajuste fino ingênuo e abordá-lo através de rehearsal de experiência e guia de execução, os autores demonstram que modelos de mundo pré-treinados em dados não curados podem aumentar substancialmente a eficiência de amostragem. O trabalho sugere que a rica informação contida em conjuntos de dados não curados (dinâmica, estados informativos, prioris de ação) não é totalmente aproveitada pelos métodos atuais que descartam esses dados após o pré-treinamento ou falham em alinhá-los com objetivos online. O NCRL fornece um pipeline prático para preencher essa lacuna, permitindo um RL eficiente em uma gama mais ampla de tarefas e formas sem o custo proibitivo da anotação de recompensas.