🤖 AI

Q-Learning With World Models

O artigo propõe o QWM, um framework que integra modelos de mundo ao Q-learning padrão para realizar busca em tempo de teste sobre trajetórias imaginadas para seleção de ações, alcançando assim eficiência de amostragem e desempenho superiores em benchmarks de manipulação robótica ao evitar o viés de modelo cumulativo ao treinar exclusivamente em transições reais.

Autores originais: Perry Dong, Yueru Jia, Chelsea Finn, Dorsa Sadigh

Publicado 2026-08-19

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Perry Dong, Yueru Jia, Chelsea Finn, Dorsa Sadigh

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Robôs que aprendem fazendo estão se tornando uma realidade, mas frequentemente exigem uma quantidade exaustiva de prática para dominar até mesmo tarefas simples. Para mover uma xícara de uma mesa para uma prateleira, um robô pode precisar tentar o movimento milhares de vezes, falhando repetidamente antes de finalmente conseguir. Esse processo de tentativa e erro é o coração de um campo chamado aprendizado por reforço, onde um agente aprende interagindo com seu ambiente e recebendo feedback sobre suas ações. Embora avanços recentes tenham tornado esse processo de aprendizado mais rápido, os trabalhos mais complexos, como montar uma ferramenta ou navegar em uma sala desordenada, ainda exigem vastas quantidades de dados. Pesquisadores buscam constantemente maneiras de tornar esses robôs mais eficientes, esperando reduzir o tempo e a energia necessários para treiná-los. Uma ideia promissora tem sido dar aos robôs um "modelo de mundo", uma simulação mental que permite que eles imaginem o que aconteceria se realizassem uma determinada ação, em vez de apenas adivinhar cegamente. No entanto, usar essas simulações mentais para treinar o robô diretamente tem sido historicamente arriscado; se a imaginação do robô estiver ligeiramente errada, esses erros podem se acumular, levando o robô a aprender uma versão distorcida da realidade que falha no mundo real.

Uma equipe de pesquisadores da Universidade de Stanford e da Universidade de Pequim desenvolveu uma nova abordagem que contorna esse perigo ao mudar quando o robô utiliza sua imaginação. Em vez de depender do modelo de mundo para ensinar ao robô como se mover, eles o utilizam apenas no momento da decisão. O método deles, chamado QWM, permite que um robô aprenda suas habilidades principais a partir de interações no mundo real, garantindo que sua compreensão da física e de causa e efeito permaneça fundamentada na realidade. Mas quando o robô enfrenta uma nova situação e deve escolher o que fazer a seguir, ele faz uma pausa para executar uma rápida simulação mental. Ele imagina vários futuros possíveis para cada ação potencial, prevendo como o mundo mudaria e, então, escolhe a ação que leva ao melhor resultado. Esse processo é semelhante à forma como um jogador de xadrez pode antecipar alguns movimentos antes de se comprometer com uma jogada, mas aqui, o robô está olhando adiante para ver qual ação física renderá a maior recompensa.

Os pesquisadores testaram esse sistema em tarefas desafiadoras de manipulação robótica, como levantar objetos, colocar latas e montar ferramentas. Eles compararam seu método com outros algoritmos de alto desempenho que ou aprendem sem nenhum modelo mental ou aprendem inteiramente dentro de um mundo simulado. Os resultados mostraram que o QWM superou significativamente esses outros métodos. Ele aprendeu mais rápido, exigindo menos tentativas no mundo real para atingir um alto nível de sucesso, e apresentou um desempenho mais confiável em diferentes tarefas. Crucialmente, o sistema evitou a armadilha comum onde o modelo interno de um robô torna-se tão falho que ensina ao robô maus hábitos. Ao manter o processo de aprendizado vinculado a dados reais e usar a imaginação apenas para refinar as escolhas no último segundo, o robô obteve o melhor dos dois mundos: a segurança do aprendizado no mundo real e a previsão de um modelo preditivo.

O sucesso dessa abordagem depende de como o robô constrói sua busca mental. Quando o robô precisa agir, ele não apenas faz um palpite aleatório ou depende de uma única previsão. Em vez disso, ele gera uma árvore de possibilidades. A partir de sua posição atual, ele considera várias ações diferentes. Para cada ação, ele usa seu modelo de mundo para prever o próximo estado do mundo. Ele então repete esse processo, imaginando o que aconteceria se fizesse outra ação a partir desse novo estado, e assim por diante, criando um caminho ramificado de potenciais futuros. O robô avalia esses caminhos não apenas olhando para o resultado imediato, mas agregando o valor de toda a sequência imaginada. Ele combina seu conhecimento direto do valor de uma ação com as recompensas previstas das etapas futuras que imaginou. Isso permite que o robô veja além do momento imediato e escolha ações que podem parecer difíceis agora, mas que levarão a um resultado muito melhor depois.

Uma das descobertas mais significativas é que este método funciona mesmo quando o robô está observando o mundo através de uma câmera, lidando com informações visuais de alta dimensão em vez de números simples. Nesses cenários baseados em pixels, aprender um modelo de mundo perfeito é incrivelmente difícil, mas os pesquisadores descobriram que mesmo um modelo um tanto imperfeito poderia proporcionar um enorme aumento de desempenho quando usado para esse tipo de busca em tempo de teste. O robô não precisava ser um preditor perfeito para se beneficiar; ele só precisava ser bom o suficiente para distinguir entre uma boa ação e uma má ação. O estudo também explorou o quão longe o robô deveria olhar no futuro. Olhar muito à frente introduzia muita incerteza porque as previsões tornavam-se menos confiáveis, enquanto olhar de forma muito superficial falhava em capturar as consequências de longo prazo de uma ação. Os pesquisadores encontraram um ponto ideal onde o robô olhava alguns passos à frente, o suficiente para planejar efetivamente sem se perder no ruído dos erros de previsão.

Os pesquisadores também compararam seu método com outras formas de usar modelos de mundo, como treinar o robô inteiramente dentro da simulação. Eles descobriram que esses métodos frequentemente enfrentavam dificuldades, especialmente em tarefas com recompensas esparsas, onde o robô só recebe um sinal quando obtém sucesso ao final. Nesses casos, os erros na simulação se acumulavam rapidamente, tornando difícil para o rob de aprender algo útil. Em contrapartida, a abordagem QWM manteve o treinamento fundamentado na realidade. A política central do robô e sua compreensão de valor eram atualizadas apenas com dados do mundo real. O modelo de mundo era meramente uma ferramenta de seleção, uma forma de refinar a tomada de decisão do robô sem corromper seu aprendizado fundamental. Essa distinção provou ser vital, permitindo que o sistema escalasse para problemas de robótica complexos do mundo real onde métodos anteriores baseados em modelos haviam falhado.

No fim, o trabalho demonstra que o poder de um modelo de mundo não reside necessariamente em substituir o mundo real, mas em aprimorar nossa capacidade de navegá-lo. Ao usar a imaginação como um filtro para a escolha, em vez de um substituto para a experiência, os pesquisadores criaram um sistema que é tanto eficiente em termos de amostras quanto robusto. O robô aprende com as lições difíceis da realidade, mas usa sua mente para evitar repetir erros antes que eles aconteçam. Essa abordagem oferece um caminho prático para o implantação de robôs em ambientes não estruturados, onde a capacidade de planejar e adaptar é tão importante quanto a capacidade de aprender. As descobertas sugerem que o futuro do aprendizado robótico pode não ser sobre construir simulações perfeitas, mas sobre construir robôs que saibam quando confiar em sua experiência e quando confiar em sua imaginação.

Resumo Técnico: Q-Learning com Modelos de Mundo (QWM)

Definição do Problema

O aprendizado por reforço (RL) off-policy alcançou uma eficiência de amostragem significativa, permitindo o ajuste fino de modelos de Visão-Linguagem-Ação (VLA) em políticas confiáveis. No entanto, à medida que o RL é aplicado a cenários cada vez mais complexos e de alta dimensão, como a robótica no mundo real, ganhos adicionais em eficiência de amostragem são essenciais. Embora os modelos de mundo ofereçam um mecanismo para prever mudanças de estado em vez de apenas ações, sua aplicação bem-sucedida tem se limitado amplamente ao aprendizado de políticas supervisionado.

Os métodos tradicionais de RL baseados em modelo tipicamente otimizam políticas ou funções de valor diretamente em rollouts "imaginados" gerados por um modelo de dinâmica aprendido. Esta abordagem é propensa ao viés de composição (compounding bias), onde erros no modelo de mundo se acumulam ao longo do tempo, degradando o desempenho. Este problema piora com horizontes de tarefa mais longos e maior complexidade visual, tornando difícil a escala para a robótica real. A questão central abordada por este trabalho é: Podem os modelos de mundo ser aproveitados para melhorar o desempenho do RL online sem recorrer às abordagens tradicionais baseadas em modelo que introduzem o viés do modelo no processo de treinamento?

Metodologia: QWM

Os autores propõem o QWM (Q-Learning com Modelos de Mundo), um framework que integra modelos de mundo aprendidos ao Q-learning padrão via busca em tempo de teste (test-time search). Diferente do RL baseado em modelo convencional, o QWM não utiliza o modelo de mundo para gerar dados de treinamento ou otimizar a política diretamente. Em vez disso, a política e a função de valor (crítico) são treinadas exclusivamente em transições reais do ambiente online. O modelo de mundo é utilizado unicamente no momento da decisão para realizar uma busca sobre trajetórias imaginadas para selecionar ações de alto valor.

Componentes Principais

Treinamento do Modelo de Mundo: Um modelo de dinâmica $M_\psi(s'|s, a)$ é pré-treinado offline em um conjunto de dados de transições do ambiente (seja offline ou acumulado online). Para estados de baixa dimensão, utiliza-se um modelo de dinâmica residual determinístico. Para observações baseadas em pixels, um modelo de mundo de vídeo condicionado à ação (baseado em Wan2.2) é ajustado.
Busca em Árvore sobre Ações: Em cada passo de decisão, o QWM constrói uma árvore de busca enraizada no estado atual $s_0$ $s_{0}$ .
- Expansão: A política propõe $N$ ações candidatas. Para cada ação, o modelo de mundo prevê $K$ estados futuros. Este processo se repete recursivamente até uma profundidade $D$ .
- Agregação de Valor: O valor dos nós na árvore é computado combinando dois estimadores:
  - Valor Estado-Ação ( $V_Q$ ): Pontua ações diretamente usando a função Q aprendida $Q_\phi$ . É de baixa variância e independente do erro do modelo, mas cego a rollouts futuros.
  - Valor de Estado ( $V_r$ ): Estima o valor usando as recompensas previstas pelo modelo de mundo e o valor dos estados subsequentes. Isso explora o rollout imaginado completo, mas acumula o erro do modelo com a profundidade.
  - Valor Combinado: O valor final do nó é uma média ponderada (tipicamente 0.5) de $V_Q$ e $V_r$ , equilibrando os benefícios de ambos os estimadores.
Poda de Busca (Search Pruning): Para gerenciar a complexidade computacional, um heurístico seleciona um subconjunto de caminhos para expandir em cada profundidade, podando ramos menos promissores com base nos escores Q descontados acumulados.
Seleção de Ação: A ação selecionada para execução é aquela com o maior valor de busca em árvore agregado. Esta busca é aplicada tanto durante os rollouts online (para coletar dados de maior qualidade para o buffer de replay) quanto na avaliação.

Principais Contribuições

Framework QWM: Um framework simples e geral que aproveita modelos de mundo para busca em tempo de teste sobre o Q-learning padrão. Ele melhora a seleção de ações ao imaginar trajetórias futuras sem substituir as interações reais com o ambiente.
Evitação do Viés de Composição: Ao treinar a política e o crítico apenas em transições reais, o QWM evita o acúmulo de viés que assola métodos que otimizam políticas dentro de modelos de mundo imperfeitos.
Escalabilidade em Tempo de Teste: A abordagem pode ser vista como uma forma de escalonamento em tempo de teste, onde candidatos são pontuados com base em seu valor downstream previsto, resultando em uma estimativa de ações ótimas melhor do que a maximização de valor Q de passo único.

Resultados Experimentais

Os autores avaliaram o QWM em benchmarks desafiadores de manipulação robótica: Robomimic (baseado em estado) e LIBERO (baseado em pixels).

Comparação com Baselines Model-Free: O QWM superou significativamente baselines fortes de estado da arte model-free (incluindo EXPO, RLPD, IDQL e outros) tanto em eficiência de amostragem quanto em desempenho final em todas as tarefas (Lift, Can, Square, Tool Hang e várias tarefas LIBERO).
Comparação com Baselines Model-Based: O QWM alcançou um desempenho consistentemente superior aos métodos model-based de estado da arte como TD-MPC2 e EfficientZero V2. Notavelmente, enquanto o TD-MPC2 e o EfficientZero V2 tiveram dificuldade em alcançar sucesso não-nulo em configurações de recompensa esparsa dentro dos passos de treinamento relatados, o QWM obteve sucesso em todas as tarefas.
Estudos de Ablação:
- Escopo de Busca: Aplicar a busca em árvore durante tanto a amostragem online quanto a avaliação rendeu os melhores resultados, demonstrando os benefícios complementares de melhorar a coleta de dados e a execução.
- Hiperparâmetros: Uma profundidade de busca moderada ( $D=2$ a $4$) proporcionou o melhor equilíbrio entre capturar consequências futuras e evitar erro excessivo do modelo.
- Função Q vs. Função de Valor: Realizar a busca com a função Q superou significativamente a busca apenas com uma função de valor de estado ( $V$ ), destacando a importância da estimativa condicionada à ação.
Escalabilidade Baseada em Pixels: O QWM estendeu-se com sucesso para observações visuais de alta dimensão (LIBERO), mostrando melhorias claras na velocidade de aprendizado e no desempenho final, mesmo quando o modelo de mundo era usado apenas para amostragem durante o treinamento online.

Significância e Alegações

O artigo afirma que o QWM oferece um caminho prático para combinar as capacidades preditivas de modelos de mundo com a estabilidade do Q-learning online. Ao restringir o papel do modelo de mundo à busca em tempo de teste, o método ganha os benefícios de eficiência de amostragem do planejamento preditivo enquanto permanece fundamentado em dados reais, evitando assim o viés de composição inerente ao treinamento de políticas em rollouts imaginados.

Os autores posicionam o QWM como uma melhoria geral aplicável a qualquer algoritmo de fine-tuning de RL que utilize uma função Q, particularmente para modelos de Visão-Linguagem-Ação. Eles reconhecem limitações, especificamente o overhead computacional da busca em árvore no tempo de rollout e a dificuldade de treinar modelos de mundo de alta qualidade, mas afirmam que o framework fornece uma alternativa robusta ao RL baseado em modelo tradicional para a robótica real.