💻 computer science

HaWMPO: Hallucination-Aware World Model-based Policy Optimization for Generalist Robot Policy

O artigo propõe o HaWMPO, um framework de otimização de política baseado em modelo de mundo consciente de alucinações que aprimora políticas robóticas generalistas ao estimar e suprimir alucinações de predição durante rollouts imaginados, melhorando significativamente as taxas de sucesso em tarefas de manipulação complexas de longo horizonte tanto em benchmarks quanto em robôs do mundo real.

Autores originais: Zengjue Chen, Peidong Liu, Jiawei Li, Qi Wang

Publicado 2026-09-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zengjue Chen, Peidong Liu, Jiawei Li, Qi Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Robôs que podem aprender a realizar uma grande variedade de tarefas, desde empilhar blocos até dobrar roupas, têm sido há muito tempo um objetivo da inteligência artificial. Para alcançar isso, pesquisadores desenvolveram políticas "generalistas", que são essencialmente sistemas semelhantes ao cérebro treinados para compreender linguagem e visão para decidir como um robô deve se mover. No entanto, ensinar esses sistemas no mundo real é lento, caro e arriscado. Cada vez que um robô tenta uma nova ação, ele pode quebrar algo ou danificar a si mesmo, tornando o processo de tentativa e erro perigoso. Para resolver isso, cientistas recorreram a "modelos de mundo", que são simuladores digitais que permitem que os robôs pratiquem dentro de um computador. Esses modelos preveem o que acontecerá em seguida com base nas ações atuais, criando um espaço seguro para o aprendizado. No entanto, esses simuladores digitais não são perfeitos; à medida que preveem mais adiante no futuro, eles frequentemente começam a inventar detalhes que nunca aconteceram, um fenômeno conhecido como "alucinação". Se um robô aprende com esses cenários falsos, ele pode aprender a realizar ações que funcionam no computador, mas falham completamente no mundo real.

Uma equipe de pesquisadores desenvolveu um novo método para ajudar os robôs a aprenderem efetivamente a partir dessas simulações digitais imperfeitas sem serem enganados por seus erros. Eles chamam sua abordagem de HaWMPO, um sistema projetado para tornar os robôs conscientes de quando seu campo de treinamento digital está mentindo para eles. Em vez de tratar cada cenário imaginado como igualmente valioso, o novo sistema inclui um componente especial que atua como um inspetor de controle de qualidade. Este inspetor observa a sequência de imagens que o simulador gera e atribui uma pontuação indicando o quão confiável é essa sequência. Se o simulador começar a derivar para a fantasia, criando imagens que não correspondem às leis da física ou ao resultado esperado, o inspetor sinaliza o erro. O sistema então usa essa informação para ajustar o processo de aprendizado, efetivamente dizendo ao robô para ignorar as partes da simulação que parecem excessivamente pouco confiáveis e focar nas partes que parecem realistas.

Os pesquisadores testaram este método usando um conjunto padrão de tarefas robóticas em um ambiente de computador chamado LIBERO, que envolve mover objetos para locais específicos. Eles compararam seu novo sistema com outros métodos que utilizam modelos de mundo, mas carecem desse recurso de controle de qualidade. Os resultados mostraram uma vantagem clara para a nova abordagem. Na simulação, o robô usando o sistema consciente de alucinações alcançou uma taxa de sucesso de 63,7 por cento, o que é significativamente maior do que o próximo melhor método. A melhoria foi particularmente perceptível em tarefas que exigem raciocínio espacial e manipulação de objetos, onde a capacidade do robô de distinguir entre cenários reais e falsos o ajudou a aprender estratégias mais robustas. Os pesquisadores descobriram que, ao penalizar o robô quando ele dependia de cenários altamente alucinados, o sistema evitou que o robô aprendesse maus hábitos que só funcionariam em uma simulação quebrada.

Para garantir que este método funcionasse fora do computador, a equipe também o testou em um robô físico em um ambiente do mundo real. Eles incumbiram o robô de dois desafios específicos: colocar um lenço de papel em uma caixa e colocar fones de ouvido em um suporte. Sem o novo sistema, o robô teve sucesso nessas tarefas cerca de 60 por cento das vezes na tarefa dos fones de ouvido. Após aplicar o treinamento consciente de alucinação, a taxa de sucesso subiu para um AUC de 0,8 em média, com o robô alcançando 85% na tarefa do lenço e 75% na tarefa dos fones de ouvido. Esse salto de desempenho demonstra que as lições aprendidas no mundo digital foram de fato transferíveis para o mundo físico, porque o robô aprendeu a ignorar o ruído digital que costuma confundir esses sistemas. Os pesquisadores observaram que o sistema funciona verificando constantemente a consistência do futuro simulado, garantindo que o robô aprenda apenas com trajetórias que pareçam fisicamente plausíveis.

O estudo destaca que a chave para um melhor aprendizado robótico não é apenas ter um simulador, mas ter uma maneira de confiar nele. Ao construir um sistema que pode detectar quando uma simulação está perdendo o contato com a realidade, os pesquisadores criaram um caminho mais estável para os robôs melhorarem. Embora os testes atuais tenham sido conduzidos em tarefas relativamente curtas, o sucesso sugere que esta abordagem pode ser vital para missões mais complexas e de longo prazo, onde um robô deve planejar muitos passos à frente. O trabalho confirma que, para que os robôs se tornem verdadeiramente ajudantes de uso geral, eles devem aprender a distinguir entre uma previsão útil e uma mentira convincente, uma habilidade que este novo método proporciona ao tornar o próprio processo de aprendizado consciente de suas próprias limitações.

Resumo Técnico: HaWMPO

Definição do Problema

Políticas de robôs generalistas, particularmente modelos de Visão-Linguagem-Ação (VLA), demonstraram uma forte generalização multitarefa, mas enfrentam dificuldades com taxas de sucesso em cenários complexos de longo horizonte. Embora o aprendizado por reforço (RL) online em robôs físicos possa melhorar essas políticas, ele é dificultado pela alta ineficiência de amostragem, interações físicas dispendiosas e riscos significativos de segurança.

Modelos de mundo oferecem uma alternativa promissora ao permitir a otimização de políticas através de rollouts "imaginados" em um espaço virtual. No entanto, modelos de mundo generativos são propensos a erros de predição acumulados e alucinações durante rollouts de longo horizonte. Essas alucinações produzem transições de estado tendenciosas e sinais de aprendizado falsos. Se uma política VLA for treinada diretamente nessas trajetórias alucinadas, ela pode explorar os vieses do modelo de mundo em vez de aprender ações eficazes em ambientes reais, levando a atualizações de política instáveis e degradação de desempenho.

Metodologia: HaWMPO

Os autores propõem o Hallucination-Aware World Model-based Policy Optimization (HaWMPO), um pipeline de RL de malha fechada projetado para mitigar os efeitos negativos das alucinações do modelo de mundo durante o pós-treinamento de VLA. O framework consiste em três componentes principais e um novo mecanismo de otimização:

1. Modelo de Alucinação Consciente de Ação (HAM)

Para abordar a questão de rollouts não confiáveis, o HaWMPO introduz um modelo dedicado para estimar a confiabilidade de sequências de imagens geradas.

Entrada: O HAM recebe um chunk de vídeo previsto de oito quadros ( $\hat{V}_c$ ), as ações condicionantes ( $a_c$ ), a observação atual ( $I_c$ ) e uma imagem âncora ( $I_0$ ) como entradas.
Arquitetura: Utiliza um codificador DINOv3 congelado para características visuais, Projetores de Contexto e Ação para mapear as entradas para um espaço compartilhado, e um Transformer de Fusão (incorporando atenção cruzada e autoatenção) para agregar representações. Uma query aprendível e um cabeçalho MLP produzem um escore de alucinação contínuo ( $\hat{h}_c$ ).
Supervisão: O modelo é treinado usando um alvo composto derivado de quatro métricas: similaridade DINOv3, consistência de profundidade, consistência de trajetória baseada em fluxo óptico e qualidade de imagem MUSIQ. Escores mais altos indicam alucinações mais severas.

2. Mecanismo Reward-Soft

Em vez de tratar todos os rollouts gerados pelo modelo de mundo de forma igual, o HaWMPO pondera suas contribuições com base no nível de alucinação previsto.

Mecanismo: A recompensa bruta ( $R$ ) fornecida por um modelo de recompensa para um determinado chunk de ação é modulada pelo escore de alucinação médio ( $H$ ) daquele chunk.
Fórmula: $\hat{R} = (1 - \alpha \cdot H) \cdot R$ , onde $\alpha$ é um hiperparâmetro ajustável.
Efeito: Este mecanismo impõe penalidades em passos de RL aparentemente bem-sucedidos se eles ocorrerem dentro de trajetórias altamente alucinadas, evitando que a política aprenda com sinais tendenciosos.

3. Pipeline de Otimização de Política

O sistema integra a política VLA, o modelo de mundo condicionado à ação, o HAM e o modelo de recompensa em um framework de Group Relative Policy Optimization (GRPO).

Processo: O agente VLA executa rollouts em ambientes imaginários paralelos construídos pelo modelo de mundo.
Treinamento: Para cada chunk de ação, o HAM prevê um escore de alucinação, e o mecanismo Reward-Soft modula a recompensa. O algoritmo GRPO então atualiza a política VLA usando essas recompensas conscientes de alucinação, calculando vantagens normalizadas por grupo para estabilizar o aprendizado.

Principais Contribuições

Pipeline de RL de Malha Fechada: Os autores estabelecem um pipeline que integra um modelo de mundo, um modelo consciente de alucinação e um modelo de recompensa, permitendo a otimização de política no estilo online sem interações frequentes com robôs no mundo real.
Estimativa de Confiabilidade Quantitativa: Eles projetam um HAM condicionado à ação que produz um escore de alucinação contínuo, quantificando explicitamente a confiabilidade das predições do modelo de mundo sob entradas de ação específicas.
Mecanismo Reward-Soft: Propõem um método inovador para integrar escores de alucinação na otimização GRPO, penalizando segmentos de ação severamente alucinados para mitigar o viés adverso dos modelos de mundo nas atualizações de política.

Resultados Experimentais

Simulação (Benchmark LIBERO)

Avaliado nos conjuntos de tarefas LIBERO Object, Spatial e Goal:

Desempenho: O HaWMPO alcançou a maior taxa média de sucesso de 63,7%.
Comparações: Isso representa uma melhoria de 15,0% sobre o modelo base OpenVLA-OFT, uma melhoria de 6,9% sobre o WMPO e uma melhoria de 2,8% sobre o baseline mais forte, WoVR*.
Ganhos Específicos: No conjunto Spatial, o HaWMPO atingiu 77,2% (superando o WoVR* em 8,0 pontos), e no conjunto Object, atingiu 52,2% (superando o WoVR* em 2,6 pontos).

Experimentos no Mundo Real (Robô G1)

Experimentos foram conduzidos em duas tarefas de manipulação: "Tissue-to-Box" e "Headphone-on-Stand".

Resultados: O HaWMPO alcançou uma taxa de sucesso média de 80,0% (85% em Tissue-to-Box, 75% em Headphone-on-Stand).
Melhoria: Supera a política base em 12,5 pontos percentuais e o baseline WoVR em 7,5 pontos percentuais.

Ablação e Análise

Detecção de Alucinação: O HAM alcançou um AUROC de 0,9375 na detecção de chunks alucinados contra anotações humanas, superando baselines de métrica única (ex: apenas DINO com 0,9062).
Impacto do Reward-Soft: Um estudo de ablação confirmou que remover o HAM e o mecanismo Reward-Soft levou a quedas significativas de desempenho, particularmente no conjunto Spatial (uma queda de 8,0 a 11,6 pontos em vários passos de treinamento).
Sensibilidade de Hiperparâmetros: O achou-se que a força de penalidade ideal ( $\alpha$ ) depende da tarefa, com $\alpha=0,3$ performando melhor para Object e Spatial, e $\alpha=1$ para Goal.

Significância e Alegações

O artigo afirma que o HaWMPO aborda um gargalo crítico no RL baseado em modelos de mundo: a instabilidade causada pelas alucinações de predição. Ao modelar explicitamente essas alucinações e reduzir o peso de trajetórias sintéticas não confiáveis, o método permite uma otimização de política mais robusta. Os autores afirmam que sua abordagem permite que as políticas VLA aproveitem a eficiência dos modelos de mundo enquanto evitam as armadilhas de aprender com dados alucinados e tendenciosos, resultando em desempenho superior tanto em simulação quanto em tarefas de manipulação física no mundo real.

Limitações

Os autores reconhecem diversas limitações:

O HAM depende de sinais de supervisão desenhados manualmente (discrepância de características, profundidade, trajetória), que podem não capturar todos os tipos de alucinações.
A avaliação é atualmente limitada a tarefas de horizonte relativamente curto no benchmark LIBERO; a escalabilidade para cenários de mundo real complexos e de longo horizonte ainda não foi explorada.
O modelo consciente de alucinação e o modelo de mundo são treinados separadamente, o que pode limitar a adaptabilidade do sistema durante o RL online. Um trabalho futuro é sugerido para otimização conjunta end-to-end.