🤖 AI

EXIMO: VLM Guided Exploration of VLA Policies

Este artigo apresenta o EXIMO, um algoritmo de três estágios que combina um planejador de Modelo de Visão-Linguagem (VLM) para decomposição de tarefas e coleta de dados com subsequente aprendizagem por imitação e aprendizagem por reforço residual para ajustar eficientemente políticas de Visão-Linguagem-Ação (VLA) de grande escala para novas tarefas robóticas.

Autores originais: Bhavya Sukhija, Oliver Groth, Mohit Shridhar, Tim Hertweck, Michael Bloesch, Markus Wulfmeier, Abbas Abdolmaleki, Martin Riedmiller

Publicado 2026-08-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Bhavya Sukhija, Oliver Groth, Mohit Shridhar, Tim Hertweck, Michael Bloesch, Markus Wulfmeier, Abbas Abdolmaleki, Martin Riedmiller

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os robôs há muito lutam para aprender novas tarefas sem ter um humano ao lado deles, guiando cada movimento. Durante anos, a abordagem mais bem-sucedosa tem sido mostrar a um robô milhares de horas de demonstrações humanas, ensinando-o a copiar esses movimentos específicos. Isso funciona bem para trabalhos simples e repetitivos, mas falha quando um robô enfrenta uma situação que nunca viu antes, como descobrir como colocar uma fruta específica em uma tigela com base em um enigma sobre o que um macaco gosta de comer. A alternativa, deixar um robô aprender por tentativa e erro, é frequentemente lenta e perigosa para o mundo real, pois o robô pode precisar de milhões de tentativas para ter sucesso. O desafio para os cientistas é encontrar uma maneira de dar aos robôs a capacidade de raciocinar sobre um problema e aprender rapidamente, sem a necessidade de um humano registrar cada passo individualmente.

Uma equipe de pesquisadores da Google DeepMind desenvolveu um novo método chamado Eximo para resolver este problema. Eles começaram com um robô que já sabia realizar habilidades básicas, como pegar uma banana ou colocar uma xícara, mas não conseguia descobrir como combinar essas habilidades para objetivos complexos e de múltiplas etapas. Para preencher essa lacuna, eles introduziram um segundo programa de computador altamente inteligente que atua como um planejador estratégico. Este planejador, conhecido como um modelo de visão-linguagem, pode observar os arredores do robô e compreender o objetivo geral, como "coloque o prato e a tigela na estante". Em vez de tentar mover os braços do robô diretamente, este planejador decompõe o grande objetivo em uma série de instruções simples em linguagem natural, como "pegue o prato azul com sua mão esquerda", e as passa para o robbô.

O processo ocorre em três estágios distintos. Primeiro, os pesquisadores deixam o robô e o planejador trabalharem juntos para explorar novas tarefas. O planejador observa o progresso do robô através de uma transmissão de câmera e atualiza constantemente suas instruções, guiando o robô através das etapas que ele precisa seguir para ter sucesso. Quando o robô completa uma tarefa com êxito, a equipe salva essa sequência de eventos. Na segunda etapa, eles usam esses sucessos para ensinar o robô diretamente. Eles pegam o cérebro original do robô e o ajustam (fine-tuning) usando os exemplos bem-sucedidos, efetivamente mostrando a ele como resolver o problema por conta própria, sem precisar que o planejador sussurre instruções em seu ouvido. Finalmente, na terceira etapa, eles deixam o robô praticar a tarefa novamente, desta vez usando um método de aprendizagem que permite que ele faça pequenos ajustes em seus movimentos para se tornar ainda mais preciso e confiável.

Os resultados desta abordagem foram testados em um ambiente simulado com vinte e duas tarefas diferentes, variando de colocar louças em uma estante a separar ferramentas em compartimentos específicos. Os pesquisadores descobriram que o robô, quando guiado pelo planejador durante a exploração inicial, foi capaz de resolver essas tarefas complexas com muito mais frequência do que um robô tentando descobri-las sozinho. Mais importante ainda, após o robô ser ensinado usando os exemplos bem-sucedidos do planejador, ele tornou-se significativamente melhor na tarefa do que até mesmo os robôs mais avançados disponíveis atualmente. O robô aprendeu a resolver problemas que exigiam raciocínio, como identificar um objeto por sua descrição em vez de seu nome, e o fez com muito menos tentativas do que os métodos tradicionais exigiriam.

Este trabalho demonstra que combinar as habilidades físicas de um robô com um poderoso programa de computador capaz de pensar pode criar um aprendiz muito mais capaz. A ideia central é que o robô não precisa manter o programa de pensamento rodando para sempre; em vez disso, ele pode aprender com a orientação do programa e, então, realizar a tarefa de forma independente. Ao usar este método, os pesquisadores mostraram que os robôs podem ser ensinados a novos comportamentos complexos de forma rápida e eficiente, aproximando-nos de máquinas que podem se adaptar à natureza imprevisível do mundo real sem a necessidade de supervisão humana constante.

Resumo Técnico: Eximo: Exploração Guiada por VLM de Políticas VLA

Declaração do Problema

O artigo aborda o desafio de ajustar eficientemente políticas robóticas para aprender novas e complexas tarefas sobre a marcha, sem depender de teleoperação humana dispendiosa. Embora as políticas de manipulação robótica de última geração sejam baseadas em aprendizado de comportamento em larga escala (LBC) de modelos Vision-Language-Action (VLA), esses modelos têm dificuldade com tarefas de longo horizonte, composicionais ou que exijam muito raciocínio, que estejam fora de sua distribuição de treinamento.

Duas abordagens existentes apresentam limitações:

Aprendizado por Reforço (RL): Embora capaz de autoaperfeiçoamento, o RL é notoriamente ineficiente em termos de amostras, particularmente para tarefas de longo horizonte onde a exploração é difícil. Aplicar RL diretamente a modelos VLA massivos é ainda mais complicado devido ao seu tamanho e design arquitetônico (ex: cabeças de difusão).
Clonagem de Comportamento baseada em Teleoperação: Coletar novos conjuntos de dados de teleoperação para cada nova tarefa exige centenas de horas de trabalho humano caro e falha em capturar toda a diversidade dos cenários do mundo real.

Os autores propõem um cenário onde uma política VLA pré-treinada, condicionada à linguagem, é adaptada a novas tarefas especificadas apenas por objetivos em linguagem natural e um detector de sucesso, visando eficiência de amostra sem teleoperação adicional.

Metodologia: Eximo

Os autores propõem o Eximo, um algoritmo de três estágios projetado para preencher a lacuna entre a compreensão semântica e o controle motor. O pipeline consiste em Explorar, Imitar e Otimizar.

1. Explorar: Coleta de Dados Guiada por VLM

Nesta fase, o sistema utiliza um Modelo de Linguagem-Visão (VLM) de última geração para atuar como um planejador de alto nível e orquestrador para o VLA.

Mecanismo: O VLM (especificamente o Gemini) recebe o histórico visual do ambiente e o objetivo em linguagem natural. Ele decompõe o objetivo complexo de longo horizonte em uma sequência de subobjetivos ou instruções de curto horizonte tratáveis.
Interação: O VLM opera em um loop fechado, fornecendo instruções passo a passo em linguagem natural para a política VLA (ex: "pegue o prato azul com sua mão esquerda"). O VLA executa essas instruções.
Filtragem de Dados: O sistema executa essas políticas orquestradas. Apenas episódios que completam a tarefa com sucesso (verificados por um detector de sucesso de verdade fundamental/ground-truth) são armazenados em um buffer de dados. Tentativas malsucedidas são filtradas.
Objetivo: Coletar trajetórias de alta qualidade e diversas para novas tarefas sem intervenção humana, aproveitando o conhecimento de mundo do VLM para exploração semântica.

2. Imitar: Aprendizado Supervisionado (SFT)

As trajetórias bem-sucedidas coletadas são usadas para destilar o conhecimento de orquestração do VLM de volta para o VLA.

Processo: O VLA é ajustado via clonagem de comportamento supervisionada no conjunto de dados filtrado.
Destilação: Crucialmente, o VLA é treinado para prever ações condicionadas diretamente ao objetivo da tarefa original ( $g$ ), em vez das instruções intermediárias fornecidas pelo VLM. Isso permite que o VLA internalize o raciocínio de múltiplos passos e o encadeamento de habilidades demonstradas pelo VLM.
Resultado: A política resultante torna-se um agente autônomo capaz de executar a nova tarefa sem a necessidade de consultas online ao VLM, eliminando a latência e reduzindo o overhead computacional durante a implantação.

3. Otimizar: RL Residual Online

O estágio final refina ainda mais a política usando Aprendizado por Reforço online.

Desafio: Treinar grandes VLAs diretamente via RL é difícil devido ao seu tamanho e à esparsidade de recompensas em tarefas de longo horizonte.
Abordagem: Os autores empregam uma arquitetura de política residual. Uma política residual menor ( $\pi_{ref}$ ) aprende a produzir um termo de correção ( $\Delta a$ ) baseado no estado atual, objetivo e na ação prevista pelo VLA ajustado ( $a_{VLA}$ ). A ação final executada é $a = a_{VLA} + \Delta a$ .
Treinamento: A política residual é treinada usando RL off-policy (especificamente o algoritmo MPO) para maximizar a probabilidade de sucesso. O VLA pré-ajustado fornece uma inicialização forte, tornando a exploração para a política residual mais eficiente em termos de amostras.

Principais Contribuições

Framework Eximo: Um novo pipeline de três estágios (Explorar-Imitar-Otimizar) que combina exploração guiada por VLM com ajuste fino de VLA e RL residual.
VLM como Orquestrador: Demonstra que os VLMs podem orquestrar efetivamente as políticas VLA em linguagem natural para resolver tarefas complexas de longo horizonte sem exigir o mapeamento explícito para APIs robóticas ou conjuntos de habilidades pré-definidos.
Destilação de Conhecimento: Mostra que a destilação estratégica das trajetórias guiadas pelo VLM para o VLA via SFT melhora significamente o desempenho e a eficiência de amostra do VLA base, criando uma política autônoma que supera tanto o VLA base quanto o VLA orquestrado pelo VLM durante a inferência.
Integração de RL Residual: Integra com sucesso o RL online com o ajuste fino de VLA através de uma política residual, alcançando ganhos de desempenho adicionais enquanto mantém a eficiência de amostras.

Resultados Experimentais

Os autores avaliaram o Eximo em 22 tarefas de manipulação em simulação usando a plataforma robótica ALOHA. As tarefas incluíram posicionamento de pratos, seleção de objetos baseada em raciocínio (ex: "a fruta que o macaco gosta") e raciocínio espacial (ex: compartimentos esquerdo vs. direito).

Eficiência de Exploração: A orquestração por VLM aumentou significamente a taxa de sucesso do VLA base (GROD) e reduziu o comprimento dos episódios em comparação com o VLA base sozinho, demonstrando uma coleta de dados mais eficiente.
Ganhos de Ajuste Fino (SFT): O ajuste fino supervisionado nas trajetórias orquestradas pelo VLM melhorou drasticamente o desempenho do VLA base. O VLA ajustado superou o VLA orquestrado pelo VLM durante a inferência, provando o sucesso do processo de destilação.
Desempenho de RL: Quando o RL online foi aplicado, a configuração "GROD + SFT + RL" alcançou as taxas de sucesso mais altas e a convergência mais rápida. Superou significativamente o modelo GROD base, mesmo quando o modelo base foi treinado por muito mais passos de ambiente.
Ablação: O artigo confirma que todos os três estágios contribuem para o desempenho final. Especificamente, destilar o comportamento do VLM para o VLA é superior a manter o VLM como um orquestrador online durante a avaliação.

Significância e Alegações

O artigo afirma que o Eximo estabelece um novo paradigma para o treinamento de VLAs. Ao combinar o conhecimento de mundo geral dos VLMs com as habilidades sensório-motoras dos VLAs, a abordagem permite que os robôs adquiram novas habilidades sem horas de teleoperação dispendiosas.

Os autores enfatizam que este método permite:

Eficiência de Amostras: Reduz drasticamente os dados necessários para aprender novas tarefas em comparação com o RL puro ou a teleoperação pura.
Autonomia: Criar um loop de aprendizado totalmente autônomo onde o robô pode se adaptar a novas tarefas baseadas em raciocínio, especificadas apenas por linguagem natural.
Viabilidade de Implantação: Produzir uma política autônoma que não depende do orquestrador de alta latência do VLM durante a execução, tornando-a adequada para controle em tempo real.

O trabalho sugere que sistemas futuros podem utilizar VLMs não apenas como planejadores, mas como ferramentas para autodestilação, permitindo que os VLAs expandam continuamente suas capacidades através de dados de alta qualidade gerados por si mesmos.