🤖 AI

Z-1: Efficient Reinforcement Learning for Vision-Language-Action Models

O Z-1 é um framework de pós-treinamento de aprendizagem por reforço que utiliza a Otimização de Política Relativa de Grupo (GRPO) em demonstrações publicamente disponíveis do RoboCasa para aumentar significativamente o desempenho e as taxas de sucesso de modelos de Visão-Linguagem-Ação baseados em fluxo sem exigir dados privados adicionais.

Autores originais: Lang Cao, Renhong Chen, Luyi Li, Peng Wang, Mofan Peng, Yitong Li

Publicado 2026-07-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Lang Cao, Renhong Chen, Luyi Li, Peng Wang, Mofan Peng, Yitong Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a cozinhar uma refeição complexa, como fazer café ou abrir uma gaveta difícil.

O Problema: O Robô "Copiador"
Até agora, a maioria dos treinadores de robôs usava um método chamado "Clonagem de Comportamento". Pense nisso como um aluno que aprende apenas assistindo aos vídeos perfeitos de um professor. O robô observa o professor ter sucesso e tenta copiar cada movimento exatamente.

A Falha: Se o aluno comete um erro minúsculo (como alcançar uma maçaneta um milímetro longe demais), o vídeo não mostra como corrigi-lo. O robô fica travado, não sabe como se recuperar e falha. Ele não consegue aprender com seus próprios erros porque nunca foi permitido cometê-los durante o treinamento.

A Solução: Z-1 (O Treinador de "Tentativa e Erro")
O artigo apresenta o Z-1, um novo sistema de treinamento que permite ao robô aprender fazendo, errando e tentando novamente. É como um treinador que deixa o aluno praticar na cozinha, errar e, depois, dá um feedback específico sobre como fazer melhor na próxima vez.

Veja como o Z-1 funciona, usando analogias simples:

1. O Ponto de Partida (SFT)

Primeiro, o robô recebe um "curso intensivo" assistindo a vídeos públicos de humanos realizando tarefas (como abrir portas ou usar uma pia). Isso dá a ele uma ideia básica do que fazer, semelhante a ler uma receita antes de cozinhar.

2. A "Prática em Grupo" (GRPO)

Em vez de deixar o robô praticar sozinho, o Z-1 usa um método chamado Otimização de Política Relativa de Grupo (GRPO).

A Analogia: Imagine um treinador enviando 8 alunos para a cozinha para fazer café ao mesmo tempo.
O Objetivo: O treinador não diz apenas "Bom trabalho" ou "Mau trabalho". Em vez disso, o treinador compara os 8 alunos entre si. Se 7 alunos derramarem o café, mas 1 aluno acertar, o treinador diz ao aluno bem-sucedido: "Você fez de forma diferente; continue fazendo o que fez". Isso ajuda o robô a descobrir exatamente qual movimento minúsculo fez a diferença.

3. Os Truques Inteligentes (Os Novos Módulos)

O artigo introduz quatro truques inteligentes para tornar essa prática eficiente e estável:

Prefixo Compartilhado (A Regra do "Mesmo Início"):
- O Problema: Se o Aluno A começa andando para a esquerda e o Aluno B começa andando para a direita, comparar suas habilidades finais de fazer café é injusto. Eles tiveram pontos de partida diferentes.
- A Correção: O Z-1 força todos os 8 alunos a começarem com os exatos mesmos primeiros movimentos (como caminhar até o balcão). Uma vez que todos estejam parados no balcão, eles se dividem e tentam diferentes formas de pegar a caneca. Isso garante que o robô aprenda a partir da parte crítica da tarefa (pegar o objeto), não do caminhar.
Ramificação Estruturada em Árvore (A Regra do "Caminho de Ramificação"):
- O Problema: Às vezes, até a parte de "caminhar até o balcão" precisa de prática. Se forçarmos todos a começarem exatamente iguais, eles nunca aprenderão a corrigir uma caminhada ruim.
- A Correção: O Z-1 usa uma estrutura de "árvore". Todos os alunos começam juntos, mas depois se dividem em pequenos grupos em diferentes pontos. Alguns se dividem cedo, outros mais tarde. Isso permite que o robô pratique a correção de pequenos erros, ao mesmo tempo em que mantém a prática organizada.
Decaimento de Recompensa Consciente do Sucesso (O "Bônus de Velocidade"):
- O Problema: Se um robô leva 10 minutos para abrir uma porta ou 1 minuto para abrir a mesma porta, um sistema padrão pode dar a ambos um adesivo de "Bom Trabalho".
- A Correção: O Z-1 dá um adesivo de "Bom Trabalho" maior para o robô que termina mais rápido. Ele não pune o lento, mas recompensa mais o rápido. Isso incentiva o robô a ser eficiente sem ter medo de tentar.
Treinamento Conjunto Seletivo (O Interruptor "Cérebro vs. Mãos"):
- O Problema: Às vezes, o robô falha porque suas "mãos" (o especialista em ação) são desastradas. Outras vezes, ele falha porque seu "cérebro" (visão-linguagem) não consegue ver o botão claramente.
- A Correção: Normalmente, o Z-1 treina apenas as "mãos" para manter a estabilidade. Mas se o robô continua falhando porque não consegue ver ou entender o objeto, o Z-1 inverte uma chave e treina o "cérebro" e as "mãos" juntos. É como perceber: "Ah, o aluno não é desastrado; ele apenas não consegue ver a maçaneta!" e ensiná-lo a olhar melhor.

Os Resultados

A equipe testou o Z-1 em 24 tarefas domésticas diferentes (como abrir gavetas, usar pias e fazer café).

Antes do Z-1 (Apenas assistindo vídeos): O robô tinha sucesso cerca de 67% das vezes.
Depois do Z-1 (Praticando com os novos truques): O robô teve sucesso em 80,6% das vezes.

Essa melhoria foi significativa o suficiente para superar outros modelos de robótica de alto nível atualmente no domínio público, mesmo que o Z-1 não tenha usado nenhum dado privado ou secreto — apenas vídeos públicos e suas próprias sessões de prática.

Em Resumo:
O Z-1 pega um robô que era apenas um copiador e o transforma em um solucionador de problemas. Ao deixá-lo praticar em grupos, começar do mesmo lugar, recompensar a velocidade e saber quando treinar seus olhos ou suas mãos, o robô aprende a lidar com os desafios bagunçados do mundo real de uma casa muito melhor do que antes.

Resumo Técnico: Z-1 – Aprendizado por Reforço Eficiente para Modelos de Visão-Linguagem-Ação

1. Definição do Problema

Modelos de Visão-Linguagem-Ação (VLA) emergiram como um framework promissor para manipulação robótica, unificando instruções de linguagem, observações visuais e controle contínuo. No entanto, as políticas atuais de estado da arte (SOTA) são predominantemente treinadas via Clonagem de Comportamento (BC) ou Ajuste Fino Supervisionado (SFT) em demonstrações humanas fixas. Essa dependência de aprendizado por imitação apresenta duas limitações críticas:

Generalização Limitada: O desempenho é limitado pela cobertura dos dados de demonstração. Em tarefas de longo horizonte ou composicionais, pequenos erros de previsão podem se acumular, empurrando o robô para estados mal representados nos dados de treinamento.
Incapacidade de Autocorreção: BC e SFT carecem de mecanismos para melhorar a partir das próprias falhas da política. Eles não conseguem otimizar para o sucesso da tarefa através de interação por tentativa e erro, o que é essencial para refinar comportamentos de manipulação complexos.

Embora o pós-treinamento via Aprendizado por Reforço (RL) ofereça um caminho para superar essas limitações ao otimizar recompensas de nível de tarefa, aplicar RL a modelos VLA baseados em fluxo permanece desafiador. Os principais obstáculos incluem o alto custo de geração de rollouts, a esparsidade de recompensas e a dificuldade de corrigir falhas que derivam do mapeamento visual (visual grounding) ou raciocínio espacial quando o backbone de visão-linguagem está congelado.

2. Metodologia: O Framework Z-1

O Z-1 é um framework de pós-treinamento de RL modular projetado especificamente para modelos VLA baseados em fluxo. Construído sobre o modelo base pré-treinado $\pi_0.5$ , o Z-1 emprega um pipeline de treinamento em dois estágios usando apenas demonstrações publicamente liberadas do RoboCasa.

Estágio 1: Ajuste Fino Supervisionado (SFT) por Cena

O pipeline começa adaptando o $\pi_0.5$ ao ambiente RoboCasa. Em vez de treinar um modelo separado para cada tarefa, o Z-1 realiza o SFT por cena (agrupando tarefas por categoria de cena, ex: portas, gavetas, pias). Esta abordagem melhora a eficiência de dados ao aproveitar layouts de objetos e primitivas de manipulação compartilhados dentro de uma cena. Tanto o módulo de visão-linguagem quanto o especialista de ação são atualizados durante este estágio para produzir uma inicialização robusta.

Estágio 2: Otimização de Política de Grupo Relativa por Tarefa (GRPO)

Após o SFT, o Z-1 aplica uma estratégia de pós-treinamento GRPO específica para a tarefa. Diferente do RL padrão, que trata rollouts como trajetórias completas independentes, o Z-1 introduz quatro componentes modulares principais para aumentar a eficiência e a estabilidade:

GRPO de Prefixo Compartilhado (Shared-Prefix GRPO): Para abordar o problema onde as fases iniciais de "aproximação" variam significativamente e diluem os sinais de recompensa, o Z-1 força os rollouts dentro de um grupo GRPO a compartilhar um prefixo comum. O estado do simulador no ponto de ramificação é clonado, e apenas os sufixos (ações pós-ramificação) são amostrados independentemente. Isso garante que as comparações de grupo relativo foquem em fases de interação críticas em vez de variações redundantes de aproximação.
Ramificação de Prefixo Estruturada em Árvore (Tree-Structured Prefix Branching): Para tarefas que exigem refinamento durante a fase de aproximação, o Z-1 generaliza a abordagem de prefixo compartilhado plano. Ele introduz pontos de ramificação intermediários dentro do prefixo, criando uma árvore de clusters de rollout. Isso reduz o mascaramento excessivo, permitindo que segmentos parcialmente compartilhados contribuam para o sinal de aprendizado, enquanto ainda reduz o cálculo redundante.
Decaimento de Recompensa Consciente de Sucesso (Success-Aware Reward Decay): Para lidar com recompensas esparsas onde todas as trajetórias bem-sucedidas são tratadas igualmente, o Z-1 introduz um fator de decaimento baseado no tempo de conclusão ( $\tilde{r}_i = r \cdot \gamma^{d_i}$ ). Conclusões bem-sucedidas mais rápidas recebem recompensas maiores. Crucialmente, para grupos onde todos os rollouts têm sucesso, o Z-1 utiliza uma ordenação de baseline não negativa ( $A_i = R_i - \min_j R_j$ ) em vez de normalização pela média. Isso evita que rollouts bem-sucedidos, porém mais lentos, recebam vantagens negativas, evitando a penalização excessiva de conclusões confiáveis, mas lentas.
Treinamento Conjunto Seletivo VLM–Especialista de Ação (Sel-JT): Enquanto o VLA-RL padrão frequentemente congela o backbone de visão-linguagem, o Z-1 seleciona dinamicamente se deve atualizar o Modelo de Visão-Linguagem (VLM) junto com o Especialista de Ação. Esta decisão é baseada em diagnósticos de estágio de treinamento (ex: taxas de sucesso de SFT, modos de falha). Se as falhas forem atribuídas a um pobre mapeamento visual ou raciocínio espacial, em vez de controle de baixo nível, o VLM é descongelado para permitir a co-adaptação percepção-ação.

3. Principais Contribuições

O artigo apresenta as seguintes contribuições:

Framework Z-1: Um framework de pós-treinamento GRPO modular para modelos VLA baseados em fluxo que opera efetivamente apenas com dados de demonstração públicos, evitando a necessidade de datasets privados.
Construção de Rollout Inovadora: A proposta de Shared-Prefix GRPO e Tree-Structured Prefix Branching para reduzir a simulação redundante e focar a otimização em segmentos críticos de interação.
Inovações em Recompensa e Treinamento: O desenvolvimento de Success-Aware Reward Decay para fornecer feedback mais fino sobre a velocidade de conclusão sem modelagem densa de recompensa, e Selective Joint Training para adaptar módulos de percepção apenas quando necessário.
Novo Desempenho SOTA: O estabelecimento de uma nova taxa média de sucesso de estado da arte no benchmark RoboCasa sob configurações de demonstração públicas.

4. Resultados Experimentais

O Z-1 foi avaliado em 24 tarefas padrão de manipulação do RoboCasa em 7 categorias (portas, gavetas, pick-and-place, micro-ondas, pia/torneira, fogão e preparo de café).

Ganho de Desempenho: O RL do Z-1 melhorou a taxa média de sucesso de 67,4% (inicialização SFT) para 80,6%, um ganho de 13,2 pontos percentuais.
Comparação com SOTA: O Z-1 RL superou resultados publicados anteriormente, incluindo GR00T, GR00T N1.5, Video Policy e X-WAM. Especificamente, superou o X-WAM (o baseline mais forte na comparação) em 1,4 ponto percentual em média, apesar de o X-WAM utilizar informações de profundidade enquanto o Z-1 dependia exclusivamente de demonstrações públicas.
Melhorias Específicas por Tarefa:
- Gaveta e Pia/Torneira: Melhorias significativas foram observadas (ex: Gaveta: 83,4% $\to$ 96,1%; Pia: 63,2% $\to$ 94,3%), demonstrando a eficácia da construção de rollout baseada em prefixo para tarefas que exigem manipulação precisa pós-aproximação.
- Pick-and-Place: Ganhos substanciais foram alcançados (53,9% $\to$ 70,9%).
- Tarefas de Fogão: Embora o Z-1 tenha melhorado em relação ao seu baseline de SFT, permaneceu ligeiramente abaixo do X-WAM, indicando que tarefas que exigem transporte de longo horizonte complexo e recuperação robusta ainda apresentam desafios.
Estudos de Ablação:
- As variantes baseadas em prefixo (Shared-Prefix e Tree-Structured) superaram consistentemente o GRPO vanilla, com o Tree-Structured oferecendo maior desempenho de pico quando o treinamento permaneceu estável.
- O Treinamento Conjunto Seletivo (Sel-JT) superou significativamente o treinamento apenas do Especialista de Ação em tarefas difíceis como "TurnOnStove", validando a necessidade de adaptar as representações visuais quando o mapeamento é insuficiente.
- O Success-Aware Reward Decay proporcionou melhorias de taxa de sucesso mais rápidas e estáveis em comparação com penalidades de recompensa padrão, que tendiam a ser excessivamente agressivas.

5. Significância e Alegações

O artigo afirma que o pós-treinamento sistemático de GRPO pode melhorar substancialmente as políticas VLA baseadas em fluxo sem depender de demonstrações privadas adicionais.

Os autores enfatizam que o Z-1 demonstra a viabilidade do RL online para modelos VLA ao abordar ineficiências específicas na geração de rollouts e calibração de recompensa. Os resultados sugerem que, com um design cuidadoso — especificamente através da construção de prefixo compartilhado, calibração de recompensa consciente de conclusão e seleção adaptativa de módulos — o RL pode refinar efetivamente as políticas além dos limites do aprendizado por imitação. O trabalho estabelece um novo benchmark para treinamento VLA utilizando apenas dados públicos, mostrando que melhorias algorítmicas no pós-treinamento podem gerar ganhos de desempenho comparáveis ou superiores a modelos treinados com dados mais extensos ou proprietários.