← Últimos artigos
💻 ciência da computação

ZZ-sight: Unifying Vision-Language-Action and Latent World Modeling

O ZZ-sight é um modelo de fundação robótica unificado que integra controle visão-linguagem-ação com modelagem de mundo latente ao prever futuros tokens espaciais e ações diretamente no espaço de tokens nativo do VLM, alcançando desempenho de estado da arte em diversos benchmarks sem depender de reconstrução de pixels ou codificadores externos.

Autor original: Junjie Ye, Yiqi Zhao, Muchen Xu, Celina Shiyu Wang, Hao Dong, Ruohai Ge, Rong Xue, Benjamin J Kolligs, Aditya Dutt, Sasanka Nagavalli, Nassim A. Samad, Gaurav S. Sukhatme, Jyotirmoy V. Deshmukh, Yue W
Publicado 2026-11-19
📖 6 min de leitura🧠 Leitura aprofundada

Autor original: Junjie Ye, Yiqi Zhao, Muchen Xu, Celina Shiyu Wang, Hao Dong, Ruohai Ge, Rong Xue, Benjamin J Kolligs, Aditya Dutt, Sasanka Nagavalli, Nassim A. Samad, Gaurav S. Sukhatme, Jyotirmoy V. Deshmukh, Yue Wang, Yuliang Guo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelo autor. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os robôs há muito lutam para se mover pelo mundo com a intuição fluida de um humano. Embora possam ser programados para repetir um movimento específico perfeitamente, eles frequentemente falham quando o ambiente muda ligeiramente ou quando uma tarefa exige uma sequência de etapas que devem se adaptar em tempo real. Para preencher essa lacuna, cientistas desenvolveram sistemas que combinam visão, linguagem e ação. Esses sistemas permitem que um robô entenda um comando como "coloque a xícara sobre a mesa" e, então, descubra como mover seu braço para fazê-lo. No entanto, um obstáculo significativo permanece: a maioria desses sistemas olha apenas para o momento presente. Eles veem a cena atual e decidem o próximo movimento, mas não antecipam verdadeiramente o que acontecerá a seguir. Sem essa capacidade de prever o futuro imediato, os robôs podem tropeçar quando uma tarefa exige a coordenação de movimentos complexos, como caminhar carregando um objeto ou navegar em torno de obstáculos que se deslocam conforme eles se movem.

Uma nova abordagem chamada Z-sight, desenvolvida por pesquisadores da Maven Robotics e da University of Southern California, tenta resolver isso dando ao robô uma forma de "previsão". Em vez de apenas reagir ao que vê agora, o sistema aprende a prever como o mundo visual será uma fração de segundo no futuro, e utiliza essa previsão para guiar suas ações. Isso não se trata de gerar um vídeo completo do futuro, o que seria computacionalmente caro e lento. Em vez disso, o sistema prevê os padrões visuais essenciais que o cérebro do robô usa para compreender a cena. Ao aprender a imaginar o próximo momento enquanto decide simultaneamente o próximo movimento, o robô pode planejar seu caminho de forma mais suave, lidando com tarefas complexas que anteriormente faziam outros sistemas travarem ou falharem.

Os pesquisadores construíram este sistema treinando-o em uma vasta coleção de dados, incluindo milhares de horas de vídeos mostrando humanos realizando tarefas cotidianas e gravações de vários robôs. O processo de treinamento foi dividido em etapas. Primeiro, o sistema aprendeu a entender movimentos humanos e linguagem a partir de vídeos de pessoas fazendo coisas como abrir portas ou dobrar roupas. Em seguida, foi exposto a dados de diferentes tipos de robôs, aprendendo a traduzir essas observações humanizadas para a mecânica específica do movimento robótico. Finalmente, o sistema foi ajustado em um robô específico, uma máquina humanoide chamada Unitree G1, para dominar tarefas como empurrar uma cadeira para baixo de uma mesa ou jogar o lixo em uma lixeira. Durante todo esse processo, o sistema foi ensinado a fazer duas coisas ao mesmo tempo: prever o estado visual futuro do mundo e gerar as ações físicas necessárias para alcançar esse estado.

A inovação central reside em como o sistema lida com essas previsões. Muitas tentativas anteriores de dar previsão aos robôs baseavam-se na geração de quadros de vídeo completos do futuro ou no uso de sistemas separados e estáticos para adivinhar o que aconteceria. Esses métodos eram muito lentos ou desconectados da própria maneira como o robô vê o mundo. O Z-sight evita essas armadilhas ao prever o futuro diretamente na mesma "linguagem visual" que o robô usa para entender o presente. Ele não tenta recriar um vídeo perfeito em pixels; em vez disso, prevê os tokens visuais abstratos que representam a cena. Isso permite que o robô veja o futuro como um conjunto de possibilidades que estão intimamente integradas com sua compreensão atual, permitendo que ele ajuste suas ações sobre a marcha à medida que o futuro previsto se desenrola.

Os resultados desta abordagem foram testados tanto em simulações computacionais quanto em experimentos no mundo real. Em um ambiente simulado projetado para testar a coordenação de corpo inteiro, o sistema alcançou uma taxa de sucesso de 81,9% em uma variedade de tarefas complexas, superando significativamente os métodos existentes mais fortes. Quando testado no robô físico Unitree G1 em uma sala real, obteve sucesso em 73,3% dos testes em seis tarefas diferentes, que incluíam mover objetos, navegar em torno de móveis e realizar tarefas domésticas de múltiplas etapas. Em comparação, o segundo melhor sistema teve sucesso em apenas 53,3% dessas tentativas no mundo real. Os pesquisadores descobriram que a capacidade do sistema de antecipar o futuro era crucial para tarefas que exigiam uma sequência de movimentos, como caminhar até uma cadeira, empurrá-la e depois colocar um objeto sobre ela. Sem essa previsão, o robô frequentemente completava a primeira parte da tarefa, mas depois estagnava ao tentar realizar a próxima etapa.

Para garantir que as melhorias viessem do próprio mecanismo de previsão e não apenas de um modelo maior ou mais complexo, os pesquisadores realizaram vários experimentos controlados. Eles testaram versões do sistema que não podiam prever o futuro e descobriram que essas versões tinham um desempenho significativamente inferior, mesmo possuindo a mesma quantidade de poder computacional. Eles também testaram se o sistema dependia do conteúdo específico de suas previsões ou apenas do fato de estar fazendo uma previsão. Quando substituíram o futuro previsto por ruído aleatório ou pela imagem estática atual, o desempenho do robô colapsou, indicando que ele estava genuinamente usando os detalhes específicos de sua previsão futura para guiar seus movimentos. Além disso, o sistema conseguiu realizar essas previsões e decisões complexas de forma incrivelmente rápida, processando um bloco de 30 etapas em apenas 110 milissegundos, o que é rápido o suficiente para controlar um robô em tempo real sem atraso (lag).

O estudo também explorou como o sistema se comporta quando algo dá errado. Ao interromper intencionalmente o fluxo de previsão durante os testes, os pesquisadores observaram que o robô conseguia se adaptar. Se o sistema fosse informado de que sua previsão era pouco confiável, ele passaria a depender mais do que consegue ver agora, em vez de apenas supor o que poderia acontecer. Essa flexibilidade sugere que o sistema aprendeu uma maneira robusta de equilibrar o planejamento com a reação. Os pesquisadores observaram que, embora o sistema seja altamente eficaz, ele atualmente prevê o futuro baseando-se apenas no que vê, sem testar explicitamente diferentes escolhas de ação antes de se comprometer com uma. Isso deixa aberta a possibilidade de futuras versões compararem diferentes resultados potenciais antes de agir, aumentando ainda mais sua capacidade de planejamento.

Em última análise, o Z-sight demonstra que um robô não precisa gerar vídeos completos do futuro para entender o que vem a seguir. Ao aprender a prever o futuro no mesmo espaço visual abstrato que usa para entender o presente, o sistema alcança um nível de coordenação e adaptabilidade que era anteriormente difícil de atingir. Essa abordagem permite que o robô se mova com um senso de continuidade, unindo a visão do mundo e a ação dentro dele. O sucesso deste método em robôs humanoides, tanto simulados quanto reais, sugere que esta forma de combinar percepção, previsão e ação pode se tornar um fundamento padrão para máquinas mais capazes e autônomas no futuro.

Afogado em artigos na sua área?

Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.

Experimentar Digest →