-sight: Unifying Vision-Language-Action and Latent World Modeling
O -sight é um modelo de fundação robótica unificado que integra controle visão-linguagem-ação com modelagem de mundo latente ao prever futuros tokens espaciais e ações diretamente no espaço de tokens nativo do VLM, alcançando desempenho de estado da arte em diversos benchmarks sem depender de reconstrução de pixels ou codificadores externos.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelo autor. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Os robôs há muito lutam para se mover pelo mundo com a intuição fluida de um humano. Embora possam ser programados para repetir um movimento específico perfeitamente, eles frequentemente falham quando o ambiente muda ligeiramente ou quando uma tarefa exige uma sequência de etapas que devem se adaptar em tempo real. Para preencher essa lacuna, cientistas desenvolveram sistemas que combinam visão, linguagem e ação. Esses sistemas permitem que um robô entenda um comando como "coloque a xícara sobre a mesa" e, então, descubra como mover seu braço para fazê-lo. No entanto, um obstáculo significativo permanece: a maioria desses sistemas olha apenas para o momento presente. Eles veem a cena atual e decidem o próximo movimento, mas não antecipam verdadeiramente o que acontecerá a seguir. Sem essa capacidade de prever o futuro imediato, os robôs podem tropeçar quando uma tarefa exige a coordenação de movimentos complexos, como caminhar carregando um objeto ou navegar em torno de obstáculos que se deslocam conforme eles se movem.
Uma nova abordagem chamada Z-sight, desenvolvida por pesquisadores da Maven Robotics e da University of Southern California, tenta resolver isso dando ao robô uma forma de "previsão". Em vez de apenas reagir ao que vê agora, o sistema aprende a prever como o mundo visual será uma fração de segundo no futuro, e utiliza essa previsão para guiar suas ações. Isso não se trata de gerar um vídeo completo do futuro, o que seria computacionalmente caro e lento. Em vez disso, o sistema prevê os padrões visuais essenciais que o cérebro do robô usa para compreender a cena. Ao aprender a imaginar o próximo momento enquanto decide simultaneamente o próximo movimento, o robô pode planejar seu caminho de forma mais suave, lidando com tarefas complexas que anteriormente faziam outros sistemas travarem ou falharem.
Os pesquisadores construíram este sistema treinando-o em uma vasta coleção de dados, incluindo milhares de horas de vídeos mostrando humanos realizando tarefas cotidianas e gravações de vários robôs. O processo de treinamento foi dividido em etapas. Primeiro, o sistema aprendeu a entender movimentos humanos e linguagem a partir de vídeos de pessoas fazendo coisas como abrir portas ou dobrar roupas. Em seguida, foi exposto a dados de diferentes tipos de robôs, aprendendo a traduzir essas observações humanizadas para a mecânica específica do movimento robótico. Finalmente, o sistema foi ajustado em um robô específico, uma máquina humanoide chamada Unitree G1, para dominar tarefas como empurrar uma cadeira para baixo de uma mesa ou jogar o lixo em uma lixeira. Durante todo esse processo, o sistema foi ensinado a fazer duas coisas ao mesmo tempo: prever o estado visual futuro do mundo e gerar as ações físicas necessárias para alcançar esse estado.
A inovação central reside em como o sistema lida com essas previsões. Muitas tentativas anteriores de dar previsão aos robôs baseavam-se na geração de quadros de vídeo completos do futuro ou no uso de sistemas separados e estáticos para adivinhar o que aconteceria. Esses métodos eram muito lentos ou desconectados da própria maneira como o robô vê o mundo. O Z-sight evita essas armadilhas ao prever o futuro diretamente na mesma "linguagem visual" que o robô usa para entender o presente. Ele não tenta recriar um vídeo perfeito em pixels; em vez disso, prevê os tokens visuais abstratos que representam a cena. Isso permite que o robô veja o futuro como um conjunto de possibilidades que estão intimamente integradas com sua compreensão atual, permitendo que ele ajuste suas ações sobre a marcha à medida que o futuro previsto se desenrola.
Os resultados desta abordagem foram testados tanto em simulações computacionais quanto em experimentos no mundo real. Em um ambiente simulado projetado para testar a coordenação de corpo inteiro, o sistema alcançou uma taxa de sucesso de 81,9% em uma variedade de tarefas complexas, superando significativamente os métodos existentes mais fortes. Quando testado no robô físico Unitree G1 em uma sala real, obteve sucesso em 73,3% dos testes em seis tarefas diferentes, que incluíam mover objetos, navegar em torno de móveis e realizar tarefas domésticas de múltiplas etapas. Em comparação, o segundo melhor sistema teve sucesso em apenas 53,3% dessas tentativas no mundo real. Os pesquisadores descobriram que a capacidade do sistema de antecipar o futuro era crucial para tarefas que exigiam uma sequência de movimentos, como caminhar até uma cadeira, empurrá-la e depois colocar um objeto sobre ela. Sem essa previsão, o robô frequentemente completava a primeira parte da tarefa, mas depois estagnava ao tentar realizar a próxima etapa.
Para garantir que as melhorias viessem do próprio mecanismo de previsão e não apenas de um modelo maior ou mais complexo, os pesquisadores realizaram vários experimentos controlados. Eles testaram versões do sistema que não podiam prever o futuro e descobriram que essas versões tinham um desempenho significativamente inferior, mesmo possuindo a mesma quantidade de poder computacional. Eles também testaram se o sistema dependia do conteúdo específico de suas previsões ou apenas do fato de estar fazendo uma previsão. Quando substituíram o futuro previsto por ruído aleatório ou pela imagem estática atual, o desempenho do robô colapsou, indicando que ele estava genuinamente usando os detalhes específicos de sua previsão futura para guiar seus movimentos. Além disso, o sistema conseguiu realizar essas previsões e decisões complexas de forma incrivelmente rápida, processando um bloco de 30 etapas em apenas 110 milissegundos, o que é rápido o suficiente para controlar um robô em tempo real sem atraso (lag).
O estudo também explorou como o sistema se comporta quando algo dá errado. Ao interromper intencionalmente o fluxo de previsão durante os testes, os pesquisadores observaram que o robô conseguia se adaptar. Se o sistema fosse informado de que sua previsão era pouco confiável, ele passaria a depender mais do que consegue ver agora, em vez de apenas supor o que poderia acontecer. Essa flexibilidade sugere que o sistema aprendeu uma maneira robusta de equilibrar o planejamento com a reação. Os pesquisadores observaram que, embora o sistema seja altamente eficaz, ele atualmente prevê o futuro baseando-se apenas no que vê, sem testar explicitamente diferentes escolhas de ação antes de se comprometer com uma. Isso deixa aberta a possibilidade de futuras versões compararem diferentes resultados potenciais antes de agir, aumentando ainda mais sua capacidade de planejamento.
Em última análise, o Z-sight demonstra que um robô não precisa gerar vídeos completos do futuro para entender o que vem a seguir. Ao aprender a prever o futuro no mesmo espaço visual abstrato que usa para entender o presente, o sistema alcança um nível de coordenação e adaptabilidade que era anteriormente difícil de atingir. Essa abordagem permite que o robô se mova com um senso de continuidade, unindo a visão do mundo e a ação dentro dele. O sucesso deste método em robôs humanoides, tanto simulados quanto reais, sugere que esta forma de combinar percepção, previsão e ação pode se tornar um fundamento padrão para máquinas mais capazes e autônomas no futuro.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.