💻 computer science

World-in-World: World Models in a Closed-Loop World

Este artigo introduz o "World-in-World", a primeira plataforma aberta para benchmarking de modelos de mundo generativos em configurações incorporadas de malha fechada, revelando que a controlabilidade, o escalonamento ação-observação e o computo em tempo de inferência são mais críticos para o sucesso da tarefa do que a qualidade visual isoladamente.

Autores originais: Jiahan Zhang, Muqing Jiang, Nanru Dai, Taiming Lu, Arda Uzunoglu, Shunchi Zhang, Yana Wei, Jiahao Wang, Vishal M. Patel, Paul Pu Liang, Daniel Khashabi, Cheng Peng, Rama Chellappa, Tianmin Shu, Alan Y

Publicado 2026-08-18

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jiahan Zhang, Muqing Jiang, Nanru Dai, Taiming Lu, Arda Uzunoglu, Shunchi Zhang, Yana Wei, Jiahao Wang, Vishal M. Patel, Paul Pu Liang, Daniel Khashabi, Cheng Peng, Rama Chellappa, Tianmin Shu, Alan Yuille, Yilun Du, Jieneng Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um robô tentando navegar por uma sala desordenada para encontrar um objeto específico. Para ter sucesso, ele não pode simplesmente reagir ao que vê no momento imediato; ele deve antecipar o que acontecerá se der um passo à frente, virar à esquerda ou estender o braço. Ele precisa de um modelo mental do mundo, uma forma de simular o futuro antes que ele realmente aconteça. Durante anos, cientistas têm construído sistemas de inteligência artificial capazes de gerar vídeos incrivelmente realistas de cenas em movimento. Esses sistemas, frequentemente chamados de modelos de mundo, podem criar imagens de um carro dirigindo por uma rua ou de uma xícara caindo de uma mesa com tal fidelidade visual que parecem filmagens reais. No entanto, uma questão crítica permaneceu sem resposta: essa beleza visual realmente ajuda um robô a tomar melhores decisões? Até agora, o campo tem sido dominado por benchmarks que julgam esses modelos unicamente pelo quão bonitos os vídeos gerados parecem, ignorando se esses vídeos são úteis para um robô tentando completar uma tarefa real.

Uma equipe de pesquisadores introduziu uma nova abordagem chamada World-in-World, que desloca o foco da perfeição visual para a utilidade prática. Em vez de perguntar "quão bom este vídeo parece?", eles perguntam "este vídeo ajuda o agente a ter sucesso?". Os pesquisadores construíram uma plataforma de teste de malha fechada onde agentes artificiais devem realizar quatro tarefas físicas distintas: encontrar um objeto escondido procurando ativamente ao redor, navegar até um local baseado em uma única imagem de referência, responder perguntas sobre um ambiente 3D após explorá-lo e controlar um braço robótico para mover objetos. Nesta configuração, o modelo de mundo atua como um simulador. Antes que o robô se comprometa com uma ação física, ele usa o modelo para imaginar vários futuros possíveis. Ele então avalia esses cenários imaginados para escolher o caminho mais provável de levar ao sucesso, efetivamente pensando antes de agir.

Os resultados desta nova avaliação revelaram uma desconexão surpreendente entre qualidade visual e desempenho de tarefa. Os pesquisadores testaram uma ampla gama de geradores de vídeo de última geração, incluindo alguns que produzem clipes incrivelmente de alta definição e esteticamente agradáveis. Eles descobriram que a alta qualidade visual por si só não garante que um robô terá sucesso em sua tarefa. Um modelo pode gerar um vídeo lindo de uma sala, mas se a física nesse vídeo estiver ligeamente errada ou se o robô não puder controlar precisamente o movimento da câmera dentro da simulação, o robô tomará decisões ruins. De fato, o estudo mostrou que a controlabilidade — a capacidade de direcionar a simulação com ações específicas e de baixo nível — importa muito mais do que a mera beleza da imagem. Um modelo que responde confiavelmente a um comando para "avançar dois passos" é mais valioso do que um modelo que produz um vídeo deslumbrante, mas incontrolável.

Além disso, a equipe descobriu que simplesmente usar um gerador de vídeo pré-treinado mais poderoso não é a melhor maneira de melhorar o desempenho de um robô. Em vez disso, descobriram que pegar um gerador de vídeo padrão e ajustá-lo (fine-tuning) com uma quantidade relativamente pequena de dados específicos ao ambiente e às ações do robô produz resultados muito melhores. Esse processo, conhecido como pós-treinamento, alinha as previsões do modelo com as regras específicas do mundo físico que o robô habita. Os dados também mostraram uma lei de escala clara: quanto mais exemplos de ação e observação o modelo vê durante esse pós-treinamento, melhor ele se torna em ajudar o robô a ter sucesso. Adicionalmente, dar ao sistema mais tempo de computação — permitindo que ele simule mais potenciais futuros antes de tomar uma decisão — melhorou significativamente sua taxa de sucesso.

O estudo conclui que, para que os modelos de mundo sejam verdadeiramente úteis na robótica e na IA incorporada (embodied AI), eles devem ser julgados pela sua capacidade de apoiar a tomada de decisão em uma malha fechada, não pela sua capacidade de criar visuais impecáveis. Embora os modelos atuais ainda lutem com a física complexa da manipulação robótica, como o atrito preciso e o contato entre objetos, o novo framework fornece um caminho claro a seguir. Ao priorizar a controlabilidade e adaptar os modelos a tarefas específicas através do pós-treinamento, os pesquisadores podem construir sistemas que não apenas pareçam com o mundo real, mas que realmente entendam como interagir com ele. Essa mudança de julgar a imagem para testar o plano marca um passo significativo para a criação de agentes inteligentes que possam navegar e manipular o mundo físico de forma confiável.

Resumo Técnico: World-in-World: Modelos de Mundo em um Mundo de Ciclo Fechado

Declaração do Problema

Avanços recentes na geração visual produziram modelos de mundo capazes de simular ambientes com um realismo visual impressionante. No entanto, a comunidade carece de um framework unificado para avaliar se esses modelos realmente aprimoram o desempenho de agentes incorporados (embodied agents). Benchmarks existentes (ex: VBench, WorldModelBench) focam primariamente em métricas isoladas de qualidade visual ou plausibilidade visual, utilizando frequentemente protocolos de ciclo aberto (open-loop) que não testam a utilidade do modelo na tomada de decisão. Consequentemente, permanece incerto se a geração de vídeo de alta fidelidade se traduz em conclusão bem-sucedida de tarefas em interações de ciclo fechado (closed-loop), onde os agentes devem perceber, planejar e agir com base em futuros previstos.

Metodologia

Os autores introduzem o World-in-World, a primeira plataforma aberta projetada para avaliar modelos de mundo (WMs) dentro de um ambiente de ciclo fechado que espelha as interações reais agente-ambiente. A metodologia compreende quatro componentes principais:

1. Estratégia de Planejamento Online Unificada de Ciclo Fechado

O framework emprega uma estratégia de busca em largura (beam search) guiada por política, consistindo em três estágios iterativos:

Proposta: Uma política de agente ( $\pi_{proposal}$ ) gera $M$ sequências de ações candidatas ( $\hat{A}_t$ ) baseadas na observação atual ( $o_t$ ) e no objetivo da tarefa ( $g$ ).
Simulação: Uma API de Ação Unificada transforma esses planos candidatos em entradas de controle ( $I_t$ ) compatíveis com diversos modelos de mundo (ex: prompts de texto, trajetórias de câmera ou sequências de ações de baixo nível). O modelo de mundo ( $g_\theta$ ) então realiza rollouts contrafatuais para prever estados futuros ( $\hat{O}_t$ ) para cada plano.
Revisão: Uma política de revisão ( $\pi_{revision}$ ) pontua as trajetórias simuladas e seleciona a decisão ótima ( $D^*_t$ ) para ser executada no ambiente real. O loop se repete com a nova observação.

2. API de Ação Unificada

Para integrar modelos de mundo heterogêneos, os autores propõem uma API que mapeia sequências de ações do agente para entradas específicas do modelo:

Prompts de Texto: Para modelos de imagem-para-vídeo, as ações são convertidas em texto descritivo.
Trajetórias de Câmera: Para modelos condicionados por viewpoint, as ações são mapeadas para movimentos de câmera (translação/rotação).
Ações de Baixo Nível: Para modelos que aceitam ações discretas/contínuas, aplica-se um mapeamento direto para o vocabulário de ação do modelo.

3. Tarefas Incorporadas Abrangentes

O benchmark avalia WMs através de quatro tarefas distintas que abrangem percepção, navegação e manipulação:

Reconhecimento Ativo (AR): Identificação de alvos ocluídos via exploração ativa (Habitat-Sim/Matterport3D).
Navegação com Objetivo de Imagem (ImageNav): Alcançar um viewpoint de referência dada uma imagem de referência (HM3D).
Questionamento Incorporado Ativo (A-EQA): Responder perguntas abertas após exploração ativa (OpenEQA/HM3D).
Manipulação Robótica: Controlar um braço robótico para agarrar e posicionar objetos (RLBench/CoppeliaSim).

4. Protocolo de Pós-Treinamento

Para adaptar geradores de vídeo pré-treinados para tarefas incorporadas, os autores introduzem um procedimento de ajuste fino (fine-tuning) usando dados de ação-observação dos simuladores alvo (Habitat-Sim e RLBench). Isso alinha o prior generativo com a distribuição de domínio específica e o espaço de ação, garantindo que o modelo aprenda a prever resultados condicionados às ações do agente, em vez de apenas estatísticas de vídeos naturais.

Principais Contribuições

Benchmark World-in-World: Uma plataforma de avaliação de ciclo fechado abrangente que prioriza o sucesso da tarefa sobre a fidelidade visual, avaliando WMs através de quatro tarefas incorporadas diversas.
Framework Unificado: Uma estratégia de planejamento e API de ação padronizadas que permite que modelos de mundo heterogêneos (desde baseados em imagem até baseados em vídeo, e de código aberto a proprietários) sejam integrados e comparados de forma fluida.
Descobertas Empíricas:
- Qualidade Visual $\neq$ Sucesso da Tarefa: Pontuações estéticas altas não garantem altas taxas de sucesso na tarefa; a controlabilidade (alinhamento entre ações pretendidas e dinâmicas previstas) é o fator crítico.
- Lei de Escala de Dados (Data Scaling Law): Escalar o pós-treinamento com dados de ação-observação é mais eficaz para a utilidade incorporada do que simplesmente atualizar o tamanho do gerador de vídeo pré-treinado.
- Escala de Inferência (Inference-Time Scaling): Alocar mais computação para a fase de planejamento (aumentando o número de rollouts simulados por decisão) melhora substancialmente o desempenho de ciclo fechado.

Resultados e Análise

Os autores avaliaram uma ampla gama de modelos, incluindo SVD, LTX-Video, Hunyuan, Wan2.1/2.2, Cosmos-P2 e modelos proprietários como Runway Gen4.

Ganhos de Desempenho: A integração de modelos de mundo consistentemente melhorou o desempenho das políticas de proposta base (ex: VLMs ou heurísticas). Por exemplo, no Reconhecimento Ativo, o melhor modelo pós-treinado (Runway Gen4) alcançou 64,79% de precisão com uma trajetória média de 4,06 passos, superando significativamente a linha de base VLM (50,27% de precisão, 6,24 passos).
Eficácia do Pós-Treinamento: Variantes pós-treinadas (denotadas com †) superaram consistentemente suas contrapartes zero-shot. Por exemplo, o Wan2.1 pós-treinado melhorou a precisão do Reconhecimento Ativo de 58,26% para 62,61% e a taxa de sucesso de ImageNav de 38,19% para 45,14%.
Desafios de Manipulação: Os ganhos foram menos pronunciados em tarefas de manipulação robótica. Embora o pós-treinamento tenha melhorado os resultados (ex: SVD† atingiu 46,5% de taxa de sucesso vs. 4 baseline de 44,5%), a dificuldade de modelar física rica em contatos e cinemática precisa continua sendo um gargalo em comparação com tarefas de navegação.
Tendências de Escala:
- Escala de Dados: Aumentar os dados de pós-treinamento de 400 para 80.000 instâncias melhorou consistentemente as taxas de sucesso, revelando uma clara lei de escala para adaptação.
- Escala de Inferência: Aumentar o número de inferências do modelo de mundo por episódio (de 3 para 11) levou a um aumento monotônico nas taxas de sucesso, demonstrando o valor de "pensar" (simular futuros) antes de agir.

Significância

O artigo argumenta que o campo dos modelos de mundo deve mudar seu paradigma de avaliação da qualidade generativa para a utilidade incorporada. Os autores afirmam que "modelos de mundo vivem e morrem pelo seu sucesso em ciclo fechado, não por visuais gerados impecáveis". Ao estabelecer o World-in-World, este trabalho fornece um framework necessário para rastrear o progresso genuíno na IA incorporada, demonstrando que, embora os modelos atuais lutem com dinâmicas físicas detalhadas, eles podem auxiliar significativamente a percepção e a navegação quando adequadamente adaptados e integrados em sistemas de planejamento de ciclo fechado. As descobertas sugerem que o progresso futuro depende menos de escalar apenas os dados de pré-treinamento e mais do pós-treinamento condicionado à ação e da computação em tempo de inferência para aumentar a controlabilidade e a tomada de decisão.