💻 computer science

ABot-3DWorld 0: A Universal World Model to Explore Any 3D Space

O artigo apresenta o ABot-3DWorld 0, um modelo de mundo 3D multimodal universal que converte textos, imagens e vídeos em ambientes 3D exploráveis de alta fidelidade ao unificá-los em um Primitivo Generativo Espacial, gerando vídeos panorâmicos 3D consistentes e reconstruindo-os em cenas de 3D Gaussian Splatting fotorrealistas.

Autores originais: Mingchao Sun, Luyang Tang, Yu Liu, Xu Yan, Zhan Li, Yunwei Zhang, Fei Yu, Zengye Ge, Yumin Liu, Jiacheng Zhang, Yongchang Zhang, Jiawei Zhang, Zhicheng Liu, Zhongxu Sun, Tianjian Ouyang, Wenzheng Chen

Publicado 2026-07-14

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mingchao Sun, Luyang Tang, Yu Liu, Xu Yan, Zhan Li, Yunwei Zhang, Fei Yu, Zengye Ge, Yumin Liu, Jiacheng Zhang, Yongchang Zhang, Jiawei Zhang, Zhicheng Liu, Zhongxu Sun, Tianjian Ouyang, Wenzheng Chen, Shixing Yang, Nianfei Fan, Guodong Sun, Huan Li, Zheng Zhou, Yongze Li, Yingliang Peng, Mengmeng Du, Yuan Liu, Haozhe Shi, Chunnuo Gong, Chengzhen Yu, Chunxue Jia, Yang Liu, Shiying Zeng, Junnan Lai, Hang Zhang, Ning Guo, Baoquan Chen, Mu Xu, Hongyu Pan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma câmera mágica capaz de transformar uma única frase, uma selfie rápida ou um vídeo tremido do seu celular em um mundo 3D totalmente explorável pelo qual você pode caminhar. É exatamente isso que a equipe do Laboratório AMAP CV da Alibaba construiu com o ABot-3DWorld 0. Pense nisso como um "tradutor universal" para a realidade: ele pega o que quer que você jogue nele — texto, uma foto ou vários vídeos — e cospe um universo 3D de alta definição e navegável.

Veja como funciona essa bruxaria digital, dividida em suas partes mais fascinantes.

O Ingrediente Secreto: A "Primitiva Generativa Espacial" (SGP)

A maioria dos criadores 3D tenta construir um mundo peça por peça, como empilhar blocos de LEGO. Mas este sistema usa um atalho mais inteligente chamado Primitiva Generativa Espacial (SGP). Imagine a SGP como um "instantâneo mágico" que contém duas coisas:

Um panorama 360 graus (uma foto que envolve tudo ao seu redor).
Uma nuvem de pontos que mapeia a forma e a distância de tudo naquela foto.

Este pequeno pacote é o "DNA" do mundo. Quer você comece com um comando de texto como "uma cabana aconchegante" ou um vídeo de uma rua real, o sistema primeiro transforma isso na SGP. Se você fornecer um vídeo rico, ele constrói a SGP medindo cuidadosamente a geometria real (sem adivinhações!). Se você fornecer apenas uma frase, ele preenche criativamente as lacunas para construir a SGP do zero.

A Jornada: Planejando a Caminhada

Uma vez que o sistema possui a SGP, ele precisa descobrir como explorá-la. Em vez de apenas girar uma câmera em círculos, um "agente" (um planejador digital inteligente) olha para a nuvem de pontos e pergunta: "Onde posso caminhar? O que parece interessante?"
Ele planeja uma rota que faz três coisas ao mesmo tempo:

Cobre tudo: Garante que nenhum canto ou porta escondida seja esquecido.
Encontra as coisas legais: Detecta objetos interessantes (como uma placa legal ou uma árvore) e dá zoom neles.
Mantém a estabilidade: Garante que o caminho seja suave para que o vídeo final não pareça trêmulo.

O Show de Magia: Criando o Vídeo

Agora vem o trabalho pesado. O sistema pega essa rota planejada e gera um vídeo panorâmico de 360 graus como se uma câmera estivesse realmente voando ao longo desse trajeto.

O Problema: Geradores de vídeo padrão costumam criar mundos 3D que parecem ótimos quadro a quadro, mas desmoronam quando você move a cabeça (como uma pintura plana que parece estranha de lado).
A Solução: Os autores treinaram seu gerador de vídeo com uma técnica especial chamada Aprendizado por Reforço 3D (3DRL). Pense nisso como um treinador de "checagem de realidade". O treinador observa o vídeo e diz: "Ei, se eu mover a câmera desta forma, aquele prédio não deveria deformar como gelatina". Ao treinar com esse feedback, o sistema aprende a criar vídeos que permanecem geometricamente consistentes, mesmo quando a câmera se move.

O Polimento Final: Transformando Vídeo em um Mundo

O vídeo é ótimo, mas ainda é apenas um vídeo. Para torná-lo um mundo 3D real pelo qual você pode voar, o sistema utiliza um mecanismo de reconstrução chamado ABot-3DGS.

A Equipe de Reparo: Às vezes, o vídeo gerado possui pontos borrados ou artefatos estranhos. O sistema usa uma "equipe de reparo" (alimentada por uma ferramenta chamada FLUX) que dá zoom nesses pontos, corrige os detalhes e afia as texturas. Ele faz isso em duas rodadas, fazendo com que o mundo pareça nítido e real.
O Resultado: O produto final é um mundo de Gaussian Splatting 3D (3DGS). Esta é uma forma sofisticada de dizer que é uma nuvem de milhões de pequenos pontos coloridos e brilhantes que atuam como pixels no espaço 3D. Você pode voar através deles, e eles parecem fotorealistas.

O Que Este Sistema Não Faz (E Por Que Isso Importa)

O artigo é muito claro sobre o que ele evita. Ele rejeita explicitamente a ideia de apenas juntar imagens planas ou usar métodos "com muita alucinação" que ignoram a geometria original.

Se você fornecer um vídeo de um quarto real, ele não apenas adivinha como o quarto é pela parte de trás. Ele usa um pipeline de geometria rigoroso para garantir que o mundo 3D corresponda às observações reais.
Ele não depende de câmeras 360 graus reais e instáveis (com pessoas ou tripés na cena). Em vez disso, constrói seus dados de treinamento renderizando mundos 3D perfeitos e limpos do zero, para que a IA aprenda com exemplos "perfeitos" sem a bagunça dos tremores de câmeras do mundo real.

A Prova: O Quão Bom Ele É?

Os autores não apenas disseram que parece legal; eles mediram.

Melhor que a concorrência: Quando testado contra outros sistemas de ponta como Marble e HY-World 2.0, o ABot-3DWorld 0 mostrou uma "fidelidade de cena" mais forte (ele se parece mais com o real) quando recebe entradas ricas como vídeos ou múltiplas fotos.
Os Números: Após adicionar o "check de realidade" do 3DRL, a consistência 3D do sistema melhorou significamente. Por exemplo, uma métrica chamada PSNR (que mede o quão próximo a imagem está do original) saltou de 34.11 para 35.30. O SSIM (similaridade estrutural) subiu de 0.942 para 0.951.
Velocidade: Em um computador potente com quatro placas gráficas de alto desempenho (4×4090), todo o processo — do vídeo ao mundo 3D final — leva cerca de 10 minutos.

O Panorama Geral

Isso não é apenas um brinquedo; é uma ponte para um novo tipo de mapa. Como é construído pela equipe por trás do AMAP (um grande serviço de mapeamento), cada mundo que ele cria pode ser ancorado a um local real na Terra. Você poderia olhar para a foto de um restaurante e instantaneamente "caminhar" dentro dele, ou olhar para um ponto turístico e ver um "portal de viagem no tempo" que permite ver como ele era no passado.

Os autores sugerem que esta abordagem — usando uma "primitiva" unificada para lidar com tudo, desde texto até vídeo — pode ser a chave para tornar a criação de conteúdo 3D tão fácil quanto tirar uma selfie, mantendo os mundos precisos o suficiente para serem realmente explorados. É um passo em direção a um futuro onde você pode explorar qualquer espaço 3D, real ou imaginado, com apenas algumas palavras ou um único clique.

Resumo Técnico: ABot-3DWorld 0

Declaração do Problema

O campo da criação de conteúdo 3D impulsionado por IA está transitando da geração de objetos isolados para a síntese de mundos 3D completos e exploráveis. No entanto, escalar da geração de nível de objeto para a geração de cenas completas introduz dois desafios primários:

Eficiência de Representação: Uma cena completa (variando de um único cômodo a um quarteirão de uma cidade) requer uma representação compacta que codifique tanto a estrutura geométrica quanto a aparência visual, diferentemente de objetos, que podem ser cobertos por um único varredura circular.
Eficiência de Exploração: A geração tradicional baseada em perspectiva sofre com campos de visão estreitos, exigindo um número massivo de quadros para cobrir um espaço. Isso leva a altos custos computacionais e saídas 3D inconsistentes devido à falta de consciência geométrica entre visões em geradores de vídeo padrão treinados em 2D.

Sistemas existentes (ex: Marble, HY-World 2.0) frequentemente processam entradas multimodais através de conversões generativas em cascata que descartam evidências geométricas originais, levando a alucinações. Além disso, eles frequentemente dependem de vídeo de perspectiva ou fusão de keyframes, o que carece de consistência espaço-temporal nativa e sofre de pontos cegos de viewpoint. Finalmente, os dados de treinamento para geração de cenas 3D são frequentemente limitados pela falta de verdade fundamental (ground truth) 3D alinhada em capturas panorâmicas do mundo real.

Metodologia

O ABot-3DWorld 0 aborda esses desafios através de um pipeline unificado de quatro estágios centrado em um Primitivo Generativo Espacial (SGP).

1. Primitivo Generativo Espacial (SSG)

A representação central é definida como uma tupla $S = (P, G)$ , onde $P$ é um panorama 360° de alta qualidade e $G$ é uma nuvem de pontos espacial que codifica a geometria métrica.

Tratamento de Entrada Unificado: Todas as modalidades (texto, imagem única, fotos multi-visão, vídeo) são elevadas para SGPs.
- Entradas Ricas (Multi-view/Vídeo): Processadas via um pipeline geometricamente rigoroso usando ABot-3DGS para reconstruir uma cena fiel, renderizando panoramas em pontos de vista chave para formar SGPs. Isso preserva as observações originais com o mínimo de alucinação.
- Entradas Mínimas (Texto/Imagem Única): Um gerador de panorama baseado em DiT (ABot-Pano) sintetiza um panorama 360°, que é então pareado com um estimador de geometria monocular (MoGe-2) para gerar a nuvem de pontos.

2. Planejamento de Trajetória Baseado em Geometria

Um planejador agêntico utiliza a nuvem de pontos do SGP para inferir navegabilidade e saliência semântica.

Processo: A nuvem de pontos é convertida em uma malha de navegação (RecastNavigation). Um Modelo de Linguagem-Visão (Qwen3-VL-8B) identifica objetos salientes.
Estratégia: O planejador gera trajetórias equilibrando três objetivos: Cobertura Espacial (completude geométrica), Vagueio Autônomo (movimento consciente do contexto em áreas não estruturadas) e Engajamento Semântico (aproximação de objetos específicos). Isso substitui primitivas de movimento fixas por planejamento dinâmico e específico da cena.

3. Geração de Vídeo de Exploração Panorâmica

Um gerador de vídeo panorâmico de 14 bilhões de parâmetros (baseado em VACE) sintetiza um vídeo de exploração equirretangular (ERP) condicionado ao SGP.

Condicionamento: O modelo utiliza controles densos alinhados à trajetória, incluindo renderizações RGB de nuvem de pontos, mapas de profundidade, máscaras de visibilidade e mapas de raios de pose de câmera (coordenadas de Plücker). Ele também utiliza "memória de cena" (panoramas gerados anteriormente) para manter a consistência.
Envoltura Contínua (Seamless Wrap-around): Para lidar com a topologia das imagens ERP, o sistema impõe continuidade circular em três estágios: codificação VAE (circular padding), denoising latente (deslocamento uniforme) e decodificação VAE.
Aprendizado por Reforço 3D (3DRL): Um estágio de pós-treinamento otimiza o gerador usando uma recompensa sem reconstrução baseada na consistência de ciclo de fluxo óptico frente-atrás. Isso melhora a estabilidade temporal e a coerência geométrica 3D sem exigir reconstrução 3D explícita durante o treinamento.

4. Reconstrução e Reparo de 3DGS

O vídeo panorâmico gerado é convertido em um mundo de Splatting de Gaussiana 3D (3DGS) fotorrealista usando o motor ABot-3DGS.

Reparo Iterativo: Um módulo baseado em FLUX realiza super-resolução em quadros panorâmicos de baixa resolução e corrige artefatos de inconsistência de visão.
Módulos de Robustez: O motor inclui módulos específicos para modelagem de céu (separando o céu do primeiro plano), calibração de aparência (corrigindo deriva de iluminação), densificação estilo MCMC (lidando com visões esparsas e reflexos) e supressão de transientes (removendo objetos dinâmicos).

Mecanismo de Dados (Data Engine)

Um componente crítico é o mecanismo de dados proprietário. Em vez de usar capturas panorâmicas brutas (que sofrem com oclusão e falta de ground truth), o sistema renderiza dados de treinamento a partir de um banco curado de ativos 3DGS de alta qualidade (indoor, rua, aérea). Uma câmera panorâmica virtual renderiza tuplas alinhadas (RGB, mapa de pontos, trajetória), garantindo alinhamento geométrico perfeito e fornecendo supervisão para todos os módulos aprendíveis.

Principais Contribuições

Pipeline Unificado via SGP: O SGP unifica todas as modalidades de entrada em uma única representação canônica, eliminando a necessidade de ramos específicos para cada modalidade. O caminho geometricamente rigoroso para entradas ricas distingue o sistema ao preservar as observações originais em vez de descartá-las através de cascadas generativas.
Vídeo Panorâmico para Exploração: Ao utilizar vídeo panorâmico em vez de vídeo de perspectiva, o sistema alcança maior eficiência de cobertura espacial e consistência espaço-temporal nativa. Isso é aumentado pelo 3DRL para consistência geométrica e um módulo de reparo iterativo FLUX para o aumento de detalhes.
Dados de Treinamento de Cobertura Total: O sistema utiliza um mecanismo de dados construído especificamente para renderizar supervisão de treinamento perfeitamente alinhada a partir de ativos 3DGS, superando as limitações de captura panorâmica do mundo real (oclusão, falta de ground truth).
Aplicação Nativa de Mapas: O sistema ancora mundos gerados a Pontos de Interesse (POIs) geográficos, permitindo experiências de "viagem no tempo por portal" e órbitas FPV dentro de um contexto de mapa consumidor.

Resultados e Avaliação

Consistência 3D: A introdução do pós-treinamento 3DRL melhorou significativamente as métricas de consistência 3D. Em cenas de teste, o PSNR aumentou de 34.11 para 35.30, o SSIM de 0.942 para 0.951, e o LPIPS diminuiu de 0.089 para 0.082.
Qualidade de Vídeo: O 3DRL também melhorou a qualidade estética, a qualidade de imagem e a suavidade do movimento sem sacrificar a fidelidade visual.
Reparo de Reconstrução: O reparo iterativo baseado em FLUX superou o baseline Difix3D+ em testes de visão lateral com visões esparsas, mostrando uma melhoria de PSNR de +1.31 dB e superior preservação estrutural (SSIM +0.074).
Comparação End-to-End: Contra o HY-World 2.0, o ABot-3DWorld 0 demonstrou desempenho superior em apelo estético (Laion-Aes) e fidelidade de conteúdo (CLIP-I) nas categorias indoor, outdoor e aérea.
Fidelidade de Entrada Rica: Sob entradas multimodais ricas (fotos/vídeos multi-view), o ABot-3DWorld 0 demonstrou uma fidelidade de cena marcadamente mais forte e menor alucinação comparado ao Marble, que tende a amplificar alucinações ao descartar evidências geométricas.

Significância

O ABot-3DWorld 0 representa um passo significativo em direção a um motor universal e de baixo limiar para a criação de conteúdo 3D geral. Ao unificar diversas modalidades de entrada em um único pipeline e aproveitar o vídeo panorâmico para uma exploração eficiente, ele preenche a lacavra entre a reconstrução fiel da realidade (a partir de entradas ricas) e a geração criativa (a partir de entradas mínimas). A capacidade do sistema de ancorar mundos gerados a localizações geográficas reais posiciona-o como uma solução escalável para exploração espacial nativa de mapas, oferecendo experiências imersivas como órbitas FPV e portais de viagem no tempo em escala de consumo. O trabalho estabelece um novo estado da arte entre os métodos de código aberto, particularmente na manutenção da fidelidade da cena sob entradas multimodais ricas.