MANSION: Multi-floor lANguage-to-3D Scene generatIOn for loNg-horizon tasks

O artigo apresenta o MANSION, o primeiro framework baseado em linguagem para gerar ambientes 3D realistas e navegáveis em escala de edifício com múltiplos andares, acompanhado do dataset MansionWorld e de um agente de edição semântica, visando superar as limitações dos benchmarks atuais e impulsionar o desenvolvimento de tarefas robóticas de longo horizonte que exigem raciocínio espacial complexo.

O essencial

Imagine que você quer ensinar um robô a trabalhar em um prédio real: um hospital, um escritório grande ou até um shopping. O problema é que a maioria dos robôs hoje em dia só foi treinada em "casas de boneca" digitais: ambientes pequenos, de um só andar, onde não há escadas, elevadores ou a complexidade de subir e descer andares.

O papel que você apresentou, chamado MANSION, vem para resolver exatamente isso. Ele é como um "arquiteto robô" que cria prédios inteiros, andares múltiplos e cenários complexos, tudo a partir de uma simples frase escrita por você.

Aqui está uma explicação simples, usando analogias do dia a dia:

1. O Problema: Robôs "Cegos" para Prédios Altos

Atualmente, os robôs são como crianças que aprenderam a andar apenas no quarto. Se você pedir para elas irem para o quintal ou para o andar de cima, elas ficam perdidas. Os testes existentes para robôs (benchmarks) são todos de um só andar. O mundo real, porém, é vertical: temos elevadores, escadas, corredores longos e tarefas que levam muito tempo (long-horizon), como "pegue um remédio no 3º andar, leve para a sala de espera no 1º andar e depois traga um café".

2. A Solução: O Arquiteto MANSION

O MANSION é um sistema inteligente que transforma uma ideia em texto em um prédio 3D completo e navegável.

• A Analogia do "Lego Infinito": Imagine que você tem um conjunto de Lego, mas em vez de montar uma casa pequena, você pede: "Monte um hospital de 5 andares com uma ala de emergência e um laboratório". O MANSION não apenas monta o prédio, mas garante que as escadas e elevadores conectem tudo corretamente. Ele não deixa buracos no meio do caminho.
• O "Alinhamento Vertical": Um dos maiores desafios é garantir que o elevador do 1º andar chegue exatamente no 2º andar, e não no meio da parede. O MANSION trata a estrutura vertical como uma regra rígida, como se fosse o "esqueleto" do prédio, garantindo que o robô possa realmente subir e descer.

3. O Grande Banco de Dados: MansionWorld

Com esse sistema, os criadores lançaram o MansionWorld.

• A Analogia do "Parque de Diversões": Pense no MansionWorld como um parque de diversões gigante onde cada atração é um prédio diferente (um shopping, um escritório, um hospital). Eles criaram mais de 1.000 desses prédios.
• Por que isso é importante? Antes, os cientistas tinham que construir cada cenário manualmente, o que demorava anos. Agora, eles podem pedir um "supermercado de 4 andares" e o sistema gera em segundos. Isso permite testar robôs em situações muito mais variadas e difíceis.

4. O "Mágico" que Arruma a Casa: O Agente de Edição

Às vezes, você gera um prédio, mas esqueceu de colocar um item importante (como uma caixa de primeiros socorros no hospital).

• A Analogia do "Detetive de Sala": O MANSION inclui um agente especial que age como um detetive. Se você disser: "Preciso que o robô pegue um remédio no 2º andar", o agente verifica: "Tem remédio lá? Não? Ok, eu vou colocar um agora". Ele modifica o cenário em tempo real para garantir que a tarefa seja possível, sem precisar reconstruir o prédio todo.

5. O Teste de Fogo: Os Robôs Falham (e é bom!)

Os autores testaram os robôs mais inteligentes do mundo (os "campeões" atuais) dentro desses novos prédios.

• O Resultado: Os robôs caíram muito mal. Eles se perderam, não souberam usar o elevador ou esqueceram onde estavam.
• A Lição: Isso não é uma derrota, é uma vitória para a ciência! Significa que o MANSION criou um "campo de treinamento" difícil o suficiente para mostrar que ainda temos muito a evoluir. Se o robô consegue navegar em um prédio de 4 andares com elevadores, ele está pronto para o mundo real.

Resumo em uma Frase

O MANSION é um sistema que usa inteligência artificial para desenhar prédios inteiros e complexos a partir de uma frase, criando um "parque de diversões" digital onde podemos treinar robôs para fazerem tarefas difíceis e reais, como entregar pacotes em um hospital de vários andares, algo que os robôs de hoje ainda não conseguem fazer bem.

É como passar de ensinar um robô a andar em um tapete de sala para ensinar um piloto a voar em um arranha-céu!

Resumo técnico

Título: MANSION: Geração de Cenas 3D de Longo Alcance e Multi-Piso a partir de Linguagem Natural para Tarefas Corporativas

1. O Problema

O objetivo final da IA Embutida (Embodied AI) é criar agentes capazes de raciocinar e executar tarefas complexas no mundo real. No entanto, existem lacunas críticas nos benchmarks atuais:

• Limitação de Escala: A maioria dos ambientes de simulação existentes é confinada a andares únicos ou apartamentos pequenos, falhando em refletir a complexidade de tarefas de longo alcance (long-horizon) que ocorrem em escala de edifício (ex: entregas em hospitais, logística em escritórios).
• Falta de Estrutura Vertical: Os métodos atuais de geração de cenas 3D (baseados em dados ou difusão) geralmente ignoram a consistência estrutural vertical, como a alinhamento de escadas, elevadores e núcleos estruturais entre andares.
• Dificuldade de Reconfiguração: Conjuntos de dados reais (escaneados) são caros e difíceis de editar, enquanto ambientes sintéticos existentes não são facilmente reconfiguráveis para tarefas específicas sem regeneração completa.
• Bottleneck de Pesquisa: A ausência de ambientes simuláveis, escaláveis e multi-piso impede o avanço de algoritmos de planejamento espacial e memória de longo prazo.

2. Metodologia: O Framework MANSION

O MANSION é um framework impulsionado por linguagem natural para gerar edifícios 3D completos e multi-piso. Ele utiliza um pipeline híbrido que combina Modelos de Linguagem Multimodal (MLLM) com solvers geométricos restritos.

A. Pipeline de Geração Hierárquica

O processo é dividido em quatro estágios principais:

1. Planejamento do Edifício (Whole Building Planning): Um nó "Chefe de Design" (MLLM) define diretrizes globais, estilo visual e zonas funcionais cruzadas entre andares, garantindo consistência semântica.
2. Planejamento por Andar (Per-Floor Planning): Nós dedicados geram diagramas de bolhas (topologia de salas) para cada andar, especificando áreas e adjacências, respeitando os núcleos verticais (escadas/elevadores) definidos globalmente.
3. Síntese de Planta Baixa (Floorplan Synthesis):
   • O problema é formalizado como uma busca verificável sobre um conjunto de candidatos.
   • Utiliza-se uma estratégia de divisão hierárquica: o MLLM não gera polígonos completos de uma vez, mas fornece "sementes" (posições iniciais) para uma divisão recursiva.
   • Um solver geométrico (baseado em crescimento restrito e topologia) realiza a divisão física, garantindo que as paredes e conexões sejam topologicamente corretas e alinhadas verticalmente.
4. Instanciação da Cena (Scene Instantiation): A planta baixa é convertida em cenas interativas no simulador AI2-THOR. Inclui a colocação de objetos com restrições de alcançabilidade (reachability) e agrupamento estruturado (ex: fileiras de mesas em salas de aula).

B. Ecossistema MansionWorld

Sobre o framework, os autores lançaram o MansionWorld, um dataset e ecossistema com:

• Dataset: Mais de 1.000 edifícios diversos (hospitais, escritórios, escolas, supermercados, residências) com 2 a 10 andares e mais de 10.000 salas.
• Ativos de Mobilidade Cruzada: Integração de escadas e elevadores funcionais no AI2-THOR, com APIs de alto nível (UseStairs, CallElevator) para gerenciar transições de cena entre andares.
• Agente de Edição Semântica de Cena (Task-Semantic Scene Editing Agent): Um agente controlado por MLLM que modifica cenas estáticas geradas para atender a pré-condições de tarefas específicas (ex: "colocar uma lata de refrigerante na geladeira" se a tarefa exigir). Ele opera em um ciclo de "Verificar-Prover" (Check-and-Provision), garantindo que a tarefa seja executável antes de iniciar.

3. Contribuições Principais

1. Primeiro Framework de Geração de Edifícios Multi-Piso: O MANSION é a primeira solução que gera edifícios inteiros a partir de texto, impondo restrições de alinhamento vertical como uma condição obrigatória, garantindo navegabilidade e validade estrutural.
2. Pipeline Híbrido MLLM-Geometria: Combina a flexibilidade semântica de LLMs com a precisão geométrica de solvers de crescimento restrito, permitindo geração "open-vocabulary" (qualquer tipo de edifício) sem necessidade de re-treinamento de dados.
3. Dataset MansionWorld: A maior coleção de ambientes multi-piso interativos para IA Embutida, cobrindo domínios residenciais, comerciais e públicos, com ferramentas de exportação para outros simuladores (Blender, Isaac Sim).
4. Agente de Edição Dinâmica: Introduz a capacidade de transformar um edifício estático em um "playground" adaptável para infinitas tarefas, resolvendo o problema de reutilização de ambientes.

4. Resultados Experimentais

Os autores realizaram avaliações em três frentes:

• Geração de Plantas Baixas (Benchmark T2D e ResPlan-1K):

  • O método alcançou desempenho comparável aos melhores modelos de difusão (como ChatHouseDiffusion) em conjuntos de dados residenciais padrão.
  • Generalização: Em cenários mais complexos e não residenciais (ResPlan-1K), o MANSION superou significativamente os métodos existentes, mantendo um IoU (Interseção sobre União) de 76,74% no modo manual, enquanto outros métodos caíram drasticamente. Isso demonstra a robustez do algoritmo de crescimento restrito em estruturas complexas.
  • A estratégia de divisão hierárquica provou ser essencial para reduzir erros de apontamento espacial do LLM.

• Colocação de Objetos:

  • Comparado a métodos como LayoutGPT e Holodeck, o MANSION alcançou 100% de alcançabilidade (reachability) em todas as cenas testadas, com taxas de colisão zero.
  • Estudos com usuários (52 participantes) indicaram superioridade em realismo visual e qualidade de layout, especialmente em ambientes não residenciais (salas de aula, bibliotecas) que exigem arranjos regulares e densos.

• Desempenho de Agentes Embutidos (Benchmarks de Tarefas):

  • Testes com agentes de última geração (BUMBLE, COME-robot) em tarefas de longo alcance (1, 2 e 4 andares) revelaram uma degradação severa no desempenho à medida que a complexidade vertical aumentava.
  • Em tarefas de 4 andares, a taxa de sucesso foi de 0% para todos os métodos testados, indicando que a navegação multi-piso e o planejamento de longo alcance ainda são desafios não resolvidos para a IA atual.

5. Significado e Impacto

O trabalho MANSION estabelece um novo marco para a pesquisa em IA Embutida:

• Novo Padrão de Benchmarking: O MansionWorld fornece o primeiro ambiente escalável e realista para testar a capacidade de agentes de raciocinar sobre estruturas verticais e planejar tarefas de longo alcance.
• Ponte entre Geração e Execução: Ao garantir que as cenas geradas sejam topologicamente válidas e semanticamente editáveis, o framework permite o desenvolvimento de agentes que podem operar em ambientes dinâmicos e variados, aproximando a simulação da realidade.
• Desafio para a Comunidade: Os resultados mostram que, embora a geração de cenas tenha avançado, os algoritmos de planejamento e navegação de robôs ainda estão em estágio inicial para lidar com a complexidade de edifícios reais, apontando a direção para futuras pesquisas em memória espacial e planejamento hierárquico.

Em resumo, o MANSION não apenas resolve o problema de escassez de dados para tarefas multi-piso, mas também expõe as limitações atuais dos agentes de IA, servindo como um campo de testes crítico para a próxima geração de robótica autônoma.