ReSpace: Text-Driven Autoregressive 3D Indoor Scene Synthesis and Editing

O ReSpace é um framework generativo que utiliza um modelo de linguagem treinado com ajuste fino e alinhamento de preferências para sintetizar e editar cenas 3D de interiores complexas e realistas a partir de comandos em linguagem natural, superando métodos anteriores ao incorporar limites explícitos de sala e raciocínio espacial avançado.

O essencial

Imagine que você é um arquiteto de interiores, mas em vez de usar papel, lápis e móveis reais, você está trabalhando em um mundo virtual 3D. O problema é que, até agora, os computadores eram como assistentes muito "burros": se você pedisse "coloque uma cadeira", eles colocavam uma cadeira genérica, muitas vezes atravessando a parede ou flutuando no teto. Se você quisesse mudar algo, tinha que apagar tudo e começar do zero.

O ReSpace é como dar um superpoder de "edição inteligente" para esse assistente de computador. Ele permite que você fale com o quarto virtual em linguagem natural (como se estivesse conversando com um amigo) e ele entenda exatamente o que você quer, movendo os móveis com precisão milimétrica.

Aqui está como o ReSpace funciona, usando analogias simples:

1. O "Mapa de Lego" (Representação Estruturada)

Antes do ReSpace, os computadores viam o quarto como uma bagunça de pixels ou formas geométricas difíceis de entender.

• A Analogia: Imagine que o ReSpace transforma o quarto em uma caixa de Lego digital. Em vez de ver apenas "uma parede", ele vê um mapa exato com coordenadas: "A parede começa aqui, termina ali, e o teto tem essa altura".
• O que isso muda: O computador sabe exatamente onde estão os limites da sala. Ele nunca vai colocar um sofá atravessando a parede, porque o "mapa de Lego" diz claramente onde a parede termina. Isso permite que ele lide com salas de formatos estranhos (não apenas quadradas), algo que os métodos antigos não conseguiam fazer bem.

2. O "Maestro de Orquestra" (O Modelo de Linguagem)

O coração do ReSpace é um modelo de Inteligência Artificial chamado SG-LLM.

• A Analogia: Pense nele como um maestro de orquestra que também é um decorador de interiores. Quando você diz: "Adicione um sofá cinza escuro e removam a planta", o maestro não apenas joga o sofá no chão. Ele olha para a partitura (o mapa da sala), ouve os outros instrumentos (os móveis que já estão lá) e decide: "Ok, o sofá cinza vai ficar perfeito ao lado da mesa de centro, mas a planta precisa sair porque está bloqueando a passagem".
• A Mágica: Ele faz isso palavra por palavra (como um texto), prevendo o próximo objeto a ser colocado, garantindo que tudo encaixe perfeitamente, como peças de um quebra-cabeça.

3. O "Detetive de Colisões" (A Nova Medida de Qualidade)

Como o ReSpace sabe se o resultado é bom? Ele usa uma nova ferramenta chamada Perda Baseada em Voxelização (VBL).

• A Analogia: Imagine que os métodos antigos mediam se os móveis batiam usando caixas de papelão (retângulos simples). Se uma cadeira estivesse meio dentro de uma mesa, a caixa de papelão diria "tudo bem, não bateu".
• A Inovação: O ReSpace usa milhões de cubinhos minúsculos (voxels), como se fosse um scan de alta resolução. Ele vê que a perna da cadeira está realmente passando por baixo da mesa. Se houver um conflito, mesmo que pequeno, o sistema sabe e corrige. É como ter um detetive de colisões que não deixa nada passar.

4. O "Treinamento com Recompensas" (Aprendizado por Preferência)

O sistema foi treinado não apenas para "acertar", mas para "agradar".

• A Analogia: Imagine que você está ensinando um cachorro. No começo, ele faz o que você pede, mas às vezes erra. O ReSpace passa por um processo onde ele gera várias opções de decoração, e um "juiz" (um filtro rigoroso) diz: "Isso aqui é perfeito, coloque na lista de recompensas. Aquilo ali está torto, jogue fora".
• Com o tempo, o computador aprende não apenas a colocar o móvel, mas a colocá-lo de forma que pareça natural e bonito para um humano, evitando que as coisas fiquem estranhas ou desalinhadas.

O Resultado Final?

Com o ReSpace, você pode dizer coisas como:

• "Troque o guarda-roupa antigo por um armário de madeira moderno."
• "Adicione uma lâmpada esférica e remova o vaso de plantas."
• "Crie um quarto de dormir completo com 7 objetos."

E o computador fará isso passo a passo, ajustando tudo para que nada fique flutuando, nada atravesse paredes e o estilo combine perfeitamente. É como ter um assistente de design de interiores que nunca cansa, nunca erra a medida e entende perfeitamente o que você quer dizer.

Resumo em uma frase: O ReSpace transformou a criação de ambientes 3D de um processo de "tentativa e erro" confuso em uma conversa natural onde o computador entende, planeja e executa a decoração com precisão de cirurgião.

Resumo técnico

Resumo Técnico: ReSpace

1. O Problema

A síntese e edição de cenas 3D para ambientes internos representam um desafio significativo na computação gráfica. As abordagens atuais enfrentam diversas limitações:

• Semântica Simplificada: Muitos métodos usam codificações "one-hot" (ex: apenas a classe "cadeira"), ignorando detalhes ricos como material, estilo e cor.
• Falta de Flexibilidade na Edição: Métodos baseados em difusão frequentemente exigem máscaras complexas para edição ou não permitem a adição/remoção granular de objetos via linguagem natural.
• Restrições Geométricas: Muitas soluções ignoram limites de sala complexos (não retangulares) ou dependem de renderizações de plantas baixas que falham em capturar layouts intrincados.
• Limitações de Modelos LLM: Embora Grandes Modelos de Linguagem (LLMs) ofereçam semântica rica, eles carecem de raciocínio espacial preciso, muitas vezes falhando em evitar colisões ou respeitar limites físicos, e geralmente não possuem funcionalidades de edição direta.

O objetivo é criar um sistema que permita a síntese e edição de cenas 3D internas de forma autossuficiente, guiada por texto natural, capaz de adicionar, remover e substituir objetos mantendo a coerência espacial e semântica, mesmo em geometrias não retangulares.

2. Metodologia

O ReSpace propõe um framework generativo autoregressivo que trata a manipulação de cenas como uma tarefa de predição do próximo token. A metodologia baseia-se em três pilares principais:

A. Representação de Cena Estruturada (SSR - Structured Scene Representation)

• O sistema utiliza uma representação em formato JSON que abstrai a cena de forma leve e editável.
• Componentes:
  • Tipos de Sala e Limites: Define explicitamente os limites da sala (teto e chão) como polígonos retangulares ordenados em 3D, permitindo layouts não retangulares e complexos.
  • Objetos: Cada objeto é descrito por um dicionário contendo: descrição textual detalhada (semântica), tamanho (3D), posição (3D), rotação (quaternions) e um identificador de ativo.
  • Separação Ativo/Representação: A escolha do ativo 3D real (malha/textura) é desacoplada da representação lógica, permitindo a troca de catálogos de ativos sem alterar a estrutura da cena.

B. Pipeline de Geração e Edição
O fluxo opera em duas etapas principais:

1. Decomposição de Comando (Zero-Shot LLM): Um LLM genérico (ex: GPT-4o) recebe a instrução do usuário e a cena atual (SSR). Ele decompõe a instrução complexa em comandos atômicos sequenciais (ex: "adicionar X", "remover Y").
   • Para remoção, o LLM edita diretamente o JSON da SSR.
   • Para adição, ele gera prompts curtos para o modelo especializado.
2. Adição de Objetos (SG-LLM): Um modelo de linguagem especializado, treinado especificamente para cenas (Scene Graph LLM), recebe o prompt do objeto e o SSR atual. Ele prevê autoregressivamente os tokens que formam a descrição, tamanho, posição e rotação do novo objeto.
   • Amostragem Estocástica de Ativos: Após a previsão dos parâmetros, um motor de amostragem seleciona um ativo 3D real de um catálogo, combinando similaridade semântica (via embeddings SigLIP) e compatibilidade geométrica (tamanho).

C. Treinamento e Alinhamento de Preferência

• Fine-Tuning Supervisionado (SFT): O SG-LLM é treinado em pares (instrução, cena parcial, objeto adicionado) usando dados do dataset 3D-FRONT.
• Alinhamento com Recompensas Verificáveis (RLVR): Após o SFT, o modelo é refinado usando técnicas como RFT (Rejection Sampling Fine-Tuning). O modelo gera múltiplas amostras, e apenas aquelas que passam em filtros rigorosos são usadas para treino.
• Filtros de Qualidade: Incluem a pontuação de correspondência de prompt (PMS) e uma nova métrica de violação geométrica (VBL).

D. Nova Métrica de Avaliação: Voxelization-Based Loss (VBL)

• Para superar as limitações das caixas delimitadoras (bounding boxes), que não capturam interações realistas (ex: uma cadeira parcialmente sob uma mesa), o ReSpace introduz o VBL.
• O método voxeliza a malha da sala e os objetos em uma grade 3D.
• Calcula duas sub-métricas:
  1. OOB (Out-of-Bounds): Voxel fora dos limites da sala.
  2. MBL (Mesh Boundary Loss): Sobreposição de voxels entre objetos distintos.
• Isso permite detectar violações geométricas finas que métricas tradicionais ignoram.

3. Contribuições Principais

1. Framework ReSpace: Um método inovador para síntese e edição de cenas internas controlada por texto, suportando adição, remoção e troca de objetos via comandos de linguagem natural.
2. Representação Estruturada (SSR): Uma representação JSON leve, interpretável e agnóstica a ativos, que inclui limites explícitos e descrições textuais ricas, permitindo edição direta.
3. Pipeline de Treinamento Híbrido: Combinação de SFT com alinhamento de preferência usando recompensas verificáveis (RLVR), superando o estado da arte na colocação de objetos.
4. Métrica VBL: Uma nova métrica de avaliação baseada em voxelização que captura interações geométricas de alta granularidade, superando as limitações das caixas delimitadoras 3D.
5. Desempenho Superior: Resultados que superam métodos baseados em difusão e transformadores em métricas de violação de layout e qualidade percebida por humanos, mesmo sem treinamento end-to-end em síntese completa de cena.

4. Resultados Experimentais

Os experimentos foram conduzidos no dataset 3D-FRONT, dividindo-se em tarefas de adição de objeto, remoção, sequências de edição autoregressiva e síntese completa de cena.

• Adição de Objetos: O ReSpace superou consistentemente os baselines (ATISS, Mi-Diff, LayoutGPT) em todas as métricas.
  • Redução drástica nas violações de layout (OOB e MBL). Por exemplo, no conjunto de dados "all", o VBL do ReSpace foi de 11.21 (x10³), comparado a 136.14 do ATISS e 58.70 do Mi-Diff.
  • Alta pontuação de correspondência de prompt (PMS > 0.87), indicando forte aderência às instruções do usuário.
• Síntese Completa de Cena: Embora não treinado especificamente para síntese end-to-end, o ReSpace gerou cenas completas com qualidade percebida por humanos superior a todos os métodos concorrentes.
  • Em um estudo com 334 participantes, o ReSpace alcançou uma taxa de vitória de 75.3% contra o segundo colocado (Mi-Diff com 56.7%).
• Edição Autoregressiva: O sistema demonstrou robustez em sequências longas de adição e remoção, especialmente quando combinado com técnicas de test-time compute (como amostragem Best-of-N e rotação), mantendo a coerência da cena.
• Remoção de Objetos: Alcançou alta precisão (acima de 87% no conjunto "all"), embora a precisão caia em cenas muito longas devido a limitações de contexto do modelo LLM utilizado (8B).

5. Significância e Impacto

O trabalho ReSpace representa um avanço significativo na interseção entre Inteligência Artificial Generativa e Computação Gráfica 3D:

• Edição Iterativa Realista: Diferente da geração "one-shot", o ReSpace suporta o fluxo de trabalho real de design de interiores, onde usuários refinam cenas passo a passo.
• Generalização e Flexibilidade: Ao desacoplar a representação lógica dos ativos 3D, o método é agnóstico ao catálogo de objetos, permitindo aplicação em diversos contextos sem retreino massivo.
• Raciocínio Espacial via Texto: Demonstra que modelos de linguagem podem aprender raciocínio espacial complexo e evitar colisões físicas puramente através de treinamento em representações textuais estruturadas, sem necessidade de modelos geométricos explícitos durante a inferência.
• Padrão de Avaliação: A introdução do VBL estabelece um novo padrão para avaliar a qualidade de layouts 3D, focando na realidade física das interações entre objetos em vez de apenas sobreposições de caixas.

Em suma, o ReSpace oferece uma solução prática e de alta qualidade para a automação de design de interiores 3D, combinando a flexibilidade semântica dos LLMs com a precisão geométrica necessária para ambientes virtuais realistas.