ShellMaker: Language-Guided Exterior Completion under Structural Constraints

Resumo Técnico: ShellMaker: Conclusão de Exterior Guiada por Linguagem sob Restrições Estruturais

Definição do Problema
Embora avanços recentes na geração de cenas internas tenham permitido a síntese automatizada de interiores plausíveis com plantas de piso e layouts de paredes estruturados, esses sistemas tipicamente terminam no invólucro do edifício. Eles falham em gerar exteriores coerentes e estilisticamente consistentes (fachadas e telhados) que se alinhem com os interiores gerados. Os modelos generativos 3D existentes, incluindo abordagens de texto-para-3D e imagem-para-3D, são geralmente não restritos e têm dificuldade em aderir às restrições estruturais rígidas exigidas para a conclusão do exterior. Especificamente, os exteriores gerados devem preservar estritamente a pegada (footprint) fixa do edifício, a geometria das paredes e a semântica espacial precisa das aberturas de portas e janelas para permanecerem compatíveis com o layout interior. Os métodos atuais frequentemente violam essas restrições, produzindo ativos que são geometricamente desalinhados ou estruturalmente incoerentes com o andaime (scaffold) subjacente. Além disso, conjuntos de dados pareados em larga escala que vinculam layouts de edifícios estruturados a malhas de exterior totalmente texturizadas são escassos, limitando o treinamento de modelos generativos controláveis para esta tarefa específica.

Metodologia
O ShellMaker é um framework guiado por linguagem projetado para completar exteriores de edifícios a partir de andaimes estruturados enquanto impõe estritamente restrições estruturais. O sistema opera em uma representação de andaime agnóstica ao formato (derivada de geradores de cenas internas, CityGML ou modelos CAD) e um prompt de estilo baseado em texto. O processo de síntese é decomposto em três estágios coordenados:

1. Estágio de Geração de Estrutura:

   • Parsing de Andaime: Entradas heterogêneas (grafos de cena interna, CityGML, BIM/CAD) são convertidas em um esquema unificado contendo segmentos de parede, polígonos de piso e metadados de aberturas.
   • Decomposição de Pegada: Pegadas complexas são particionadas em subregiões mais simples usando decomposição de esqueleto reto (eixo medial) ou decomposição de retângulo guloso para facilitar a geração do telhado.
   • Geração Paramétrica de Telhado: O sistema gera a geometria do telhado a partir de cinco tipos canônicos (plano, de duas águas, piramidal, de quatro águas, meio-quatro águas) controlados por parâmetros como ângulo de inclinação e beiral. Os telhados podem ser gerados como uma massa única ou como composições subdivididas sobre pegadas complexas.

2. Estágio de Estilização:

   • Refinamento de Prompt Consciente de Partes: Um LLM (Large Language Model) ajustado por instruções refina prompts de usuário grosseiros (ex: "padaria vitoriana") em prompts estruturados e específicos para partes individuais (paredes, telhados, janelas, portas). Isso garante que o LLM gere pistas geométricas e decorativas detalhadas sem incluir contexto ambiental que complicaria a composição.
   • Síntese Texto-para-3D de Dois Estágios: Prompts refinados são processados pelo Nano Banana para gerar imagens de referência, que são então reconstruídas em malhas texturizadas com materiais PBR pelo Trellis-2.
   • Recuperação de Textura Conjunta Parede-Telhado: Em vez de gerar texturas do zero, o ShellMaker emprega um mecanismo de recuperação consciente da compatibilidade. Ele pré-computa uma matriz de compatibilidade baseada em coocorrência de materiais, harmonia de cores (Lab*), alinhamento de frequência (2D FFT) e similaridade semântica (CLIP). Em tempo de execução, ele seleciona pares de textura de parede e telhado que maximizam tanto o alinhamento com o prompt quanto a compatibilidade entre superfícies.

3. Estágio de Montagem:

   • Montagem Consciente da Geometria: O sistema integra o andaime, o telhado gerado e os ativos em uma única malha.
   • Corte Conformável à Forma: Um polígono de contorno 2D é extraído dos ativos gerados para conduzir a subtração booleana para aberturas de parede, garantindo o alinhamento preciso com as localizações predefinidas de portas e janelas.
   • Parametrização UV: UVs planares de espaço de mundo são atribuídos com redimensionamento automático baseado na frequência espacial dominante da textura para manter uma densidade de textura perceptual consistente entre diferentes materiais.
   • Detalhamento: A geração procedural opcional adiciona utilidades de telhado (calhas, condutores) e ornamentos (chaminés, mansardas), recortados para se conformarem à geometria do telhado.

Principais Contribuições

1. Formulação da Tarefa: O artigo formula o problema da conclusão de exterior guiada por linguagem sob restrições rígidas de andaime, transformando scaffolds parciais de edifícios em ativos completos e estilisticamente consistentes.
2. Pipeline Modular: Um novo pipeline integra geração de estrutura procedural, estilização por nível de parte via LLM e recuperação de material consciente da compatibilidade. Esta abordagem modular limita a propagação de erros entre estágios e facilita o reuso de ativos.
3. Montagem Consciente da Geometria: A introdução de um processo de montagem que impõe a preservação estrita da pegada, limites de parede e posicionamento de aberturas, resultando em malhas de exterior editáveis e estruturadas por partes.

Resultados
Os autores avaliaram o ShellMaker em 200 scaffolds diversos (100 de geradores internos, 50 CityGML, 50 CAD) usando 60 prompts de estilo e uma biblioteca de mais de 500 texturas.

• Métricas Quantitativas: O ShellMaker alcançou um IoU de Pegada de 0,992 e um erro L2 de Centro de Abertura de 0,091, superando significativamente os baselines (Trellis-2, SpaceControl, SAT-Skylines) que tiveram dificuldade em manter a integridade estrutural (ex: Trellis-2 IoU de Pegada: 0,492). O ShellMaker também igualou ou excedeu os baselines em métricas de alinhamento de estilo (CLIP-Sim e UNI3D).
• Avaliação Perceptual: Em um estudo 2AFC usando GPT-4.1 como juiz, o ShellMaker alcançou taxas de vitória acima de 70% contra todos os baselines, com pontuações particularmente altas em plausibilidade estrutural (84,1% vs. Trellis-2).
• Generalização: O sistema demonstrou desempenho consistente através de diferentes formatos de entrada, embora entradas CAD com geometria ruidosa tenham mostrado métricas estruturais ligeiramente menores.

Significância e Alegações
O artigo afirma que o ShellMaker preenche a lacuna entre a geração perceptualmente realista e a síntese de exterior fiel ao layout. Ao operar em scaffolds agnósticos ao formato, ele permite a conclusão automática de exteriores para edifícios gerados por pipelines de cena interna, dados CityGML ou modelos CAD sem modificar o pipeline subjacente. Os autores afirmam que seu método melhora a coerência arquitetônica, a harmonia de materiais e a satisfação de restrições em comparação com pipelines de recuperação independentes e baselines generativos não restritos. O trabalho representa um passo prático em direção à síntese automatizada de ativos de edifícios completos que possuem tanto interiores coerentes quanto exteriores estruturalmente válidos e estilisticamente consistentes. Os autores reconhecem limitações no tratamento de geração de partes degeneradas e a atual falta de articulação de fachada por andar, observando que trabalhos futuros poderiam explorar a geração conjunta de layout e a síntese de textura generativa.