Adaptive Scaling with Geometric and Visual Continuity of completed 3D objects

1. Problema

O artigo aborda uma limitação crítica nas redes atuais de completamento de objetos 3D (Object Completion). Embora essas redes (baseadas em Deep Learning) sejam capazes de gerar campos de distância assinada (SDFs) estáticos que reconstroem fielmente a geometria e textura de objetos incompletos (devido a oclusões ou limitações de sensores), esses objetos resultantes são rígidos e estáticos.

• Desafio Principal: Tentar redimensionar (escalar) ou deformar esses objetos completados de forma global ou seletiva sem um mecanismo de "consciência de partes" resulta em distorções estruturais indesejadas, perda de proporção e artefatos visuais.
• Impacto: Isso restringe a aplicação desses objetos em cenários que exigem manipulação flexível, como redesign de interiores, simulações de engenharia e criação de conteúdo digital dinâmico.
• Limitação de Métodos Atuais: Métodos existentes de escalonamento dependem frequentemente de bibliotecas pré-definidas de partes modulares (comuns em jogos) ou definem zonas de escala sem consciência de partes, dificultando a generalização para objetos genéricos e complexos.

2. Metodologia

Os autores propõem um framework de escalonamento consciente de partes que transforma SDFs completados estáticos em objetos editáveis e estruturalmente coerentes. O pipeline segue as seguintes etapas:

1. Pré-processamento e Geração de CSDF:

   • Objetos escaneados parcialmente são completados geometricamente (usando AutoSDF) e texturizados (usando Texture Fields).
   • O resultado é um Campo de Distância Assinada Colorido (CSDF), discretizado em uma grade de voxels (128×128×128), onde cada voxel armazena distância, cor (RGB) e índice de parte.

2. Segmentação de Partes (Decomposição Convexa Aproximada):

   • Utiliza-se a Decomposição Convexa Aproximada (ACD) para dividir a malha watertight (gerada via Marching Cubes a partir do SDF) em partes quase convexas.
   • Um algoritmo de busca em árvore multi-etapa define planos de corte para minimizar cortes desnecessários, e pares adjacentes são fundidos se a combinação permanecer convexa.
   • Isso cria uma segmentação baseada em geometria (não dependente de classes de objetos), garantindo que não haja interseções internas e permitindo interpolação suave.

3. Definição da Zona de Escalonamento:

   • O usuário define uma zona de transformação através de dois planos paralelos ao longo de um eixo escolhido (plano inicial e plano final).
   • O usuário move o plano final para definir o novo tamanho desejado.

4. Interpolação e Transformação:

   • SDF e Cor: Para a região isolada, aplica-se interpolação linear nos valores de SDF e nas cores (RGB) entre os limites da zona de escala.
   • Índice de Parte: Como os índices são discretos, as transições são detectadas nos limites onde o índice muda, garantindo que as partes permaneçam distintas.
   • Reavaliação: Após a interpolação, o SDF é reavaliado para corrigir discontinuidades, recalculando distâncias apenas para voxels afetados.

5. Estratégia de Repetição (Para Grandes Deformações):

   • Para deformações grandes, o simples esticamento causa distorção excessiva. O método introduz uma estratégia de repetição: em vez de esticar uma única parte, o sistema repete o padrão geométrico/textural várias vezes.
   • As seções repetidas são ligeiramente escaladas (com interpolação linear) para ajustar-se exatamente ao novo comprimento, preservando padrões repetitivos (ex.: prateleiras de livros, almofadas de sofá).

6. Visualização e Saída:

   • O CSDF escalado é salvo como uma textura 3D e visualizado em tempo real no motor de jogo Unity usando raymarching, permitindo feedback imediato ao usuário.

3. Contribuições Chave

• Framework de Escalonamento Seletivo: Uma nova abordagem para transformar SDFs completados estáticos em objetos dinâmicos e editáveis sem depender de bibliotecas de partes pré-definidas.
• Segmentação Baseada em Geometria: Uso de decomposição convexa para criar partes semanticamente coerentes e geometricamente separadas, permitindo manipulação independente.
• Interpolação Unificada: Um método robusto para interpolar simultaneamente geometria (SDF), cor (Textura) e índices de partes, mantendo a continuidade visual e estrutural.
• Estratégia de Repetição Adaptativa: Uma solução inovadora para grandes deformações em objetos com padrões repetitivos, evitando distorções ao inserir novos elementos geométricos em vez de apenas esticar o existente.
• Interface Interativa: Integração bem-sucedida em um ambiente de tempo real (Unity), demonstrando viabilidade para aplicações de realidade mista e redesign.

4. Resultados

Os experimentos foram realizados utilizando objetos dos conjuntos de dados Matterport3D e ShapeNet (via Sketchfab).

• Comparação: O método foi comparado com escalonamento global e escalonamento seletivo "ingênuo" (sem repetição).
  • Escalonamento Global: Causou proporções não naturais (ex.: pernas de cadeira muito largas).
  • Escalonamento Seletivo (sem repetição): Funcionou bem em formas regulares, mas falhou em geometrias complexas com múltiplas restrições, gerando distorções.
  • Método Proposto: Mantive a integridade estrutural e a aparência realista, especialmente em objetos com padrões repetitivos (prateleiras, estofados).
• Qualidade Visual: O método produziu objetos visualmente mais atraentes e coerentes, preservando a textura e a geometria mesmo sob deformações significativas.

5. Significado e Conclusão

O trabalho preenche uma lacuna crítica entre a geração procedural (que depende de bibliotecas de partes) e a edição baseada em SDF (que é rígida).

• Aplicações Práticas: A técnica é altamente relevante para a indústria AECO (Arquitetura, Engenharia, Construção e Operações) para renovações e simulações, bem como para o desenvolvimento de jogos e ambientes de realidade virtual/mista.
• Flexibilidade: Permite que objetos capturados do mundo real sejam adaptados a diferentes contextos sem perder a fidelidade visual.
• Limitações e Futuro: O método depende da decomposição convexa, que pode não corresponder perfeitamente a partes semânticas em todos os casos, e a resolução de 128³ pode perder detalhes finos. Trabalhos futuros visam melhorar a segmentação para formas orgânicas complexas e investigar resoluções de voxels adaptativas.

Em suma, o artigo apresenta uma solução robusta para a manipulação dinâmica de objetos 3D completados, garantindo que a escalabilidade não comprometa a coerência geométrica ou visual.