Resumo Técnico: VolFill: Reconstrução 3D Amodal de Visão Única com Correspondência de Fluxo Volumétrico

1. Formulação do Problema

O artigo aborda o desafio da reconstrução de cena 3D amodal a partir de uma única imagem RGB. Diferente dos métodos tradicionais alinhados a pixels, que recuperam apenas superfícies visíveis (ex: mapas de profundidade ou mapas de pontos), o objetivo é prever a geometria 3D completa dentro do frustum de visão observado, incluindo superfícies ocultas por objetos em primeiro plano.

Esta tarefa é inerentemente mal posta devido à falta de evidência visual para estruturas ocultas. As abordagens existentes enfrentam limitações significativas:

• Métodos alinhados a pixels (ex: MoGe2, DepthPro) são restritos a superfícies visíveis e não conseguem inferir regiões ocultas.
• Métodos baseados em otimização exigem capturas multi-view densas e horas de computação por cena.
• Modelos generativos centrados em objetos têm dificuldade com cenas complexas e ilimitadas.
• Baselines de nível de cena amodal (ex: LaRI, NOVA3R) frequentemente produzem malhas fragmentadas, artefatos de camadas ("efeito de múltiplas paredes") ou nuvens de pontos ruidosas e desintegradas devido a representações não estruturadas ou restrições de camada de raio fixas.

2. Metodologia

O VolFill é um framework generativo que prevê uma grade de voxels de Função de Distância Não Assinada Truncada (TUDF) completa a partir de uma única imagem, em vez de depender de regressão determinística. A arquitetura consiste em três componentes principais:

A. Representação TUDF

A geometria da cena é representada como um campo escalar contínuo $V(p)$, definido como a distância até a superfície mais próxima (incluindo as ocultas), truncada a um valor máximo $\tau$.

• Formulação Não Assinada: Uma função de distância não assinada é utilizada porque cenas internas são frequentemente não estanques (ex: paredes de face única), tornando as funções de distância assinadas (SDFs) geometricamente ambíguas.
• Discretização Dinâmica: O método emprega uma estratégia de discretização alinhada ao frustum que calcula um tamanho de voxel isotrópico dinâmico baseado na caixa delimitadora da geometria visível, garantindo que a grade foque na cena capturada imediata.

B. VAE 3D Híbrido

Para preencher a lacuna entre grades TUDF de alta resolução ($256^3$) e o espaço latente necessário para modelagem generativa, propõe-se um VAE 3D Híbrido Esparso-Denso:

• Encoder: Processa entradas TUDF esparsas usando convoluções 3D esparsas para comprimir a grade $16\times$ em um espaço latente denso e compacto ($16^3 \times C$).
• Decoder: Utiliza um cronograma de decodificação híbrido denso-para-esparso:
  1. Upsampling Denso: Convoluções transpostas aumentam a resolução do latente para $64^3$.
  2. Predição de Estrutura: Um cabeçote de ocupação binária prevê uma máscara para esparçar o mapa de características, descartando regiões vazias.
  3. Upsampling Esparso: Convoluções esparsas aumentam as características para a resolução final de $256^3$.
• Função de Perda: O VAE é treinado com uma perda composta incluindo distância L1 para voxels ativos, perdas BCE e Dice para ocupação, e divergência KL para regularização latente.

C. Transformer de Difusão Latente com Correspondência de Fluxo

O núcleo generativo é um Transformer de Difusão (DiT) treinado com um objetivo de correspondência de fluxo retificado (rectified flow matching). Ele aprende a transportar o ruído em direção à distribuição dos latentes TUDF da cena.

• Estratégia de Dupla Condicionamento: Para garantir generalização robusta e plausibilidade física, o DiT é condicionado por duas fontes:
  1. Priors Geométricos Globais: Características de um modelo de fundação de geometria congelado (MoGe2) são injetadas via atenção cruzada para fornecer contexto espacial de alto nível.
  2. Inpainting de Latente Visível: O mapa de pontos visíveis do MoGe2 é codificado em um "latente visível" ($z_{vis}$) e fundido com o latente ruidoso via um MLP de inicialização zero. Isso ancora a geração à geometria observada enquanto guia a conclusão das regiões ocultas.
• Inferência: O modelo integra a ODE aprendida de $t=0$ a $t=1$ usando passos de Euler, seguido pela decodificação através do VAE para produzir a grade TUDF final.

3. Principais Contribuições

1. Framework VolFill: Um framework generativo utilizando correspondência de fluxo volumétrico para recuperar a geometria completa de nível de cena a partir de imagens de visão única, indo além da regressão alinhada a pixels.
2. VAE 3D Híbrido: Uma arquitetura que permite a compressão espacial eficiente de grades TUDF de alta resolução em um espaço latente compacto, facilitando a reconstrução de alta fidelidade de estruturas amodais complexas.
3. Estratégia de Duplo Condicionamento: Uma abordagem inovadora que utiliza modelos de fundação de geometria (MoGe2) para integrar tokens de imagem de alto nível com geometria visível explícita, ancorando o raciocínio amodal nos dados observados.

4. Resultados Experimentais

O método foi avaliado nos datasets SCRREAM e NRGB-D, superando os baselines atuais (incluindo LaRI, NOVA3R e modelos centrados em objetos como TRELLIS e TripoSG).

• Desempenho Quantitativo: O VolFill atinge resultados de estado da arte em métricas de Distância de Chamfer (CD) e F-score (FS), particularmente para geometria oculta e completa. No SCRREAM, atinge um CD de 3.03 e FS0.02 de 54.83 para a cena completa, superando significativamente o NOVA3R (CD 3.43, FS 45.12) e o LaRI (CD 5.19, FS 30.85).
• Escala Métrica: Em avaliações de escala métrica, o VolFill supera significativamente os baselines em F-score (44.90 vs. 22.23 para o NOVA3R), demonstrando uma reconstrução fiel em escala métrica.
• Qualidade Qualitativa: Comparações visuais mostram que o VolFill produz geometria nítida e de alta fidelidade com malhas suaves e topologicamente consistentes. Em contraste, o LaRI sofre com artefatos de camadas e buracos, enquanto o NOVA3R gera dispersões de pontos ruidosas e não estruturadas.
• Estudos de Ablação:
  • O design do VAE Híbrido oferece o melhor equilíbrio entre qualidade de reconstrução, latência e uso de memória em comparação com decoders puramente densos ou puramente esparsos.
  • O duplo condicionamento (combinando características do MoGe2 e latentes visíveis) supera significativamente as estratégias de condicionamento único.
  • O MoGe2 é identificado como o modelo de fundação superior para condicionamento em comparação ao DINOv2 ou VGGT, destacando a importância de âncoras espaciais 3D explícitas sobre características semânticas gerais.

5. Significância e Alegações

O artigo afirma que o VolFill fornece uma base robusta para a compreensão espacial holística, mudando a reconstrução da estimativa determinística alinhada a pixels para um manifold generativo estruturado.

• Representação Estruturada: Ao prever uma grade TUDF em vez de nuvens de pontos não estruturadas, o VolFill permite a extração direta de superfícies via isosurfacing, resultando em malhas limpas e sem artefatos, sem a necessidade de pós-processamento ruidoso (ex: reconstrução de Poisson).
• Escalabilidade: A abordagem volumétrica escala bem com a complexidade da cena e não impõe restrições quanto ao número de camadas ocultas recuperáveis, ao contrário dos métodos baseados em raios.
• Plausibilidade Física: O framework generativo, guiado por fortes priors geométricos, sintetiza conclusões fisicamente plausíveis para regiões subdeterminadas onde a evidência visual está ausente.

Limitações: Os autores reconhecem que pequenos buracos podem ocasionalmente persistir em regiões não observadas devido à falta de evidência visual, e a inferência permanece mais lenta (1.4s em uma RTX 4090) do que os baselines de regressão devido ao processo generativo iterativo. Trabalhos futuros são sugeridos para abordar lacunas topológicas através do aumento da capacidade do modelo e diversidade de dados.