Bridging 3D Gaussians and Semantic Occupancy for Comprehensive Open-Vocabulary Scene Understanding from Unposed Images

Resumo Técnico: COVScene

Enunciado do Problema
O artigo aborda o desafio de alcançar a compreensão abrangente de cenas 3D a partir de imagens esparsas e sem pose, sem depender de calibração de câmera externa ou pipelines de Structure-from-Motion (SfM). Embora métodos recentes de Gaussianos de alimentação direta (feed-forward) (ex: LSM, Uni3R) tenham avançado na reconstrução livre de pose e renderização semântica, eles permanecem amplamente centrados em superfícies. Esses métodos otimizam primitivas Gaussianas principalmente através de perdas de renderização no espaço da imagem. Consequentemente, em regiões não observadas ou fracamente observadas, as primitivas aprendidas carecem de restrições explícitas sobre o espaço livre versus ocupado. Isso leva a artefatos fisicamente implausíveis, como "floaters" (elementos flutuantes), estruturas ocas e distribuições de densidade ambíguas, mesmo quando as imagens RGB ou semânticas renderizadas parecem plausíveis. Abordagens existentes frequentemente tratam a ocupação volumétrica como um ramo auxiliar ou uma conversão post-hoc, falhando em fornecer feedback volumétrico durante o processo de treinamento para corrigir a representação Gaussiana subjacente.

Metodologia
Os autores propõem o COVScene, um framework de Gaussianos semânticos livre de pose que acopla primitivas Gaussianas renderizáveis a um campo de ocupação semântica denso através de elevação volumétrica diferenciável (differentiable volumetric lifting). A inovação central é realizar essa elevação dentro do grafo de computação de treinamento, em vez de como uma etapa de pós-processamento isolada.

1. Arquitetura:

   • Transformer de Geometria com Consciência Semântica: O modelo utiliza um codificador compartilhado inicializado a partir de um modelo de fundação de geometria pré-treinado (VGGT) para inferir a geometria da câmera, profundidade e estrutura da cena diretamente de imagens multi-visão sem pose. Isso evita a dependência de SfM externo.
   • Decodificação Multitarefa: Um decodificador Dense Prediction Transformer (DPT) ramifica-se em três cabeças: uma Cabeça de Câmera (prevendo extrínsecos/intrínsecos), uma Cabeça de Profundidade (estimando centros 3D) e uma Cabeça de Gaussianos Semânticos (prevendo opacidade, rotação, escala, cor e características semânticas de vocabulário aberto).
   • Elevação Volumétrica Diferenciável: Os Gaussianos semânticos previstos são elevados para um campo de ocupação semântica denso $(O, F)$ durante o treinamento. Para cada voxel, a probabilidade de ocupação $O(x)$ é computada acumulando densidades Gaussianas, e as características semânticas $F(x)$ são agregadas via média ponderada pela densidade. Este processo é totalmente diferenciável, permitindo que os gradientes das perdas volumétricas atualizem a opacidade, a geometria e as características semânticas dos Gaussianos diretamente.

2. Estratégia de Otimização:
   O framework emprega uma função de perda multiobjetivo combinando:

   • Supervisão Fotométrica e Semântica: Perdas de renderização padrão (L1, LPIPS) e alinhamento de nível de característica com modelos de visão-linguagem congelados (ex: CLIP) para capacidades de vocabulário aberto.
   • Destilação de Fundação Geométrica: Destilação de um professor de geometria congelado (VGGT) para fornecer andaimes geométricos multi-visão iniciais e reduzir a ambiguidade de escala.
   • Regularização de Entropia de Ocupação: Um componente crítico que impõe um prior físico bimodal no campo de ocupação elevado. Ao minimizar a entropia da probabilidade de ocupação, o modelo penaliza estados ambíguos ($O(x) \approx 0.5$) e incentiva as regiões a serem claramente livres ($O(x) \to 0$) ou ocupadas ($O(x) \to 1$). Isso resolve inconsistências geométricas sem exigir supervisão direta ao nível de voxel.

Principais Contribuições

• Representação Unificada: O COVScene é o primeiro framework livre de pose que acopla primitivas Gaussianas renderizáveis com um campo de ocupação semântica denso via elevação diferenciável, permitindo síntese de nova visão, segmentação de vocabulário aberto e previsão de ocupação semântica dentro de uma única representação.
• Feedback Volumétrico em Tempo de Treinamento: Ao contrário de trabalhos anteriores que convertem Gaussianos em voxels apenas na avaliação, o COVScene integra a regularização volumétrica no loop de treinamento. Isso permite que as perdas volumétricas regularizem diretamente a opacidade e a geometria dos Gaussianos, reduzindo artefatos em regiões não observadas.
• Regularização de Entropia: A introdução de um objetivo de entropia de ocupação impõe estruturas de livre/ocupado fisicamente plausíveis, suprimindo efetivamente "floaters" e artefatos ocos comuns em 3DGS sem pose.
• Capacidades Zero-Shot: O método suporta consulta semântica de vocabulário aberto e previsão de ocupação 3D zero-shot sem necessidade de anotações extensas por categoria.

Resultados Experimentais
Os autores avaliaram o COVScene nos conjuntos de dados ScanNet e ScanNet++ em três tarefas:

• Síntese de Nova Visão (NVS): O COVScene mantém uma qualidade de renderização competitiva (PSNA, SSIM, LPIPS) em comparação com baselines de Gaussianos de alimentação direta de última geração.
• Segmentação de Vocabulário Aberto (OVS): O framework demonstra desempenho melhorado em segmentação de vocabulário aberto em comparação com baselines auto-supervisionados e outros métodos de Gaussianos semânticos.
• Previsão de Ocupação Semântica: O COVScene alcança uma previsão de ocupação semântica mais forte do que baselines auto-supervisionados (ex: SelfOcc) e resultados competitivos contra métodos totalmente supervisionados, apesar de carecer de supervisão direta ao nível de voxel durante o treinamento.
• Estudos de Ablação: Experimentos confirmam que simplesmente converter Gaussianos semânticos para ocupação no momento da avaliação é insuficiente. A fundamentação volumétrica em tempo de treinamento mostra-se essencial para reduzir artefatos geométricos e melhorar a precisão da ocupação.

Significância e Alegações
O artigo afirma que o COVScene estabelece um novo paradigma para a compreensão de cenas 3D escalável, preenchendo a lacuna entre representações Gaussianas eficientes e renderizáveis e o raciocínio volumétrico fundamentado fisicamente. Ao tratar a ocupação não como um output auxiliar, mas como uma restrição nativa e diferenciável sobre a representação Gaussiana, o método alcança uma reconstrução 3D mais fisicamente plausível. Os autores posicionam o COVScene como um passo significativo em direção à compreensão 3D robusta para robótica e agentes incorporados (embodied agents), onde o raciocínio preciso sobre o espaço livre e ocupado é crítico, operando ao mesmo tempo sem a necessidade de poses de câmera calibradas. O trabalho demonstra que a regularização volumétrica pode ser efetivamente integrada em pipelines de Gaussianos de alimentação direta para resolver as ambiguidades inerentes de entradas esparsas e sem pose.