OP2GS: Object-Aware 3D Gaussian Splatting with Dual-Opacity Primitives

Resumo Técnico de OP2GS: Primitivas Gaussianas 3D Conscientes de Objetos via Dupla Opacidade

1. Declaração do Problema

O Splatting Gaussiano 3D (3DGS) oferece uma representação explícita e eficiente para a reconstrução de cenas do mundo real, mas carece de identidade inerente em nível de objeto. Suas primitivas são definidas por geometria, cor e opacidade, tornando-as inadequadas para tarefas a jusante, como compreensão de cena de vocabulário aberto, sem modificação. Abordagens existentes tentam injetar informações em nível de objeto através de duas vias principais, ambas com limitações significativas:

• Métodos baseados em características: Estes destilam embeddings de características de alta dimensão (por exemplo, de CLIP) em Gaussianas. Embora eficazes, incorrem em sobrecarga significativa de armazenamento e decodificação e podem sofrer inconsistência entre vistas após a composição alfa.
• Métodos de elevação de máscaras: Estes projetam máscaras de objetos 2D (por exemplo, de SAM) no campo gaussiano 3D através de heurísticas como votação majoritária ou filtragem de peso de renderização. Um modo de falha crítico aqui é a contaminação de rótulos. Como o 3DGS utiliza primitivas suaves e semitransparentes, Gaussianas "flutuantes" (frequentemente artefatos de densificação) ou Gaussianas em regiões escuras com opacidade geral baixa podem dominar o peso de renderização ao longo de um raio. Consequentemente, esses flutuantes podem receber incorretamente rótulos de objetos, contaminando a máscara de segmentação. Uma vez que uma Gaussiana é mal rotulada, métodos padrão não podem suprimir sua contribuição para a máscara de objeto sem também degradar a reconstrução da aparência visual, pois ambos dependem de um único campo de opacidade.

2. Metodologia: OP2GS

Os autores propõem o OP2GS, uma representação consciente de objetos que desacopla a reconstrução visual da ocupação de instâncias usando uma formulação de dupla opacidade.

Representação:
Cada primitiva gaussiana é aumentada com dois parâmetros escalares adicionais:

1. Opacidade de Instância ($\sigma^*$): Um campo de opacidade dedicado para renderização de máscara de objeto, atuando como um campo de ocupação de instância 1D.
2. Rótulo Escalar ($l$): Um ID de objeto inteiro atribuído durante a inicialização.

Ao contrário de métodos anteriores que anexam vetores de características de alta dimensão a cada Gaussiana, o OP2GS utiliza um rótulo escalar compacto e um único escalar $\sigma^*$.

Pipeline de Treinamento:
O método emprega uma estratégia de treinamento em duas etapas:

• Etapa 1 (3DGS Padrão): Um modelo 3DGS padrão é treinado até que a densificação se estabilize.
• Etapa 2 (Aprendizado de Instância):
  • Inicialização: Máscaras de instância consistentes em vistas são geradas usando SAM2. Os centros das Gaussianas são projetados nas vistas de treinamento, e os rótulos ($l$) são atribuídos via votação majoritária.
  • Renderização de Dupla Opacidade: O processo de renderização é dividido. A opacidade original $\sigma$ lida com a reconstrução de radiação (cor), enquanto $\sigma^*$ lida com a ocupação de instância. Para um objeto específico $j$, o mapa de instância renderizado $S_j(v)$ é computado acumulando $\alpha^*_i = \sigma^*_i G^2D_i(v)$ para Gaussianas pertencentes ao objeto $j$, usando a mesma transmitância $T_i$ do ramo de cor.
  • Perda de Objeto Aleatório ($L_{obj}$): Para otimizar $\sigma^*$, uma perda de objeto aleatório é introduzida. Em cada iteração, um subconjunto de objetos é amostrado. Para um objeto amostrado $j$, uma perda de entropia cruzada é computada entre o mapa de instância renderizado $S_j(v)$ e uma máscara de pseudorótulo binário $B_j$. Isso incentiva Gaussianas pertencentes ao objeto a aumentarem seu $\sigma^*$, enquanto suprime o $\sigma^*$ de Gaussianas mal rotuladas (flutuantes) em direção a zero.
  • Caminhos de Gradiente: Os gradientes da perda de reconstrução de imagem ($L_{rgb}$) atualizam a opacidade original $\sigma$, a cor $c$ e a geometria. Os gradientes de $L_{obj}$ atualizam a opacidade de instância $\sigma^*$ e a geometria. Isso permite que o modelo aprenda a tornar Gaussianas mal rotuladas "transparentes" no ramo de máscara, mantendo-as "visíveis" no ramo de cor para preservar a fidelidade da cena.

Segmentação de Vocabulário Aberto:
Em vez de armazenar características linguísticas por Gaussiana, o OP2GS realiza Agregação de Embeddings de Objetos:

1. O campo de ocupação de instância aprendido é limiarizado para criar máscaras de objetos binárias em vistas selecionadas.
2. Essas máscaras atuam como "portões de geometria" para recortar regiões de objetos das imagens originais.
3. Características CLIP são extraídas dessas regiões recortadas e médias entre múltiplas vistas para produzir um descritor semântico único por objeto.
4. Consultas de vocabulário aberto são realizadas comparando embeddings de texto contra esses descritores de objetos agregados.

3. Contribuições Principais

• Representação de Dupla Opacidade: A introdução de uma opacidade de instância $\sigma^*$ desacopla a existência visual da ocupação de instância. Isso permite que o sistema suprima Gaussianas mal rotuladas em máscaras de objetos sem comprometer a reconstrução fotorrealista da cena.
• Aprendizado de Instância Consciente de Visibilidade: A perda de objeto aleatório proposta otimiza o campo de ocupação de instância usando mecanismos padrão de transmitância do 3DGS. Isso resolve efetivamente a contaminação de rótulos causada por flutuantes e elevação de máscaras ambígua, aprendendo a zerar a opacidade de instância de atribuições incorretas.
• Segmentação de Vocabulário Aberto Compacta: Ao evitar o armazenamento e a decodificação de características por Gaussiana, o OP2GS alcança precisão competitiva com sobrecarga computacional significativamente reduzida, permitindo velocidades de inferência de 121 FPS.

4. Resultados Experimentais

O método foi avaliado em benchmarks de vocabulário aberto, especificamente nos conjuntos de dados 3DOVS e LERF-Mask.

• Precisão: No conjunto de dados 3DOVS, o OP2GS alcançou um mIoU médio de 97,1%, superando o melhor anterior (ObjectGS em 96,4%). No conjunto de dados LERF-Mask, alcançou 92,3% de mIoU na cena "figurines" e 91,0% em "ramen", superando métodos anteriores na maioria dos casos.
• Eficiência: O OP2GS demonstrou velocidade de inferência superior em comparação com métodos baseados em características. Com apenas 2 bytes de dados adicionais por Gaussiana (para o rótulo e $\sigma^*$), alcançou 121,7 FPS, significativamente mais rápido que o Gaussian Grouping (43,6 FPS) e o ObjectGS (78,6 FPS).
• Estudos de Ablação: Experimentos confirmaram que a formulação de dupla opacidade é crucial; uma linha de base usando apenas rótulos votados majoritariamente e renderização de opacidade padrão produziu mIoU significativamente menor (por exemplo, 76,1% vs. 97,1% no 3DOVS), demonstrando que aprender $\sigma^*$ é essencial para a separação de objetos estável em vistas.

5. Significado e Alegações

O artigo afirma que o OP2GS fornece uma representação compacta e robusta consciente de objetos que aborda com sucesso o compromisso entre precisão e eficiência na compreensão de cenas 3D. Ao redefinir a primitiva gaussiana para incluir um campo de ocupação de instância dedicado, o método resolve o problema de "contaminação de rótulos" inerente à elevação direta de máscaras. Os autores enfatizam que essa abordagem aproveita a aprendizagem de ocupação fisicamente consistente do 3DGS para lidar com ambiguidades de visibilidade (como flutuantes) com as quais métodos de elevação heurística lutam, mantendo ao mesmo tempo uma pegada de parâmetros leve adequada para dispositivos de borda e aplicações interativas. O trabalho demonstra que o raciocínio explícito em nível de objeto no 3DGS não requer campos de características pesados, mas sim um desacoplamento estrutural entre aparência e propriedades de instância.