Scene-Agnostic Object-Centric Representation Learning for 3D Gaussian Splatting

Título: Aprendizado de Representação Centrada em Objetos Agnóstico à Cena para 3D Gaussian Splatting

1. O Problema

O entendimento de cenas 3D em nível de objeto é crucial para aplicações como IA incorporada, robótica e edição de cenas. Embora métodos recentes como 3D Gaussian Splatting (3DGS) ofereçam reconstruções de alta fidelidade e renderização em tempo real, eles carecem de compreensão semântica e de instâncias.

Para suprir essa lacuna, trabalhos anteriores utilizam máscaras 2D geradas por Modelos Fundamentais Visuais (VFMs), como o SAM, para supervisionar campos de radiação. No entanto, essa abordagem apresenta limitações críticas:

• Inconsistência de Identidade: As máscaras de VFMs não são inerentemente centradas em objetos; o mesmo objeto pode receber IDs de segmentação diferentes em diferentes ângulos de visão, exigindo pré/pós-processamento complexo (ex: rastreamento com DEVA) ou perdas de consistência multi-visão.
• Dependência da Cena: As representações aprendidas são específicas da cena, limitando a generalização para novas cenas sem re-treinamento.
• Falta de Estrutura Objetual: VFMs tendem a segmentar com base em similaridade visual superficial, levando à super-segmentação de entidades físicas únicas e falha em capturar a estrutura interna dos objetos.
• Limitações do NeRF: Métodos anteriores de aprendizado centrado em objetos (OCL) baseados em NeRF sofrem com representações implícitas, dificultando aplicações downstream, e enfrentam problemas de permutação de slots (identidades inconsistentes).

2. Metodologia Proposta

Os autores propõem um pipeline que integra Aprendizado Centrário em Objetos Não Supervisionado (OCL) ao 3D Gaussian Splatting (3DGS), eliminando a necessidade de processamento de máscaras ou estratégias de treinamento ad-hoc.

Componentes Principais:

1. Backbone GOCL (Global Object-Centric Learning):

   • Utilizam o modelo GOLD (Global Object-centric Learning via Disentangled Slot Attention) pré-treinado.
   • O GOLD aprende um Livro de Códigos Global (Global Codebook) agnóstico à cena. Este livro contém $C$ vetores de características intrínsecas de objetos que são consistentes através de diferentes cenas.
   • O modelo desacopla características extrínsecas (dependentes da cena, como pose e iluminação) das características intrínsecas (identidade do objeto).

2. Pipeline de Supervisão para 3DGS:

   • Extração de Máscaras: Para cada vista de entrada, o módulo GOLD gera máscaras de objetos não supervisionadas ($K$ máscaras) e probabilidades de associação com o livro de códigos global.
   • Atribuição de Identidade: Para cada máscara, o código com maior probabilidade é selecionado do livro de códigos global. A característica vetorial correspondente é atribuída àquela máscara.
   • Supervisão Densa: As características atribuídas às máscaras são "transmitidas" (broadcast) para a resolução da imagem e misturadas para criar um mapa de características alvo denso.
   • Treinamento: Os Gaussianos 3D possuem características de identidade aprendíveis. O modelo é treinado minimizando a perda MSE entre as características de identidade renderizadas pelos Gaussianos e o mapa de características alvo gerado pelo GOLD.
   • Regularização 3D: Uma perda de regularização baseada em KL-divergência é aplicada para garantir que Gaussianos vizinhos no espaço 3D compartilhem distribuições de probabilidade de classe similares, melhorando o agrupamento.

3. Vantagens do Pipeline:

   • Não requer pré/pós-processamento de máscaras (como alinhamento de rastreamento).
   • Não requer perdas de consistência multi-visão explícitas ou treinamento específico por cena.
   • Permite identificação de objetos entre cenas diferentes sem re-treinamento.

3. Contribuições Principais

• Integração Pioneira: Primeira integração de aprendizado centrado em objetos não supervisionado (OCL) com 3D Gaussian Splatting.
• Livro de Códigos Agnóstico à Cena: Introdução de um livro de códigos global que fornece identidades de objetos consistentes através de diferentes vistas e cenas, permitindo generalização cruzada.
• Pipeline Simplificado: Um método de supervisão que evita o processamento complexo de máscaras de VFMs e não depende de estratégias de treinamento ou design de perda ad-hoc para garantir consistência.

4. Resultados Experimentais

O método foi avaliado nos conjuntos de dados OCTA (cenas reais de mesa) e GSO (objetos escaneados do Google, sintéticos).

• Métricas de Agrupamento (OCL): O método proposto superou significativamente os métodos baseados em VFMs (Gaussian Grouping, Unified Lift, ObjectGS) em métricas de agrupamento como FG-ARI, FG-AMI, ARI-A e AMI-A.
  • Exemplo no OCTA: O método alcançou um FG-ARI de 0.870 contra 0.700 do segundo melhor (Gaussian Grouping).
• Qualidade de Segmentação (mIoU): Embora o mIoU seja ligeiramente inferior ao Gaussian Grouping em alguns casos (devido às máscaras do GOLD serem mais coerentes estruturalmente, mas menos nítidas nas bordas do que as do SAM), o método oferece uma decomposição semântica muito mais precisa e estruturalmente correta.
• Identificação Cruzada de Cenas (Cross-Scene): O método demonstrou capacidade de identificar o mesmo objeto em cenas diferentes com o mesmo ID, sem re-treinamento. Métodos anteriores falharam nisso, atribuindo IDs diferentes ao mesmo objeto em cenas distintas.
• Comparação com NeRF (uOCF): Ao comparar com o método baseado em NeRF (uOCF), a abordagem em 3DGS superou em todas as métricas de OCL e reconstrução (PSNR, SSIM), além de oferecer uma velocidade de renderização drasticamente superior (~106 FPS vs ~6 FPS). Além disso, a reconstrução 3DGS é mais robusta: mesmo que um objeto não seja descoberto corretamente, a cena reconstruída permanece intacta, ao contrário do NeRF, onde a falha na descoberta de objetos corrompe a reconstrução geométrica.
• Robustez a Novos Objetos: Em cenários onde objetos aparecem em novas vistas (não presentes na primeira imagem), o método proposto descobre e identifica corretamente esses objetos, enquanto métodos baseados em rastreamento de VFMs (como SAM2 + DEVA) falham sem re-prompting manual.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na direção de representações 3D semanticamente ricas e estruturalmente coerentes. Ao substituir a supervisão baseada em aparência (VFMs) por uma supervisão baseada em identidade de objeto intrínseca (via livro de códigos global), os autores resolvem o problema de inconsistência de identidade entre vistas e a falta de generalização entre cenas.

A metodologia permite que robôs e sistemas de IA entendam cenas 3D não apenas como conjuntos de pixels ou superfícies, mas como composições de objetos discretos e persistentes, facilitando tarefas de interação física e manipulação. A combinação de eficiência do 3DGS com a robustez do aprendizado centrado em objetos abre caminho para aplicações em tempo real em ambientes dinâmicos e não supervisionados.

Limitações: O método depende da disponibilidade de conjuntos de dados que suportem tanto OCL quanto 3DGS e enfrenta desafios computacionais no treinamento do módulo GOLD (escolha de slots e custo de livros de códigos grandes). No entanto, os autores acreditam que essas limitações são transitórias, relacionadas a dados e recursos computacionais atuais.