OP2GS: Object-Aware 3D Gaussian Splatting with Dual-Opacity Primitives

Resumen Técnico de OP2GS: Primitivas Gaussianas 3D Conscientes de Objetos mediante Opacidad Dual

1. Declaración del Problema

La Splatting Gaussiana 3D (3DGS) ofrece una representación eficiente y explícita para la reconstrucción de escenas del mundo real, pero carece de identidad a nivel de objeto inherente. Sus primitivas se definen por geometría, color y opacidad, lo que las hace inadecuadas para tareas posteriores como la comprensión de escenas de vocabulario abierto sin modificaciones. Los enfoques existentes intentan inyectar información a nivel de objeto a través de dos vías principales, ambas con limitaciones significativas:

• Métodos basados en características: Estos destilan incrustaciones de características de alta dimensión (por ejemplo, de CLIP) en Gaussianas. Aunque son efectivos, incurrir en una sobrecarga significativa de almacenamiento y decodificación, y pueden sufrir inconsistencias entre vistas después de la composición alfa.
• Métodos de elevación de máscaras: Estos proyectan máscaras de objetos 2D (por ejemplo, de SAM) en el campo gaussiano 3D mediante heurísticas como votación mayoritaria o filtrado de pesos de renderizado. Un modo de fallo crítico aquí es la contaminación de etiquetas. Debido a que 3DGS utiliza primitivas suaves y semitransparentes, las Gaussianas "flotantes" (a menudo artefactos de la densificación) o las Gaussianas en regiones oscuras con opacidad general baja pueden dominar el peso de renderizado a lo largo de un rayo. En consecuencia, estos flotadores pueden asignarse incorrectamente etiquetas de objetos, contaminando la máscara de segmentación. Una vez que una Gaussiana está mal etiquetada, los métodos estándar no pueden suprimir su contribución a la máscara del objeto sin degradar también la reconstrucción de la apariencia visual, ya que ambas dependen de un único campo de opacidad.

2. Metodología: OP2GS

Los autores proponen OP2GS, una representación consciente de objetos que desacopla la reconstrucción visual de la ocupación de instancias utilizando una formulación de doble opacidad.

Representación:
Cada primitiva gaussiana se amplía con dos parámetros escalares adicionales:

1. Opacidad de Instancia ($\sigma^*$): Un campo de opacidad dedicado para el renderizado de máscaras de objetos, actuando como un campo de ocupación de instancia 1D.
2. Etiqueta Escalar ($l$): Un ID de objeto entero asignado durante la inicialización.

A diferencia de los métodos anteriores que adjuntan vectores de características de alta dimensión a cada Gaussiana, OP2GS utiliza una etiqueta escalar compacta y un único escalar $\sigma^*$.

Pipeline de Entrenamiento:
El método emplea una estrategia de entrenamiento en dos etapas:

• Etapa 1 (3DGS Estándar): Se entrena un modelo 3DGS estándar hasta que la densificación se estabiliza.
• Etapa 2 (Aprendizaje de Instancias):
  • Inicialización: Se generan máscaras de instancias consistentes en la vista utilizando SAM2. Los centros de las Gaussianas se proyectan sobre las vistas de entrenamiento y las etiquetas ($l$) se asignan mediante votación mayoritaria.
  • Renderizado de Doble Opacidad: El proceso de renderizado se divide. La opacidad original $\sigma$ maneja la reconstrucción de radiación (color), mientras que $\sigma^*$ maneja la ocupación de instancias. Para un objeto específico $j$, el mapa de instancia renderizado $S_j(v)$ se calcula acumulando $\alpha^*_i = \sigma^*_i G^2D_i(v)$ para las Gaussianas que pertenecen al objeto $j$, utilizando la misma transmitancia $T_i$ que la rama de color.
  • Pérdida de Objeto Aleatoria ($L_{obj}$): Para optimizar $\sigma^*$, se introduce una pérdida de objeto aleatoria. En cada iteración, se muestrea un subconjunto de objetos. Para un objeto muestreado $j$, se calcula una pérdida de entropía cruzada entre el mapa de instancia renderizado $S_j(v)$ y una máscara de pseudoetiqueta binaria $B_j$. Esto fomenta que las Gaussianas que pertenecen al objeto aumenten su $\sigma^*$ mientras suprime el $\sigma^*$ de las Gaussianas mal etiquetadas (flotadores) hacia cero.
  • Rutas de Gradiente: Los gradientes de la pérdida de reconstrucción de imagen ($L_{rgb}$) actualizan la opacidad original $\sigma$, el color $c$ y la geometría. Los gradientes de $L_{obj}$ actualizan la opacidad de instancia $\sigma^*$ y la geometría. Esto permite que el modelo aprenda a hacer que las Gaussianas mal etiquetadas sean "transparentes" en la rama de la máscara mientras las mantiene "visibles" en la rama de color para preservar la fidelidad de la escena.

Segmentación de Vocabulario Abierto:
En lugar de almacenar características lingüísticas por Gaussiana, OP2GS realiza Agregación de Incrustaciones de Objetos:

1. El campo de ocupación de instancia aprendido se umbraliza para crear máscaras de objetos binarias en vistas seleccionadas.
2. Estas máscaras actúan como "compuertas de geometría" para recortar regiones de objetos de las imágenes originales.
3. Se extraen características de CLIP de estas regiones recortadas y se promedian a través de múltiples vistas para producir un único descriptor semántico por objeto.
4. Las consultas de vocabulario abierto se realizan comparando incrustaciones de texto contra estos descriptores de objetos agregados.

3. Contribuciones Clave

• Representación de Doble Opacidad: La introducción de una opacidad de instancia $\sigma^*$ desacopla la existencia visual de la ocupación de instancias. Esto permite que el sistema suprima las Gaussianas mal etiquetadas en las máscaras de objetos sin comprometer la reconstrucción fotorrealista de la escena.
• Aprendizaje de Instancias Consciente de la Visibilidad: La pérdida de objeto aleatoria propuesta optimiza el campo de ocupación de instancias utilizando los mecanismos de transmitancia estándar de 3DGS. Esto resuelve eficazmente la contaminación de etiquetas causada por flotadores y la elevación de máscaras ambigua, aprendiendo a anular la opacidad de instancia de asignaciones incorrectas.
• Segmentación de Vocabulario Abierto Compacta: Al evitar el almacenamiento y la decodificación de características por Gaussiana, OP2GS logra una precisión competitiva con una sobrecarga computacional significativamente reducida, permitiendo velocidades de inferencia de 121 FPS.

4. Resultados Experimentales

El método se evaluó en puntos de referencia de vocabulario abierto, específicamente los conjuntos de datos 3DOVS y LERF-Mask.

• Precisión: En el conjunto de datos 3DOVS, OP2GS logró un mIoU medio del 97.1%, superando al mejor anterior (ObjectGS con 96.4%). En el conjunto de datos LERF-Mask, logró un 92.3% de mIoU en la escena "figurines" y un 91.0% en "ramen", superando a los métodos anteriores en la mayoría de los casos.
• Eficiencia: OP2GS demostró una velocidad de inferencia superior en comparación con los métodos basados en características. Con solo 2 bytes de datos adicionales por Gaussiana (para la etiqueta y $\sigma^*$), logró 121.7 FPS, significativamente más rápido que Gaussian Grouping (43.6 FPS) y ObjectGS (78.6 FPS).
• Estudios de Ablación: Los experimentos confirmaron que la formulación de doble opacidad es crucial; una línea base que utilizaba solo etiquetas votadas por mayoría y renderizado de opacidad estándar arrojó un mIoU significativamente menor (por ejemplo, 76.1% frente a 97.1% en 3DOVS), demostrando que aprender $\sigma^*$ es esencial para la separación de objetos estable en la vista.

5. Significado y Afirmaciones

El artículo afirma que OP2GS proporciona una representación compacta y robusta consciente de objetos que aborda con éxito el compromiso entre precisión y eficiencia en la comprensión de escenas 3D. Al redefinir la primitiva gaussiana para incluir un campo de ocupación de instancia dedicado, el método resuelve el problema de "contaminación de etiquetas" inherente a la elevación directa de máscaras. Los autores enfatizan que este enfoque aprovecha el aprendizaje de ocupación físicamente consistente de 3DGS para manejar ambigüedades de visibilidad (como flotadores) con las que los métodos de elevación heurística luchan, todo mientras mantiene una huella de parámetros ligera adecuada para dispositivos de borde y aplicaciones interactivas. El trabajo demuestra que el razonamiento explícito a nivel de objeto en 3DGS no requiere campos de características pesados, sino un desacoplamiento estructural de las propiedades de apariencia e instancia.