Resumen Técnico: LocusGS

Planteamiento del Problema

Los métodos recientes de Gaussian Splatting 3D (3DGS) de alimentación hacia adelante (feed-forward) han pasado de una costosa optimización por escena a la predicción directa a partir de vistas de entrada. Entre ellos, los enfoques basados en consultas (por ejemplo, TokenGS) representan una escena mediante un conjunto fijo de consultas aprendibles (tokens). Cada token agrega evidencia multivista a través de un decodificador Transformer y se decodifica en un grupo de Gaussianas 3D.

Sin embargo, los autores observan una limitación crítica en los métodos basados en consultas existentes: la débil coherencia espacial. Aunque idealmente, diferentes consultas deberían especializarse en regiones locales distintas y coherentes de la escena, las Gaussianas decodificadas de una sola consulta latente suelen dispersarse en regiones de la escena distantes y no relacionadas. Esto resulta en una distribución espacialmente difusa que se alinea deficientemente con la estructura subyacente de la escena. Los autores atribuyen este fallo a la representación puramente latente de las consultas de Gaussianas existentes, que carecen de una noción explícita de dónde opera una consulta en el espacio 3D o de qué tan grande es la región que cubre. En consecuencia, la evidencia multivista agregada por una consulta y las Gaussianas resultantes no están restringidas a una región local coherente.

Metodología: LocusGS

Para abordar esto, los autores proponen LocusGS (Tokens con Anclaje Espacial), que aumenta cada consulta de Gaussiana con un estado de anclaje 3D explícito. Este estado consiste en un centro 3D ($\mu$) y un radio de soporte ($r$).

Componentes Clave

1. Estados de Anclaje 3D Explícitos:
   En lugar de representar una consulta únicamente como un vector de características latentes, LocusGS asocia cada consulta $i$ en la capa del decodificador $l$ con un estado de anclaje $a^l_i = (\mu^l_i, r^l_i)$.

   • Centro ($\mu$): Especifica la ubicación de referencia 3D actual de la consulta.
   • Radio ($r$): Define la extensión de la región de soporte local de la consulta. El radio se parametriza mediante una variable no restringida $\rho$ que pasa a través de una función softplus para asegurar la positividad.
   • Estos estados son aprendibles, compartidos entre escenas y se refinan progresivamente a lo largo de las capas del decodificador.

2. Decodificador Guiado por Anclajes:
   El decodificador utiliza los estados de anclaje para guiar los mecanismos de autoatención y atención cruzada:

   • Autoatención Consciente del Anclaje: Un embedding posicional derivado del centro del anclaje $\mu$ se inyecta en las características de los tokens. Esto permite que las interacciones entre los tokens de Gaussianas dependan de sus ubicaciones 3D relativas, no solo de la similitud de sus características latentes.
   • Sesgo Geométrico de Anclaje a Rayo (Atención Cruzada): Para agregar evidencia multivista, el método introduce un sesgo geométrico basado en la distancia entre el centro del anclaje de la consulta $\mu^l_i$ y los rayos de la cámara $\ell_j$ asociados con los tokens de imagen.
     • El sesgo se define como $b^l_{ij} = -\frac{1}{2} \left( \frac{D(\mu^l_i, \ell_j)}{\sigma_0 r^l_i} \right)^2$, donde $D$ es la distancia euclidiana desde el punto al rayo.
     • Este sesgo penaliza los tokens de imagen cuyos rayos están lejos del anclaje, guiando efectivamente a la consulta para que se concentre en observaciones geométricamente relevantes. El radio $r^l_i$ controla el ancho de banda de esta preferencia espacial.

3. Refinamiento Dinámico del Anclaje:
   Después de cada capa del decodificador, las características del token predicen actualizaciones residuales ($\Delta \mu, \Delta \rho$) para el centro y el radio del anclaje. Esto permite que el estado del anclaje adapte su ubicación 3D y su escala de soporte a la escena de entrada específica a medida que el decodificador progresa.

4. Decodificación de Gaussianas Centradas en el Anclaje:
   En la etapa de decodificación final, las Gaussianas no se predicen de manera totalmente libre. En su lugar, el modelo predice desplazamientos locales ($\delta$) relativos al centro del anclaje refinado final. El centro de la Gaussiana final se calcula como:
   $$\mu^G_{i,k} = \mu^L_i + r^L_i \delta_{i,k}$$
   Aquí, el centro del anclaje proporciona la referencia global, y el radio escala los desplazamientos locales. Esta formulación obliga a las Gaussianas decodificadas de un solo token a formar un grupo local compacto alrededor del anclaje, en lugar de dispersarse libremente.

5. Supervisión de Renderizado Multicapa:
   El objetivo de entrenamiento incluye la supervisión de renderizado en capas intermedias del decodificador (además de la capa final). La pérdida combina la reconstrucción de imagen (MSE + SSIM) con una regularización de visibilidad aplicada tanto a los centros de las Gaussianas decodificadas como a los centros de los anclajes, fomentando una organización espacial coherente durante todo el proceso de decodificación.

Contribuciones Clave

• Anclaje Espacial de las Consultas: La introducción de estados de anclaje 3D explícitos (centro y radio) a las consultas de 3DGS basadas en consultas, yendo más allá de las representaciones puramente latentes.
• Mecanismos Conscientes del Anclaje: El diseño de sesgos geométricos para la atención cruzada (anclaje-a-rayo) y embeddings posicionales para la autoatención que utilizan el estado del anclaje para imponer coherencia espacial.
• Generación Estructurada de Gaussianas: Una estrategia de decodificación que predice desplazajes locales escalados por el radio del anclaje, asegurando que los tokens generen grupos de Gaussianas espacialmente compactos.
• Refinamiento Progresivo: Un mecanismo para refinar iterativamente las ubicaciones de los anclajes y los radios de soporte a través de las capas del decodificador, permitiendo al modelo adaptarse a la geometría de la escena.

Resultados Experimentales

Los autores evalúan LocusGS en benchmarks de síntesis de vistas nuevas, específicamente RealEstate10K (RE10K) y DL3DV, comparándolo con baselines como TokenGS, MVSplat y DepthSplat.

• Calidad de Renderizado: Bajo presupuestos idénticos de tokens y Gaussianas, LocusGS supera consistentemente a los baselines basados en consultas (TokenGS) en PSNR, SSIM y LPIPS. Por ejemplo, en DL3DV con 4 vistas de entrada, LocusGS (4096 tokens) logra un PSNR de 24.80 frente al 23.44 de TokenGS.
• Organización Espacial: Los análisis cualitativos y cuantitativos muestran que LocusGS produce distribuciones de Gaussianas significativamente más estructuradas.
  • Compacidad a Nivel de Token: El artículo introduce una métrica $C_{centroid}$ para medir la dispersión de las Gaussianas dentro de un token. LocusGS reduce drásticamente esta dispersión (por ejemplo, de 5.11 a 0.19 en RE10K), lo que indica que las Gaussianas de un solo token están estrechamente agrupadas.
  • Distribución de Anclajes: Los anclajes aprendidos forman un andamiaje espacial grueso y coherente sobre la escena, cubriendo estructuras principales y adaptando sus radios a la complejidad local (radios más grandes en regiones dispersas, más pequeños en áreas detalladas).
• Generalización: El modelo mantiene un presupuesto de Gaussianas fijo independiente del número de vistas de entrada, a diferencia de los métodos densos alineados con píxeles. Demuestra un rendimiento robusto cuando se prueba con diferentes números de vistas de contexto (2, 4 y 6 vistas) en DL3DV.
• Eficiencia: Aunque LocusGS tiene un recuento de parámetros ligeramente mayor (241.5M vs 222.0M para TokenGS) y una latencia de propagación hacia adelante mayor, logra una calidad de reconstrucción superior sin aumentar el número de Gaussianas predichas.

Significado y Reivindicaciones

El artículo afirma que los estados de anclaje 3D explícitos proporcionan un prior espacial efectivo para el 3DGS de alimentación hacia adelante basado en consultas. Al anclar las consultas en el espacio 3D, LocusGS transforma los tokens de Gaussianas de incrustaciones latentes implícitas en consultas de reconstrucción espacial interpretables.

Los autores argumentan que este enfoque no solo mejora la precisión del renderizado, sino que mejora fundamentalmente la organización espacial e interpretabilidad de la representación. Los resultados demuestran que los estados espaciales explícitos fomentan que las consultas se especialicen en regiones locales coherentes, lo que conduce a distribuciones de Gaussianas más estructuradas que se alinean mejor con la geometría de la escena. El trabajo sugiere que incorporar estados geométricos en el mecanismo de consulta es un paso crucial hacia una reconstrucción de escenas 3D más robusta y estructurada.