Resumen Técnico: TRACE-GS

Planteamiento del Problema

La reconstrucción de Gaussian Splatting 3D (3DGS) con vistas dispersas sufre una geometría severamente subdeterminada cuando las vistas de entrada son limitadas (por ejemplo, 3–9 imágenes). Esto genera artefactos como "floaters" (objetos flotantes), geometría fragmentada y texturas borrosas. Aunque los enfoques recientes utilizan modelos de difusión preentrenados como prioris generativos para restaurar renderizados de nuevas vistas para el refinamiento de 3DGS, se enfrentan a un desajuste fundamental entre entrenamiento e inferencia (training-inference mismatch):

1. Desajuste de Estado Off-Policy: Los métodos existentes supervisan el modelo en estados con ruido aplicado de forma independiente derivados de objetivos limpios. Sin embargo, durante la inferencia, el modelo sigue un despliegue secuencial impulsado por sus propias predicciones de eliminación de ruido. En consecuencia, el modelo encuentra estados autogenerados que no fueron cubiertos por el objetivo de entrenamiento.
2. Sesgo Geométrico Compuesto: En configuraciones de vistas dispersas, la geometría inicial está subdeterminada. Los artefactos en los pasos tempranos de eliminación de ruido sesgan las direcciones subsiguientes, causando que las desviaciones se acumulen a lo largo del despliegue (rollout). La supervisión off-policy no logra corregir estas desviaciones porque no supervisa los estados reales visitados durante la inferencia.

Metodología: TRACE-GS

TRACE-GS (Distilación de Trayectoria On-Policy con Condicionamiento Geométrico Privilegiado) aborda estos problemas formulando la restauración de vistas dispersas como un problema de Aprendizaje Usando Información Privilegiada (LUPI, Learning Using Privileged Information). El marco emplea una arquitectura de profesor-estudiante donde el profesor tiene acceso a información geométrica "privilegiada" disponible solo durante el entrenamiento.

1. Formulación de LUPI de Asimetría Geométrica

• Configuración: Para una escena dada, se generan dos reconstrucciones de 3DGS: una a partir de las vistas dispersas de entrada ($V_s$) y otra a partir de todas las vistas de entrenamiento disponibles ($V_d$, donde $V_s \subset V_d$).
• Información Privilegiada: La reconstrucción de vista densa ($R_d$) proporciona una geometría más rica y confiable y menos artefactos en comparación con la reconstrucción de vista dispersa ($R_s$). Esta brecha de fidelidad geométrica constituye la información privilegiada.
• Arquitectura: Un único esqueleto (backbone) de predictor de velocidad ($v_\theta$) es compartido entre un Profesor y un Estudiante.
  • Profesor: Condicionado por los renderizados de vista densa ($R_d$). Actúa como una guía privilegiada.
  • Estudiante: Condicionado por los renderizados de vista dispersa ($R_s$). Es el modelo desplegable.
  • Ambos comparten el mismo esqueleto congelado y adaptadores LoRA entrenables (inicializados de forma idéntica), diferenciándose únicamente en sus entradas de condicionamiento.

2. Estrategia de Entrenamiento

El proceso de entrenamiento consta de dos fases principales para alinear al estudiante con el profesor privilegiado:

• Alineación de Dirección Privilegiada (Warm-up):
  En estados con ruido aplicado de forma independiente, la predicción del estudiante ($v_S$) se alinea con la predicción del profesor ($v_T$). Esto reduce el sesgo de dirección inicial causado por la brecha de la geometría dispersa.
  $$\mathcal{L}_{align} = \mathbb{E}[\|v_S - \text{sg}[v_T]\|_2^2]$$
  (donde sg denota stop-gradient).

• Distilación de Trayectoria On-Policy:
  A diferencia de métodos anteriores, TRACE-GS supervisa el modelo a lo largo de la propia trayectoria de despliegue del estudiante ($Z_S$).

  • Despliegue del Estudiante: El estudiante genera una trayectoria de estados ($z^S_{t'}$) partiendo del ruido, utilizando sus propias predicciones.
  • Consulta al Profesor: En cada estado visitado por el estudiante, el profesor congelado es consultado utilizando el mismo estado y la geometría densa privilegiada ($R_d$) para generar una velocidad objetivo ($u^T_i$). El profesor no realiza su propio despliegue.
  • Pérdida de Trayectoria: Las predicciones de velocidad del estudiante se alinean con los objetivos del profesor en estos estados visitados:
    $$\mathcal{L}_{traj} = \mathbb{E}\left[\frac{1}{N}\sum_{i=1}^N \|u^S_i - \text{sg}[u^T_i]\|_2^2\right]$$

• Alineación de Recuperación On-Policy:
  Para asegurar que el estudiante utilice correctamente la evidencia entre vistas más allá de solo la dirección de la velocidad, el marco alinea las respuestas de recuperación de atención cruzada del estudiante y del profesor en los estados visitados.
  $$\mathcal{L}_{ret} = \mathbb{E}\left[\frac{1}{N}\sum_{i=1}^N \|\bar{F}^S_i - \text{sg}[\bar{F}^T_i]\|_2^2\right]$$
  donde $\bar{F}$ representa las respuestas de recuperación normalizadas.

3. Despliegue

En el despliegue, solo se retiene al estudiante condicionado por la vista dispersa. Este restaura los renderizados con artefactos provenientes del 3DGS de vista dispersa. Estos renderizados restaurados sirven como pseudo-observaciones para refinar la representación 3DGS de forma iterativa. No se requiere geometría privilegiada ni computación del profesor durante la inferencia.

Principales Contribuciones

1. Identificación de Limitaciones Acopladas: Los autores identifican que el desajuste off-policy y el sesgo inducido por la geometría se acumulan en la restauración de 3DGS de vista dispersa, lo que requiere la supervisión en los estados reales visitados durante la inferencia.
2. LUPI de Asimetría Geométrica: El artículo formula un nuevo escenario de LUPI donde el conocimiento se transfiere de un profesor con un condicionamiento geomético más rico a un estudiante arquitectónicamente idéntico con condicionamiento disperso.
3. Primera Supervisión On-Policy para 3DGS Disperso: TRACE-GS es el primer método en derivar supervisión on-policy a partir de la geometría de vista densa privilegiada, alineando las direcciones de eliminación de ruido y las respuestas de recuperación a lo largo del despliegue del estudiante sin requerir un despliegue del profesor.

Resultados Experimentales

El método fue evaluado en tres conjuntos de datos: DL3DV-Benchmark (in-domain), Mip-NeRF 360 y NeRF-Busters (out-of-domain), con 3, 6 y 9 vistas de entrada.

• Rendimiento Cuantitativo: TRACE-GS alcanzó un rendimiento de vanguardia (SOTA) en PSNR, SSIM y LPIPS en todos los conjuntos de datos y niveles de dispersión.
  • En DL3DV-Benchmark, superó al mejor anterior (GSFixer) por 0.47 dB en PSNR (configuración de 3 vistas).
  • En los conjuntos de datos fuera de dominio, lideró consistentemente en todas las métricas, particularmente en la desafiante configuración de 3 vistas (por ejemplo, +0.73 dB sobre GSFixer en Mip-NeRF 360).
• Mejoras Cualitativas: Las comparaciones visuales muestran que TRACE-GS recupera detalles más nítidos y estructuras coherentes (por ejemplo, texto, reflejos, contornos de objetos) donde las líneas base producen desenfoque o fragmentación geométrica.
• Estudios de Ablación:
  • Geometría Privilegiada: Aumentar el número de vistas utilizadas para el profesor (de 3 a todas las disponibles) mejoró monótonamente el rendimiento, confirmando el valor de la brecha geométrica.
  • On-Policy vs. Off-Policy: Reemplazar la supervisión on-policy con off-policy (estados muestreados de forma independiente) resultó en un menor rendimiento, particularmente en los pasos de eliminación de ruido posteriores, donde los errores se acumulan. Esto valida la necesidad de supervisar los estados visitados.
  • Alineación de Recuperación: La adición de la alineación de recuperación proporcionó ganancias consistentes, asegurando una mejor consistencia entre vistas.

Significado y Reivindicaciones

El artículo afirma que TRACE-GS representa un cambio fundamental en el abordaje de la restauración de 3DGS de vista dispersa. Al alejarse de la búsqueda de arquitecturas de restauración cada vez más sofisticadas, aborda la limitación central del desajuste entre entrenamiento e inferencia en los prioris basados en difusión.

La importancia radica en el marco de Aprendizaje Usando Información Privilegiada (LUPI) aplicado a 3DGS:

• Aprovecha las ventajas geométricas del tiempo de entrenamiento (vistas densas) para guiar un modelo que opera únicamente con vistas dispersas durante el despliegue.
• Asegura que la guía se aplique exactamente donde el modelo la necesita más: a lo largo de su propia trayectoria de inferencia.
• El método se presenta como una etapa de refinamiento de "inserción directa" (drop-in) que no requiere vistas adicionales ni sobrecarga computacional durante el despliegue, logrando una fuerte generalización a través de diversos conjuntos de datos y niveles de dispersión.