Resumen Técnico: GHOST (Eliminación de Tokens de Streaming Online Jerárquico Geométrico)

Enunciado del Problema

La reconstrucción 3D en streaming a partir de secuencias de video monoculares largas enfrenta un cuello de botella crítico de memoria. Los modelos basados en transformadores, como VGGT, logran resultados de vanguardia (SOTA) atendiendo conjuntamente a todos los cuadros de entrada; sin embargo, esta atención conjunta escala cuadráticamente con la longitud de la secuencia, volviéndola inviable para videos largos. Los enfoques de streaming como StreamVGGT e InfiniteVGGT intentan mitigar esto manteniendo una caché de claves-valores (KV) en crecimiento y eliminando tokens cuando se excede un presupuesto fijo.

Las estrategias de eliminación existentes, particularmente aquellas que dependen de heurísticas de similitud de claves (por ejemplo, descartar tokens con claves menos similares a la consulta actual), sufren una limitación fundamental: las puntuaciones de atención de la cuadro de consulta actual no reflejan fielmente el valor geométrico a largo plazo de los tokens históricos. Como se demuestra en el artículo, las puntuaciones de similitud de claves muestran una correlación insignificante con los cambios de pose de la cámara ($\rho = -0.07$) y solo una correlación moderada con la varianza del gradiente de profundidad ($\rho = +0.31$). En consecuencia, estos métodos fallan al preservar tokens que son geométricamente distintivos pero visualmente similares al cuadro actual, lo que lleva a una degradación de la calidad de reconstrucción en secuencias largas.

Metodología

Los autores proponen GHOST (Eliminación de Tokens de Streaming Online Jerárquico Geométrico), un marco sin entrenamiento diseñado para gestionar cachés KV para la reconstrucción 3D en streaming. GHOST aprovecha las propias salidas de geometría 3D del modelo (profundidad, mapas de puntos y poses de cámara) para determinar la importancia de los tokens, en lugar de depender únicamente de los patrones de atención.

1. Puntuación de Importancia Jerárquica de Dos Niveles

GHOST descompone la importancia de los tokens en dos niveles mutuamente reforzantes, actualizados incrementalmente en línea sin pasadas forward adicionales:

• Importancia a Nivel de Cuadro ($s_{frame}$): Determina el valor geométrico de toda una vista. Integra tres señales:
  • Cambio de Pose de la Cámara: Penaliza la proximidad traslacional y la similitud rotacional para asegurar que se retengan los cuadros con cambios significativos de vista.
  • Varianza del Gradiente de Profundidad: Prioriza los cuadros con detalles estructurales ricos (bordes, límites) sobre superficies uniformes.
  • Recencia Temporal: Asigna un peso mayor a los cuadros recientes para mantener la superposición contextual, mientras que aún preserva cuadros antiguos con vistas únicas.
• Importancia a Nivel de Token ($s_{token}$): Identifica parches informativos específicos dentro de un cuadro. Agrega:
  • Saliencia Visual: Medida a través de la magnitud del gradiente espacial de los mapas de características para anclar la correspondencia geométrica.
  • Confianza de Profundidad: La certeza epistémica del modelo con respecto a las estimaciones de profundidad.
  • Confianza de Puntos: La certeza del modelo con respecto a las estimaciones del mapa de puntos 3D.

La puntuación final por parche $\phi(t, p)$ es una suma ponderada de las puntuaciones normalizadas a nivel de cuadro y a nivel de token.

2. Mecanismo de Privilegio para Tokens Especiales

La puntuación de importancia estándar puede clasificar a los tokens especiales (tokens de cámara $c_t$ y tokens de registro $\{r^i_t\}$) más bajos que los tokens de parche informativos debido a su falta de saliencia visual. GHOST introduce un impulso determinista para estos tokens. Al añadir un desplazamiento fijo ($\Delta_{boost}$) y un desempate basado en la clasificación, el mecanismo asegura que los tokens que codifican la geometría global de la escena y los priores estructurales nunca sean eliminados, previniendo la corrupción de la estimación de pose y la globalización de la escena.

3. Asignación de Presupuesto por Capa Guiada por Similitud Coseno

Reconociendo que las capas del transformador varían en su "fuerza de transformación", GHOST evita la distribución uniforme del presupuesto.

• Perfilado Offline: El sistema calcula la similitud coseno media ($\bar{\rho}_\ell$) entre la entrada y la salida de cada capa a través de secuencias representativas.
• Asignación: Las capas con alta similitud (transformaciones cercanas a la identidad) reciben presupuestos más pequeños, mientras que las capas con baja similitud (transformaciones fuertes) reciben presupuestos más grandes. Esto concentra el presupuesto de tokens donde más se necesita para la preservación de la representación.

Contribuciones Clave

1. Puntuación Consciente de la Geometría: Un esquema de puntuación novedoso y sin entrenamiento que utiliza las propias salidas 3D del modelo (profundidad, puntos, pose) para identificar tokens geométricamente valiosos, abordando la desconexión entre las puntuaciones de atención y la estructura 3D.
2. Protección de Tokens Especiales: Un mecanismo determinista que garantiza la retención de tokens de cámara y registro, salvaguardando las codificaciones de pose y estructura globales de la eliminación.
3. Presupuestación Adaptativa por Capa: Una estrategia de perfilado offline que asigna presupuestos de caché KV basados en la fuerza de transformación por capa, optimizando la compensación entre el uso de memoria y la fidelidad de reconstrucción.
4. Evaluación Exhaustiva: Experimentos extensos que demuestran que GHOST supera a las líneas base SOTA en múltiples puntos de referencia y longitudes de entrada, mientras reduce significativamente la huella de memoria.

Resultados Experimentales

Los autores evaluaron GHOST en cuatro puntos de referencia: Bonn, 7-Scenes, NRGBD y Long3D, a través de varias longitudes de entrada (hasta 9,545 cuadros).

• Rendimiento: GHOST logra consistentemente el mejor rendimiento en casi todas las métricas (Precisión, Completitud, Consistencia de Normales y Profundidad Abs Rel) en comparación con líneas base como VGGT, StreamVGGT, CUT3R, Point3R, TTT3R e InfiniteVGGT.
  • En 7-Scenes (300 cuadros), GHOST redujo el error medio de precisión en un 42.5% en comparación con InfiniteVGGT.
  • En Long3D (hasta 9,545 cuadros), GHOST mostró ganancias significativas, con mejoras de precisión que escalan con la longitud de la secuencia (por ejemplo, una mejora del 33.5% en la escena de la Biblioteca).
• Eficiencia:
  • Reducción de Memoria: GHOST reduce el tamaño de la caché KV en casi la mitad (por ejemplo, 3.51 GB vs. 6.94 GB con un presupuesto de 600k) mientras mantiene una precisión competitiva.
  • Velocidad de Inferencia: El método ofrece hasta 1.75× de inferencia más rápida en comparación con los métodos de vanguardia.
• Estudios de Ablación:
  • Eliminar el impulso de tokens especiales degradó la precisión y la consistencia de las normales, confirmando la naturaleza crítica de proteger los tokens estructurales globales.
  • La asignación de presupuesto guiada por similitud coseno superó a la asignación uniforme y a otras estrategias de perfilado (información de Fisher, magnitud del gradiente).
  • El sistema demostró robustez ante perturbaciones en los pesos de importancia.

Significancia

El artículo afirma que GHOST aborda una limitación fundamental en la reconstrucción 3D en streaming actual: la incapacidad de las heurísticas basadas en atención para distinguir entre tokens históricamente redundantes y aquellos que son geométricamente valiosos. Al cambiar el criterio de eliminación de los patrones de atención a señales de geometría 3D, GHOST proporciona un enfoque más principista para la gestión de tokens. El marco permite una reconstrucción 3D de alta calidad en secuencias largas con una sobrecarga de memoria significativamente reducida y una velocidad de inferencia mejorada, convirtiéndolo en una solución viable para aplicaciones del mundo real que requieren procesamiento de video continuo e ilimitado. Los autores enfatizan que esta dirección —explotar las salidas del modelo para la compresión de caché KV en tareas 3D— no ha sido explorada en trabajos anteriores.