RegimeVGGT: Layer-Wise Spatially Preserving Redundancy Removal for Visual Geometry Grounded Transformer

Resumen Técnico de RegimeVGGT

Declaración del Problema
El Visual Geometry Grounded Transformer (VGGT) representa un avance significativo en la recuperación de estructuras de escenas 3D densas a partir de imágenes multivista en una sola pasada hacia adelante (forward pass). Sin embargo, su arquitectura depende de un agregador de 24 capas con atención cruzada entre fotogramas (cross-frame) y global alternada, lo que incurre en un costo computacional de $O(S^2P^2)$, donde $S$ es el número de fotogramas y $P$ es el número de parches por fotograma. Esta escala cuadrática provoca que el modelo original se quede sin memoria en secuencias que superan los ~300 fotogramas (incluso en GPUs de alta gama como la NVIDIA H800) y hace que la variante optimizada para memoria (VGGT*) sea prohibitivamente lenta para secuencias largas. Los aceleradores existentes que no requieren entrenamiento intentan mitigar esto reduciendo uniformemente la computación a lo largo de un único eje (por ejemplo, fusionando tokens en todas las capas o submuestreando pares de Clave/Valor [K/V] en una rejilla espacial). Estos enfoques no tienen en cuenta la heterogeneidad de las capas de VGGT, perdiendo oportunidades para una compresión más eficiente y dirigida.

Metodología
RegimeVGGT aborda estas limitaciones mediante un marco de trabajo libre de entrenamiento que aplica una compresión por capas en forma de U a lo largo de dos ejes ortogonales: el eje de conteo de tokens y el eje de densidad de Clave/Valor (K/V). La metodología se fundamenta en análisis espectrales, de sondeo y causales que revelan que las 24 capas de atención global de VGGT se dividen en tres regímenes funcionalmente distintos:

1. Capas Superficiales (L1–L10): Carecen de estructura entre vistas y exhiben un rango efectivo bajo.
2. Capas Medias (L11–L18): Impulsan la alineación entre vistas y la reconstrucción de nubes de puntos, caracterizándose por un alto rango efectivo y una concentración de tokens salientes en geometría y bordes.
3. Capas Profundas (L19–L24): Son geométricamente inertes para la reconstrucción densa pero esenciales para la estimación de la pose; exhiben una redundancia cercana al rango-1 pero requieren una ruta de atención entre fotogramas preservada para los tokens de la cámara.

Basándose en este análisis, RegimeVGGT emplea dos operadores compuestos dentro de cada bloque global:

1. Fusión de Bandas Guiada por Saliencia (Eje de Conteo de Tokens):

   • Estrategia: Aplica una relación de fusión ($\rho$) en forma de U que refleja el perfil de rango: fusión agresiva en las capas superficiales ($\rho=0.99$) y profundas ($\rho=0.99$), y fusión conservadora en la banda media ($\rho=0.50$).
   • Protección: Para evitar la pérdida de información crítica de los límites 3D, el método protege un subconjunto de tokens identificados mediante una puntuación de saliencia de atención de clase [CLS] de DINOv2 congelado ($\Psi$). Esto aproxima la ubicación de los tokens salientes de geometría y bordes sin requerir profundidad de verdad fundamental (ground-truth) o entrenamiento adicional.
   • Optimización: Utiliza un almacenamiento en caché alineado por bandas para amortizar los costos de emparejamiento y atención consciente del tamaño para ponderar correctamente los tokens fusionados.

2. Submuestreo de K/V Protegido Selectivamente (Eje de Densidad de K/V):

   • Estrategia: Comprime el conjunto K/V utilizando una tasa en forma de U ($\sigma$), manteniendo los K/V más densos en la banda media y los más dispersos en los flancos.
   • Rejilla con Desfase de Fase: Para evitar puntos ciegos espaciales sistemáticos, la sub-rejilla de retención de K/V se desplaza en fase basada en el índice del fotograma. A medida que la longitud de la secuencia crece, la unión de las posiciones retenidas se aproxima a una cobertura espacial completa.
   • Preservación de la Ruta Crítica: El método preserva estrictamente la ruta de atención entre fotogramas esencial para la estimación de la pose. Esto incluye:
     • Mantener los tokens de Cámara y Registro a densidad completa.
     • Mantener un "ancla" de densidad completa en el Fotograma 0 para proporcionar una referencia de mundo estable para la alineación.
     • Proteger los parches salientes de geometría y bordes (identificados por $\Psi$) del submuestreo.

Contribuciones Clave

• Descubrimiento de Regímenes: El artículo establece que la redundancia de VGGT no es uniforme, sino que sigue un régimen de tres bandas (superficial, media, profunda) con roles funcionales y propiedades espectrales distintas.
• Compresión de Doble Eje: Introduce un marco que comprime simultáneamente a lo largo de los ejes de conteo de tokens y de densidad de K/V, aprovechando la heterogeneidad específica de cada régimen.
• Diseño Consciente de la Pose: A diferencia de métodos previos que pueden degradar la estimación de la pose, RegimeVGGT preserva explícitamente la ruta de atención entre fotogramas entre los tokens de cámara/registro y los parches, asegurando la estabilidad en secuencias largas.
• Eficiencia Libre de Entrenamiento: Todo el flujo de trabajo opera sin ajuste fino (fine-tuning), apoyándose en modelos pre-entrenados congelados (DINOv2) para la estimación de saliencia y esquemas de compresión deterministas.

Resultados Experimentales
Evaluado en conjuntos de datos que incluyen 7 Escenas, NRGBD, ScanNet-50, Tanks & Temples y DTU, RegimeVGGT demuestra ganancias significativas de eficiencia sin comprometer la calidad de la reconstrucción:

• Aceleración: Logra una aceleración de extremo a extremo de 6.7× sobre VGGT* en ScanNet-1000 (1000 fotogramas) manteniendo una calidad de reconstrucción equivalente (Distancia de Chamfer).
• Escalabilidad: Procesa con éxito secuencias de 1000 fotogramas donde el VGGT original se queda sin memoria y VGGT* es significativamente más lento.
• Estimación de Pose: Mantiene una alta precisión en la estimación de la pose de la cámara (AUC@30, ATE, ARE) en secuencias cortas y largas, superando o igualando a aceleradores concurrentes libres de entrenamiento (FastVGGT, S-VGGT) y a la línea base de VGGT*.
• Eficiencia de Memoria: Reduce el uso de memoria GPU pico en comparación con las líneas base que dependen de búferes auxiliares o índices de fusión, permitiendo la inferencia en secuencias largas dentro de las restricciones de 80GB de VRAM.

Significancia
El artículo afirma que la significancia de RegimeVGGT radica en su demostración de que la atención global en los transformadores de visión 3D es "heterogéneamente redundante". Al ir más allá de las estrategias de compresión uniforme y, en su lugar, adaptar el esquema de compresión a los regímenes funcionales específicos de la red (preservando la ruta de la pose mientras se comprime agresivamente las capas geométricamente redundantes), el método logra una escalabilidad sustancial. Esto permite que VGGT se aplique a escenarios de secuencias largas y del mundo real (como la conducción autónoma o el mapeo a gran escala) que anteriormente eran inviables debido a las restricciones de memoria y computación, todo ello sin necesidad de reentrenamiento o ajuste fino.