Resumen Técnico: QVGGT - Transformador de Geometría Visual con Grounding Cuantizado Post-Entrenamiento

Declaración del Problema

El Transformador de Geometría Visual con Grounding (VGGT) representa un avance significativo en la visión computacional 3D, capaz de predecir parámetros de cámara, mapas de profundidad y nubes de puntos en una sola pasada hacia adelante a partir de entradas RGB multivista. Sin embargo, la escala masiva de VGGT (1.26 mil millones de parámetros) crea una huella de memoria y una demanda computacional sustanciales, lo que lo hace impracticable para el despliegue en dispositivos periféricos con recursos limitados, como UAVs y sistemas de AR móviles.

Aunque existen técnicas de compresión de modelos estándar como la poda (pruning) y la destilación de conocimiento, estas suelen ofrecer una aceleración limitada en el hardware moderno. La cuantización, que reduce la precisión numérica, es una alternativa prometedora pero permanece ampliamente inexplorada para los transformadores de reconstrucción 3D a gran escala. La aplicación directa de los métodos existentes de Cuantización Post-Entrenamiento (PTQ) a VGGT falla debido a tres desafíos específicos:

1. Sensibilidad Heterogénea: Diferentes bloques del transformador dentro de VGGT exhiben grados variables de sensibilidad a la cuantización; la cuantización uniforme de bajo bit causa una degradación de la precisión desproporcionada, particularmente en la estimación de la pose de la cámara.
2. Desequilibrio de Activación a Nivel de Token: Los tokens de cámara y los tokens de registro generan activaciones de alta magnitud que actúan como valores atípicos (outliers). Estos valores atípicos dominan la estimación de la escala durante la calibración, lo que conduce a una resolución de cuantización desequilibrada y errores amplificados para la mayoría de los tokens.
3. Desalineación de Tareas: Los objetivos de reconstrucción por capa estándar no capturan plenamente la consistencia geométrica descendente requerida para tareas 3D (por ejemplo, la relación entre la pose de la cámara, la profundidad y los mapas de puntos).

Metodología: Marco de Trabajo QVGGT

Los autores proponen QVGGT, un marco de trabajo PTQ de tres etapas diseñado específicamente para comprimir VGGT preservando la consistencia geométrica 3D. El marco opera bajo una configuración W4A16 (pesos de 4 bits, activaciones de 16 bits).

1. Cuantización de Precisión Mixta Selectiva

Los autores realizan primero un análisis de sensibilidad fino mediante la cuantización selectiva de bloques individuales y midiendo el impacto en las cabezas descendentes.

• Observación: La cabeza de la cámara es altamente sensible a la precisión del bloque, mientras que las cabezas de profundidad y de mapa de puntos son más robustas. Ciertos bloques (específicamente los bloques de fotogramas 14, 17 y 23, y el bloque global 23) son identificados como "frágiles".
• Estrategia: En lugar de una cuantización uniforme, QVGGT emplea una estrategia de precisión mixta selectiva. Los bloques frágiles mantienen la precisión FP16 para sus capas de proyección de atención, mientras que los bloques robustos restantes se cuantizan a INT4. Esto equilibra la compresión con la preservación de pistas geométricas críticas.

2. Filtrado de Tokens con Compensación de Información de Cámara (CIC)

Para abordar el problema de los valores atípicos causados por los tokens de cámara y de registro:

• Filtrado de Tokens: Durante la fase de calibración para la búsqueda de escala, los tokens de cámara y de registro se excluyen del cálculo de las estadísticas de activación. Esto evita que la estimación de la escala se vea sesgada por unos pocos valores extremos, asegurando que la escala de cuantización refleje el rango dinámico de la mayoría (imagen) de los tokens.
• Compensación de Información de Cámara (CIC): La exclusión de estos tokens elimina información geométrica global esencial. Para restaurar esta información, los autores sintetizan un token CIC. Este token se deriva realizando un Top-K PCA sobre las activaciones de los tokens de cámara del conjunto de calibración. El token resultante, que representa un prior de geometría global de bajo nivel de varianza a nivel de dataset, se reinyecta en la secuencia de tokens antes de la cabeza de la cámara durante la inferencia.

3. Mecanismo de Búsqueda de Escala Consciente de la Tarea

La PTQ estándar minimiza el error de reconstrucción por capa, lo cual no garantiza una predicción 3D precisa. QVGGT introduce una función de objetivo consciente de la tarea para seleccionar las escalas de cuantización:

• Supervisión Multi-Cabeza: La búsqueda minimiza una combinación de pérdidas de las tres cabezas de predicción: pose de cámara ($L_{camera}$), profundidad ($L_{depth}$) y mapas de puntos ($L_{point}$).
• Consistencia Geométrica: Se introduce una novedosa Pérdida de Consistencia Geométrica ($L_{geom}$). Esta impone el acuerdo entre el mapa de puntos predicho directamente por la cabeza de puntos y un mapa de puntos reconstruido mediante la proyección inversa de la profundidad predicha usando la pose de cámara predicha.
• Optimización: El objetivo final combina el error de reconstrucción con estas pérdidas específicas de la tarea y de consistencia geométrica, guiando la búsqueda de escala hacia soluciones que preserven la estructura 3D intrínseca en todas las cabezas.

Contribuciones Clave

1. Marco PTQ para Transformadores 3D: El artículo presenta el primer marco PTQ diseñado a medida para transformadores de geometría 3D, demostrando que la sensibilidad de cuantización heterogénea de VGGT puede aprovecharse mediante estrategias de precisión mixta selectiva.
2. Esquema de Calibración a Nivel de Token: Los autores identifican y abordan un desequilibrio de activación característico en los transformadores 3D, proponiendo un esquema de calibración filtrado por tokens con compensación basada en PCA para mejorar la robustez.
3. Búsqueda de Escala Consciente de la Tarea: Se diseña un nuevo mecanismo de búsqueda de escala que alinea la optimización de la cuantización con las tareas de predicción 3D descendentes mediante supervisión multi-cabeza y restricciones de consistencia geométrica.
4. Validación Empírica: El marco logra una cuantización W4A16 casi sin pérdida en múltiples benchmarks, reduciendo el tamaño del modelo en más del 75% y la memoria de inferencia entre 3 y 4.9 veces.

Resultados Experimentales

Los autores evaluaron QVGGT en cuatro benchmarks: CO3Dv2, RealEstate10K, 7-Scenes y NRGBD.

• Estimación de la Pose de la Cámara: En CO3Dv2 y RealEstate10K, QVGGT (W4A16) logra un AUC@30 de 89.4 y 85.0 respectivamente, igualando casi la línea base de FP16 completo (89.5 y 85.3). En contraste, los métodos PTQ genéricos como GPTQ y AWQ sufren caídas significativas de rendimiento (por ejemplo, AWQ cae a 54.6 en CO3Dv2).
• Reconstrucción 3D: En 7-Scenes y NRGBD, QVGGT mantiene la precisión, completitud y consistencia de normales comparable a la línea base FP16, superando significativamente a SmoothQuant, GPTQ y AWQ bajo las mismas configuraciones W4A16.
• Eficiencia:
  • Memoria: QVGGT reduce el uso de memoria pico en 4.9× para entrada de un solo fotograma y 3.0× para entrada de 22 fotogramas en comparación con el VGDT en FP32. Permite procesar hasta 30 fotogramas en una GPU de 24GB sin errores de falta de memoria (OOM), mientras que el modelo de precisión completa falla.
  • Latencia: El método logra una aceleración de hardware de hasta 2.8× respecto a FP32 y una aceleración de latencia de 1.93× respecto a las líneas base de FP16 en una RTX 4090.
• Robustez: Los estudios de ablación muestran que el método es robusto al tamaño del conjunto de datos de calibración, funcionando bien incluso con tan solo 16 imágenes de calibración.

Significado y Reivindicaciones

El artículo afirma que QVGGT hace que la percepción 3D de alta fidelidad sea factible en dispositivos periféricos, permitiendo el despliegue práctico de modelos de reconstrucción 3D de paso directo en entornos reales con restricciones.

Los autores posicionan a QVGGT como complementario al trabajo concurrente como QuantVGGT. Mientras que QuantVGGT se enfoca en la estabilización numérica de propósito general (orientada a la distribución), QVGGT enfatiza un diseño consciente de la geometría y de la tarea. Al considerar explícitamente las características únicas de los transformadores 3D —como el rol específico de los tokens de cámara y las relaciones geométricas entre las cabezas de predicción—, QVGGT logra una retención de precisión superior en tareas 3D en comparación con los enfoques de cuantización genéricos. El trabajo demuestra que, con un cuidadoso alineamiento arquitectónico y de objetivos, los modelos de visión 3D a gran escala pueden comprimirse a pesos de 4 bits sin sacrificar la fidelidad geométrica requerida para aplicaciones de robótica y AR.