Quantized Visual Geometry Grounded Transformer

El artículo presenta QuantVGGT, el primer marco de cuantización post-entrenamiento diseñado específicamente para los Transformers de Geometría Visual (VGGT) a gran escala, que supera los desafíos de las distribuciones de activación de cola pesada y la inestabilidad en la selección de muestras mediante técnicas innovadoras como la cuantización de grano fino suavizada dual y el muestreo diverso filtrado por ruido, logrando una reducción de memoria de 3.7 veces y una aceleración de 2.5 veces en hardware real manteniendo una precisión de reconstrucción superior al 98%.

Lo esencial

¡Hola! Imagina que has creado un genio digital llamado VGGT. Este genio es increíblemente inteligente: puede mirar una serie de fotos y reconstruir el mundo en 3D, calculando dónde está la cámara, la profundidad de los objetos y cómo se mueven las cosas, todo en un instante.

El problema es que este genio es gigante. Es tan grande y pesado que necesita una computadora de laboratorio superpoderosa para funcionar. Si intentas llevarlo a tu teléfono o a un dron, se queda sin batería en segundos y se vuelve tan lento que es inútil.

Los investigadores de este paper (publicado en ICLR 2026) se preguntaron: "¿Cómo podemos hacer que este genio sea pequeño y rápido sin que pierda su inteligencia?".

La respuesta es QuantVGGT. Aquí te explico cómo funciona usando analogías sencillas:

1. El Problema: El "Genio" que grita demasiado

Para hacer al genio más pequeño, los científicos intentaron usar una técnica llamada cuantización. Imagina que el genio habla en un idioma muy complejo y preciso (números de 16 dígitos). La cuantización intenta enseñarle a hablar en un idioma más simple (números de 4 dígitos).

Pero, al intentar simplificarlo, surgieron dos problemas graves:

• Los "Gritos" (Tokens Especiales): El genio tiene unas palabras especiales (llamadas tokens) que no vienen de las fotos, sino que están pre-cargadas en su cerebro. Estas palabras son extremadamente fuertes y ruidosas. Cuando intentas simplificar el lenguaje, estos "gritos" rompen todo el sistema, como si alguien gritara "¡SOS!" en medio de una conversación tranquila; el mensaje se distorsiona y el genio empieza a alucinar.
• El "Muestrario Raro" (Calibración): Para enseñarle al genio a hablar simple, necesitas darle ejemplos de práctica. Pero como el genio ve muchas vistas diferentes de un mismo objeto (como un cubo visto desde arriba, abajo y de lado), es muy difícil elegir los ejemplos correctos. Si le das ejemplos raros o extraños, el genio se confunde y aprende mal.

2. La Solución: QuantVGGT (El Entrenador Personal)

Los autores crearon un nuevo entrenador llamado QuantVGGT que arregla estos problemas con dos trucos de magia:

Truco A: "El Baile de la Suavidad" (Dual-Smoothed Fine-Grained Quantization)

Imagina que los números del genio son una multitud de personas en una plaza. La mayoría son tranquilos, pero hay unos pocos "gritos" (los tokens especiales) que son gigantes y asustan a todos.

• El Giro (Rotación Hadamard): El entrenador hace que toda la multitud gire en un baile extraño. Al girar, los "gritos" gigantes se mezclan con la gente normal y dejan de ser tan aterradores. Ya no hay un solo gigante, sino muchos pequeños.
• El Ajuste (Suavizado Local): Luego, el entrenador ajusta la altura de cada persona para que todos tengan un tamaño más uniforme. Ahora, la multitud es suave y ordenada, perfecta para ser "simplificada" (cuantizada) sin perder información importante.

Truco B: "El Filtro de Calidad" (Noise-Filtered Diverse Sampling)

Para entrenar al genio, necesitan elegir los mejores ejemplos de práctica.

• El Filtro: Primero, el entrenador mira los ejemplos y tira a la basura los que son "ruidosos" o extraños (como fotos borrosas o ángulos imposibles).
• El Grupo Diverso: Luego, en lugar de elegir ejemplos al azar, agrupa las fotos por "estilo" (por ejemplo, fotos de interiores, fotos de exteriores, fotos de día). Se asegura de elegir un ejemplo de cada grupo. Así, el genio aprende a ver el mundo desde todas las perspectivas posibles, no solo desde un ángulo raro.

3. El Resultado: ¡Un Genio Portátil!

Gracias a estos trucos, QuantVGGT logra lo que parecía imposible:

• Compresión: Hace al genio 3.7 veces más pequeño (ahorra mucha memoria).
• Velocidad: Lo hace 2.5 veces más rápido.
• Calidad: Y lo más importante: sigue siendo un genio. Mantiene más del 98% de su inteligencia original.

En resumen:
Antes, para usar este modelo de reconstrucción 3D, necesitabas un superordenador. Con QuantVGGT, ahora puedes llevarlo en tu bolsillo, en un dron o en un robot, y seguirá viendo el mundo en 3D con una precisión asombrosa, como si nada hubiera pasado. Es como tomar un elefante gigante y convertirlo en un elefante de juguete que sigue siendo tan fuerte y listo como el original.

Resumen técnico

Resumen Técnico: QuantVGGT

1. El Problema

Los modelos de reconstrucción 3D basados en aprendizaje, específicamente los Transformadores Basados en Geometría Visual (VGGT), han demostrado capacidades excepcionales para recuperar geometría densa y trayectorias de cámara a partir de secuencias de imágenes. Sin embargo, su despliegue en escenarios del mundo real se ve severamente limitado por sus costos computacionales y de memoria prohibitivos (el modelo VGGT tiene 1.2 mil millones de parámetros).

Aunque la Cuantización Post-Entrenamiento (PTQ) es una técnica estándar para comprimir y acelerar modelos, aplicar PTQ a VGGT presenta obstáculos únicos que las soluciones genéricas no pueden resolver:

1. Tokens Especiales Dependientes de Datos: VGGT utiliza tokens de cámara y tokens de registro que se inyectan independientemente de la imagen de entrada. Estos tokens generan distribuciones de activación con colas pesadas (heavy-tailed) y valores atípicos (outliers) extremos, lo que causa una gran distorsión numérica al cuantizar.
2. Complejidad Semántica de los Datos 3D: La naturaleza multi-vista de los datos 3D implica que el espacio semántico es de alta dimensión y redundante. La selección de muestras de calibración es inestable; si las muestras son atípicas o no diversas, los rangos de cuantización estimados se sesgan, provocando una degradación del rendimiento en escenas no vistas.

2. Metodología: QuantVGGT

El artículo propone QuantVGGT, el primer marco de cuantización PTQ diseñado específicamente para VGGT. Se basa en dos contribuciones técnicas principales:

A. Cuantización de Alta Frecuencia Suavizada Dual (Dual-Smoothed Fine-Grained Quantization - DSFQ)
Esta arquitectura aborda las distribuciones sesgadas mediante un proceso de dos etapas:

• Rotación Global Previa (Pre-Rotation): Se aplica una transformación de Hadamard aleatoria a las activaciones. Esto dispersa los valores atípicos causados por los tokens especiales a través de los canales, suavizando la distribución de colas pesadas y acercándola a una distribución gaussiana (teorema del límite central).
• Suavizado Local Posterior (Post-Local-Smooth): Después de la rotación, se introduce un factor de escala a nivel de canal para normalizar la varianza interna. A diferencia de métodos anteriores, este factor se deriva de la distribución rotada, evitando que los valores extremos de los tokens especiales afecten la cuantización de los pesos.
• Granularidad Fina: Se utiliza cuantización por token para las activaciones y por dimensión externa para los pesos, minimizando el error de cuantización sin sobrecarga computacional significativa.

B. Muestreo Diverso Filtrado por Ruido (Noise-Filtered Diverse Sampling - NFDS)
Para resolver la inestabilidad en la selección de datos de calibración:

• Filtrado de Ruido: Se calculan estadísticas de capas profundas (media y varianza) para cada candidato de muestra. Se elimina una fracción de las muestras con puntuaciones de "ruido" más altas (outliers extremos) antes de la calibración.
• Agrupación Consciente del Marco (Frame-Aware Clustering): En lugar de agrupar por etiquetas o características crudas, el método explota el sesgo inductivo de VGGT (la relación entre el primer marco y los subsiguientes). Se construyen vectores de correlación basados en la similitud entre marcos y se utiliza K-Means para crear clústeres semánticamente significativos.
• Muestreo Uniforme: Se extraen muestras uniformemente de cada clúster, garantizando que el conjunto de calibración represente fielmente la distribución de datos real.

3. Contribuciones Clave

1. Análisis Sistemático: Primera investigación exhaustiva de los desafíos de cuantización en VGGT, identificando el impacto de los tokens independientes de datos y las estadísticas de activación multi-vista.
2. Esquema de Suavizado Dual: Una combinación novedosa de rotación global y suavizado local que reduce drásticamente los errores de cuantización en distribuciones con colas pesadas.
3. Estrategia de Calibración Robusta: Un pipeline de muestreo que filtra outliers y utiliza la estructura temporal/geométrica de los datos 3D para construir conjuntos de calibración estables y representativos.
4. Rendimiento de Estado del Arte (SOTA): Demostración de que es posible cuantizar modelos de 3D a 4 bits sin sacrificar la precisión de reconstrucción.

4. Resultados Experimentales

Los experimentos se realizaron en el modelo VGGT-1B utilizando conjuntos de datos como CO3Dv2 (estimación de pose), DTU (mapas de puntos) y 7-Scenes/NRGBD (reconstrucción de nubes de puntos).

• Eficiencia y Compresión: La versión QuantVGGT (W4A4) logra una reducción de memoria de 3.7x y una aceleración de velocidad de 2.5x en hardware real (NVIDIA RTX 4090) en comparación con la versión de precisión completa (FP16).
• Precisión:
  • En la configuración agresiva W4A4, QuantVGGT mantiene más del 98% de la precisión del modelo original (ej. AUC@30 de 88.2 vs 89.5 en FP16 para CO3Dv2).
  • Supera significativamente a los métodos SOTA genéricos como QuaRot, SmoothQuant y GPTQ, que sufren degradaciones severas (ej. QuaRot cae a 81.6 AUC@30 en W4A4).
  • En tareas de reconstrucción de nubes de puntos, QuantVGGT muestra un rendimiento casi sin pérdidas en comparación con el modelo de precisión completa.
• Eficiencia de Calibración: El proceso de calibración adicional introducido por NFDS es mínimo (aprox. 0.14 horas extra en GPU), haciéndolo viable para entornos de recursos limitados.

5. Significado e Impacto

Este trabajo es fundamental porque demuestra la viabilidad práctica de desplegar modelos masivos de reconstrucción 3D en dispositivos con recursos limitados.

• Superación de Barreras: Resuelve el problema de la cuantización de modelos con tokens especiales y datos 3D complejos, un área previamente inexplorada.
• Aplicabilidad Real: Al lograr una compresión de casi 4x y una aceleración de 2.5x manteniendo una alta fidelidad, QuantVGGT permite que aplicaciones de realidad aumentada, robótica y mapeo 3D funcionen en hardware de consumo (como GPUs móviles o de escritorio estándar) sin necesidad de reentrenamiento costoso (QAT).
• Generalización: El enfoque no solo funciona para VGGT, sino que ofrece un marco robusto para futuros transformadores de visión 3D a gran escala.

En resumen, QuantVGGT establece un nuevo estándar para la compresión de modelos 3D, equilibrando eficiencia extrema y precisión de reconstrucción mediante técnicas de cuantización adaptadas a la geometría visual.