Resumen Técnico: Cuantización Guiada por Fisher para el Transformador de Geometría Visual

Declaración del Problema

Los modelos de reconstrucción 3D de alimentación directa, ejemplificados por el Transformador de Geometría Visual Fundamentado (VGGT), han logrado un rendimiento de vanguardia al predecir conjuntamente múltiples tareas geométricas —estimación de profundidad, predicción de pose de la cámara y reconstrucción de mapas de puntos— en una sola pasada hacia adelante. Sin embargo, estos modelos dependen de parámetros a escala de miles de millones, creando sobrecargas de memoria y computación prohibitivas que obstaculizan su implementación en dispositivos.

Aunque la Cuantización Posterior al Entrenamiento (PTQ) ofrece una solución para reducir esta sobrecarga, los métodos existentes para modelos 3D de alimentación directa enfrentan una limitación crítica: tratan al modelo como una entidad de tarea única. Los enfoques actuales de PTQ se centran principalmente en mitigar distribuciones de activación de cola pesada (causadas por tokens especiales como tokens de cámara o de registro) y en construir conjuntos de datos de calibración diversos. Ignoran la arquitectura de múltiples tareas inherente de VGGT.

Los autores observan que diferentes bloques del transformador y canales ocultos contribuyen de manera distinta a cada tarea descendente. En consecuencia, estos componentes exhiben sensibilidades sustancialmente diferentes a los errores de cuantización. Una estrategia de cuantización uniforme, que pondera todas las tareas por igual durante la calibración, enfatiza inadvertidamente tareas insensibles (por ejemplo, estimación de la pose de la cámara) mientras causa una degradación significativa de la precisión en tareas altamente sensibles (por ejemplo, reconstrucción de mapas de puntos). Como se demuestra en el artículo, aplicar cuantización uniforme puede conducir a una Degradación de Rendimiento Normalizada (NPD) del 200%–500% para la reconstrucción de mapas de puntos, mientras que la estimación de la pose permanece relativamente robusta.

Metodología: Cuantización Guiada por Fisher (FGQ)

Para abordar el problema de la sensibilidad de múltiples tareas, los autores proponen la Cuantización Guiada por Fisher (FGQ), un marco de PTQ consciente de la tarea. El método opera en tres granularidades: tareas, bloques del transformador y canales ocultos.

1. Medición de Sensibilidad mediante Información de Fisher

FGQ cuantifica la sensibilidad de cada componente a los errores de cuantización utilizando la matriz de información de Fisher diagonal.

• Base Teórica: El método deriva puntuaciones de sensibilidad a partir de una expansión de Taylor de segundo orden de la pérdida de la tarea. Asumiendo que el modelo está cerca de un óptimo local, el cambio esperado en la pérdida está gobernado por el término Hessiano. Para evitar el costo computacional prohibitivo de calcular el Hessiano completo, FGQ utiliza la matriz de información de Fisher como un sustituto tratable, basado en la identidad de que el Hessiano esperado de la log-verosimilitud negativa es igual a la matriz de información de Fisher bajo condiciones de regularidad estándar.
• Aproximación Diagonal: Para garantizar eficiencia y escalabilidad, los autores aproximan la matriz de Fisher completa con su forma diagonal. Esto reduce la complejidad de almacenamiento de $O(C^2)$ a $O(C)$ (donde $C$ es la dimensión del canal) y trata las perturbaciones de los canales como localmente independientes.
• Puntuación Consciente de la Tarea: La puntuación de Fisher $F_k[l, c]$ mide la sensibilidad de la tarea $k$ a los errores cuadráticos en el canal $c$ del bloque $l$. Estas puntuaciones se calculan utilizando gradientes de primer orden de un pequeño conjunto de calibración, requiriendo solo una pasada hacia atrás por tarea.

2. Integración en Transformaciones Afines Aprendibles

FGQ incorpora estas puntuaciones de sensibilidad en la calibración de Transformaciones Afines Aprendibles, una técnica utilizada para suprimir valores atípicos antes de la cuantización.

• Objetivo de Calibración Ponderado: La calibración estándar minimiza el error de reconstrucción entre las salidas de bloques de precisión completa y cuantizada utilizando una pérdida uniforme. FGQ reemplaza esto con un objetivo ponderado por Fisher.
• Normalización y Agregación: Para evitar que las tareas con mayores magnitudes de gradiente crudas dominen la calibración, las puntuaciones de Fisher se normalizan por tarea y luego se agregan a través de las tareas. Una normalización por bloque asegura que la escala de pérdida permanezca comparable entre diferentes capas del transformador.
• Suelo: Se aplica un valor de suelo pequeño a los pesos para asegurar que los canales con puntuaciones de Fisher bajas no sean completamente ignorados, preservando la integridad del modelo completo.

La función objetivo resultante asigna más capacidad de calibración a los canales y bloques que son críticos para tareas específicas, preservando así las características más sensibles al ruido de cuantización.

Contribuciones Clave

1. Identificación de Sensibilidad Multi-tarea: El artículo identifica que los modelos de reconstrucción 3D de alimentación directa exhiben sensibilidades de cuantización distintas a través de tareas, bloques y canales. El tratamiento uniforme de estos componentes conduce a una degradación de rendimiento desproporcionada en tareas sensibles como la reconstrucción de mapas de puntos.
2. Cuantización Guiada por Fisher (FGQ): Los autores proponen un nuevo marco de PTQ que utiliza la matriz de información de Fisher diagonal para cuantificar la sensibilidad por tarea, por bloque y por canal. Estas sensibilidades se integran en el objetivo de Transformación Afín Aprendible para guiar la calibración hacia los componentes más críticos.
3. Validación Empírica: Experimentos extensivos demuestran que FGQ supera consistentemente a las líneas base de PTQ de vanguardia (incluyendo QuantVGGT, FlatQuant y QuaRot) bajo cuantización de 4 bits, con las mejoras más significativas observadas en tareas de reconstrucción geométrica densa.

Resultados Experimentales

Los autores evaluaron FGQ en el modelo VGGT-1.2B a través de tres tareas principales: estimación de la pose de la cámara, reconstrucción de mapas de puntos y estimación de profundidad.

• Estimación de la Pose de la Cámara: En los conjuntos de datos Co3Dv2 y Re10K, FGQ logró resultados competitivos o superiores en comparación con las líneas base bajo configuraciones W4A8 y W4A4. Las mejoras fueron modestas, lo que sugiere que la estimación de la pose global es menos sensible a la selección específica de canales que las salidas densas.
• Reconstrucción de Mapas de Puntos: Esta tarea mostró la mejora más dramática. Bajo cuantización W4A4, FGQ redujo significativamente las métricas de error en comparación con QuantVGGT. Por ejemplo, en el conjunto de datos 7-Scenes, FGQ redujo el error de completitud medio de 0.085 (QuantVGGT) a 0.059 y mejoró la precisión media. Los resultados cualitativos mostraron que FGQ preservó detalles estructurales más finos, mientras que los métodos de línea base produjeron reconstrucciones borrosas.
• Estimación de Profundidad: En KITTI (monocular y video), FGQ superó consistentemente a las líneas base en configuraciones W4A8 y W4A4, logrando los mejores resultados en las métricas AbsRel, SqRel y RMSE.
• Eficiencia: El análisis de tiempo de ejecución en una GPU NVIDIA A100 mostró que, aunque la transformación afín aprendible introduce una pequeña sobrecarga en comparación con la cuantización simple de redondeo al entero más cercano, FGQ aún logra una aceleración de 1.81× sobre la inferencia de precisión completa en la configuración W4A4, reteniendo la mayoría de los beneficios de eficiencia de la cuantización de bajo bit.

Significancia y Afirmaciones

El artículo afirma que la principal significancia de FGQ radica en su capacidad para resolver la limitación de "talla única" de los métodos actuales de PTQ para modelos de visión 3D multi-tarea. Al aprovechar la información de Fisher para identificar y proteger canales críticos para la tarea, FGQ permite la implementación de modelos de reconstrucción 3D de miles de millones de parámetros en dispositivos con recursos limitados sin sacrificar la fidelidad de las salidas geométricas sensibles.

Los autores enfatizan que su enfoque no requiere cambios arquitectónicos ni reentrenamiento desde cero, lo que lo convierte en una solución práctica para los modelos 3D de alimentación directa existentes. Los resultados sugieren que las futuras estrategias de cuantización para modelos multimodales o multi-tarea deben ir más allá de la calibración uniforme para tener en cuenta la sensibilidad heterogénea de las diferentes cabezas de salida.