Resumo Técnico: QVGGT - Post-Training Quantized Visual Geometry Grounded Transformer

Declaração do Problema

O Visual Geometry Grounded Transformer (VGGT) representa um avanço significativo na visão computacional 3D, sendo capaz de prever parâmetros de câmera, mapas de profundidade e nuvens de pontos em uma única passagem direta (forward pass) a partir de entradas RGB multivisão. No entanto, a escala massiva do VGGT (1,26 bilhão de parâmetros) cria uma pegada de memória substancial e uma demanda computacional elevada, tornando-o impraticável para implantação em dispositivos de borda com recursos limitados, como UAVs (veículos aéreos não tripulados) e sistemas de RA móveis.

Embora técnicas padrão de compressão de modelos, como poda (pruning) e destilação de conhecimento, existam, elas frequentemente oferecem aceleração limitada em hardware moderno. A quantização, que reduz a precisão numérica, é uma alternativa promissora, mas permanece amplamente inexplorada para transformers de reconstrução 3D de grande escala. Aplicar diretamente os métodos existentes de Quantização Pós-Treinamento (PTQ) ao VGGT falha devido a três desafios específicos:

1. Sensibilidade Heterogênea: Diferentes blocos de transformer dentro do VGGT exibem graus variados de sensibilidade à quantização; a quantização de baixa precisão uniforme causa uma degradação desproporcional da acurácia, particularmente na estimativa de pose da câmera.
2. Desequilíbrio de Ativação ao Nível de Token: Tokens de câmera e tokens de registro geram ativações de alta magnitude que atuam como outliers (valores atípicos). Esses outliers dominam a estimativa de escala durante a calibração, levando a uma resolução de quantização desequilibrada e erros amplificados para a maioria dos tokens.
3. Desalinhamento de Tarefa: Os objetivos de reconstrução padrão por camada não capturam totalmente a consistência geométrica necessária para tarefas 3D (por exemplo, a relação entre pose da câmera, profundidade e mapas de pontos).

Metodologia: Estrutura QVGGT

Os autores propõem o QVGGT, uma estrutura PTQ de três estágios adaptada, projetada para comprimir o VGGT preservando a consistência geométrica 3D. A estrutura opera sob uma configuração W4A16 (pesos de 4 bits, ativações de 16 bits).

1. Quantização de Precisão Mista Seletiva

Os autores realizam primeiro uma análise de sensibilidade fina quantizando seletivamente blocos individuais e medindo o impacto nos heads (cabeças de saída) subsequentes.

• Observação: O head de câmera é altamente sensível à precisão do bloco, enquanto os heads de profundidade e de mapa de pontos são mais robustos. Certos blocos (especificamente os blocos de frame 14, 17 e 23, e o bloco global 23) são identificados como "frágeis".
• Estratégia: Em vez de uma quantização uniforme, o QVGGT emprega uma estratégia de precisão mista seletiva. Os blocos frágeis mantêm a precisão FP16 para suas camadas de projeção de atenção, enquanto os demais blocos robustos são quantizados para INT4. Isso equilibra a compressão com a preservação de pistas geométricas críticas.

2. Filtragem de Tokens com Compensação de Informação de Câmera (CIC)

Para abordar o problema de outliers causado pelos tokens de câmera e de registro:

• Filtragem de Tokens: Durante a fase de calibração para busca de escala, os tokens de câmera e de registro são excluídos do cálculo das estatísticas de ativação. Isso evita que a estimativa de escala seja enviesada por alguns poucos valores extremos, garantindo que a escala de quantização reflra a faixa dinâmica da maioria (imagem) dos tokens.
• Compensação de Informação de Câmera (CIC): A exclusão desses tokens remove pistas geométricas globais essenciais. Para restaurar essa informação, os autores sintetizam um token CIC. Este token é derivado da realização de Top-K PCA nas ativações dos tokens de câmera do conjunto de calibração. O resultado, um prior de geometria global de baixa variância em nível de dataset, é reinjetado na sequência de tokens antes do head de câmera durante a inferência.

3. Mecanismo de Busca de Escala Consciente da Tarefa

A PTQ padrão minimiza o erro de reconstrução por camada, o que não garante previsões 3D precisas. O QVGGT introduz uma função de objetivo consciente da tarefa para selecionar as escalas de quantização:

• Supervisão Multi-Head: A busca minimiza uma combinação de perdas dos três heads de predição: pose da câmera ($L_{camera}$), profundidade ($L_{depth}$) e mapas de pontos ($L_{point}$).
• Consistência Geométrica: Uma nova Perda de Consistência Geométrica ($L_{geom}$) é introduzida. Ela impõe o acordo entre o mapa de pontos predito diretamente pelo head de pontos e um mapa de pontos reconstruído através da projeção inversa da profundidade predita usando a pose da câmera predita.
• Otimização: O objetivo final combina o erro de reconstrução com estas perdas específicas de tarefa e de consistência geométrica, guiando a busca de escala para soluções que preservem a estrutura 3D intrínseca em todos os heads.

Principais Contribuições

1. Estrutura PTQ para Transformers 3D: O artigo apresenta a primeira estrutura PTQ adaptada para transformers de geometria 3D, demonstrando que a sensibilidade de quantização heterogênea do VGGT pode ser aproveitada via estratégias de precisão mista seletiva.
2. Esquema de Calibração ao Nível de Token: Os autores identificam e abordam um desequilíbrio de ativação característico em transformers 3D, propondo um esquema de calibração com filtragem de tokens com compensação baseada em PCA para melhorar a robustez.
3. Busca de Escala Consciente da Tarefa: Um novo mecanismo de busca de escala é projetado para alinhar a otimização da quantização com as tarefas de predição 3D subsequentes através de supervisão multi-head e restrições de consistência geométrica.
4. Validação Empírica: A estrutura alcança uma quantização W4A16 quase sem perdas em múltiplos benchmarks, reduzindo o tamanho do modelo em mais de 75% e a memória de inferência em 3–4,9×.

Resultados Experimentais

Os autores avaliaram o QVGGT em quatro benchmarks: CO3Dv2, RealEstate10K, 7-Scenes e NRGBD.

• Estimativa de Pose de Câmera: No CO3Dv2 e RealEstate10K, o QVGGT (W4A16) atinge um AUC@30 de 89,4 e 85,0 respectivamente, aproximando-se quase da linha de base FP16 completa (89,5 e 85,3). Em contraste, métodos genéricos de PTQ como GPTQ e AWQ sofrem quedas significativas de desempenho (ex: o AWQ cai para 54,6 no CO3Dv2).
• Reconstrução 3D: No 7-Scenes e NRGBD, o QVGGT mantém acurácia, completude e consistência de normais comparáveis à linha de base FP16, superando significativamente o SmoothQuant, GPTQ e AWQ sob as mesmas configurações W4A16.
• Eficiência:
  • Memória: O QVGGT reduz o uso de pico de memória em 4,9× para entrada de frame único e 3,0× para entrada de 22 frames em comparação ao VGDT FP32. Ele permite o processamento de até 30 frames em uma GPU de 24GB sem erros de Out-Of-Memory (OOM), enquanto o modelo de precisão total falha.
  • Latência: O método alcança até 2,8× de aceleração de hardware real sobre o FP32 e uma aceleração de latência de 1,93× sobre as linhas de base FP16 em uma RTX 4090.
• Robustez: Estudos de ablação mostram que o método é robusto ao tamanho do dataset de calibração, performando bem mesmo com apenas 16 imagens de calibração.

Significância e Alegações

O artigo afirma que o QVGGT torna a percepção 3D de alta fidelidade viável em dispositivos de borda, permitindo a implantação prática de modelos de reconstrução 3D feed-forward em ambientes reais com recursos limitados.

Os autores posicionam o QVGGT como complementar ao trabalho concorrente QuantVGGT. Enquanto o QuantVGGT foca na estabilização numérica de propósito geral (orientada à distribuição), o QVGGT enfatiza um design consciente da geometria e da tarefa. Ao considerar explicitamente as características únicas dos transformers 3D — como o papel específico dos tokens de câmera e as relações geométricas entre os heads de predição — o QVGGT alcança uma retenção de acurácia superior em tarefas 3D em comparação com abordagens de quantização genéricas. O trabalho demonstra que, com um alinhamento cuidadoso de arquitetura e objetivo, modelos de visão 3D de grande escala podem ser comprimidos para pesos de 4 bits sem sacrificar a fidelidade geométrica exigida para aplicações de robótica e RA.