Resumo Técnico: Quantização Guiada por Fisher para o Transformer de Geometria Visual

Declaração do Problema

Modelos de reconstrução 3D feed-forward, exemplificados pelo Visual Geometry Grounded Transformer (VGGT), alcançaram desempenho state-of-the-art ao prever conjuntamente múltiplas tarefas geométricas — estimativa de profundidade, previsão de pose da câmera e reconstrução de mapa de pontos — em uma única passagem forward. No entanto, esses modelos dependem de parâmetros na escala de bilhões, criando sobrecargas de memória e computação proibitivas que impedem a implantação em dispositivos.

Embora a Quantização Pós-Treinamento (PTQ) ofereça uma solução para reduzir essa sobrecarga, os métodos existentes para modelos 3D feed-forward enfrentam uma limitação crítica: tratam o modelo como uma entidade de tarefa única. As abordagens atuais de PTQ focam principalmente em mitigar distribuições de ativação com caudas pesadas (causadas por tokens especiais como tokens de câmera ou registro) e na construção de conjuntos de dados de calibração diversos. Elas negligenciam a arquitetura multi-tarefa inerente ao VGGT.

Os autores observam que diferentes blocos de transformer e canais ocultos contribuem distintamente para cada tarefa downstream. Consequentemente, esses componentes exibem sensibilidades substancialmente diferentes aos erros de quantização. Uma estratégia de quantização uniforme, que pondera todas as tarefas igualmente durante a calibração, inadvertidamente superestima tarefas insensíveis (por exemplo, estimativa de pose da câmera) enquanto causa degradação significativa de precisão em tarefas altamente sensíveis (por exemplo, reconstrução de mapa de pontos). Como demonstrado no artigo, a aplicação de quantização uniforme pode levar a uma Degradação de Desempenho Normalizada (NPD) de 200%–500% para a reconstrução de mapa de pontos, enquanto a estimativa de pose permanece relativamente robusta.

Metodologia: Quantização Guiada por Fisher (FGQ)

Para abordar o problema de sensibilidade multi-tarefa, os autores propõem a Quantização Guiada por Fisher (FGQ), um framework de PTQ consciente de tarefas. O método opera em três granularidades: tarefas, blocos de transformer e canais ocultos.

1. Medição de Sensibilidade via Informação de Fisher

A FGQ quantifica a sensibilidade de cada componente aos erros de quantização usando a matriz de informação de Fisher diagonal.

• Base Teórica: O método deriva pontuações de sensibilidade a partir de uma expansão de Taylor de segunda ordem da perda da tarefa. Assumindo que o modelo está próximo de um ótimo local, a mudança esperada na perda é governada pelo termo Hessiano. Para evitar o custo computacional proibitivo de calcular a Hessiana completa, a FGQ utiliza a matriz de informação de Fisher como um substituto tratável, baseada na identidade de que a Hessiana esperada do log-verossimilhança negativo é igual à matriz de informação de Fisher sob condições de regularidade padrão.
• Aproximação Diagonal: Para garantir eficiência e escalabilidade, os autores aproximam a matriz de Fisher completa por sua forma diagonal. Isso reduz a complexidade de armazenamento de $O(C^2)$ para $O(C)$ (onde $C$ é a dimensão do canal) e trata perturbações de canal como localmente independentes.
• Pontuação Consciente de Tarefa: A pontuação de Fisher $F_k[l, c]$ mede a sensibilidade da tarefa $k$ aos erros quadráticos no canal $c$ do bloco $l$. Essas pontuações são computadas usando gradientes de primeira ordem de um pequeno conjunto de calibração, exigindo apenas uma passagem backward por tarefa.

2. Integração em Transformações Afins Aprendíveis

A FGQ incorpora essas pontuações de sensibilidade na calibração de Transformações Afins Aprendíveis, uma técnica usada para suprimir valores atípicos antes da quantização.

• Objetivo de Calibração Ponderado: A calibração padrão minimiza o erro de reconstrução entre as saídas de bloco de precisão completa e quantizada usando uma perda uniforme. A FGQ substitui isso por um objetivo ponderado por Fisher.
• Normalização e Agregação: Para evitar que tarefas com maiores magnitudes de gradiente bruto dominem a calibração, as pontuações de Fisher são normalizadas por tarefa e depois agregadas entre tarefas. Uma normalização por bloco garante que a escala da perda permaneça comparável entre diferentes camadas de transformer.
• Limitação Inferior (Flooring): Um pequeno valor de limite inferior é aplicado aos pesos para garantir que canais com baixas pontuações de Fisher não sejam completamente ignorados, preservando a integridade do modelo completo.

A função objetivo resultante aloca mais capacidade de calibração para canais e blocos que são críticos para tarefas específicas, preservando assim as características mais sensíveis ao ruído de quantização.

Contribuições Principais

1. Identificação de Sensibilidade Multi-Tarefa: O artigo identifica que modelos de reconstrução 3D feed-forward exibem sensibilidades distintas à quantização entre tarefas, blocos e canais. O tratamento uniforme desses componentes leva a uma degradação de desempenho desproporcional em tarefas sensíveis, como a reconstrução de mapa de pontos.
2. Quantização Guiada por Fisher (FGQ): Os autores propõem um novo framework de PTQ que utiliza a matriz de informação de Fisher diagonal para quantificar a sensibilidade por tarefa, por bloco e por canal. Essas sensibilidades são integradas ao objetivo de Transformação Afim Aprendível para guiar a calibração em direção aos componentes mais críticos.
3. Validação Empírica: Experimentos extensivos demonstram que a FGQ supera consistentemente as linhas de base de PTQ state-of-the-art (incluindo QuantVGGT, FlatQuant e QuaRot) sob quantização de 4 bits, com as melhorias mais significativas observadas em tarefas de reconstrução geométrica densa.

Resultados Experimentais

Os autores avaliaram a FGQ no modelo VGGT-1.2B em três tarefas principais: estimativa de pose da câmera, reconstrução de mapa de pontos e estimativa de profundidade.

• Estimativa de Pose da Câmera: Nos benchmarks Co3Dv2 e Re10K, a FGQ alcançou resultados competitivos ou superiores em comparação com as linhas de base sob as configurações W4A8 e W4A4. As melhorias foram modestas, sugerindo que a estimativa de pose global é menos sensível à seleção específica de canais do que as saídas densas.
• Reconstrução de Mapa de Pontos: Esta tarefa mostrou a melhoria mais dramática. Sob quantização W4A4, a FGQ reduziu significativamente as métricas de erro em comparação com o QuantVGGT. Por exemplo, no conjunto de dados 7-Scenes, a FGQ reduziu o erro médio de completude de 0,085 (QuantVGGT) para 0,059 e melhorou a precisão média. Resultados qualitativos mostraram que a FGQ preservou detalhes estruturais mais finos, enquanto os métodos de base produziram reconstruções desfocadas.
• Estimativa de Profundidade: No KITTI (monocular e vídeo), a FGQ superou consistentemente as linhas de base nas configurações W4A8 e W4A4, alcançando os melhores resultados nas métricas AbsRel, SqRel e RMSE.
• Eficiência: A análise de tempo de execução em uma GPU NVIDIA A100 mostrou que, embora a transformação afim aprendível introduza uma pequena sobrecarga em comparação com a quantização simples de arredondamento para o mais próximo, a FGQ ainda alcança um aceleramento de 1,81× sobre a inferência de precisão completa na configuração W4A4, mantendo a maioria dos benefícios de eficiência da quantização de baixo bit.

Significado e Alegações

O artigo afirma que o significado principal da FGQ reside em sua capacidade de resolver a limitação "tamanho único" dos métodos atuais de PTQ para modelos de visão 3D multi-tarefa. Ao aproveitar a informação de Fisher para identificar e proteger canais críticos para tarefas, a FGQ permite a implantação de modelos de reconstrução 3D com bilhões de parâmetros em dispositivos com recursos limitados, sem sacrificar a fidelidade das saídas geométricas sensíveis.

Os autores enfatizam que sua abordagem não requer alterações arquitetônicas ou retreinamento do zero, tornando-a uma solução prática para modelos 3D feed-forward existentes. Os resultados sugerem que futuras estratégias de quantização para modelos multi-modais ou multi-tarefa devem ir além da calibração uniforme para levar em conta a sensibilidade heterogênea de diferentes cabeças de saída.