RegimeVGGT: Layer-Wise Spatially Preserving Redundancy Removal for Visual Geometry Grounded Transformer

Resumo Técnico do RegimeVGGT

Definição do Problema
O Visual Geometry Grounded Transformer (VGGT) representa um avanço significativo na recuperação de estruturas de cena 3D densas a partir de imagens multi-visão em uma única passagem direta (forward pass). No entanto, sua arquitetura depende de um agregador de 24 camadas com atenção cruzada entre quadros (cross-frame) alternadamente por quadro e global, incorrendo em um custo computacional de $O(S^2P^2)$, onde $S$ é o número de quadros e $P$ é o número de patches por quadro. Esse escalonamento quadrático faz com que o modelo original (vanilla) fique sem memória em sequências superiores a ~300 quadros (mesmo em GPUs de alto desempenho como a NVIDIA H800) e torna a variante otimizada para memória (VGGT*) proibitivamente lenta para sequências longas. Os aceleradores existentes que não requerem treinamento tentam mitigar isso reduzindo uniformemente a computação ao longo de um único eixo (por exemplo, mesclando tokens em todas as camadas ou realizando a subamostragem de pares Chave/Valor [K/V] em uma grade espacial). Essas abordagens falham ao não considerar a heterogeneidade das camadas do VGGT, perdendo oportunidades para uma compressão mais eficiente e direcionada.

Metodologia
O RegimeVGGT aborda essas limitações através de um framework que não requer treinamento, aplicando uma compressão em forma de U e por camadas ao longo de dois eixos ortogonais: o eixo da contagem de tokens e o eixo da densidade de Chave/Valor (K/V). A metodologia baseia-se em análises espectrais, de sondagem (probing) e causais que revelam que as 24 camadas de atenção global do VGGT se dividem em três regimes funcionalmente distintos:

1. Camadas Rasas (L1–L10): Carecem de estrutura entre visões e exibem baixo rank efetivo.
2. Camadas Intermediárias (L11–L18): Impulsionam o alinhamento entre visões e a reconstrução de nuvem de pontos, caracterizadas por alto rank efetivo e uma concentração de tokens de geometria e bordas salientes.
3. Camções Profundas (L19–L24): São geometricamente inertes para reconstrução densa, mas essenciais para estimativa de pose; exibem redundância de rank próximo a 1, mas exigem um caminho de preservação entre quadros para os tokens de câmera.

Com base nessa análise, o RegimeVGGT emprega dois operadores compostos dentro de cada bloco global:

1. Mesclagem em Banda Guiada por Saliência (Eixo da Contagem de Tokens):

   • Estratégia: Aplica uma razão de mesclagem ($\rho$) em forma de U que espelha o perfil de rank: mesclagem agressiva nas camadas rasas ($\rho=0,99$) e profundas ($\rho=0,99$), e mesclagem conservadora na banda intermediária ($\rho=0,50$).
   • Proteção: Para evitar a perda de informações críticas de fronteira 3D, o método protege um subconjunto de tokens identificados por uma pontuação de saliência de atenção de classe [CLS] do DINOv2 congelado ($\Psi$). Isso aproxima a localização de tokens de geometria e bordas salientes sem exigir profundidade de verdade fundamental (ground-truth) ou treinamento adicional.
   • Otimização: Utiliza cache alinhado por banda para amortizar custos de correspondência e atenção consciente de tamanho para ponderar corretamente os tokens mesclados.

2. Subamostragem de K/V Seletivamente Protegida (Eixo da Densidade de K/V):

   • Estratégia: Comprime o conjunto K/V usando uma taxa em forma de U ($\sigma$), mantendo o K/V mais denso na banda intermediária e o mais esparso nas extremidades.
   • Grade com Deslocamento de Fase: Para evitar pontos cegos espaciais sistemáticos, a subgrade para retenção de K/V é deslocada em fase com base no índice do quadro. À medida que a extensão da sequência cresce, a união das posições retidas aproxima-se da cobertura espacial total.
   • Preservação do Caminho Crítico: O método preserva estritamente o caminho de atenção entre quadros essencial para a estimação de pose. Isso inclui:
     • Manter os tokens de Câmera e Registro com densidade total.
     • Manter um "âncora" de densidade total no Quadro 0 para fornecer uma referência de mundo estável para o alinhamento.
     • Proteger os patches de geometria e bordas salientes (identificados por $\Psi$) da subamostragem.

Principais Contribuições

• Descoberta de Regimes: O artigo estabelece que a redundância do VGGT não é uniforme, mas segue um regime de três bandas (rasa, intermediária, profunda) com papéis funcionais e propriedades espectrais distintos.
• Compressão de Eixo Duplo: Introduz um framework que comprime simultaneamente ao longo dos eixos de contagem de tokens e de densidade de K/V, aproveitando a heterogeneidade específica de cada regime.
• Design Consciente de Pose: Ao contrário de métodos anteriores que podem degradar a estimativa de pose, o RegimeVGGT preserva explicitamente o caminho de atenção entre quadros entre os tokens de câmera/registro e os patches, garantindo estabilidade em sequências longas.
• Eficiência Sem Treinamento: Todo o pipeline opera sem ajuste fino (fine-tuning), baseando-se em modelos pré-treinados congelados (DINOv2) para estimativa de saliência e cronogramas de compressão determinísticos.

Resultados Experimentais
Avaliado em conjuntos de dados incluindo 7 Scenes, NRGBD, ScanNet-50, Tanks & Temples e DTU, o RegimeVGGT demonstra ganhos significativos de eficiência sem comprometer a qualidade da reconstrução:

• Aceleração: Alcança um ganho de velocidade de 6,7× end-to-end sobre o VGGT* no ScanNet-1000 (1000 quadros) enquanto mantém a qualidade de reconstrução equivalente (Distância de Chamfer).
• Escalabilidade: Processa com sucesso sequências de 1000 quadros onde o VGGT original fica sem memória e o VGGT* é significativamente mais lento.
• Estimativa de Pose: Mantém alta precisão na estimação de pose de câmera (AUC@30, ATE, ARE) em sequências curtas e longas, superando ou igualando aceleradores concorrentes que não requerem treinamento (FastVGGT, S-VGGT) e a linha de base VGGT*.
• Eficiência de Memória: Reduz o uso de pico de memória da GPU em comparação com bases que dependem de buffers auxiliares ou índices de mesclagem, permitindo inferência em sequências longas dentro das restrições de 80GB de VRAM.

Significância
O artigo afirma que a significância do RegimeVGGT reside na demonstração de que a atenção global em transformadores de visão 3D é "heterogeneamente redundante". Ao ir além de estratégias de compressão uniforme e, em vez disso, adaptar o cronograma de compressão para os regimes funcionais específicos da rede (preservando o caminho de pose enquanto comprime agressivamente as camadas geometricamente redundantes), o método alcança escalabilidade substancial. Isso permite que o VGGT seja aplicado a cenários de sequências longas e do mundo real (como direção autônoma ou mapeamento de grande escala) que eram anteriormente inviáveis devido a restrições de memória e computação, tudo isso sem a necessidade de retreinamento ou ajuste fino.