Resumo Técnico: GHOST (Evicção de Tokens de Streaming Online Hierárquico por Geometria)

Declaração do Problema

A reconstrução 3D em streaming a partir de longas sequências de vídeo monoculares enfrenta um gargalo crítico de memória. Modelos baseados em Transformers, como o VGGT, alcançam resultados state-of-the-art (SOTA) ao atender conjuntamente a todos os quadros de entrada; no entanto, essa atenção conjunta escala quadraticamente com o comprimento da sequência, tornando-a inviável para vídeos longos. Abordagens de streaming como StreamVGGT e InfiniteVGGT tentam mitigar isso mantendo um cache Key-Value (KV) em crescimento e evictando tokens quando um orçamento fixo é excedido.

Estratégias de evicção existentes, particularmente aquelas que dependem de heurísticas de similaridade de chaves (por exemplo, descartar tokens com chaves menos similares à consulta atual), sofrem de uma limitação fundamental: as pontuações de atenção da consulta do quadro atual não refletem fielmente o valor geométrico de longo prazo dos tokens históricos. Como demonstrado no artigo, as pontuações de similaridade de chaves mostram correlação negligenciável com mudanças de pose da câmera ($\rho = -0.07$) e apenas correlação moderada com a variância do gradiente de profundidade ($\rho = +0.31$). Consequentemente, esses métodos falham em preservar tokens que são geometricamente distintos, mas visualmente similares ao quadro atual, levando à degradação da qualidade da reconstrução em sequências longas.

Metodologia

Os autores propõem o GHOST (Evicção de Tokens de Streaming Online Hierárquico por Geometria), um framework sem treinamento projetado para gerenciar caches KV para reconstrução 3D em streaming. O GHOST aproveita as próprias saídas de geometria 3D do modelo (profundidade, mapas de pontos e poses de câmera) para determinar a importância dos tokens, em vez de depender exclusivamente de padrões de atenção.

1. Pontuação de Importância Hierárquica de Dois Níveis

O GHOST decompõe a importância dos tokens em dois níveis mutuamente reforçadores, atualizados incrementalmente online sem passagens forward extras:

• Importância no Nível do Quadro ($s_{frame}$): Determina o valor geométrico de uma visão inteira. Integra três sinais:
  • Mudança de Pose da Câmera: Penaliza a proximidade translacional e a similaridade rotacional para garantir que quadros com mudanças significativas de visão sejam retidos.
  • Variância do Gradiente de Profundidade: Prioriza quadros com detalhes estruturais ricos (bordas, limites) sobre superfícies uniformes.
  • Recência Temporal: Atribui peso maior a quadros recentes para manter sobreposição contextual, enquanto ainda preserva quadros mais antigos com visões únicas.
• Importância no Nível do Token ($s_{token}$): Identifica patches específicos informativos dentro de um quadro. Agrega:
  • Salência Visual: Medida via magnitude do gradiente espacial dos mapas de características para ancorar a correspondência geométrica.
  • Confiança de Profundidade: A certeza epistêmica do modelo em relação às estimativas de profundidade.
  • Confiança de Pontos: A certeza do modelo em relação às estimativas de mapas de pontos 3D.

A pontuação final por patch $\phi(t, p)$ é uma soma ponderada das pontuações normalizadas no nível do quadro e no nível do token.

2. Mecanismo de Privilégio de Tokens Especiais

A pontuação de importância padrão pode classificar tokens especiais (tokens de câmera $c_t$ e tokens de registro $\{r^i_t\}$) mais baixos do que tokens de patches informativos devido à sua falta de salência visual. O GHOST introduz um impulso determinístico para esses tokens. Ao adicionar um deslocamento fixo ($\Delta_{boost}$) e um desempate baseado em classificação, o mecanismo garante que tokens que codificam a geometria global da cena e priores estruturais nunca sejam evictos, prevenindo a corrupção da estimativa de pose e da globalização da cena.

3. Alocação de Orçamento por Camada Guiada por Similaridade Cosseno

Reconhecendo que as camadas do transformer variam em sua "força de transformação", o GHOST evita a distribuição uniforme de orçamento.

• Perfilamento Offline: O sistema computa a similaridade cosseno média ($\bar{\rho}_\ell$) entre a entrada e a saída de cada camada através de sequências representativas.
• Alocação: Camadas com alta similaridade (transformações quase identidade) recebem orçamentos menores, enquanto camadas com baixa similaridade (transformações fortes) recebem orçamentos maiores. Isso concentra o orçamento de tokens onde é mais necessário para a preservação da representação.

Contribuições Principais

1. Pontuação Consciente de Geometria: Um esquema de pontuação novo, sem treinamento, que utiliza as próprias saídas 3D do modelo (profundidade, pontos, pose) para identificar tokens geometricamente valiosos, abordando a desconexão entre pontuações de atenção e estrutura 3D.
2. Proteção de Tokens Especiais: Um mecanismo determinístico que garante a retenção de tokens de câmera e registro, salvaguardando os codificamentos de pose global e estrutura contra evicção.
3. Orçamento Adaptativo por Camada: Uma estratégia de perfilamento offline que aloca orçamentos de cache KV com base na força de transformação por camada, otimizando o trade-off entre uso de memória e fidelidade de reconstrução.
4. Avaliação Abrangente: Experimentos extensivos demonstrando que o GHOST supera as bases SOTA em múltiplos benchmarks e comprimentos de entrada, enquanto reduz significativamente a pegada de memória.

Resultados Experimentais

Os autores avaliaram o GHOST em quatro benchmarks: Bonn, 7-Scenes, NRGBD e Long3D, através de vários comprimentos de entrada (até 9.545 quadros).

• Desempenho: O GHOST consistentemente alcança o melhor desempenho em quase todas as métricas (Precisão, Completude, Consistência de Normal e Profundidade Abs Rel) comparado a bases como VGGT, StreamVGGT, CUT3R, Point3R, TTT3R e InfiniteVGGT.
  • Em 7-Scenes (300 quadros), o GHOST reduziu o erro médio de precisão em 42,5% comparado ao InfiniteVGGT.
  • Em Long3D (até 9.545 quadros), o GHOST mostrou ganhos significativos, com melhorias de precisão escalando com o comprimento da sequência (por exemplo, 33,5% de melhoria na cena Library).
• Eficiência:
  • Redução de Memória: O GHOST corta o tamanho do cache KV pela metade (por exemplo, 3,51 GB vs. 6,94 GB em um orçamento de 600k) enquanto mantém precisão competitiva.
  • Velocidade de Inferência: O método entrega até 1,75× inferência mais rápida comparado a métodos state-of-the-art.
• Estudos de Ablação:
  • Remover o impulso de token especial degradou a precisão e a consistência de normal, confirmando a natureza crítica da proteção de tokens estruturais globais.
  • A alocação de orçamento guiada por similaridade cosseno superou a alocação uniforme e outras estratégias de perfilamento (informação de Fisher, magnitude de gradiente).
  • O sistema demonstrou robustez a perturbações nos pesos de importância.

Significado

O artigo afirma que o GHOST aborda uma limitação fundamental na reconstrução 3D em streaming atual: a incapacidade de heurísticas baseadas em atenção de distinguir entre tokens historicamente redundantes e aqueles que são geometricamente valiosos. Ao deslocar o critério de evicção de padrões de atenção para sinais de geometria 3D, o GHOST fornece uma abordagem mais principiante para o gerenciamento de tokens. O framework permite reconstrução 3D de alta qualidade e de longa sequência com sobrecarga de memória significativamente reduzida e velocidade de inferência aprimorada, tornando-o uma solução viável para aplicações do mundo real que exigem processamento contínuo e ilimitado de vídeo. Os autores enfatizam que essa direção — explorar saídas do modelo para compressão de cache KV em tarefas 3D — não foi explorada em trabalhos anteriores.