Resumo Técnico: HorizonStream

Declaração do Problema

A reconstrução 3D online a partir de vídeo em streaming requer a estimativa de pose da câmera e geometria da cena sob restrições causais estritas e de memória limitada. Enquanto métodos clássicos dependem de otimização iterativa com throughput limitado, e métodos feed-forward offline recentes alcançam alta precisão ao acessar quadros futuros, métodos de streaming estritamente causais lutam com sequências longas.

Arquiteturas de streaming existentes frequentemente sofrem de deriva, tremor ou colapso à medida que o comprimento da sequência aumenta. Os autores identificam a causa raiz como uma incompatibilidade fundamental entre a natureza da geometria de streaming e os designs arquitetônicos atuais:

• Heterogeneidade Temporal: A geometria de streaming contém evidências com durações de vida drasticamente diferentes. Correspondências locais 2D-3D são de vida curta e tornam-se inválidas rapidamente, enquanto escala global e estruturas da cena são persistentes e devem permanecer confiáveis ao longo de horizontes longos.
• Padrões de Influência Patológicos: Métodos atuais impõem regras de propagação uniformes sobre todas as evidências.
  • Janelas deslizantes impõem cortes rígidos, descartando evidências passadas úteis prematuramente.
  • Recorrência sem portão leva a kernels de cauda pesada com acumulação de erro ilimitada.
  • Atenção softmax causal degenera em "sumidouros de atenção", focando em tokens iniciais irrelevantes, enquanto mecanismos de atualização de cache KV criam descontinuidades.
  • Esses kernels patológicos causam saturação de cache e deriva geométrica severa à medida que as sequências crescem.

Metodologia: HorizonStream

Os autores propõem o HorizonStream, um Transformer de longo horizonte que fatora explicitamente o kernel de influência de evidência geométrica para abordar a heterogeneidade temporal da geometria de streaming. O framework processa os $W$ quadros mais recentes de forma causal enquanto mantém um estado geométrico $O(1)$ para estrutura e escala entre janelas.

1. Kernel de Influência de Evidência Geométrica

O processo de reconstrução é formalizado como agregação de diversas evidências geométricas via um kernel espaço-temporal $K(t, i)$, fatorado como:
$$K(t, i) = K_{spatial}(t, i) \cdot K_{time}(t, i)$$
Essa fatorização mapeia componentes computacionais específicos para os três requisitos centrais da reconstrução em streaming: selecionar correspondências locais confiáveis, garantir propagação multi-escala de tempo limitada e preservar escala/pose métrica.

2. Atenção Linear Geométrica (Fator Temporal de Longo Alcance)

Para modelar $K_{time}$, os autores introduzem a Atenção Linear Geométrica, que mantém um estado geométrico recorrente limitado $S_t \in \mathbb{R}^{d \times d}$.

• Estimativa de Estado Descontada: O estado é atualizado via um objetivo descontado onde a influência de evidências passadas decai exponencialmente. Isso previne a acumulação ilimitada de informações obsoletas.
• Retenção por Canal: Em vez de uma taxa de retenção escalar, o modelo aprende um vetor de retenção por canal $\gamma_t \in (0, 1)^d$.
  • Canais de baixo-$\gamma$ revisam rapidamente evidências transitórias (ex.: correspondências locais).
  • Canais de alto-$\gamma$ preservam evidências de longa duração (ex.: estrutura da cena, escala métrica).
  • Isso cria um espectro contínuo de durações de vida efetivas de memória ($\tau = -1/\log \bar{\gamma}$), permitindo propagação estável entre janelas sem reinicializações periódicas.

3. Atenção Local Geométrica (Fator Espacial de Curto Alcance)

Para modelar $K_{spatial}$, os autores empregam Atenção Local Geométrica dentro da janela local ($W$ quadros).

• Portão por Cabeça: Cada cabeça de atenção recebe um portão de confiabilidade para filtrar correspondências ruidosas e suprimir sumidouros de atenção.
• RoPE Espaço-Temporal: As Embeddings de Posição Rotacionais são estendidas para três eixos (tempo, altura, largura) para codificar o layout relativo espaço-tempo 3D, garantindo que a atenção dependa de offsets geométricos relativos.

4. Tokens de Leitura Métrica (MRT)

Para satisfazer restrições de invariância métrica, são introduzidos Tokens de Leitura Métrica. Esses tokens participam da Atenção Linear Geométrica e leem a escala métrica diretamente dos canais de alta retenção do estado recorrente.

• Uma cabeça de escala prevê um fator de escala global $\hat{s}$ para reescalar translação e profundidade.
• Fusão de pose relativa sobre tokens de pose na janela local estima uma pose de consenso, evitando acumulação de erro a partir de encadeamento sequencial de quadros-chave.

5. Arquitetura e Treinamento

• Backbone: Um ViT-L inicializado a partir de VGGT e DINOv2, alternando blocos de quadro e blocos globais. Camadas de Atenção Linear Geométrica são intercaladas em profundidades específicas (4, 11, 17, 23).
• Treinamento: O modelo é treinado em clips de 48 quadros usando uma janela causal. É supervisionado com perdas de pose, profundidade e escala.
• Fechamento de Loop Opcional: Um módulo recupera pares de quadros revisitados para estimar correções geométricas locais, otimizando a trajetória global via otimização de grafo de pose.

Principais Contribuições

1. Formalização da Reconstrução em Streaming: O artigo unifica falhas de sequências longas (deriva, tremor, colapso) como formas de kernel patológicas (cortes rígidos, descontinuidades, sumidouros de atenção) e propõe o kernel de influência de evidência geométrica como um framework unificador.
2. Arquitetura de Decomposição de Kernel Constrained (HorizonStream):
   • Atenção Linear Geométrica: Fornece propagação limitada e multi-escala entre janelas via retenção aprendida por canal.
   • Atenção Local Geométrica: Habilita correspondência 3D consciente de conteúdo dentro de janelas usando portão por cabeça e RoPE Espaço-Temporal.
   • Tokens de Leitura Métrica: Preserva escala métrica e pose rígida lendo de subespaços de alta retenção.
3. Generalização e Eficiência: Treinado apenas em clips de 48 quadros, o HorizonStream generaliza de forma estável para sequências superiores a 10.000 quadros com memória constante e complexidade de tempo linear, superando métodos de streaming existentes.

Resultados Experimentais

Extensos experimentos foram conduzidos em múltiplos conjuntos de dados (KITTI, VBR, Oxford Spires, ScanNet++, Waymo, etc.), avaliando tanto a estimativa de trajetória da câmera (ATE) quanto a reconstrução densa (CD, F1).

• Estabilidade de Sequência Longa: No conjunto de dados VBR (sequências de até 18.846 quadros), o HorizonStream mantém trajetórias estáveis com um ATE médio de 25,30m (18,84m com fechamento de loop), superando significativamente outros métodos online (ex.: Lingbot-map em 27,53m, LongStream em 77,93m) que sofrem de tremor severo ou colapso.
• Desempenho no KITTI: Em sequências KITTI (até 4.661 quadros), o HorizonStream alcança um ATE médio de 19,75m (16,44m com fechamento de loop), aproximando-se ou superando métodos offline e sistemas SLAM baseados em otimização.
• Reconstrução Densa: O HorizonStream alcança qualidade de reconstrução online state-of-the-art (menor CD e maior F1) nos benchmarks ETH3D, Oxford Spires, 7Scenes e TUM RGB-D.
• Memória e Tempo: Diferentemente de métodos concorrentes que exibem crescimento de memória superlinear ou exigem reinicializações periódicas de cache, o HorizonStream mantém memória de pico de GPU quase constante e escala suavemente até 10K quadros.

Significado

O artigo afirma que o HorizonStream resolve a incompatibilidade fundamental nas atuais arquiteturas de reconstrução 3D em streaming ao modelar explicitamente a heterogeneidade temporal da evidência geométrica. Ao aprender um espectro de retenção limitado e multi-escala em vez de depender de janelas fixas ou recorrência ilimitada, o método alcança reconstrução estável e consistente com métrica sobre sequências ultra-longas sem a necessidade de reinicializações periódicas de estado ou acesso a quadros futuros. Isso habilita percepção 3D online robusta para robótica e direção autônoma em cenários de longo horizonte.