Riepilogo Tecnico: HorizonStream

Enunciato del Problema

La ricostruzione 3D online da video in streaming richiede la stima della posa della camera e della geometria della scena sotto vincoli causali rigorosi e di memoria limitata. Mentre i metodi classici si basano su ottimizzazione iterativa con throughput limitato, e i recenti metodi feed-forward offline raggiungono alta accuratezza accedendo a fotogrammi futuri, i metodi di streaming strettamente causali faticano con sequenze lunghe.

Le architetture di streaming esistenti soffrono spesso di deriva, jitter o collasso all'aumentare della lunghezza della sequenza. Gli autori identificano la causa radice come un disallineamento fondamentale tra la natura della geometria in streaming e le attuali progettazioni architetturali:

• Eterogeneità Temporale: La geometria in streaming contiene prove con durate di vita drasticamente diverse. Le corrispondenze 2D-3D locali sono di breve durata e diventano rapidamente non valide, mentre la scala globale e le strutture della scena sono persistenti e devono rimanere affidabili su orizzonti temporali lunghi.
• Modelli di Influenza Patologici: I metodi attuali impongono regole di propagazione uniformi su tutte le prove.
  • Le finestre scorrevoli impongono tagli netti, scartando prematuramente prove utili del passato.
  • La ricorrenza non controllata porta a kernel a coda pesante con accumulo di errore illimitato.
  • L'attenzione softmax causale degenera in "pozzi di attenzione" (attention sinks), focalizzandosi su token iniziali irrilevanti, mentre i meccanismi di aggiornamento della cache KV creano discontinuità.
  • Questi kernel patologici causano saturazione della cache e grave deriva geometrica all'aumentare delle sequenze.

Metodologia: HorizonStream

Gli autori propongono HorizonStream, un Transformer a lungo orizzonte che fattorizza esplicitamente il kernel di influenza delle prove geometriche per affrontare l'eterogeneità temporale della geometria in streaming. Il framework elabora causalmente i più recenti $W$ fotogrammi mantenendo uno stato geometrico $O(1)$ per la struttura e la scala tra le finestre.

1. Kernel di Influenza delle Prove Geometriche

Il processo di ricostruzione è formalizzato come aggregazione di diverse prove geometriche tramite un kernel spazio-temporale $K(t, i)$, fattorizzato come:
$$K(t, i) = K_{spatial}(t, i) \cdot K_{time}(t, i)$$
Questa fattorizzazione mappa componenti computazionali specifici sui tre requisiti fondamentali della ricostruzione in streaming: selezionare corrispondenze locali affidabili, garantire una propagazione multi-scala temporale limitata e preservare la scala metrica/posa.

2. Attenzione Lineare Geometrica (Fattore Temporale a Lungo Raggio)

Per modellare $K_{time}$, gli autori introducono l'Attenzione Lineare Geometrica, che mantiene uno stato geometrico ricorrente limitato $S_t \in \mathbb{R}^{d \times d}$.

• Stima dello Stato Scontata: Lo stato viene aggiornato tramite un obiettivo scontato in cui l'influenza delle prove passate decade esponenzialmente. Ciò previene l'accumulo illimitato di informazioni obsolete.
• Ritenzione per Canale: Invece di un tasso di ritenzione scalare, il modello impara un vettore di ritenzione per canale $\gamma_t \in (0, 1)^d$.
  • I canali a basso-$\gamma$ revisionano rapidamente prove transitorie (es. corrispondenze locali).
  • I canali ad alto-$\gamma$ preservano prove di lunga durata (es. struttura della scena, scala metrica).
  • Ciò crea uno spettro continuo di durate di vita della memoria efficace ($\tau = -1/\log \bar{\gamma}$), permettendo una propagazione stabile tra le finestre senza reset periodici.

3. Attenzione Locale Geometrica (Fattore Spaziale a Breve Raggio)

Per modellare $K_{spatial}$, gli autori impiegano l'Attenzione Locale Geometrica all'interno della finestra locale ($W$ fotogrammi).

• Gating per Testa: A ogni testa di attenzione viene assegnata una porta di affidabilità per filtrare corrispondenze rumorose e sopprimere i pozzi di attenzione.
• RoPE Spazio-Temporale: Gli Embedding di Posizione Rotativi sono estesi a tre assi (tempo, altezza, larghezza) per codificare il layout relativo spazio-tempo 3D, garantendo che l'attenzione dipenda da offset geometrici relativi.

4. Token di Lettura Metrica (MRT)

Per soddisfare i vincoli di invarianza metrica, vengono introdotti i Token di Lettura Metrica. Questi token partecipano all'Attenzione Lineare Geometrica e leggono la scala metrica direttamente dai canali ad alta ritenzione dello stato ricorrente.

• Una testa di scala predice un fattore di scala globale $\hat{s}$ per ridimensionare traslazione e profondità.
• La fusione della posa relativa sui token di posa nella finestra locale stima una posa di consenso, evitando l'accumulo di errori dalla concatenazione sequenziale di fotogrammi chiave.

5. Architettura e Addestramento

• Backbone: Un ViT-L inizializzato da VGGT e DINOv2, che alterna blocchi di fotogrammi e blocchi globali. Gli strati di Attenzione Lineare Geometrica sono intercalati a profondità specifiche (4, 11, 17, 23).
• Addestramento: Il modello è addestrato su clip da 48 fotogrammi utilizzando una finestra causale. È supervisionato con perdite di posa, profondità e scala.
• Chiusura di Ciclo Opzionale: Un modulo recupera coppie di fotogrammi rivisitati per stimare correzioni geometriche locali, ottimizzando la traiettoria globale tramite ottimizzazione del grafo di posa.

Contributi Chiave

1. Formalizzazione della Ricostruzione in Streaming: Il documento unifica i fallimenti delle sequenze lunghe (deriva, jitter, collasso) come forme di kernel patologiche (tagli netti, discontinuità, pozzi di attenzione) e propone il kernel di influenza delle prove geometriche come quadro unificante.
2. Architettura a Decomposizione di Kernel Vincolata (HorizonStream):
   • Attenzione Lineare Geometrica: Fornisce una propagazione limitata e multi-scala temporale tra le finestre tramite ritenzione appresa per canale.
   • Attenzione Locale Geometrica: Abilita l'adattamento 3D consapevole del contenuto all'interno delle finestre utilizzando gating per testa e RoPE spazio-temporale.
   • Token di Lettura Metrica: Preserva la scala metrica e la posa rigida leggendo da sottospazi ad alta ritenzione.
3. Generalizzazione ed Efficienza: Addestrato solo su clip da 48 fotogrammi, HorizonStream generalizza stabilmente a sequenze che superano i 10.000 fotogrammi con memoria costante e complessità lineare nel tempo, superando i metodi di streaming esistenti.

Risultati Sperimentali

Sono stati condotti esperimenti estesi su più dataset (KITTI, VBR, Oxford Spires, ScanNet++, Waymo, ecc.), valutando sia la stima della traiettoria della camera (ATE) che la ricostruzione densa (CD, F1).

• Stabilità delle Sequenze Lunghe: Sul dataset VBR (sequenze fino a 18.846 fotogrammi), HorizonStream mantiene traiettorie stabili con un ATE medio di 25,30m (18,84m con chiusura di ciclo), superando significativamente altri metodi online (es. Lingbot-map a 27,53m, LongStream a 77,93m) che soffrono di grave jitter o collasso.
• Prestazioni su KITTI: Sulle sequenze KITTI (fino a 4.661 fotogrammi), HorizonStream raggiunge un ATE medio di 19,75m (16,44m con chiusura di ciclo), avvicinandosi o superando i metodi offline e i sistemi SLAM basati su ottimizzazione.
• Ricostruzione Densa: HorizonStream raggiunge la qualità di ricostruzione online all'avanguardia (CD più basso e F1 più alto) sui benchmark ETH3D, Oxford Spires, 7Scenes e TUM RGB-D.
• Memoria e Tempo: A differenza dei metodi concorrenti che mostrano una crescita della memoria super-lineare o richiedono reset periodici della cache, HorizonStream mantiene una memoria GPU di picco quasi costante e scala fluidamente fino a 10K fotogrammi.

Significato

Il documento afferma che HorizonStream risolve il disallineamento fondamentale nelle attuali architetture di ricostruzione 3D in streaming modellando esplicitamente l'eterogeneità temporale delle prove geometriche. Imparando uno spettro di ritenzione limitato e multi-scala temporale invece di affidarsi a finestre fisse o ricorrenza illimitata, il metodo raggiunge una ricostruzione stabile e metricamente coerente su sequenze ultra-lunghe senza la necessità di reset periodici dello stato o accesso a fotogrammi futuri. Ciò abilita una percezione 3D online robusta per robotica e guida autonoma in scenari a lungo orizzonte.