What VGGT Knows About Overlap: Probing Geometric Foundation Models for Co-Visibility

Sintesi Tecnica: Cosa sa VGGT sulla Co-visibilità: Sondare i Modelli Fondazionali Geometrici per la Co-visibilità

Definizione del Problema
Una sfida fondamentale nella ricostruzione 3D e nella localizzazione robotica è determinare la co-visibilità: identificare quali coppie di immagini condividono superfici visibili sovrapposte. Questo compito è critico per la costruzione di vincoli geometrici stabili nelle pipeline di Structure-from-Motion (SfM) e Simultaneous Localization and Mapping (SLAM). Gli approcci attuali spesso degradano significativamente nei regimi a vista scarsa (sparse-view) o in scenari con sovrapposizione minima, portando ad un matching di feature ambiguo, deriva della stima della posa e fallimenti silenziosi della ricostruzione. Mentre benchmark recenti come Co-VisiON evidenziano un divario di prestazioni tra i modelli attuali e le basi umane in questi scenari sparsi e sbilanciati, i metodi esistenti (inclusi i matcher apprendibili e i grandi modelli vision-language) faticano a segnalare in modo affidabile le coppie non sovrapposte o a fornire punteggi di confidenza calibrati per il filtraggio a valle.

Metodologia
Gli autori propongono Co-VGGT, un metodo che sfrutta le rappresentazioni interne di un Visual Geometry Grounded Transformer (VGGT) congelato per predire direttamente la co-visibilità a partire da input RGB senza modificare il backbone.

1. Sondare la Struttura Emergente: Il lavoro investiga innanzitutto se VGGT, addestrato senza una supervisione esplicita della co-visibilità, codifichi implicitamente questa informazione. Gli autori scoprono che le rappresentazioni interne di VGGT esibiscono una struttura gerarchica analoga ai Large Language Models (LLM):

   • Gli strati iniziali (early layers) costruiscono rappresentazioni della scena 3D-aware.
   • Gli strati tardivi (late layers) agiscono come ragionatori dedicati alla co-visibilità.
   • Nello specifico, lo Strato 17 (L17) è identificato come un "ancora negativa" che instrada costantemente le coppie non co-visibili, fornendo prove contestualizzate al compito della specializzazione degli strati.

2. Architettura Co-VGGT: Basandosi su questa scoperta, gli autori introducono una testa Layer-wise Mixture-of-Experts (MoE) leggera (circa 7,5 milioni di parametri) addestrata sopra il VGGT congelato.

   • Estrazione delle Feature: Le embedding per singola vista vengono estratte da ogni strato del VGGT congelato utilizzando un riassuntore (proiezione lineare + cross-attention con query apprese).
   • Rappresentazione della Coppia: Per ogni coppia di immagini $(i, j)$, viene costruita una vettorializzazione simmetrica concatenando le embedding, la loro differenza assoluta e il loro prodotto elemento per elemento: $[e_i, e_j, |e_i - e_j|, e_i \odot e_j]$.
   • Mixture-of-Experts: Ogni strato del transformer agisce come un "esperto" MLP che predice un logit. Una rete di gating pesa adattivamente queste predizioni specifiche dello strato in base alla coppia di input, aggregandole in una probabilità finale di co-visibilità.

3. Protocolli di Valutazione: Il metodo è valutato in due regimi:

   • Pairwise (a coppie): Predizione della co-visibilità per singole coppie di immagini.
   • Multiview (multivista): Predizione di un grafo completo di co-visibilità per un insieme di $N$ viste simultaneamente.
   • È definita anche una baseline Zero-Shot, che utilizza la similarità del coseno sulle feature del VGGT congelato senza alcuna testa addestrabile.

Risultati Chiave
Il metodo è stato valutato sul benchmark Co-VisiON attraverso gli ambienti Gibson e HM3D, misurando le prestazioni tramite Graph IoU* e Area Under the Curve (AUC).

• Prestazioni State-of-the-Art: Co-VGGT supera significativamente il lavoro precedente.
  • Pairwise: Raggiunge uno 0,85 IoU* su Gibson e uno 0,84 su HM3D, superando il precedente migliore (Covis) di oltre il 25% (0,56 vs 0,85 su Gibson). Supera anche le prestazioni di grandi VLM indotti dal prompting come GPT-4o (0,58).
  • Multiview: Raggiunge uno 0,74 IoU* su Gibson e uno 0,76 su HM3D, migliorando il SOTA di quasi il 10%. Notevolmente, supera la baseline di annotazione umana (0,72) nell'impostazione multivista di Gibson.
• Robustezza alla Sovrapposizione Minima: Il modello dimostra una robustezza superiore nei regimi "difficili" dove la sovrapposizione pairwise è $<10\%$. Sullo split hard edge-level, Co-VGGT raggiunge un Graph-IoU di 0,84, rispetto allo 0,34 di GPT-4o.
• Calibrazione: Nell'impostazione pairwise, Co-VGGT è ben calibrato con un Expected Calibration Error (ECE) di 0,030. Ciò consente di utilizzare le probabilità predette direttamente come pesi degli archi nei grafi di visibilità per l'SfM/SLAM a valle senza correzioni post-hoc.
• Capacità Zero-Shot: Anche senza addestrare la testa MoE, la variante zero-shot raggiunge risultati competitivi (0,50 IoU* su Gibson), confermando che il segnale di co-visibilità è intrinsecamente presente nelle feature del VGGT congelato.

Significato e Rivendicazioni
Il paper sostiene che i modelli fondazionali orientati alla geometria come VGGT codifichino ricchi priori spaziali che trascendono i loro obiettivi di addestramento immediati, imparando efficacementamente a ragionare sulla co-visibilità come un comportamento emergente.

• Specializzazione Gerarchica: Il lavoro fornisce la prima prova contestualizzata al compito di una struttura gerarchica in un modello orientato alla geometria, identificando gli strati tardivi (specificamente L17) come decisori per la co-visibilità, similmente a come gli strati tardivi nei LLM gestiscono il ragionamento complesso.
• Distillazione Efficiente: Gli autori dimostrano che questi segnali emergenti possono essere distillati efficientemente in un predittore modulare e leggero (Co-VGGT) che opera esclusivamente su input RGB.
• Utilità Pratica: Gli output ben calibrati consentono la costruzione diretta di grafi di visibilità affidabili, servendo come meccanismo di auditing per identificare vincoli inconsistenti e rilevare fallimenti precoci nelle pipeline di autonomia incarnata (embodied autonomy).

Gli autori concludono che colmare il divario nel ragionamento sulla co-visibilità a vista scarsa è essenziale per una percezione robotica robusta e che il loro approccio colma efficacemente il divario di prestazioni tra gli attuali modelli e le basi umane in questi scenari impegnativi.