What VGGT Knows About Overlap: Probing Geometric Foundation Models for Co-Visibility

Technische Samenvatting: Wat VGGT weet over overlap: Het onderzoeken van de geometrische fundamentele modellen voor co-visibiliteit

Probleemstelling
Een fundamentele uitdaging in 3D-reconstructie en robotische lokalisatie is het bepalen van co-visibiliteit: het identificeren van welke paren afbeeldingen overlappende zichtbare oppervlakken delen. Deze taak is cruciaal voor het construeren van stabiele geometrische beperkingen in Structure-from-Motion (SfM) en Simultaneous Localization and Mapping (SLAM) pipelines. Huidige benaderingen presteren vaak aanzienlijk slechter in regimes met een lage dichtheid aan beelden (sparse-view) of scenario's met minimale overlap, wat leidt tot ambigue feature-matching, drift in pose-estimatie en stille reconstructiefouten. Hoewel recente benchmarks zoals Co-VisiON een prestatiekloof laten zien tussen huidige modellen en menselijke baselines in deze schaarse, ongebalanceerde scenario's, worstelen bestaande methoden (inclusief geleerde matchers en grote vision-language modellen) om niet-overlappende paren betrouwbaar te signaleren of gekalibreerde betrouwbaarheidsscores te bieden voor downstream filtering.

Methodologie
De auteurs stellen Co-VGGT voor, een methode die gebruikmaakt van de interne representaties van een bevroren Visual Geometry Grounded Transformer (VGGT) om co-visibiliteit direct uit RGB-inputs te voorspellen zonder de backbone aan te passen.

1. Onderzoek naar emergente structuur: Het werk onderzoekt eerst of VGGT, getraind zonder expliciete co-visibiliteit-supervisie, deze informatie impliciet codeert. De auteurs vinden dat de interne representaties van VGGT een hiërarchische structuur vertonen die analoog is aan Large Language Models (LLM's):

   • Vroege lagen bouwen 3D-bewuste scène-representaties op.
   • Late lagen fungeren als toegewijde co-visibiliteits-redeneerders.
   • Specifiek wordt Laag 17 (L17) geïdentificeerd als een "negatieve anker" die consistent niet-co-visibele paren routeert, wat dient als taak-gegrond bewijs van laag-specialisatie.

2. Co-VGGT Architectuur: Voortbouwend op deze ontdekking, introduceren de auteurs een lichtgewicht Layer-wise Mixture-of-Experts (MoE) head (ongeveer 7,5M parameters) die bovenop de bevroren VGGT is getraind.

   • Feature Extractie: Per-view embeddings worden geëxtraheerd uit elke laag van de bevroren VGGT met behulp van een summarizer (lineaire projectie + cross-attention met geleerde queries).
   • Paar-representatie: Voor elk beeldpaar $(i, j)$ wordt een symmetrische feature-vector geconstrueerd door de embeddings te concateneren, samen met hun absolute verschil en hun elementgewijze product: $[e_i, e_j, |e_i - e_j|, e_i \odot e_j]$.
   • Mixture-of-Experts: Elke transformer-laag fungeert als een "expert" MLP die een logit voorspelt. Een gating-netwerk weegt deze laag-specifieke voorspellingen adaptief op basis van het invoerpaar en aggregeert ze tot een uiteindelijke co-visibiliteitskans.

3. Evaluatieprotocollen: De methode wordt geëvalueerd in twee regimes:

   • Pairwise: Het voorspellen van co-visibiliteit voor individuele beeldparen.
   • Multiview: Het voorspellen van een volledige co-visibiliteitsgraaf voor een set van $N$ views gelijktijdig.
   • Een Zero-Shot baseline wordt ook gedefinieerd, waarbij cosine similarity wordt gebruikt op bevroren VGGT-features zonder een trainbare head.

Belangrijkste Resultaten
De methode werd geëvalueerd op de Co-VisiON benchmark over Gibson en HM3D omgevingen, waarbij de prestaties werden gemeten via Graph IoU* en Area Under the Curve (AUC).

• State-of-the-Art Prestaties: Co-VGGT presteert aanzienlijk beter dan voorgaand werk.
  • Pairwise: Behaalt 0,85 IoU* op Gibson en 0,84 op HM3D, waarmee het de vorige beste (Covis) met meer dan 25% verslaat (0,56 vs. 0,85 op Gibson). Het overtreft ook de prestaties van het prompten van grote VLMs zoals GPT-4o (0,58).
  • Multiview: Behaalt 0,74 IoU* op Gibson en 0,76 op HM3D, wat een verbetering is van bijna 10% ten opzichte van de SOTA. Opvallend genoeg overtreft het de gerapporteerde menselijke annotatie-baseline (0,72) in de Gibson multiview setting.
• Robuustheid bij Minimale Overlap: De methode vertoont superieure robuustheid in "harde" regimes waar de pairwise overlap $<10\%$ is. In de harde edge-level split behaalt Co-VGGT een Graph-IoU van 0,84, vergeleken met 0,34 voor GPT-4o.
• Kalibratie: In de pairwise setting is Co-VGGT goed gekalibreerd met een Expected Calibration Error (ECE) van 0,030. Dit maakt het mogelijk om voorspelde kansen direct te gebruiken als edge-gewichten in visibility graphs voor downstream SfM/SLAM zonder post-hoc correctie.
• Zero-Shot Vermogen: Zelfs zonder het trainen van de MoE head, behaalt de zero-shot variant concurrerende resultaten (0,50 IoU* op Gibson), wat bevestigt dat het co-visibiliteits signaal inherent aanwezig is in de bevroren VGGT-features.

Betekenis en Claims
Het artikel claimt dat geometrie-gegronde foundation modellen zoals VGGT rijke ruimtelijke priors coderen die de directe trainingsdoelen overstijgen, en effectief leren te redeneren over co-visibiliteit als een emergente gedraging.

• Hiërarchische Specialisatie: Dit werk levert het eerste taak-gegronde bewijs van een hiërarchische structuur in een geometrie-gegrondeerd model, waarbij laatere lagen (specifiek L17) worden geïdentificeerd als beslissende redeneerders voor co-visibiliteit, vergelijkbaar met hoe late lagen in LLM's complexe redenering afhandelen.
• Efficiënte Distillatie: De auteurs demonstreren dat deze emergente signalen efficiënt kunnen worden gedestilleerd in een modulaire, lichtgewicht voorspeller (Co-VGGT) die uitsluitend op RGB-inputs opereert.
• Praktisch Nut: De goed gekalibreerde outputs maken de directe constructie van betrouwbare visibility graphs mogelijk, wat dient als een auditmiddel om inconsistente beperkingen te identificeren en vroege fouten in embodied autonomy pipelines te detecten.

De auteurs concluderen dat het overbruggen van de kloof in sparse-view co-visibiliteitsredenering essentieel is voor robuuste robotische perceptie en dat hun aanpak effectief de prestatiekloof tussen huidige modellen en menselijke baselines in deze uitdagende scenario's verkleint.