Look Up and Look Back: Hidden Attention and Latent Orientation in a Frozen Foundation Model for Panoramic SLAM

Technische Samenvatting: HALO-SLAM

Probleemstelling
Monoculaire panoramische Simultaneous Localization and Mapping (SLAM) biedt aanzienlijke voordelen door substantiële visuele overlap bij grote camerarotaties, wat helpt bij plaatsherkenning en loop closure. Bestaande systemen kampen echter met drie primaire uitdagingen:

1. Geometrische Distorsie: Equirectangulaire projectie (ERP) introduceert ruimtelijk variërende distorsie. Cameraneig (roll en pitch) verplaatst scènecontent naar regio's met verschillende bemonsteringspatronen, wat de lokale geometrie-voorspelling destabiliseert.
2. Drift en Consistentie: Lange monoculaire sequenties zijn kwetsbaar voor pose- en schaaldrift. Bestaande methoden vertrouwen vaak op handmatige of geleerde beschrijvers die moeite hebben met globale consistentie over lange perioden.
3. Beperkingen van Loop Closure: Op uiterlijk gebaseerde retrieval levert vaak redundante of perceptueel ambigue kandidaten op. Het verifiëren van elke kandidaat met dichte geometrie is computationeel duur, terwijl feed-forward reconstructiemodellen (zoals PanoVGGT) doorgaans geen persistente langetermijnstatus of beslissingsmechanismen voor loop closure bezitten.

Hoewel recente geometrische foundation-modellen (bijv. PanoVGGT) camerapozen en scènegeometrie kunnen voorspellen vanuit ongeposeerde afbeeldingen, vereist het aanpassen van deze modellen aan lange-sequentie SLAM het oplossen van oriëntatie-canonicalisering, conservatieve loop-verificatie en de globale uitlijning van onafhankelijk gereconstrueerde submaps.

Methodologie: HALO-SLAM
De auteurs stellen HALO-SLAM ("Look Up and Look Back") voor, een offline panoramisch SLAM-systeem dat een bevroren PanoVGGT-backbone hergebruikt. In plaats van het foundation-model te finetunen, extraheert het systeem nuttige interne signalen die verder gaan dan expliciete geometrische outputs. De pijplijn bestaat uit vier hoofdfasen:

1. Zwaartekracht-gestuurde Opstaande Canonicalisering ("Look Up"):

   • Concept: De auteurs hypothetiseren dat de tussenliggende tokens van PanoVGGT zwaartekracht-aanwijzingen (horizonten, grondvlakken, verticale structuren) bevatten die noodzakelijk zijn voor panoramische geometrie-inferentie.
   • Implementatie: Een lichtgewicht, trainbare "gravity head" wordt aan de bevroren backbone bevestigd. Deze verwerkt laag-34 patch-tokens om een genormaliseerde neerwaartse zwaartekrachtrichting in het camerakader te voorspellen.
   • Effect: Dit maakt IMU-vrije sferische opstaande canonicalisering mogelijk. Door het camerakader uit te lijnen met een canonieke neerwaartse as (gedrempeld door hoekafwijking), normaliseert het systeem de ERP-inputs, wat de input voor het foundation-model stabiliseert en de gevoeligheid voor roll en pitch vermindert.

2. Gecascadeerde Loop Validatie ("Look Back"):
   Om de computationele kosten en robuustheid in balans te houden, gebruikt het systeem een driestaps-cascade voor loop closure:

   • Fase 1: Event-Level Retrieval: Gebruikt DBoW2 om tijdelijk verre keyframe-paren te extraheren, gevolgd door rotatie-alleen RANSAC op ERP sferische bearings om paren te groeperen in "loop events".
   • Fase 2: Attention-Based Filtering: De behouden paren worden gezamenlijk verwerkt tot decoder laag 34 (zonder volledige geometrie-voorspelling). Een cross-view attention compatibiliteitsscore wordt berekend met behulp van tussenliggende tokens. Kandidaten met hoge wederzijdse attention scores ($\alpha_{match} \ge 0.95$) worden behouden. Dit fungeert als een conservatief filter om perceptuele ambiguïteit te verwijderen voordat dure geometrische verificatie plaatsvindt.
   • Fase 3: Dichte Geometrische Validatie: Overgebleven paren ondergaan symmetrische submap augmentatie. Elk keyframe wordt in het tegenovergestelde submap ingevoegd en gereconstrueerd in beide lokale gauges. Dit levert dichte, pixel-uitgelijnde 3D–3D correspondenties op. Een robuuste metriek, gewogen door de solide hoek (om rekening te houden met ERP-bemonsteringsdistorsie), valideert de inlier-ratio.

3. Globale Sim(3) Registratie en Optimalisatie:

   • Geaccepteerde revisies worden omgezet in robuuste relatieve Sim(3) constraints.
   • Het systeem construeert een globale pose graph waarbij nodes submaps vertegenwoordigen in een globale Sim(3) gauge.
   • Sequentiële en loop constraints worden gezamenlijk geoptimaliseerd met GTSAM met robuuste loss-functies om een globaal consistente traject en uitgelijnde lokale submaps te herstellen.

Belangrijkste Bijdragen

1. Eerste Long-Sequence Framework op Foundation Modellen: HALO-SLAM is het eerste robuuste panoramische SLAM-framework gebouwd op een feed-forward panoramisch geometrie foundation-model (PanoVGGT) voor lange-sequentie globale consistentie.
2. IMU-vrije Zwaartekracht Decodering: Het systeem introduceert een mechanisme om camera-frame zwaartekracht te decoderen uit bevroren panoramische geometrische representaties, wat ERP-normalisatie mogelijk maakt zonder backbone-adaptatie of IMU-sensoren.
3. Kostenbewuste Loop Pijplijn: De auteurs presenteren een nieuwe loop closure pijplijn die event-level retrieval, intermediate-token attention filtering, symmetrische dichte geometrische validatie en solid-angle-consistente Sim(3) registratie combineert.

Experimentele Resultaten
De methode werd geëvalueerd op 125 real-world monoculaire ERP-sequenties over vijf benchmarks (Holo360D, PanoVILD, PAIR360, 360-VIO, 360Loc).

• Succespercentage: HALO-SLAM behaalde een succespercentage van 100% (125/125) onder het gestelde criterium, waarmee het alle baselines overtrof.
• Nauwkeurigheid: Het behaalde de laagste Absolute Trajectory Error (ATE) op alle vijf de benchmarks.
  • Vergeleken met de beste ERP-native baseline (360DVO), verminderde HALO-SLAM de ATE met 30–88%.
  • Vergeleken met PanoVGGT-SLAM (een minimale adaptatie van het foundation-model), verminderde HALO-SLAM de ATE van 14,25 m naar 0,73 m op de subset waar PanoVGGT-SLAM slaagde, en slaagde het op alle sequenties waar PanoVGGT-SLAM faalde.
• Zwaartekracht Schatting: De zwaartekracht-readout bereikte een gemiddelde hoekfout van 2,55°, waarmee het dedicated zwaartekracht-schattingsbaselines (bijv. VectorUp, DPF-angle) overtrof en 86–90% van de prestaties van een oracle met ground-truth zwaartekracht herstelde.
• Ablatie-studies:
  • Het verwijderen van zwaartekracht-canonicalisering verhoogde de ATE met 24,6% overall en 57,2% op hoog-getilte sequenties.
  • Het verwijderen van de attention filter verhoogde de ATE met 90% (1,35 m naar 2,57 m) en verminderde de loop precisie van 98,6% naar 94,6%.
  • Symmetrische augmentatie verbeterde de ATE met 15,1% ten opzichte van eenzijdige augmentatie.
  • Solid-angle-consistente weging in RANSAC en Umeyama fitting was cruciaal voor optimale nauwkeurigheid.

Betekenis en Claims
Het artikel claimt dat HALO-SLAM aantoont dat bevroren foundation-modellen latente aanwijzingen bevatten (zwaartekrachtoriëntatie en cross-view attention) die voldoende zijn om een robuust, lange-sequentie SLAM-systeem te bouwen zonder de backbone te finetunen. Het systeem adresseert de specifieke faalmodi van panoramische SLAM:

• Lokale Instabiliteit: Opgelost door IMU-vrije zwaartekracht-canonicalisering.
• Globale Drift: Opgelost door een conservatieve, kostenbewuste loop closure pijplijn die valse positieven vroegtijdig filtert en geometrische consistentie dicht valideert.
• Schaal en Oriëntatie Ambiguïteit: Opgelost door Sim(3) optimalisatie met solid-angle-consistente constraints.

De auteurs positioneren HALO-SLAM als een stap richting het benutten van de geometrische priors van foundation-modellen voor robuuste, globaal consistente robotische perceptie, waarbij ze specifiek benadrukken dat "kijken omhoog" (decoderen van zwaartekracht) en "terugkijken" (attention-gebaseerde filtering) cruciale mechanismen zijn om feed-forward modellen aan te passen aan sequentiële taken.