Geometric Foundation Model Distillation for Efficient Lunar 3D Reconstruction

Technische Samenvatting: Geometrische Fundatiemodel-distillatie voor Efficiënte Lunaire 3D-reconstructie

Probleemstelling
Grootschalige 3D-fundatiemodellen (bijv. MASt3R, VGGT) hebben state-of-the-art prestaties bereikt in multi-view stereo reconstructie door gebruik te maken van massieve transformer-backbones en pre-training. Deze modellen bevatten echter doorgaans honderden miljoenen tot meer dan een miljard parameters, wat aanzienlijke geheugen- en rekenbronnen vereist die niet beschikbaar zijn in omgevingen met beperkte middelen. Deze beperking is bijzonder kritiek in de planetaire exploratie, zoals bij maanmissies, waar onboard computerunits te maken hebben met strikte beperkingen op het gebied van geheugen, vermogen en latentie. Bovendien presenteren maanomgevingen unieke uitdagingen—oppervlakken met lage textuur, extreme verlichting en beperkte parallax—die standaard terrestrische modellen moeite hebben te adresseren zonder domeinadaptatie. Het onderzoek onderzoekt of de dichte geometrische capaciteiten van een groot, domein-geadapteerd fundatiemodel effectief kunnen worden overgedragen naar lichtgewicht student-netwerken die geschikt zijn voor onboard implementatie.

Methodologie
De auteurs stellen een kennisdistillatie-framework voor dat een 688,6M-parameter MASt3R-teacher model (fijn afgesteld op lunaire beelden) comprimeert naar een familie van lichtgewicht student-netwerken. De aanpak omvat drie kerncomponenten:

1. Student Architectuurontwerp:

   • Encoders: De studie evalueert verschillende encoder-backbones door Convolutional Neural Networks (MobileNetV3-Large) te vergelijken met Vision Transformers (ViT-Small en ViT-Tiny).
   • Decoders: De auteurs experimenteren met variërende decoder-breedtes en -dieptes. Ze testen een "gereduceerdeerde" decoder-configuratie (embedding dimensie 512, diepte 6) en een agressiever gecomprimeerde variant (256, 4), waarbij de voorspellingskoppen (pointmap, descriptors, confidence) identiek blijven aan die van de teacher.
   • Trainingsstrategie: Experimenten verkennen het bevriezen versus het fijn afstellen van de encoder en het gebruik van feature-level versus output-level supervisie.

2. Gestructureerde SVD-gebaseerde Initialisatie:
   Om de dimensionale mismatch tussen de teacher- en student-gewichten aan te pakken, stellen de auteurs een gestructureerde initialisatiestrategie voor met behulp van getrunceerde Singular Value Decomposition (SVD).

   • De gewichtsmatrices van de teacher worden gedecomposeerd via SVD.
   • De gewichten van de student worden geïnitialiseerd door de top $r$ singuliere componenten te behouden (waarbij $r$ de student-dimensie is), wat effectief de kennis van de teacher projecteert in de kleinere latente ruimte van de student.
   • Voor multi-layer decoders wordt een uniforme stride-mapping gebruikt om student-lagen uit te lijnen met overeenkomstige teacher-lagen, waardoor de hiërarchische structuur van cross-view correlaties behouden blijft.
   • Deze "warm start" verbetert de convergentiestabiliteit en de uiteindelijke prestaties aanzienlijk vergeleken met willekeurige initialisatie.

3. Distillatieverliezen:

   • Output-Level Supervisie: De student wordt getraind om de dichte geometrische voorspellingen van de teacher (3D point maps, confidence scores en lokale descriptors) te reproduceren met behulp van een geometrie-verlies ($L_{geo}$) dat confidence-bewuste 3D-regressie en contrastieve descriptor-matching combineert. De voorspellingen van de teacher dienen als pseudo-ground truth, waardoor camera-pose annotaties overbodig zijn.
   • Feature-Level Alignment: Om intern redeneren te sturen, brengt een feature-level verlies de intermediaire encoder-representaties in lijn. Een leerbare lineaire projectie brengt de student-features naar de feature-ruimte van de teacher, gevolgd door een margin-gefilterde cosine similarity loss die de optimalisatie richt op niet-uitgelijnde regio's.

Belangrijkste Resultaten
Experimenten werden uitgevoerd op de StereoLunar dataset, een benchmark van lunaire stereo paren met ground-truth 3D-informatie. De resultaten tonen aan:

• Compressie-efficiëntie: De best presterende student (S2), die een ViT-Small encoder en een standaard decoder gebruikt, reduceert de modelgrootte met 4,4× (154,9M parameters) terwijl de hoge reconstructiekwaliteit behouden blijft. Het bereikt een Chamfer-fout die slechts ~15% hoger is dan die van de teacher.
• Decoder Redundantie: Een student met een gereduceerde decoder (S3, 94,0M parameters, 7,3× kleiner dan de teacher) blijft competitief, wat suggereet dat een groot deel van de decoder-capaciteit in de teacher redundant is voor deze taak.
• Belang van de Encoder: Het vervangen van de transformer-encoder door een lichtgewicht CNN (MobileNet, S1) resulteert in duidelijke degradatie in hellingsartefacten en pose-estimatie, ondanks een vergelijkbaar aantal parameters als S2. Dit geeft aan dat transformer-gebaseerde self-attention cruciaal is voor cross-view geometrische redenering in dit domein.
• Superieur aan Sparse Supervisie: Distillatie met de pseudo-ground truth van de teacher presteert beter dan een baseline die direct getraind is met sparse ground-truth annotaties, waarbij de Chamfer-fout met ongeveer 18% wordt verminderd.
• Pose Estimatie: De gedistilleerde modellen bereiken een nauwkeurige camera-pose estimatie, waarbij de beste student (S2) een mediane Virtual Correspondence Reprojection Error (VCRE) van 3,56% van de beelddiagonaal bereikt.

Betekenis en Claims
Het artikel claimt praktische richtlijnen te bieden voor de implementatie van 3D-reconstructiemodellen in omgevingen met beperkte middelen, specif으로 gericht op planetaire exploratie. De belangrijkste bijdragen zijn:

1. Een Algemeen Distillatie-framework: Het aantonen dat een 688M-parameter teacher kan worden gecomprimeerd naar compacte netwerken zonder pose-annotaties te vereisen, door gebruik te maken van teacher-voorspellingen als dichte supervisie.
2. Architecturale Inzichten: Het kwantificeren van de trade-offs tussen encoder-typen (ViT vs. CNN) en decoder-capaciteit, waarbij wordt vastgesteld dat het behoud van de encoder-capaciteit belangrijker is dan het behouden van een grote decoder voor lunaire stereo-reconstructie.
3. Innovatie in Initialisatie: Het introduceren van een gestructureerde SVD-gebaseerde initialisatie die dimensionale mismatches overbrugt, wat de optimalisatiestabiliteit en de uiteindelijke prestaties verbetert.
4. Ablatie van Trainingsstrategie: Het isoleren van de impact van feature-level distillatie en SVD warm-starts, wat aantoont dat deze essentieel zijn voor hoogwaardige compressie.

De auteurs concluderen dat hun "recept"—het distilleren van een domein-geadapteerd 3D-teacher model naar efficiënte studenten—een levensvatbaar pad biedt voor de implementatie van geavanceerde geometrische redenering op maanlanders en rovers, waarmee de kloof tussen hoog-capacitieve onderzoeksmodellen en praktische, hardware-beperkte toepassingen wordt overbrugd.