Geometric Foundation Model Distillation for Efficient Lunar 3D Reconstruction

Sintesi Tecnica: Distillazione di un Modello Fondativo Geometrico per la Ricostruzione 3D Efficiente della Luna

Problema
I modelli fondativi 3D su larga scala (ad esempio, MASt3R, VGGT) hanno raggiunto prestazioni allo stato dell'arte nella ricostruzione stereo multi-vista sfruttando massicce architetture transformer e pre-addestramento. Tuttavia, questi modelli tipicamente contengono centinaia di milioni o oltre un miliardo di parametri, richiedendo risorse di memoria e computazionali sostanziali che non sono disponibili in ambienti con vincoli di risorse. Questa limitazione è particolarmente critica nelle esplorazioni planetarie, come le missioni lunari, dove le unità di calcolo di bordo devono affrontare severi vincoli su memoria, potenza e latenza. Inoltre, gli ambienti lunari presentano sfide uniche — superfici a bassa texture, illuminazione estrema e parallasse limitata — che i modelli terrestili standard faticano ad affrontare senza adattamento al dominio. Il documento investiga se le capacità geometriche dense di un modello fondativo di grandi dimensioni e adattato al dominio possano essere efficacemente trasferite a reti student essenziali e leggere, adatte per l'impiego di bordo.

Metodologia
Gli autori propongono un framework di distillazione della conoscenza che comprime un modello teacher MASt3R da 688,6 milioni di parametri (fine-tuned su immagini lunari) in una famiglia di reti student leggere. L'approccio prevede tre componenti principali:

1. Design dell'Architettura Student:

   • Encoder: Lo studio valuta diversi backbone di encoder, confrontando reti convoluzionali (MobileNetV3-Large) con Vision Transformers (ViT-Small e ViT-Tiny).
   • Decoder: Gli autori sperimentano con diverse ampiezze e profondità dei decoder. Testano una configurazione di decoder "ridotta" (dimensione di embedding 512, profondità 6) e una variante più aggressivamente compressa (256, 4), mantenendo identiche le teste di predizione (pointmap, descrittori, confidenza) rispetto al teacher.
   • Strategia di Addestramento: Gli esperimenti esplorano il congelamento rispetto al fine-tuning dell'encoder e l'uso della supervisione a livello di feature rispetto a quella a livello di output.

2. Inizializzazione Strutturata Basata su SVD:
   Per affrontare il disallineamento dimensionale tra i pesi del teacher e dello student, gli autori propongono una strategia di inizializzazione strutturata utilizzando la decomposizione a valori singolari (SVD) troncata.

   • Le matrici dei pesi del teacher vengono decomposte tramite SVD.
   • I pesi dello student vengono inizializzati mantenendo i primi $r$ componenti singolari (dove $r$ è la dimensione dello student), proiettando efficacemente la conoscenza del teacher nel più piccolo spazio latente dello student.
   • Per i decoder multi-strato, viene utilizzata una mappatura a stride uniforme per allineare gli strati dello student con i corrispondenti strati del teacher, preservando la struttura gerarchica delle correlazioni cross-view.
   • Questo "warm start" migliora significativamente la stabilità della convergenza e le prestazioni finali rispetto all'inizializzazione casuale.

3. Loss di Distillazione:

   • Supervisione a Livello di Output: Lo student viene addestrato per riprodurre le predizioni geometriche dense del teacher (mappe di punti 3D, punteggi di confidenza e descrittori locali) utilizzando una loss geometrica ($L_{geo}$) che combina la regressione consapevole della confidenza e il matching dei descrittori contrastivi. Le predizioni del teacher fungono da pseudo-ground truth, eliminando la necessità di annotazioni della posa della camera.
   • Allineamento a Livello di Feature: Per guidare il ragionamento interno, una loss a livello di feature allinea le rappresentazioni intermedie dell'encoder. Una proiezione lineare apprendibile mappa le feature dello student nello spazio delle feature del teacher, seguita da una loss di similarità del coseno con filtro di margine che si concentra sulle regioni disallineate.

Risultati Chiave
Gli esperimenti sono stati condotti sul dataset StereoLunar, un benchmark di coppie stereo lunari con informazioni 3D di ground-truth. I risultati dimostrano:

• Efficienza di Compressione: Il miglior student (S2), che utilizza un encoder ViT-Small e un decoder standard, riduce la dimensione del modello di 4,4× (154,9M di parametri) mantenendo un'alta qualità di ricostruzione. Raggiunge un errore Chamfer solo di circa il 15% superiore rispetto al teacher.
• Ridondanza del Decoder: Uno student con un decoder ridotto (S3, 94,0M di parametri, 7,3× più piccolo del teacher) rimane competitivo, suggerendo che gran parte della capacità del decoder nel teacher è ridondante per questo compito.
• Importanza dell'Encoder: Sostituire l'encoder transformer con un CNN leggero (MobileNet, S1) comporta un chiaro degrado negli artefatti di pendenza e nella stima della posa, nonostante abbia un numero di parametri simile a S2. Ciò indica che l'auto-attenzione basata su transformer è critica per il ragionamento geometrico cross-view in questo dominio.
• Superiorità rispetto alla Supervisione Sparsa: La distillazione utilizzando la pseudo-ground truth del teacher supera una baseline addestrata direttamente con annotazioni di ground-truth sparse, riducendo l'errore Chamfer di circa il 18%.
• Stima della Posa: I modelli distillati raggiungono una precisa stima della posa della camera, con il miglior student (S2) che raggiunge un errore mediano di riproiezione della corrispondenza virtuale (VCRE) del 3,56% della diagonale dell'immagine.

Significatività e Claim
Il documento sostiene di fornire linee guida pratiche per il dispiegamento di modelli di ricostruzione 3D in ambienti con risorse limitate, mirando specificamente all'esplorazione planetaria. I suoi principali contributi sono:

1. Un Framework di Distillazione Generale: Dimostrare che un teacher da 688M di parametri può essere compresso in reti compatte senza richiedere annotazioni di posa, utilizzando le predizioni del teacher come supervisione densa.
2. Intuizioni Architetturali: Quantificare i compromessi tra tipi di encoder (ViT vs. CNN) e capacità del decoder, stabilendo che preservare la capacità dell'encoder è più critico rispetto al mantenimento di un decoder grande per la ricostruzione stereo lunare.
3. Innovazione nell'Inizializzazione: Introdurre un'inizializzazione strutturata basata su SVD che colma i disallineamenti dimensionali, migliorando la stabilità dell'ottimizzazione e le prestazioni finali.
4. Ablazione della Strategia di Addestramento: Isolare l'impatto della distillazione a livello di feature e dei warm-start SVD, mostrando che sono essenziali per una compressione ad alta fedeltà.

Gli autori concludono che la loro "ricetta" — distillare un teacher 3D adattato al dominio in student efficienti — offre una via percorribile per il dispiegamento di avanzato ragionamento geometrico su lander e rover lunari, colmando il divario tra modelli di ricerca ad alta capacità e applicazioni pratiche con hardware limitato.