Geometric Foundation Model Distillation for Efficient Lunar 3D Reconstruction

Résumé Technique : Distillation de Modèles de Fondation Géométriques pour une Reconstruction 3D Lunaire Efficace

Énoncé du Problème
Les modèles de fondation 3D à grande échelle (par exemple, MASt3R, VGGT) ont atteint des performances de pointe en reconstruction stéréoscopique multi-vues en exploitant d'énormes architectures de type transformer et un pré-entraînement massif. Cependant, ces modèles contiennent généralement des centaines de millions à plus d'un milliard de paramètres, nécessitant des ressources de mémoire et de calcul substantielles qui ne sont pas disponibles dans les environnements aux ressources limitées. Cette limitation est particulièrement critique dans l'exploration planétaire, telle que les missions lunaires, où les unités de calcul embarquées font face à des contraintes strictes de mémoire, de puissance et de latence. De plus, les environnements lunaires présentent des défis uniques — surfaces à faible texture, éclairage extrême et parallaxe limitée — que les modèles terrestaux standards peinent à traiter sans adaptation au domaine. Cet article examine si les capacités géométriques denses d'un modèle de fondation de grande taille, adapté au domaine, peuvent être transférées efficacement vers des réseaux étudiants légers adaptés à un déploiement embarqué.

Méthodologie
Les auteurs proposent un cadre de distillation de connaissances qui compresse un modèle enseignant MASt3R de 688,6 millions de paramètres (affiné sur de l'imagerie lunaire) en une famille de réseaux étudiants légers. L'approche comprend trois composantes centrales :

1. Conception de l'Architecture de l'Étudiant :

   • Encodeurs : L'étude évalue différents backbones d'encodeurs, comparant des réseaux de neurones convolutifs (MobileNetV3-Large) aux Vision Transformers (ViT-Small et ViT-Tiny).
   • Décodeurs : Les auteurs expérimentent différentes largeurs et profondeurs de décodeur. Ils testent une configuration de décodeur « réduite » (dimension d'embedding 512, profondeur 6) et une variante plus agressivement compressée (256, 4), tout en gardant les têtes de prédiction (pointmap, descripteurs, confiance) identiques à celles de l'enseignant.
   • Stratégie d'Entraînement : Les expériences explorent le gel versus l'ajustement fin (fine-tuning) de l'encodeur ainsi que l'utilisation d'une supervision au niveau des caractéristiques (features) versus au niveau des sorties.

2. Initialisation Structurée Basée sur la SVD :
   Pour traiter l'écart de dimension entre les poids de l'enseignant et de l'étudiant, les auteurs proposent une stratégie d'initialisation structurée utilisant la décomposition en valeurs singulières (SVD) tronquée.

   • Les matrices de poids de l'enseignant sont décomposées via la SVD.
   • Les poids de l'étudiant sont initialisés en conservant les $r$ composantes singulières supérieures (où $r$ est la dimension de l'étudiant), projetant ainsi efficacement la connaissance de l'enseignant dans l'espace latent plus restreint de l'étudiant.
   • Pour les décodeurs multicouches, une correspondance de pas (stride) uniforme est utilisée pour aligner les couches de l'étudiant avec les couches correspondantes de l'enseignant, préservant la structure hiérarchique des corrélations inter-vues.
   • Ce « démarrage à chaud » (warm start) améliore considérablement la stabilité de la convergence et la performance finale par rapport à une initialisation aléatoire.

3. Pertes de Distillation :

   • Supervision au Niveau de la Sortie : L'étudiant est entraîné pour reproduire les prédictions géométriques denses de l'enseignant (cartes de points 3D, scores de confiance et descripteurs locaux) en utilisant une perte géométrique ($L_{geo}$) qui combine une régression 3D sensible à la confiance et un appariement de descripteurs contrastif. Les prédictions de l'enseignant servent de vérité terrain pseudo, éliminant le besoin d'annotations de pose de caméra.
   • Alignement au Niveau des Caractéristiques : Pour guider le raisonnement interne, une perte de niveau de caractéristique aligne les représentations de l'encodeur intermédiaire. Une projection linéaire apprenable mappe les caractéristiques de l'étudiant vers l'espace de caractéristiques de l'enseignant, suivie d'une perte de similitude cosinus filtrée par marge qui concentre l'optimisation sur les régions mal alignées.

Résultats Clés
Les expériences ont été menées sur le jeu de données StereoLunar, un benchmark de paires stéréo lunaires avec des informations 3D de vérité terrain. Les résultats démontrent :

• Efficacité de la Compression : Le meilleur étudiant performant (S2), utilisant un encodeur ViT-Small et un décodeur standard, réduit la taille du modèle de 4,4× (154,9 millions de paramètres) tout en conservant une haute qualité de reconstruction. Il atteint une erreur de Chamfer seulement ~15 % supérieure à celle de l'enseignant.
• Redondance du Décodeur : Un étudiant avec un décodeur réduit (S3, 94,0 millions de paramètres, 7,3× plus petit que l'enseignant) reste compétitif, suggérant qu'une grande partie de la capacité du décodeur de l'enseignant est redondante pour cette tâche.
• Importance de l'Encodeur : Le remplacement de l'encodeur transformer par un CNN léger (MobileNet, S1) entraîne une dégradation claire des artefacts de pente et de l'estimation de la pose, malgré un nombre de paramètres similaire à S2. Cela indique que l'auto-attention du transformer est critique pour le raisonnement géométrique inter-vues dans ce domaine.
• Supériorité de la Supervision par Distillation : La distillation utilisant la vérité terrain pseudo de l'enseignant surpasse une ligne de base entraînée directement avec des annotations de vérité terrain éparses, réduisant l'erreur de Chamfer d'environ 18 %.
• Estimation de la Pose : Les modèles distillés atteignent une estimation précise de la pose de la caméra, le meilleur étudiant (S2) atteignant une erreur médiane de reprojection de correspondance virtuelle (VCRE) de 3,56 % de la diagonale de l'image.

Signification et Revendications
L'article affirme fournir des directives pratiques pour le déploiement de modèles de reconstruction 3D dans des environnements à ressources limitées, ciblant spécifiquement l'exploration planétaire. Ses principales contributions sont :

1. Un Cadre de Distillation Général : Démontrer qu'un enseignant de 688 millions de paramètres peut être compressé en réseaux compacts sans nécessiter d'annotations de pose, en utilisant les prédictions de l'enseignant comme supervision dense.
2. Aperçus Architecturaux : Quantifier les compromis entre les types d'encodeurs (ViT vs. CNN) et la capacité du décodeur, établissant que la préservation de la capacité de l'encodeur est plus critique que le maintien d'un grand décodeur pour la reconstruction stéréo lunaire.
3. Innovation d'Initialisation : Introduire une initialisation structurée basée sur la SVD qui comble les écarts de dimension, améliorant la stabilité de l'optimisation et la performance finale.
4. Ablation de la Stratégie d'Entraînement : Isoler l'impact de la distillation de niveau de caractéristique et des démarrages à chaud par SVD, montrant qu'ils sont essentiels pour une compression de haute fidélité.

Les auteurs concluent que leur « recette » — distiller un enseignant 3D adapté au domaine vers des étudiants efficaces — offre une voie viable pour le déploiement de raisonnements géométriques avancés sur des atterrisseurs et des rovers lunaires, comblant le fossé entre les modèles de recherche à haute capacité et les applications pratiques contraintes par le matériel.