Geometric Foundation Model Distillation for Efficient Lunar 3D Reconstruction

Resumen Técnico: Destilación de Modelos Fundacionales Geométricos para la Reconstrucción 3D Eficiente de la Luna

Planteamiento del Problema
Los modelos fundacionales 3D de gran escala (por ejemplo, MASt3R, VGGT) han logrado un rendimiento de vanguardia en la reconstrucción estéreo multivista mediante el aprovechamiento de masivos backbones de transformadores y preentrenamiento. Sin embargo, estos modelos suelen contener cientos de millones o incluso más de mil millones de parámetros, lo que requiere recursos computacionales y de memoria sustanciales que no están disponibles en entornos con restricciones de recursos. Esta limitación es particularmente crítica en la exploración planetaria, como las misiones lunares, donde las unidades de computación a bordo enfrentan restricciones estrictas de memoria, potencia y latencia. Además, los entornos lunares presentan desafíos únicos —superficies de baja textura, iluminación extrema y paralaje limitado— que los modelos terrestres estándar luchan por abordar sin adaptación de dominio. El artículo investiga si las capacidades geométricas densas de un modelo fundacional de gran tamaño y adaptado al dominio pueden transferirse eficazmente a redes estudiantes ligeras aptas para el despliegue a bordo.

Metodología
Los autores proponen un marco de destilación de conocimiento que comprime un modelo maestro MASt3R de 688.6 millones de parámetros (ajustado finamente con imágenes lunares) en una familia de redes estudiantes ligeras. El enfoque involucra tres componentes principales:

1. Diseño de la Arquitectura del Estudiante:

   • Encoders (Codificadores): El estudio evalúa diferentes backbones de codificación, comparando Redes Neuronales Convolucionales (MobileNetV3-Large) contra Vision Transformers (ViT-Small y ViT-Tiny).
   • Decoders (Decodificadores): Los autores experimentan con variaciones en el ancho y la profundidad del decodificador. Prueban una configuración de decodificador "reducida" (dimensión de incrustación 512, profundidad 6) y una variante más agresivamente comprimida (256, 4), manteniendo idénticos los cabezales de predicción (mapa de puntos, descriptores, confianza) con el maestro.
   • Estrategia de Entrenamiento: Los experimentos exploran el congelamiento frente al ajuste fino (fine-tuning) del codificador y el uso de supervisión a nivel de características frente a la supervisión a nivel de salida.

2. Inicialización Estructurada Basada en SVD:
   Para abordar el desajuste dimensional entre los pesos del maestro y del estudiante, los autores proponen una estrategia de inicialización estructurada utilizando la Descomposición en Valores Singulares (SVD) truncada.

   • Las matrices de pesos del maestro se descomponen mediante SVD.
   • Los pesos del estudiante se inicializan reteniendo los $r$ componentes singulares superiores (donde $r$ es la dimensión del estudiante), proyectando efectivamente el conocimiento del maestro en el espacio latente más pequeño del estudiante.
   • Para decodificadores de múltiples capas, se utiliza un mapeo de paso (stride) uniforme para alinear las capas del estudiante con las capas correspondientes del maestro, preservando la estructura jerárquica de las correlaciones entre vistas.
   • Este "arranque en caliente" (warm start) mejora significamente la estabilidad de la convergencia y el rendimiento final en comparación con la inicialización aleatoria.

3. Pérdidas de Destilación:

   • Supervisión a Nivel de Salida: El estudiante es entrenado para reproducir las predicciones geométricas densas del maestro (mapas de puntos 3D, puntuaciones de confianza y descriptores locales) utilizando una pérdida de geometría ($L_{geo}$) que combina regresión 3D consciente de la confianza y emparejamiento de descriptores contrastivos. Las predicciones del maestro sirven como pseudo-verdad de campo (pseudo-ground truth), eliminando la necesidad de anotaciones de pose de cámara.
   • Alineación a Nivel de Características: Para guiar el razonamiento interno, una pérdida a nivel de características alinea las representaciones del codificador intermedio. Una proyección lineal aprendible mapea las características del estudiante al espacio de características del maestro, seguido de una pérdida de similitud de coseno con filtrado de margen que se enfoca en la optimización de las regiones desalineadas.

Resultados Clave
Los experimentos se realizaron en el conjunto de datos StereoLunar, un benchmark de pares estéreo lunares con información 3D de verdad de campo. Los resultados demuestran:

• Eficiencia de Compresión: El estudiante con mejor rendimiento (S2), que utiliza un encoder ViT-Small y un decodificador estándar, reduce el tamaño del modelo en 4.4× (154.9M de parámetros) mientras retiene una alta calidad de reconstrucción. Logra un error de Chamfer solo ~15% superior al del maestro.
• Redundancia del Decodificador: Un estudiante con un decodificador reducido (S3, 94.0M de parámetros, 7.3× más pequeño que el maestro) sigue siendo competitivo, lo que sugiere que gran parte de la capacidad del decodificador en el maestro es redundante para esta tarea.
• Importancia del Encoder: Reemplazar el encoder de transformador con un CNN ligero (MobileNet, S1) resulta en una degradación clara en los artefactos de pendiente y en la estimación de pose, a pesar de tener un recuento de parámetros similar al de S2. Esto indica que la autoatención de los transformadores es crítica para el razonamiento geométrico entre vistas en este dominio.
• Superioridad sobre la Supervisión Dispersa: La destilación utilizando la pseudo-verdad de campo del maestro supera a un baseline entrenado directamente con anotaciones de verdad de campo dispersas, reduciendo el error de Chamfer aproximadamente un 18%.
• Estimación de Pose: Los modelos destilados logran una estimación precisa de la pose de la cámara, alcanzando el mejor estudiante (S2) un error de reproyección de correspondencia virtual (VCRE) mediano del 3.56% de la diagonal de la imagen.

Significado y Reivindicaciones
El artículo afirma proporcionar directrices prácticas para el despliegue de modelos de reconstrucción 3D en entornos con recursos restringidos, dirigidos específicamente a la exploración planetaria. Sus contribuciones primarias son:

1. Un Marco de Destilación General: Demostrar que un maestro de 688M de parámetros puede comprimirse en redes compactas sin requerir anotaciones de pose, utilizando las predicciones del maestro como supervisión densa.
2. Perspectivas Arquitectónicas: Cuantificar las compensaciones entre tipos de encoder (ViT vs. CNN) y la capacidad del decodificador, estableciendo que preservar la capacidad del encoder es más crítico que mantener un decodificador grande para la reconstrucción estéreo lunar.
3. Innovación en la Inicialización: Introducir una inicialización estructurada basada en SVD que cierra los desajustes dimensionales, mejorando la estabilidad de la optimización y el rendimiento final.
4. Ablación de la Estrategia de Entrenamiento: Aislar el impacto de la destilación a nivel de características y los arranques en caliente por SVD, mostrando que son esenciales para una compresión de alta fidelidad.

Los autores concluyen que su "receta"—destilar un maestro de dominio adaptado hacia estudiantes eficientes—ofrece un camino viable para el despliegue de razonamiento geomético avanzado en landers y rovers lunares, cerrando la brecha entre los modelos de investigación de alta capacidad y las aplicaciones prácticas con hardware restringido.