Geometric Foundation Model Distillation for Efficient Lunar 3D Reconstruction

Resumo Técnico: Destilação de Modelo de Fundação Geométrica para Reconstrução 3D Eficiente da Lua

Declaração do Problema
Modelos de fundação 3D de grande escala (ex: MASt3R, VGGT) alcançaram o estado da arte em reconstrução estéreo multivista ao alavancar enormes backbones de transformer e pré-treinamento. No entanto, esses modelos normalmente contêm centenas de milhões ou mais de um bilhão de parâmetros, exigindo recursos computacionais e de memória substanciais que não estão disponíveis em ambientes de recursos limitados. Essa limitação é particularmente crítica na exploração planetária, como missões lunares, onde unidades de computação embarcada enfrentam restrições rigorosas de memória, potência e latência. Além disso, os ambientes lunares apresentam desafios únicos — superfícies de baixa textura, iluminação extrema e paralaxe limitada — que os modelos terrestres padrão têm dificuldade em abordar sem adaptação de domínio. O artigo investiga se as capacidades geométricas densas de um modelo de fundação de grande escala, adaptado ao domínio, podem ser efetivamente transferidas para redes estudantes leves adequadas para implantação embarcada.

Metodologia
Os autores propõem uma estrutura de destilação de conhecimento que comprime um modelo professor MASt3R de 688,6 milhões de parâmetros (ajustado finamente em imagens lunares) em uma família de redes estudantes leves. A abordagem envolve três componentes principais:

1. Design da Arquitetura do Estudante:

   • Encoders: O estudo avalia diferentes backbones de encoder, comparando Redes Neurais Convolucionais (MobileNetV3-Large) contra Vision Transformers (ViT-Small e ViT-Tiny).
   • Decoders: Os autores experimentam com variações de largura e profundidade dos decoders. Eles testam uma configuração de decoder "reduzida" (dimensão de embedding 512, profundidade 6) e uma variante mais agressivamente comprimida (256, 4), mantendo os cabeçalhos de predição (pointmap, descritores, confiança) idênticos aos do professor.
   • Estratégia de Treinamento: Experimentos exploram o congelamento versus o ajuste fino (fine-tuning) do encoder e o uso de supervisão ao nível de característica (feature-level) versus ao nível de saída (output-level).

2. Inicialização Estruturada Baseada em SVD:
   Para abordar a incompatibilidade dimensional entre os pesos do professor e do estudante, os autores propõem uma estratégia de inicialização estruturada usando Decomposição de Valor Singular (SVD) truncada.

   • As matrizes de peso do professor são decompostas via SVD.
   • Os pesos do estudante são inicializados retendo os $r$ principais componentes singulares (onde $r$ é a dimensão do estudante), efetivamente projetando o conhecimento do professor no espaço latente menor do estudante.
   • Para decoders de múltiplas camadas, uma mapeamento de stride uniforme é usado para alinhar as camadas do estudante com as camadas correspondentes do professor, preservando a estrutura hierárquica das correlações entre visões.
   • Este "warm start" melhora significativamente a estabilidade da convergência e o desempenho final em comparação com a inicialização aleatória.

3. Perdas de Destilação:

   • Supervisão ao Nível de Saída: O estudante é treinado para reproduzir as predições geométricas densas do professor (mapas de pontos 3D, escores de confiança e descritores locais) usando uma perda de geometria ($L_{geo}$) que combina regressão 3D consciente de confiança e correspondência de descritores contrastivos. As predições do professor servem como pseudo-verdade fundamental (pseudo-ground truth), eliminando a necessidade de anotações de pose de câmera.
   • Alinhamento ao Nível de Característica: Para guiar o raciocínio interno, uma perda de nível de característica alinha as representações intermediárias do encoder. Uma projeção linear aprendível mapeia as características do estudante para o espaço de características do professor, seguido por uma perda de similaridade de cosseno com filtro de margem que foca a otimização em regiões desalinhadas.

Principais Resultados
Experimentos foram conduzidos no conjunto de dados StereoLunar, um benchmark de pares estéreos lunares com informações 3D de verdade fundamental. Os resultados demonstram:

• Eficiência de Compressão: O estudante com melhor desempenho (S2), utilizando um encoder ViT-Small e um decoder padrão, reduz o tamanho do modelo em 4,4× (154,9 milhões de parâmetros) enquanto retém alta qualidade de reconstrução. Ele atinge um erro de Chamfer apenas ~15% superior ao do professor.
• Redundância do Decoder: Um estudante com um decoder reduzido (S3, 94,0 milhões de parâmetros, 7,3× menor que o professor) permanece competitivo, sugerindo que grande parte da capacidade do decoder no professor é redundante para esta tarefa.
• Importância do Encoder: Substituir o encoder transformer por um CNN leve (MobileNet, S1) resulta em uma degradação clara em artefatos de inclinação e estimativa de pose, apesar de possuir uma contagem de parâmetros semelhante à de S2. Isso indica que a autoatenção do transformer é crítica para o raciocínio geométrico entre visões neste domínio.
• Superioridade sobre a Supervisão Esparsa: A destilação usando a pseudo-verdade fundamental do professor supera um baseline treinado diretamente com anotações esparsas de verdade fundamental, reduzindo o erro de Chamfer em aproximadamente 18%.
• Estimativa de Pose: Os modelos destilados alcançam uma estimativa precisa de pose de câmera, com o melhor estudante (S2) atingindo um erro de reprojeção de correspondência virtual (VCRE) mediano de 3,56% da diagonal da imagem.

Significância e Alegações
O artigo afirma fornecer diretrizes práticas para o implante de modelos de reconstrução 3D em ambientes de recursos limitados, visando especificamente a exploração planetária. Suas principais contribuições são:

1. Uma Estrutura de Destilação Geral: Demonstrar que um professor de 688M de parâmetros pode ser comprimido em redes compactas sem exigir anotações de pose, usando as predições do professor como supervisão densa.
2. Insights Arquiteturais: Quantificar os compromissos entre tipos de encoder (ViT vs. CNN) e capacidade de decoder, estabelecendo que preservar a capacidade do encoder é mais crítico do que manter um decoder grande para a reconstrução estéreo lunar.
3. Inovação de Inicialização: Introduzir uma inicialização estruturada baseada em SVD que faz a ponte entre incompatibilidades dimensionais, melhorando a estabilidade da otimização e o desempenho final.
4. Ablação de Estratégia de Treinamento: Isolar o impacto da destilação de nível de característica e dos warm-starts de SVD, mostrando que eles são essenciais para uma compressão de alta fidelidade.

Os autores concluem que sua "receita" — destilar um professor 3D adaptado ao domínio em estudantes eficientes — oferece um caminho viável para o implante de raciocínio geométrico avançado em landers e rovers lunares, preenchendo a lacuna entre modelos de pesquisa de alta capacidade e aplicações práticas com restrições de hardware.