Learning 3D Reconstruction with Priors in Test Time

1. Problématique

La reconstruction 3D à partir d'images est un problème fondamental en vision par ordinateur. Les méthodes traditionnelles (comme la Structure from Motion - SfM) utilisent des pipelines multi-étapes complexes. Récemment, les Transformers Multi-Vues (MVTs) ont émergé comme des modèles feed-forward capables de reconstruire la géométrie 3D en un seul passage avant.

Cependant, ces modèles MVTs pré-entraînés sont conçus pour n'accepter que des images RGB en entrée. Ils ne peuvent pas exploiter les informations supplémentaires souvent disponibles dans des scénarios réels, telles que :

• Les poses de caméra (obtenues via des systèmes de caméras rigides ou des méthodes SfM comme COLMAP).
• Les paramètres intrinsèques (focale).
• Les cartes de profondeur (issues de capteurs LiDAR ou stéréo).

Les travaux récents tentent d'intégrer ces a priori en modifiant l'architecture du réseau et en le réentraînant spécifiquement pour chaque type d'entrée. Cette approche est rigide, coûteuse en calcul et empêche la réutilisation des modèles pré-entraînés existants.

L'objectif de ce papier est de proposer une méthode pour intégrer ces a priori dans des MVTs pré-entraînés sans réentraînement ni modification architecturale, en effectuant l'optimisation directement au moment du test (test-time).

2. Méthodologie : Optimisation Contrainte au Moment du Test (TCO)

Les auteurs proposent un cadre d'Optimisation Contrainte au Moment du Test (Test-time Constrained Optimization - TCO). Au lieu d'injecter les a priori comme des entrées supplémentaires, ils sont traités comme des contraintes sur les sorties du modèle.

A. Formulation de l'Optimisation

Le problème est formulé comme une minimisation d'une fonction de perte soumise à des contraintes :
$$\min_{\theta} \mathcal{L}(\text{MVT}_\theta(I)) \quad \text{s.t.} \quad g_m(\text{MVT}_\theta(I)) = 0$$
Où :

• $\theta$ sont les paramètres du réseau.
• $\mathcal{L}$ est une fonction de perte auto-supervisée (objectif principal).
• $g_m$ représente les contraintes imposées par les a priori (ex: la prédiction de la pose doit correspondre à la pose connue).

Cette formulation contrainte est transformée en un problème non contraint via des termes de pénalité :
$$\min_{\theta} \mathcal{L}(\text{MVT}_\theta(I)) + \sum_{m=1}^{M} \mu_m \|g_m(\text{MVT}_\theta(I))\|$$
Où $\mu_m$ sont des hyperparamètres contrôlant la sévérité de la pénalité.

B. Composantes de la Perte

La fonction de perte totale combine deux éléments clés :

1. Objectif Auto-Supervisé (Compatibilité Multi-Vues) :
   Pour éviter que l'optimisation ne surajuste aux a priori au détriment de la qualité globale de la reconstruction, une perte de compatibilité est utilisée. Elle vérifie la cohérence entre les prédictions de différentes vues.

   • Le réseau génère des cartes de profondeur et des poses.
   • Ces prédictions sont utilisées pour projeter les images source vers les vues cibles en utilisant un rendu différentiable basé sur les 2D Gaussians (2DGS).
   • La perte mesure l'erreur photométrique (couleur) ou géométrique (profondeur) entre l'image réelle de la vue cible et l'image rendue.

2. Termes de Pénalité des A Priori :
   Des termes de perte spécifiques sont ajoutés pour forcer les prédictions à respecter les a priori connus :

   • Pose de caméra : Pénalité sur la différence de rotation (distance angulaire) et de translation (normalisée par l'échelle estimée).
   • Intrinsèques : Pénalité sur la différence des focales.
   • Cartes de profondeur : Pénalité sur la différence après alignement d'échelle et de décalage global.

C. Stratégie de Fine-Tuning

Pour optimiser le réseau au moment du test tout en préservant la capacité de généralisation :

• Seule la partie décodeur partagé du MVT est fine-tunée, en utilisant la technique LoRA (Low-Rank Adaptation) pour une efficacité paramétrique.
• Les têtes de prédiction spécifiques (têtes de pose, de profondeur, etc.) sont gelées. Cela empêche le surajustement aux a priori spécifiques et force le réseau à améliorer la représentation partagée de la scène, bénéficiant ainsi à toutes les tâches.

3. Contributions Clés

1. Cadre TCO Plug-and-Play : Une méthode qui intègre des a priori de scène et de caméra dans des MVTs pré-entraînés sans nécessiter de réentraînement ni de modification de l'architecture.
2. Conception de Perte Innovante : Une perte combinant un objectif de compatibilité multi-vues (auto-supervisé) et des termes de pénalité pour les a priori, assurant à la fois la cohérence interne et le respect des contraintes externes.
3. Performance Supérieure : La méthode surpasse systématiquement les modèles de base (image seule) et même les méthodes feed-forward récentes qui intègrent les a priori par réentraînement.

4. Résultats Expérimentaux

Les auteurs ont évalué leur méthode sur plusieurs benchmarks 3D standards : ETH3D, DTU, 7-Scenes, NRGBD et ScanNet.

• Améliorations Significatives :
  • Sur les jeux de données ETH3D, 7-Scenes et NRGBD, l'erreur de distance des cartes de points est réduite de plus de 50 % par rapport aux modèles basés uniquement sur l'image.
  • La méthode améliore également l'estimation de la pose de caméra (sur ScanNet) en utilisant des cartes de profondeur comme a priori.
• Comparaison avec l'État de l'Art :
  • TCO surpasse des méthodes spécialisées comme Pow3R et MapAnything (qui réentraînent des modèles avec des entrées modifiées) sur tous les benchmarks.
  • Cela démontre que l'optimisation au moment du test est plus efficace que l'adaptation architecturale statique.
• Robustesse :
  • La méthode fonctionne bien même avec des vues éparses (sparse views) et des bases de caméra larges.
  • L'ablation montre que la stratégie de gel des têtes de prédiction et l'utilisation de la compatibilité multi-vues sont cruciales pour la réussite de la méthode.

5. Signification et Impact

Ce travail marque un changement de paradigme dans l'utilisation des modèles de vision 3D pré-entraînés. Au lieu de considérer les a priori comme des données d'entrée statiques nécessitant un nouveau modèle, ils sont traités comme des contraintes dynamiques à optimiser.

• Flexibilité : Permet d'utiliser n'importe quel a priori disponible (pose, profondeur, intrinsèques) avec n'importe quel MVT pré-entraîné existant.
• Efficacité : Évite le coût computationnel et le temps de développement liés au réentraînement de modèles complexes.
• Qualité : Démonstre que l'optimisation itérative au moment du test, guidée par la cohérence géométrique et les contraintes physiques, peut surpasser les approches feed-forward purement basées sur l'apprentissage.

En résumé, le cadre TCO offre une voie pratique et puissante pour exploiter les informations disponibles lors de l'inférence afin d'améliorer considérablement la précision des tâches de vision 3D.