Résumé Technique : DéjàView – Transformers en Boucle pour la Reconstruction 3D Multi-Vue

Énoncé du Problème

La reconstruction 3D multi-vue traditionnelle repose sur des pipelines itératifs de Structure-from-Motion (SfM) impliquant la mise en correspondance de caractéristiques, l'estimation de pose et l'ajustement de faisceaux. Les récentes avancées ont orienté le domaine vers des transformers feed-forward qui régressent la géométrie 3D en un seul passage. Cependant, ces modèles les plus performants ont évolué vers plus d'un milliard de paramètres, suivant la tendance de l'augmentation de la capacité des modèles en vision par ordinateur.

Les auteurs postulent que les gains de performance issus de la profondeur de ces grands transformers peuvent provenir d'un raffinement itératif implicite plutôt que d'une capacité représentative unique. Les preuves suggèrent que les couches de transformers contiguës se comportent souvent comme des applications répétées d'opérations similaires, et que les couches de décodeur affinent progressivement les prédictions. Les architectures actuelles paient ce « itération » de manière inefficace en utilisant des paramètres uniques pour chaque couche. L'article répond au besoin d'une architecture qui rend ce processus itératif explicite, permettant une reconstruction de haute qualité avec nettement moins de paramètres et la capacité d'échanger puissance de calcul contre précision au moment de l'inférence.

Méthodologie : DéjàView

Architecture de Base

DéjàView remplace la pile profonde de transformers feed-forward par un seul bloc transformer en boucle appliqué de manière récurrente $K$ fois.

1. Initialisation : Les caractéristiques par vue sont initialisées à l'aide d'un encodeur DINOv2 pré-entraîné. Des tokens d'enregistrement (register tokens) et des tokens de caméra apprenables sont préfixés à la séquence de tokens.
2. Boucle Récurrente : Un seul bloc transformer partagé est appliqué $K$ fois à l'état évolutif $z_k$. Le bloc se compose de deux sous-blocs d'attention :
   • Attention par Image : Traite chaque vue indépendamment en utilisant des embeddings de position rotatifs 2D.
   • Attention Globale : Opère sur la séquence conjointe de tous les tokens à travers toutes les vues, permettant un raisonnement inter-vues.
3. Conditionnement Temporel : Contrairement aux transformers à poids liés antérieurs qui se conditionnent sur des indices d'étapes discrets, DéjàView conditionne le bloc sur un intervalle de temps continu $(t_k, t_{k+1})$. La mise à jour est formulée comme suit :
   $$z_{k+1} = f_\theta(z_k, t_k, t_{k+1})$$
   Cela permet à un seul ensemble de poids de couvrir une plage de nombres d'étapes $K$ sans réentraînement.
4. Mises à Jour Portées par des Portes : Le bloc emploie des vecteurs d'échelle au niveau des canaux ($s_{attn}, s_{mlp}, s_{out}$) contrôlés par un MLP initialisé à zéro et conditionné par l'intervalle de temps. Cette conception module les mises à jour des flux d'attention, de MLP et résiduel.

Stratégie d'Entraînement

• Entraînement à $K$ Variable : Pendant l'entraînement, le nombre d'étapes de raffinement $K$ est échantillonné par lot à partir d'une distribution Beta mise à l'échelle sur $[K_{min}, K_{max}]$ (par exemple, $[8, 16]$). Cela crée un seul point de contrôle (checkpoint) qui fonctionne comme un « bouton de contrôle du calcul ».
• Fonction de Perte : Le modèle est supervisé directement sur la géométrie prédite en utilisant cinq termes de perte : profondeur, rayons, points mondiaux et paramètres de caméra. Les prédictions sont normalisées via des facteurs d'échelle inverses avant le calcul des pertes $\ell_2$ et $\ell_1$.
• Entraînement de la Profondeur en Deux Étapes :
  • Étape 1 : Entraînement de bout en bout avec une tête de profondeur par pixel-shuffle linéaire et une perte $\ell_2$ simple.
  • Étape 2 : La tête de profondeur est remplacée par une tête convolutive (pour éliminer les artefacts aux limites des patches), et le réseau est affiné avec une perte pondérée par la confiance tandis que les autres paramètres sont figés.

Inférence

Au moment de l'inférence, l'utilisateur sélectionne un nombre d'étapes $K_{inf}$. Le modèle exécute le seul bloc partagé $K_{inf}$ fois. Si $K_{inf}$ se situe dans la plage entraînée $[K_{min}, K_{max}]$, le modèle maintient une haute précision ; les performances se dégradent si $K_{inf}$ est poussé bien au-delà du budget entraîné.

Observations Clés sur la Dynamique

Les auteurs caractérisent la récurrence comme un raffinement directionnel. L'état ne converge pas vers un point fixe dans l'espace des caractéristiques (la norme $\|z_k\|$ croît de manière monotone). Au lieu de cela, la direction du vecteur d'état se stabilise, la similarité cosinus avec l'état final approchant 1 et la norme de la mise à jour relative décroissant de manière significative. Cela permet au décodeur (qui utilise une pré-normalisation) d'absorber la croissance de la norme tandis que la représentation décodée converge en direction.

Contributions Clés

1. Modèle DéjàView : Une architecture transformer en boucle qui applique un seul bloc partagé de manière récurrente à des caractéristiques initialisées par DINOv2, conditionnée par des intervalles de temps continus.
2. Recette d'Entraînement à $K$ Variable : Une méthode pour entraîner un seul point de contrôle qui supporte une plage de nombres d'étapes d'inférence, exposant le calcul comme un bouton réglable sans réentraînement.
3. Efficacité de l'État de l'Art : Le modèle atteint une qualité de reconstruction compétitive ou supérieure sur cinq benchmarks (intérieur, extérieur, centré sur l'objet, conduite) en utilisant une fraction des paramètres et un calcul comparable ou inférieur à celui de bases feed-forward beaucoup plus grandes.
4. Validation du Biais Inductif : Les expériences démontrent que la formulation à poids partagés surpasse une variante identique avec des paramètres indépendants par étape, suggérant que l'itération explicite avec partage de poids est un biais inductif plus fort pour la reconstruction 3D multi-vue que la mise à l'échelle des paramètres.

Résultats Expérimentaux

L'article évalue DéjàView sur cinq benchmarks : DTU, ETH3D, 7-Scenes, ScanNet++ et nuScenes.

• Précision : DéjàView égale ou dépasse des modèles nettement plus grands (par exemple, VGGT-1B, Pi3, DA3-G) en précision de pointmap (Relative $\ell_2$ et Ratio d'Inliers) et en précision de pose de caméra (AUC@3° et AUC@30°). Par exemple, sur ScanNet++, il surpasse VGGT-Ω-1B de près de 50 points en AUC@3°.
• Efficacité :
  • Paramètres : DéjàView utilise 117M de paramètres, contre des bases allant de 356M à plus de 1,2 milliard.
  • Calcul : Il nécessite 75,9 TFLOPs pour 24 vues, comparable ou inférieur aux bases qui nécessitent 2 à 10 fois plus de calcul.
  • Mémoire : La mémoire de pointe à l'inférence est inférieure à 5 GiB sur une A100, nettement inférieure à de nombreuses bases.
• Études d'Ablation :
  • Le partage de poids seul améliore les performances par rapport à des blocs découplés malgré l'utilisation de 16 fois moins de paramètres.
  • Les portes résiduelles conditionnées par le temps et les portes d'état apportent des améliorations monotones.
  • L'entraînement à $K$ variable égale les performances à $K$ fixe dans environ 2-3 % au même budget d'inférence, validant la flexibilité du point de contrôle unique.

Importance et Revendications

L'article affirme que la mise à l'échelle des paramètres n'est pas le seul chemin à suivre pour la reconstruction 3D. En rendant le processus de raffinement itératif explicite grâce à une boucle partagée et conditionnée par le temps, DéjàView démontre que :

1. L'itération peut être explicite : Les avantages des réseaux profonds peuvent être obtenus en réutilisant un seul bloc, évitant la redondance des paramètres de couches uniques.
2. Le calcul est un bouton : Un seul modèle peut s'adapter à différents budgets d'inférence (compromis latence/précision) sans réentraînement.
3. Les poids partagés sont supérieurs : La formulation à poids partagés agit comme un biais inductif plus fort que les paramètres indépendants, suggérant que la « profondeur » des modèles actuels les plus performants est largement un proxy pour le raffinement itératif plutôt qu'une capacité représentative unique.

Les auteurs notent des limites : le modèle n'extrapole pas bien au-delà de sa plage d'étapes entraînée ($K_{max}$), et il ne gère pas explicitement les scènes dynamiques. Cependant, ce travail établit qu'une reconstruction multi-vue de haute qualité peut être obtenue avec une fraction du coût computationnel et de la taille des modèles des géants feed-forward actuels.