Résumé Technique : DPPE : Repenser l'encodage positionnel basé sur la caméra pour le passage à l'échelle des Transformers multi-vues

Énoncé du Problème

La scalabilité des architectures Transformer a permis leur application à la vision par ordinateur 3D, particulièrement dans la synthèse de vues inédites (NVS). Dans ces tâches multi-vues, un encodage positionnel (PE) sensible à la caméra est essentiel pour fournir des indices spatiaux. Des méthodes récentes, telles que PRoPE (une généralisation de GTA), utilisent les paramètres de la caméra (extrinsèques ou matrices de projection) comme encodage positionnel relatif au sein des vecteurs de requête (query), de clé (key) et de valeur (value) du mécanisme d'attention.

Cependant, les auteurs observent un goulot d'étranglement critique lors de la montée en échelle de l'entraînement des modèles NVS dotés de ces encodages basés sur la caméra : une stagnation et une dégradation des performances dans les phases tardives de l'entraînement. Bien que les modèles s'améliorent initialement, des métriques telles que le PSNR plafonnent puis déclinent après un certain nombre d'itérations (par exemple, ~240k), empêissant la pleine réalisation des bénéfices du passage à l'échelle de l'entraînement. L'article étudie la cause racine de cette instabilité, émettant l'hypothèse que la méthode actuelle d'encodage de l'information de la caméra dans les vecteurs de valeur crée un problème d'identifiabilité.

Méthodologie

Investigation du Goulot d'Étranglement

Les auteurs ont systématiquement décomposé l'encodage PRoPE en ses composants constitutifs : coordonnées de patch 2D, intrinsèques de la caméra ($K$), rotation ($R$) et translation ($t$). À travers des études d'ablation sur des jeux de données comme MVImgNet2, ils ont identifié que la dégradation des performances est spécifiquement liée au couplage de la rotation et de la translation au sein des mêmes dimensions de l'encodage positionnel de sortie de la valeur (vo-pe).

Mathématiquement, la transformation standard basée sur la matrice de projection appliquée aux valeurs ($v_j$) implique le terme $P_i P_j^{-1}$. Lors de l'expansion, les composantes de rotation ($R$) et de translation ($t$) sont couplées au sein des trois premières dimensions du vecteur de valeur transformé. Les auteurs démontrent que ce couplage rend les paramètres de rotation et de translation non-identifiables au niveau de chaque jeton (per-token). Le modèle est contraint de lever l'ambiguïté de ces paramètres indirectement en agrégeant des indices contextuels à travers les jetons, ce qui complique le processus d'apprentissage et conduit à l'instabilité lors d'un entraînement à long terme.

Solution Proposée : Découplage de l'Encodage Positionnel de Pose (DPPE)

Pour résoudre cette indétermination, l'article propose le Decoupled Pose Positional Encoding (DPPE), qui sépare explicitement la rotation et la translation. Deux variantes sont introduites :

1. DPPEtAdd (Découplage Additif) :

   • Cette méthode partitionne les dimensions de caractéristiques des jetons en deux moitiés égales.
   • La première moitié est dédiée à la rotation, encodée via une transformation multiplicative impliquant la matrice intrinsèque et la matrice de rotation ($K_i R_i$).
   • La seconde moitié est dédiée à la translation, encodée via une injection additive du vecteur de translation ($t_i$).
   • Crucialement, le mécanisme d'attention calcule des poids d'attention distincts pour le bloc de rotation et le bloc de translation, garantissant que les deux composantes géométriques n'interfèrent pas avec les calculs de similitude de l'autre.

2. DPPEdual (Double Matrice de Projection) :

   • Cette variante remplace la matrice de projection standard $P_i$ par sa forme duale, $P_i^{-T}$, dans la formulation de l'encodage.
   • L'analyse montre que bien qu'ils ne soient pas totalement disjoints, les trois premières dimensions de la transformation résultante dépendent uniquement de la rotation et des intrinsèques, isolant l'influence de la translation à la quatrième dimension.
   • Cette conception garantit que la rotation est uniquement identifiable à partir des trois premières dimensions, et que la translation devient identifiable à partir de la quatrième dimension sous condition de la rotation.

Contributions Clés

1. Diagnostic de l'Instabilité de l'Entraînement : L'article identifie que le stockage simultané de la rotation et de la translation dans les mêmes dimensions du vecteur de valeur cause une non-identifiabilité, ce qui constitue un goulot d'étranglement pour le passage à l'échelle de l'entraînement des Transformers multi-vues.
2. Cadre DPPE : La proposition d'un nouvel encodage positionnel qui découple explicitement la rotation et la translation, offrant deux variantes (DPPEtAdd et DPPEdual) pour traiter le problème d'identifiabilité.
3. Analyse Théorique : Preuves formelles (Propositions 1–3) démontrant que l'encodage basé sur la projection standard est non-injectif concernant $(R, t)$ au niveau par jeton, alors que DPPE restaure l'injectivité (identifiabilité).
4. Validation Empirique : Expérimentations approfondies montrant que DPPE permet un entraînement stable jusqu'à 320k itérations (et au-delà dans les configurations de mise à l'échelle), tandis que les modèles de référence comme PRoPE se dégradent après ~240k itérations.

Résultats

• Stabilité de l'Entraînement : Sur le jeu de données MVImgNet2, DPPE maintient des gains de performance stables tout au long de 320k itérations, tandis que le PSNR de PRoPE stagne et décline après 240k.
• Métriques de Performance : Les variantes de DPPE surpassent systématiquement PRoPE et GTA sur plusieurs jeux de données (MVImgNet2, RealEstate10K, SpatialVidHQ). Sur MVImgNet2, DPPEtAdd atteint une amélioration de PSNR de plus de 1,2 dB par rapport à PRoPE.
• Généralisation et Extrapolation :
  • Scénarios de Zoom (Zoom-in) : DPPE démontre une robustesse supérieure lors de la manipulation de longueurs focales accrues (zoom avant) par rapport à la distribution d'entraînement.
  • Points de Vue Variables : DPPE généralise mieux lorsque le nombre de vues d'entrée est extrapolé (par exemple, de 2 à 12 vues).
  • Récupération de Texture : Les résultats qualitatifs indiquent que DPPE récupère des textures plus fines et gère mieux les informations de caméra ambiguës que les modèles de référence, grâce à une meilleure capacité de désambiguïsation des paramètres de la caméra.
• Généralisation de la Tâche : Les bénéfices de DPPE s'étendent au-delà de la NVS à l'estimation de profondeur multi-vues (en utilisant l'architecture VGGT), où il empêche également la saturation de performance en fin de cycle.

Signification et Revendications

L'article affirme que la principale importance de ce travail réside dans l'activation du passage à l'échelle stable des Transformers multi-vues. En traitant le problème fondamental de l'identifiabilité des paramètres dans l'encodage positionnel, DPPE lève un goulot d'étranglement critique qui limitait auparavant la durée d'entraînement et la capacité du modèle pour les tâches de vision 3D.

Les auteurs soulignent que, bien que les bénéfices soient plus prononcés dans les jeux de données présentant des changements simultanés complexes de rotation et de translation (comme MVImgNet2), la méthode fournit une base géométrique plus robuste pour les mécanismes d'attention. Ils notent que dans les scénarios avec des trajectoires de caméra simples (par exemple, un panoramique pur), l'avantage du découplage est moins critique, mais à mesure que le domaine évolue vers des corpus d'entraînement plus vastes et plus diversifiés, les limites des encodages couplés deviendront de plus en plus problématiques. Ce travail suggère que garantir l'identifiabilité par jeton des paramètres de la caméra est un prérequis pour atteindre le plein potentiel des modèles de vision 3D mis à l'échelle.