Résumé technique : Mise à l'échelle du rendu neuronal génératif séquence-à-séquence (Kaleido)

Énoncé du problème

L'article identifie deux goulots d'étranglement principaux entravant l'évolutivité de la vision 3D et du rendu à usage général :

1. Représentations 3D fragmentées : Le domaine manque d'un consensus sur une représentation 3D unifiée, les méthodes étant divisées entre des structures explicites (voxels, nuages de points) et des champs implicites (NeRF). Cette fragmentation empêche la mise à l'échelle collective des architectures pour une représentation unique.
2. Coût élevé des données 3D : La création de jeux de données 3D est lente et coûteuse en raison de l'exigence d'une cohérence 3D stricte, nécessitant souvent la création manuelle de maillages ou un étiquetage complexe de caméras multi-vues.

Les auteurs soutiennent que la perception 3D est fondamentalement une forme de « bon sens visuel » dérivée d'une observation extensive plutôt qu'un problème géométrique strict. Par conséquent, ils proposent qu'un système de rendu idéal devrait apprendre des représentations implicites en capturant des motifs statistiques à partir de données visuelles à grande échelle, plutôt que de modéliser explicitement une cohérence géométrique parfaite.

Méthodologie : Le cadre Kaleido

Hypothèse de base :
L'article postule que la 3D peut être traitée comme un sous-domaine spécialisé de la vidéo. Tout comme les grands modèles de langage acquièrent des capacités de codage à partir de corpus de texte généraux, un modèle de rendu à usage général peut être créé en traitant la 3D comme un sous-domaine structuré de données vidéo.

Formulation unifiée séquence-à-séquence :
Kaleido reformule le rendu comme une tâche de synthèse d'images séquence-à-séquence. Il modélise la distribution conditionnelle des vues cibles ($X_T$) étant donné les vues de référence ($X_R$) et leurs poses de caméra correspondantes à 6 degrés de liberté ($P_R, P_T$). Cette prédiction de vue « tout-à-tout » est gérée via un cadre autorégressif masqué.

Innovations architecturales :

1. Transformateur à flux rectifié uniquement décodeur : Kaleido adopte une architecture transformateur évolutive inspirée des Diffusion Transformers (DiT) et de Llama-3, opérant dans le cadre d'un objectif de flux rectifié. Il utilise un cadre autorégressif masqué pour générer des tokens d'image.
2. Encodage positionnel unifié (GTA) : Une innovation clé est un schéma d'encodage sans paramètre étendant l'encodage positionnel rotatif (RoPE) et l'attention de transformation géométrique (GTA). Cette conception crée une représentation unifiée pour :
   • Les positions spatiales 2D (coordonnées de pixels).
   • Les poses de caméra 3D (extrinsèques à 6 DoF).
   • Les positions temporelles (indices de trame).
     Cela permet à la même architecture de traiter à la fois les données 3D multi-vues et les données vidéo sans modification.
3. Attention inter-vues en fenêtre : Pour améliorer l'échange de caractéristiques entre les vues tout en maintenant l'efficacité, le modèle emploie un mécanisme d'attention temporelle en fenêtre où les tokens de requête s'attendent à une fenêtre locale $K \times K$ à travers les trames, plutôt qu'à un seul token.
4. Caractéristiques visuelles auxiliaires : Le modèle intègre des caractéristiques d'encodeurs DINOv2 pré-entraînés pour améliorer l'estimation de la profondeur et la perception 3D, en particulier pour les images « in-the-wild ».

Stratégies d'entraînement et stabilité :

• Entraînement en deux étapes : Le modèle est d'abord pré-entraîné sur des données vidéo non structurées à grande échelle (34 millions de clips) pour construire une représentation robuste du monde. Il est ensuite affiné sur des jeux de données 3D multi-vues structurés (Objaverse, uCO3D, RealEstate10K, DL3DV) avec une mise à l'échelle progressive de la résolution (256px $\to$ 1024px).
• Gestion des activations massives : Les auteurs ont observé une instabilité d'entraînement sévère dans les transformateurs à flux rectifié due à des « activations massives » (valeurs atteignant 15k–24k). Ils résolvent cela en ajoutant des tokens « registre » appris aux clés et aux valeurs dans les couches d'attention, ce qui stabilise les magnitudes d'activation sans dégrader les performances.
• Échantillonnage biaisé par le bruit : L'échantillonnage logit-normal standard s'avère sous-optimal pour le rendu. Les auteurs introduisent un échantillonneur « Mode » avec un facteur de décalage qui biaise l'entraînement et l'inférence vers des pas de temps à fort bruit ($t \approx 1$), où la structure initiale de la scène est formée. Ceci est crucial pour l'espace de solutions hautement contraint du rendu image-à-3D.
• Échantillonnage des vues : Une distribution exponentielle est utilisée pour échantillonner le nombre de vues de référence, priorisant les scénarios difficiles à faible nombre de vues pendant l'entraînement pour améliorer la généralisation.

Contributions clés

1. Famille Kaleido de modèles génératifs spatiaux (SGM) : Un modèle unifié capable d'effectuer une synthèse de vues au niveau objet et scène à partir de n'importe quel nombre de vues de référence vers n'importe quel nombre de vues cibles avec un contrôle complet de la caméra à 6 DoF.
2. Architecture unifiée : Un transformateur à flux rectifié uniquement décodeur qui traite de manière transparente les données 3D et vidéo en utilisant une seule conception d'encodage positionnel, éliminant le besoin de modifications architecturales spécifiques à la 3D (par exemple, encodages de rayons de Plücker).
3. Recette de mise à l'échelle : Une stratégie de mise à l'échelle complète impliquant des améliorations architecturales (SwiGLU, GQA), des techniques de stabilité (tokens registre) et des stratégies d'échantillonnage adaptées (échantillonneurs SNR biaisés par le bruit).
4. Pré-entraînement vidéo pour la 3D : Démontrer que le pré-entraînement sur des données vidéo à grande échelle améliore considérablement l'efficacité et les performances de l'affinage 3D ultérieur, réduisant la dépendance aux jeux de données 3D rares et étiquetés par caméra.

Résultats

Synthèse de vue nouvelle (NVS) :

• Kaleido atteint des performances zero-shot à la pointe de l'état de l'art sur les benchmarks au niveau objet (OmniObject3D, GSO-30, RTMV) et au niveau scène (LLFF, Mip-NeRF 360, Tanks and Temples).
• Paramètres à peu de vues : Kaleido-Small (0,6 milliard de paramètres) égale ou dépasse les bases plus grandes (SV3D, EscherNet) malgré un nombre inférieur de paramètres.
• Paramètres à nombreuses vues : Kaleido est le premier modèle génératif zero-shot à égaler la qualité de rendu des méthodes d'optimisation par scène (par exemple, Instant-NGP, 3D Gaussian Splatting) lorsqu'il dispose de nombreuses vues de référence. Sur LLFF et Mip-NeRF 360, il dépasse Instant-NGP.

Génération de vidéo conditionnée par la caméra :

• Évalué sur DL3DV-140 et Tanks and Temples, Kaleido surpasse nettement les modèles de vidéo conditionnés par la caméra spécialisés (Wonderland, VD3D, ViewCrafter) en précision de guidage de la caméra (erreur de rotation et de translation), démontrant une cohérence géométrique supérieure tout en maintenant la qualité visuelle.

Reconstruction 3D :

• Lorsqu'il est utilisé comme synthétiseur de vues pour des frameworks de reconstruction hors rayon (NeuS2), Kaleido obtient des résultats à la pointe de l'état de l'art sur le jeu de données GSO-30.
• Il démontre une grande efficacité des vues, obtenant une meilleure qualité de reconstruction avec seulement 2 vues de référence que ce qu'EscherNet obtient avec 10 vues. Les générations en haute résolution (1024px) produisent des maillages avec des textures complexes et nettes.

Importance et revendications

L'article affirme que Kaleido représente une étape significative vers un moteur de rendu universel et à usage général. En unifiant la modélisation 3D et vidéo sous un seul cadre séquence-à-séquence, il surmonte la fragmentation des représentations 3D et la rareté des données 3D.

Les revendications clés concernant l'importance incluent :

• Changement de paradigme : Traiter la 3D comme un sous-domaine spécialisé de la vidéo permet au modèle d'hériter de la perception spatiale et du bon sens visuel de jeux de données vidéo massifs, de la même manière que les LLM apprennent à partir de corpus de texte.
• Capacité zero-shot : Pour la première fois, un modèle génératif égale la qualité des méthodes d'optimisation par scène dans des paramètres à nombreuses vues sans aucun entraînement par scène ni modification architecturale.
• Évolutivité : Le modèle présente de fortes propriétés de mise à l'échelle positive, où les performances s'améliorent constamment avec l'augmentation de la taille du modèle et des données.

Limites reconnues :
Les auteurs notent que Kaleido ne modélise actuellement pas les paramètres intrinsèques de la caméra (empêchant les effets de dolly-zoom), peut présenter un scintillement ou un collage de textures dans des scénarios extrêmes à très faible nombre de vues / haute fréquence, et peut manquer de plausibilité sémantique sous des changements de point de vue extrêmes. De plus, la vitesse d'inférence n'est pas encore en temps réel. Un travail futur est proposé pour résoudre ces problèmes via une paramétrisation intrinsèque, l'intégration de priors texte-à-image et des techniques d'accélération de l'inférence.