Stylos: Multi-View 3D Stylization with Single-Forward Gaussian Splatting

Stylos est un cadre innovant de transfert de style 3D basé sur une seule passe avant de splatting gaussien qui génère des scènes stylisées géométriquement fidèles et cohérentes sur plusieurs vues, sans nécessiter d'optimisation par scène ni de poses précalculées, en utilisant une architecture Transformer couplée à une perte de style 3D basée sur des voxels.

L'essentiel

🎨 Stylos : Le Magicien du Style 3D en un Clic

Imaginez que vous avez une photo d'un objet (disons, une pizza) et une autre photo d'un tableau célèbre (par exemple, une œuvre de Van Gogh). Votre rêve ? Transformer la pizza en 3D, mais avec le style de Van Gogh, tout en gardant la forme exacte de la pizza, peu importe l'angle sous lequel vous la regardez.

C'est exactement ce que fait Stylos. C'est un nouveau système informatique capable de prendre une scène réelle (ou une vidéo) et de la "peindre" instantanément avec le style d'une image de référence, le tout en 3D.

Voici comment cela fonctionne, expliqué avec des analogies du quotidien :

1. Le Problème : La Peinture 3D est habituellement lente

Avant Stylos, faire cela ressemblait à essayer de sculpter une statue de glace avec une cuillère en bois.

• Les anciennes méthodes devaient "apprendre" chaque scène individuellement. C'était comme si un artiste devait passer des heures à étudier votre pizza spécifique avant de pouvoir la peindre. Si vous changiez de pizza, il fallait recommencer tout le processus. C'était lent et peu pratique.
• Le défi : Il faut que le style soit cohérent. Si vous regardez la pizza de face, elle doit ressembler à un tableau de Van Gogh. Si vous tournez autour, elle doit toujours ressembler à ce même tableau, sans que les couleurs ne "glissent" ou ne changent bizarrement.

2. La Solution : Stylos, le "Chef Cuisinier" Rapide

Stylos est comme un chef cuisinier ultra-rapide qui a mémorisé des milliers de recettes. Il ne vous demande pas de lui apprendre à cuisiner chaque fois.

• Un seul coup de baguette magique (Single-Forward) : Vous lui donnez vos photos de la pizza et le tableau de style. En une fraction de seconde (un seul "passage" de calcul), il génère la version 3D stylisée. Pas d'attente, pas d'apprentissage préalable.
• Zéro pose requise : Même si vos photos de la pizza sont prises un peu n'importe comment (floues, angles bizarres), Stylos comprend la géométrie (la forme 3D) sans avoir besoin de mesures précises.

3. Comment ça marche ? (L'Analogie du Double Chemin)

Le cerveau de Stylos est divisé en deux chemins parallèles, comme un restaurant avec deux équipes :

• L'Équipe "Géométrie" (Le Chef de Cuisine) : Elle s'occupe de la structure. Elle regarde les photos et dit : "Ok, c'est une pizza, il y a une croûte, du fromage, des pepperonis." Elle utilise une technologie appelée Gaussian Splatting (imaginez des milliers de petits points de peinture en 3D qui forment l'image). Cette équipe ne regarde pas le style artistique, elle se concentre uniquement sur la forme pour que la pizza reste une pizza.
• L'Équipe "Style" (Le Peintre) : Elle regarde le tableau de Van Gogh. Elle dit : "Ok, on veut des coups de pinceau tourbillonnants et des bleus profonds."
• La Fusion (Le Service) : C'est là que la magie opère. Le système combine les deux. Il prend la structure solide de la pizza et y applique la "peinture" de Van Gogh.
  • L'astuce géniale : Le système utilise un mécanisme appelé Cross-Attention. Imaginez que le Peintre (Style) chuchote des instructions à chaque point de la Pizza (Géométrie) : "Toi, le fromage, tu deviens bleu nuit. Toi, la croûte, tu deviens jaune doré." Mais le Peintre ne touche jamais à la forme de la croûte, il ne change que la couleur et la texture.

4. Le Secret de la Cohérence : Le "Cube de Voxel"

Le plus grand défi en 3D est d'éviter que la pizza ne semble "cassée" quand on tourne autour. Si le style change d'un angle à l'autre, cela fait bizarre.

• L'ancienne méthode : Peindre chaque photo individuellement. Résultat : la pizza semble avoir deux visages différents selon l'angle.
• La méthode Stylos (La perte de style 3D) : Stylos imagine la pizza non pas comme une série de photos, mais comme un cube de gelée (voxel) rempli de points. Il vérifie que la "saveur" (le style) est uniforme dans tout le cube.
  • Analogie : Imaginez que vous trempez une éponge dans de la peinture. Peu importe comment vous la tournez, la couleur est la même partout à l'intérieur. Stylos fait la même chose : il s'assure que le style est "imprégné" dans la structure 3D elle-même, pas juste collé sur la surface. Cela garantit que la pizza reste belle et cohérente, même si vous faites le tour complet.

5. Pourquoi c'est important ?

• Réalité Virtuelle (VR) et Augmentée (AR) : Imaginez pouvoir transformer votre salon en une œuvre d'art de Picasso instantanément, juste en pointant votre téléphone.
• Création de contenu : Les créateurs de jeux vidéo ou de films peuvent changer le style d'un monde entier en une seconde, sans avoir à tout redessiner à la main.
• Zéro-shot : Le système fonctionne sur des objets qu'il n'a jamais vus auparavant (une chaise, un animal, un paysage) et avec des styles qu'il n'a jamais appris (un style de peinture inconnu).

En résumé

Stylos est comme un traducteur universel entre le monde réel et l'art. Il prend une scène 3D brute, la comprend parfaitement, et lui applique une "peau" artistique instantanée, tout en s'assurant que cette peau reste lisse et cohérente, peu importe d'où vous regardez. C'est rapide, intelligent, et cela ouvre la porte à une nouvelle ère de création visuelle 3D.

Résumé technique

1. Problématique

Le transfert de style 3D vise à appliquer l'esthétique d'une image de référence à une scène 3D tout en préservant la géométrie de la scène et la cohérence visuelle entre les différentes vues. Bien que des méthodes basées sur les champs de radiance neuronaux (NeRF) et le Gaussian Splatting (3DGS) aient fait des progrès, elles souffrent de limitations majeures :

• Optimisation par scène : La plupart des approches actuelles nécessitent un temps d'entraînement long et coûteux pour chaque nouvelle scène et chaque style, ce qui empêche une application en temps réel.
• Généralisation limitée : Elles peinent à généraliser à des catégories d'objets, des scènes ou des styles non vus lors de l'entraînement.
• Incohérence multi-vue : Les méthodes existantes ont du mal à garantir une cohérence stricte du style à travers toutes les vues d'une scène 3D, conduisant souvent à des artefacts ou des incohérences structurelles.

L'objectif de Stylos est de proposer un cadre de transfert de style 3D en une seule passe (single-forward), fonctionnant sur des entrées non calibrées (sans poses de caméra précalculées), capable de généraliser à des scènes et styles inédits sans optimisation par scène.

2. Méthodologie

Stylos est un cadre basé sur un Transformer qui prédit directement des primitives gaussiennes 3D stylisées et les paramètres de caméra à partir d'une ou plusieurs vues de contenu et d'une image de style de référence.

Architecture du Réseau

Le modèle repose sur un backbone géométrique partagé (inspiré de VGGT) et deux voies distinctes pour traiter le contenu et le style :

1. Backbone Géométrique : Utilise une architecture Transformer à attention alternée (locale et globale) pour extraire les caractéristiques géométriques (position, échelle, orientation, opacité). Cette voie conserve l'attention auto (self-attention) pour préserver la fidélité géométrique.
2. Aggrégateur de Style (Style Aggregator) : Intègre l'image de style via des blocs de fusion croisée (CrossBlocks). Ces blocs insèrent une couche d'attention croisée (cross-attention) entre l'attention auto et les couches MLP.
   • Les tokens de contenu agissent comme requêtes (Q).
   • Les tokens de style agissent comme clés et valeurs (KV).
   • Cela permet d'injecter le style dans la prédiction des coefficients de couleur (sphériques harmoniques) tout en laissant les paramètres géométriques inchangés.
3. Têtes de Prédiction :
   • Geometric Head : Prédit les paramètres de position, échelle, rotation et opacité.
   • Style Head : Prédit les coefficients de couleur basés sur l'aggrégation style-contenu.
   • Adapter Gaussien : Fusionne les sorties pour former les primitives 3DGS finales.

Stratégie d'Entraînement

L'entraînement se fait en deux étapes :

• Étape 1 (Pré-entraînement Géométrique) : Le backbone est initialisé avec les poids de VGGT. Le réseau apprend la reconstruction 3D et l'apparence photométrique. Une vue de contenu est utilisée comme style de référence (avec jitter de couleur) pour éviter l'identité triviale.
• Étape 2 (Affinage pour le Stylisation) : Les modules géométriques sont gelés. Seuls l'Aggrégateur de Style et la tête de couleur sont mis à jour. L'objectif combine une perte de reconstruction, une perte de style, une perte CLIP (alignement sémantique) et une régularisation TV.

Perte de Style 3D à Niveaux de Voxel (Voxel-level 3D Style Loss)

C'est une contribution clé. Contrairement aux pertes de style 2D classiques qui comparent les statistiques d'images individuelles, Stylos propose une perte opérant dans l'espace 3D :

1. Les caractéristiques de plusieurs vues sont fusionnées dans une grille de voxels 3D via une unprojection différentiable.
2. Les statistiques (moyenne et variance) sont calculées sur ces caractéristiques voxelisées.
3. Ces statistiques 3D sont comparées à celles de l'image de style.
   Cela force la cohérence du style non seulement entre les vues, mais aussi à travers la structure 3D sous-jacente, assurant une stylisation géométriquement cohérente.

3. Contributions Clés

1. Architecture à Double Voie : Conception d'un Transformer partagé où la géométrie est préservée par l'attention auto, tandis que le style est injecté via l'attention croisée, permettant une séparation efficace du contenu et du style.
2. Perte de Style 3D Voxel : Introduction d'une nouvelle fonction de perte qui aligne les statistiques de style sur des caractéristiques agrégées en espace 3D, résolvant le problème d'incohérence multi-vue.
3. Pipeline "Single-Forward" : Un système capable de traiter des entrées non calibrées (de 1 à des centaines de vues) et de générer une scène 3D stylisée instantanément, sans optimisation par scène ni poses de caméra pré-calculées.
4. Généralisation Zero-Shot : Capacité à généraliser à des catégories d'objets, des scènes et des styles artistiques jamais vus lors de l'entraînement.

4. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks réels (CO3D, Tanks & Temples, DL3DV-10K) avec des styles provenant de WikiArt.

• Qualité de Reconstruction et Cohérence : Stylos obtient les meilleurs scores de cohérence (LPIPS et RMSE) en vue rapprochée et lointaine par rapport aux méthodes de l'état de l'art (StyleGaussian, G-Style, Styl3R, SGSST). Il préserve mieux les détails géométriques (ex: contours de la croûte d'une pizza, bordures de boîtes).
• Qualité Artistique : Sur les métriques ArtScore et ArtFID, Stylos se classe premier ou deuxième sur tous les scénarios testés, surpassant les méthodes nécessitant un ajustement par scène.
• Efficacité :
  • Vitesse : Stylos génère des résultats en 0,05 seconde (single-forward), contre plusieurs minutes ou heures pour les méthodes basées sur l'optimisation par scène.
  • Évolutivité : Le modèle fonctionne bien avec un grand nombre de vues (jusqu'à des centaines), bien qu'une légère dégradation de qualité soit observée au-delà de 32 vues par lot en raison des limites du backbone VGGT.
• Ablation : Les études montrent que l'utilisation de blocs Global CrossBlock (par opposition aux blocs Frame isolés) et de la perte de style 3D est cruciale pour obtenir une texture cohérente et une géométrie nette.

5. Signification et Impact

Stylos représente une avancée significative dans le domaine de la stylisation 3D en temps réel. En éliminant le besoin d'optimisation par scène et de poses de caméra, il rend possible l'application de styles artistiques complexes sur des flux vidéo ou des scènes 3D dynamiques instantanément.

• Applications potentielles : Création de contenu immersif (VR/AR), effets visuels en temps réel pour le cinéma et les jeux vidéo, et prévisualisation artistique rapide.
• Avancée scientifique : La méthode démontre que la séparation explicite des voies géométriques et stylistiques au sein d'un Transformer, couplée à une contrainte de perte en espace 3D, permet de surmonter les compromis traditionnels entre fidélité géométrique et cohérence stylistique.

En résumé, Stylos établit un nouvel état de l'art pour le transfert de style 3D généralisable, rapide et géométriquement fidèle, ouvrant la voie à une création de contenu 3D artistique plus accessible et efficace.