💻 computer science

M2StyleGS: Multi-Modality 3D Style Transfer with Gaussian Splatting

Ce papier présente M2StyleGS, une technique de transfert de style 3D en temps réel basée sur le Gaussian Splatting et l'alignement de caractéristiques multi-modales (CLIP), permettant d'appliquer des styles artistiques à des scènes 3D à partir d'images ou de descriptions textuelles tout en garantissant une cohérence visuelle supérieure.

Auteurs originaux : Xingyu Miao, Xueqi Qiu, Haoran Duan, Yawen Huang, Xian Wu, Jingjing Deng, Yang Long

Publié 2026-04-07

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Xingyu Miao, Xueqi Qiu, Haoran Duan, Yawen Huang, Xian Wu, Jingjing Deng, Yang Long

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎨 M2StyleGS : Le Magicien de la Peinture 3D

Imaginez que vous avez une maison virtuelle en 3D (comme dans un jeu vidéo ou la réalité virtuelle). Habituellement, si vous voulez la peindre dans le style de Van Gogh, vous devez fournir une photo précise de son tableau. C'est comme si vous deviez montrer un échantillon de peinture exact pour que le robot sache quoi faire.

Mais que se passe-t-il si vous voulez juste dire : "Je veux que ma maison ressemble à un coucher de soleil doré et poétique" ? Ou si vous voulez mélanger plusieurs idées ? Les anciennes méthodes échouaient souvent : elles donnaient des couleurs bizarres, floues, ou ne comprenaient pas bien votre texte.

C'est là qu'intervient M2StyleGS. C'est un nouveau système qui permet de transformer instantanément n'importe quelle scène 3D en une œuvre d'art, en utilisant soit une image, soit du texte (ou les deux !).

Voici comment cela fonctionne, avec quelques analogies :

1. Le Problème : Le Traducteur Brouillon

Avant, pour appliquer un style, les ordinateurs utilisaient un "traducteur" pour passer du langage des images (ce que voit l'ordinateur) au langage des styles artistiques.

L'analogie : Imaginez un traducteur qui essaie de traduire un poème complexe en une langue qu'il ne maîtrise pas bien. Il fait des erreurs, mélange les mots, et le résultat est incompréhensible ou moche.
Le résultat : Les couleurs devenaient étranges (un ciel vert au lieu de bleu) et les textures perdaient leurs détails (tout devenait flou comme une photo mal mise au point).

2. La Solution : La "Flux Divisé" (Subdivisive Flow)

Pour régler ce problème, les auteurs ont inventé une technique appelée "Flux Divisé".

L'analogie : Au lieu de demander à un voyageur de traverser un océan d'un seul coup (ce qui est risqué et peut le faire dériver), on lui donne une série de petites îles intermédiaires.
Comment ça marche : Le système ne saute pas directement de votre texte à l'image finale. Il crée un chemin progressif, étape par étape, pour s'assurer que chaque petite transformation est parfaite. C'est comme si on ajustait la couleur de la peinture goutte par goutte jusqu'à obtenir le ton exact, au lieu de verser tout le pot d'un coup. Cela évite les erreurs de couleur et garde les détails nets.

3. Les Gardiens de la Qualité (Les "Pertes" d'Observation et de Suppression)

Pour s'assurer que le résultat est magnifique et cohérent, le système utilise deux "gardiens" invisibles :

Le Gardien Observateur (Observation Loss) :
- L'analogie : C'est comme un critique d'art qui compare votre peinture 3D à une vraie peinture 2D célèbre. Il dit : "Attends, ici, le bleu n'est pas aussi riche que sur le tableau original. Corrige-le !"
- Son rôle : Il s'assure que la scène 3D ressemble vraiment à l'œuvre d'art de référence, pas juste à une copie approximative.
Le Gardien Suppresseur (Suppression Loss) :
- L'analogie : C'est comme un chef de cuisine qui goûte la soupe et retire les ingrédients qui ne vont pas. Si le système commence à ajouter des couleurs qui n'ont rien à voir avec votre demande (par exemple, du rose dans un paysage hivernal), ce gardien les "supprime".
- Son rôle : Il nettoie les erreurs de couleurs pour que tout reste cohérent, même si vous bougez autour de la scène 3D.

4. Le Résultat : Une Magie Instantanée

Grâce à cette technologie (appelée "Gaussian Splatting", qui est une méthode très rapide pour afficher des images 3D), M2StyleGS est capable de :

Prendre une photo de votre salon.
Vous demander : "Peins-le comme un tableau de Monet".
Et instantanément, votre salon devient une toile impressionniste, avec des couleurs vibrantes et des détails précis, sans que l'image ne soit floue ou bizarre.

En résumé

M2StyleGS est comme un assistant artistique ultra-intelligent qui ne se contente pas de copier un style, mais qui comprend ce que vous voulez (que ce soit par une image ou des mots). Il utilise une méthode de "pas à pas" pour éviter les erreurs de couleur et deux gardiens pour s'assurer que le résultat est à la fois beau et cohérent, peu importe sous quel angle vous regardez la scène.

C'est un grand pas en avant pour la réalité virtuelle et augmentée, permettant de transformer n'importe quel monde 3D en une œuvre d'art personnalisée en quelques secondes ! 🌟🖌️🏠

1. Problématique

Les méthodes de transfert de style 3D conventionnelles reposent généralement sur une image de référence fixe pour appliquer des motifs artistiques à des scènes 3D. Cependant, dans des applications pratiques comme la réalité virtuelle (VR) ou augmentée (AR), les utilisateurs souhaitent une flexibilité accrue, notamment via des descriptions textuelles ou des images variées.

Les travaux existants, tels que ConRF, tentent d'aligner les caractéristiques textuelles et visuelles de CLIP avec les caractéristiques de style d'un réseau VGG pré-entraîné via un simple réseau de mappage (MLP). Toutefois, cette approche présente deux limites majeures :

Alignement grossier : La distribution des caractéristiques CLIP est ambiguë et multivariée, ne suivant pas toujours une distribution gaussienne, ce qui rend l'alignement direct inefficace.
Artefacts visuels : Cela entraîne des transferts de couleurs anormaux, des textures floues et des incohérences entre la description textuelle (ou l'image) et le résultat final 3D.

L'objectif de ce travail est de surmonter ces anomalies pour réaliser un transfert de style 3D de haute qualité, basé sur des entrées multi-modales (texte ou image), tout en préservant la cohérence multi-vue.

2. Méthodologie : M2StyleGS

L'approche proposée, M2StyleGS, utilise le Gaussian Splatting 3D (3DGS) comme représentation de la scène 3D pour permettre un rendu en temps réel. Le pipeline transforme la géométrie des gaussiennes (fixe) tout en modifiant leurs couleurs pour correspondre au style de référence.

Les composants clés de la méthode sont :

A. Alignement de caractéristiques par "Flux Divisé" (Subdivisive Flow)

Pour résoudre le problème d'alignement entre l'espace de caractéristiques CLIP (source) et l'espace VGG (cible), les auteurs introduisent une stratégie basée sur les Équations Différentielles Ordinaires (ODE) :

Au lieu d'un mappage direct, le flux est modélisé comme une trajectoire continue définie par une ODE, guidant les caractéristiques CLIP vers l'espace VGG.
Le flux est divisé en plusieurs étapes (rounds) via une interpolation subdivisée. À chaque étape, les caractéristiques intermédiaires sont alignées avec l'espace VGG.
Cela permet d'apprendre non seulement la connexion entre la source et la cible, mais aussi toutes les caractéristiques intermédiaires, assurant une correspondance précise et évitant les distorsions de couleur.

B. Pertes Auxiliaires pour la Cohérence

Pour améliorer la qualité visuelle et la cohérence globale de la scène 3D, deux nouvelles fonctions de perte sont introduites :

Perte d'Observation ( $L_{obs}$ ) : Elle utilise un modèle de transfert de style 2D pré-entraîné comme "priori d'observation". Elle compare l'image synthétisée 3D avec une image de style 2D authentique générée à partir du même contenu et du même style, forçant la scène 3D à se rapprocher de la qualité artistique 2D.
Perte de Suppression ( $L_{sup}$ ) : Elle utilise un discriminateur multi-échelle pour supprimer les informations de couleur trompeuses ou déviées lors de la phase de décodage, assurant que la distribution des couleurs reste fidèle à la référence globale.

3. Contributions Clés

Analyse des échecs précédents : Identification que les anomalies de couleur proviennent d'une distribution de caractéristiques distincte et d'un transfert de domaine artistique trop grossier.
Nouvelle méthode d'alignement : Proposition du "Flux Divisé" utilisant des ODE pour un alignement précis des paires de caractéristiques texte-visuel CLIP avec l'espace de style VGG, intégrant les étapes intermédiaires.
Optimisation par pertes : Introduction de la perte d'observation et de la perte de suppression pour régulariser le processus de transfert à l'échelle de la scène 3D entière.
Première approche multi-modale 3DGS : C'est, à la connaissance des auteurs, la première méthode à réaliser un stylisation de scène arbitraire avec des entrées multi-modales (texte ou image) en utilisant 3DGS comme colonne vertébrale pour un rendu instantané.

4. Résultats Expérimentaux

Les expériences ont été menées sur les ensembles de données LLFF et Tanks & Temples, comparant M2StyleGS aux méthodes de l'état de l'art (StyleRF, ConRF, StyleGaussian, CLIPNeRF, etc.).

Qualité Visuelle : M2StyleGS produit des résultats nettement plus clairs et précis que ConRF (qui est souvent flou) et CLIPStyler (qui perd trop d'informations de contenu). Il préserve l'intégrité du contenu original tout en effectuant un transfert de couleur focalisé.
Cohérence Multi-vue :
- En termes de cohérence à courte et longue portée (mesurée par RMSE et LPIPS), M2StyleGS surpasse les méthodes précédentes.
- Par rapport à ConRF, la méthode proposée améliore la cohérence à courte portée de 32,92 % (réduction du LPIPS) pour les références images.
- Elle maintient une cohérence supérieure même avec des entrées textuelles, là où d'autres méthodes échouent à capturer la richesse des couleurs et la sémantique.
Études d'ablation : La suppression du flux subdivisé ou des pertes auxiliaires entraîne une dégradation significative de la qualité (augmentation du FID, baisse de la similarité cosinus), confirmant l'efficacité de chaque composant.

5. Signification et Impact

M2StyleGS représente une avancée significative dans le domaine du transfert de style 3D. En combinant la rapidité de rendu du 3D Gaussian Splatting avec la flexibilité des modèles multi-modaux (CLIP), il répond aux besoins croissants des applications interactives (VR/AR) où les utilisateurs ne se limitent pas à une seule image de référence.

La méthode résout le problème fondamental de l'alignement de domaines hétérogènes (CLIP vs VGG) grâce à une approche mathématique rigoureuse (ODE), éliminant les artefacts courants. Cela ouvre la voie à des applications créatives où les utilisateurs peuvent décrire oralement ou textuellement le style souhaité d'un environnement 3D en temps réel, avec une fidélité visuelle et une cohérence spatiale inégalées par les méthodes précédentes.