GSStream: 3D Gaussian Splatting based Volumetric Scene Streaming System

Ce papier présente GSStream, un système innovant de diffusion de scènes volumétriques en 3D Gaussian Splatting qui combine une prédiction collaborative de la vue et une adaptation du débit par apprentissage par renforcement profond pour surmonter les défis de bande passante et offrir une expérience immersive de haute qualité.

L'essentiel

Imaginez que vous voulez regarder un film en 3D ultra-réaliste, où vous pouvez tourner la tête et voir chaque détail de la pièce, comme si vous y étiez vraiment. C'est ce qu'on appelle une scène volumétrique.

Le problème, c'est que pour créer cette réalité parfaite, il faut envoyer une quantité astronomique de données (des milliards de petits points colorés) vers votre casque. C'est comme essayer d'envoyer un camion rempli de sable par la poste : ça prend trop de temps et ça sature votre connexion internet.

C'est là qu'intervient GSStream, le système proposé par les auteurs de cet article. Voici comment il fonctionne, expliqué simplement avec des images :

1. Le Problème : Le "Camion de Sable"

Les nouvelles technologies (appelées "3D Gaussian Splatting") permettent de créer des images 3D incroyablement belles. Mais elles sont lourdes. Si on essaie de tout envoyer d'un coup, votre connexion s'effondre et l'image se fige.

2. La Solution : Le Système "Intelligent et Prévoyant"

GSStream est comme un livreur de pizza ultra-intelligent qui ne vous envoie pas toute la pizza d'un coup, mais seulement les parts que vous allez manger, et il le fait au bon moment.

Il utilise deux super-pouvoirs (deux modules) :

A. Le "Cerveau Prévoyant" (Prédiction de regard)

Imaginez que vous regardez un tableau. Votre cerveau sait que vous allez probablement regarder le coin en haut à gauche avant même que vos yeux ne bougent, car c'est votre habitude.

• Ce que font les autres : Ils devinent où vous regardez en regardant seulement votre mouvement passé. C'est comme essayer de lire dans vos pensées en vous observant seul.
• Ce que fait GSStream : Il a un "cerveau collectif". Il observe comment des milliers d'autres personnes regardent ce même tableau. Il se dit : "Tiens, la plupart des gens regardent d'abord le coin gauche, puis le centre. Je vais préparer cette zone pour tout le monde."
• L'analogie : C'est comme un chef de restaurant qui, au lieu de cuisiner seulement quand vous commandez, prépare déjà les plats les plus populaires parce qu'il a remarqué que 90% des clients les prennent dans cet ordre. Grâce à cette "intelligence collective", il devine votre prochain mouvement bien mieux que n'importe qui.

B. Le "Chef de Cuisine Adaptatif" (Ajustement du débit)

Maintenant que le livreur sait ce que vous allez regarder, il doit décider quoi envoyer.

• Le problème : Votre connexion internet change tout le temps (comme une route qui passe d'une autoroute à un chemin de terre).
• Ce que font les autres : Ils utilisent des règles fixes. "Si la route est bonne, j'envoie tout en haute qualité. Si elle est mauvaise, j'envoie tout en basse qualité." C'est binaire et souvent inefficace.
• Ce que fait GSStream : Il utilise un intelligent artificiel (IA) qui apprend par essai-erreur, comme un joueur de vidéo-jeu qui devient champion.
  • Il regarde la route (votre connexion).
  • Il regarde ce que vous allez regarder (grâce au "Cerveau Prévoyant").
  • Il décide intelligemment : "Je vais envoyer la partie de la scène où vous allez regarder en super haute qualité, mais je vais envoyer le fond (que vous ne regarderez pas) en qualité moyenne pour économiser de la place."
• L'analogie : C'est comme si vous aviez un budget de 100 euros pour acheter des cadeaux. Au lieu d'acheter 100 petits jouets pour tout le monde (ce qui est ennuyeux) ou un seul gros jouet (qui ne plaît pas à tout le monde), l'IA achète le cadeau parfait pour la personne qui est là, et des cadeaux plus simples pour les autres, en ajustant le panier en temps réel selon votre budget du jour.

3. Le Résultat : Une expérience fluide

Grâce à cette combinaison :

1. Moins de données gaspillées : On n'envoie pas ce que vous ne regardez pas.
2. Plus de qualité : On met toute la puissance de votre connexion sur la zone que vous regardez.
3. Pas de coupure : L'image reste fluide même si votre connexion internet fluctue.

En résumé

GSStream est comme un système de transport en commun du futur pour les mondes virtuels. Au lieu de faire monter tout le monde dans un bus géant (qui est trop lourd et lent), il envoie des voitures autonomes intelligentes qui savent exactement où vous allez, s'adaptent à la circulation, et vous déposent confortablement à l'endroit précis où vous voulez être, sans jamais vous faire attendre.

Les chercheurs ont prouvé que leur système est meilleur que tous les autres existants : l'image est plus belle et ça consomme moins d'internet. C'est une grande étape pour rendre la réalité virtuelle accessible à tout le monde, même avec une connexion moyenne.

Résumé technique

Voici un résumé technique détaillé de l'article « GSStream: 3D Gaussian Splatting based Volumetric Scene Streaming System » en français.

1. Problématique

La technique de 3D Gaussian Splatting (3DGS) a révolutionné le rendu de champs radiants en temps réel, offrant une fidélité visuelle exceptionnelle pour les scènes volumétriques. Cependant, cette haute qualité s'accompagne d'un volume de données massif, rendant la transmission en temps réel (streaming) extrêmement gourmande en bande passante.

Les défis principaux identifiés par les auteurs sont :

• Volume de données : Les représentations 3DGS (même optimisées comme Scaffold-GS) sont trop lourdes pour les réseaux actuels sans compression ou sélection intelligente.
• Manque de données comportementales : Il existe une pénurie de jeux de données réels sur les trajectoires de vue (viewport) spécifiques aux scènes 3DGS, ce qui entrave le développement de modèles de prédiction précis.
• Limitations des méthodes existantes : Les systèmes actuels traitent souvent les utilisateurs de manière uniforme (ignorant les préférences individuelles) et supposent un nombre fixe de tuiles (tiles) pour toutes les scènes, ce qui ne correspond pas à la réalité des scènes 3DGS où la densité et la géométrie varient.
• Adaptation de débit complexe : L'adaptation de débit (bitrate adaptation) dans un espace d'états et d'actions variables (nombre de tuiles changeant selon la scène) est difficile à gérer avec les approches traditionnelles.

2. Méthodologie : Le système GSStream

Les auteurs proposent GSStream, un système de streaming complet intégrant deux modules clés pour surmonter ces obstacles :

A. Pré-traitement et Découpage

• Les scènes volumétriques (format Scaffold-GS) sont divisées en tuiles cubiques non chevauchantes.
• Chaque tuile est échantillonnée pour créer L niveaux de qualité différents (du plus bas au plus haut) via un filtre de grille de voxels.
• Contrairement aux méthodes précédentes, le nombre de tuiles $K$ varie selon la scène, créant un espace d'états variable.

B. Module de Prédiction de Vue Collaborative (CVP - Collaborative Viewport Prediction)

Ce module vise à prédire avec précision le futur champ de vision de l'utilisateur en combinant deux sources d'information :

1. Priors Historiques (HPE) : Analyse de la séquence de vue passée de l'utilisateur spécifique pour capturer sa dynamique temporelle (utilisation d'un module iTransformer et de MLP).
2. Priors Collaboratifs (CPE) : Apprentissage des comportements d'un groupe d'utilisateurs pour extraire des embeddings spécifiques à chaque utilisateur. Cela permet de capturer les « inerties comportementales » uniques (ex: certains utilisateurs tournent autour de la scène, d'autres restent fixes).

• Architecture : Utilise des mécanismes d'attention croisée (Cross-Attention) pour fusionner les informations historiques et collaboratives, permettant une prédiction plus robuste que les modèles traitant tous les utilisateurs de manière identique.

C. Module d'Adaptation de Débit basé sur l'Apprentissage par Renforcement Profond (DBA - DRL-based Bitrate Adaptation)

Pour gérer la variabilité du nombre de tuiles et optimiser la transmission :

• Formulation MDP : Le problème est modélisé comme un Processus de Décision Markovien (MDP).
  • État ($s_t$) : Débit réseau, séquence de vues futures prédite, et caractéristiques des tuiles (position, importance, qualité précédente).
  • Action ($a_t$) : Sélection des niveaux de qualité pour chaque tuile à transmettre.
  • Récompense ($r_t$) : Maximise la qualité visuelle dans le champ de vision futur tout en minimisant la latence et en respectant la contrainte de bande passante.
• Algorithme : Utilisation de DDPG (Deep Deterministic Policy Gradient) avec une architecture Actor-Critic.
• Gestion de la variabilité spatiale : Pour gérer le fait que le nombre de tuiles change d'une scène à l'autre, le système utilise des modules Set Abstraction (SA) et Feature Propagation (FP) (inspirés de PointNet). Ces modules traitent les tuiles comme un ensemble non ordonné de vecteurs, évitant ainsi les problèmes liés à l'ordre séquentiel imposé par les Transformers classiques sur des données de taille variable.

3. Contributions Clés

1. Premier système de streaming 3DGS : GSStream est la première solution intégrant nativement le format 3DGS avec une prédiction collaborative et une adaptation de débit par DRL.
2. Nouveau Jeu de Données : Les auteurs ont créé le premier jeu de données complet de trajectoires de vue pour les scènes 3DGS, basé sur 32 sujets et 15 scènes variées (intérieures/extérieures), capturé via un casque HTC VIVE Pro Eye.
3. Architecture Innovante :
   • Intégration de l'apprentissage collaboratif pour la prédiction de vue.
   • Utilisation de modules SA/FP dans un cadre DDPG pour gérer efficacement les espaces d'actions de dimensions variables (nombre de tuiles changeant).
4. Validation Expérimentale : Démonstration que GSStream surpasse les systèmes de l'état de l'art (ViVo, CaV3, GS3D) en termes de qualité visuelle et d'efficacité réseau.

4. Résultats Expérimentaux

Les expériences ont été menées sur 15 scènes avec des conditions de réseau simulées (40, 80, 120 Mbps).

• Qualité Visuelle (SSIM) : GSStream obtient un SSIM moyen de vue supérieur de 118,9 % par rapport à ViVo, 9,4 % par rapport à CaV3 et 10,9 % par rapport à GS3D. La méthode maintient une meilleure fidélité structurelle, surtout lors des transitions de vue.
• Efficacité du Réseau : Le système utilise la bande passante de manière plus stable et efficace, évitant les fluctuations de débit observées chez les concurrents. Il transmet plus de données pertinentes dans le champ de vision de l'utilisateur.
• Prédiction de Vue : Le module CVP réduit l'erreur absolue moyenne (MAE) de prédiction de position et de rotation par rapport aux méthodes basées uniquement sur l'historique individuel ou des règles simples.
• Ablation : Les tests montrent que la combinaison des priors historiques et collaboratifs est essentielle ; retirer l'un ou l'autre dégrade significativement la précision de la prédiction.

5. Signification et Impact

Ce travail est significatif car il comble le fossé entre la haute fidélité du rendu 3DGS et les contraintes pratiques de la transmission en temps réel.

• Adaptabilité : En traitant les scènes comme des ensembles de tuiles variables et en utilisant le DRL, GSStream s'adapte à n'importe quelle géométrie de scène sans nécessiter de reconfiguration manuelle.
• Personnalisation : L'approche collaborative améliore l'expérience utilisateur en tenant compte des habitudes individuelles de navigation dans des environnements immersifs.
• Fondation pour le futur : La création d'un jeu de données spécifique et la démonstration de la faisabilité du streaming 3DGS ouvrent la voie à des applications grand public en réalité virtuelle (VR) et en téléprésence, où la qualité visuelle et la fluidité sont critiques.

En résumé, GSStream propose une solution holistique qui combine la puissance du 3DGS, l'intelligence de la prédiction comportementale collaborative et la robustesse de l'apprentissage par renforcement pour rendre le streaming de scènes volumétriques haute fidélité viable sur les réseaux actuels.