Résumé Technique : QuantumGS

Énoncé du Problème

Le 3D Gaussian Splatting (3DGS) standard s'est imposé comme une méthode de pointe pour le rendu neuronal en temps réel de scènes complexes. Cependant, il repose sur des Harmoniques Sphériques (SH) d'ordre bas pour modéliser la couleur dépendante de la vue. Cette dépendance agit comme un filtre passe-bas, échouant à capturer avec précision les effets dépendants de la vue à haute fréquence, tels que les réflexions spéculaires nettes, les surfaces brillantes et les variations complexes de transparence.

Bien que des extensions hybrides comme le Viewing Direction Gaussian Splatting (VDGS) tentent d'atténuer cela en introduisant des Perceptrons Multicouches (MLP) classiques, ces approches restent contraintes par l'expressivité limitée des réseaux classiques, particulièrement dans les régimes à faibles paramètres requis pour maintenir les performances en temps réel. De plus, les applications existantes de l'Apprentissage Automatique Quantique (QML) dans le rendu, telles que Quantum Radiance Fields (QRF) et QKAN-GS, se sont principalement concentrées sur les représentations implicites ou la compression, laissant un vide dans la modélisation explicite de la luminance dépendante de la vue via des encodages géométriques quantiques.

Méthodologie

Les auteurs introduisent QuantumGS, un cadre hybride qui intègre des Circuits Quantiques Variationnels (VQC) directement dans le pipeline 3DGS. L'innovation centrale réside dans le remplacement des réseaux de modulation de couleur classiques par des circuits quantiques qui exploitent la géométrie naturelle des qubits pour représenter les données directionnelles 3D.

1. Encodage Directionnel sur la Sphère de Bloch

Contrairement aux méthodes classiques qui traitent les directions de vue comme des coordonnées euclidiennes discrètes, QuantumGS projette les directions de vue normalisées $\mathbf{d} \in S^2$ directement sur la sphère de Bloch.

• Mapping : La direction de vue est convertie en angles polaire ($\theta$) et azimutal ($\phi$), qui paramètrent un état de qubit $|\psi\rangle$.
• Implémentation : Ceci est étendu à un système à 3 qubits en utilisant des portes de rotation ($R_y$ et $R_z$) pour encoder la direction de vue comme une rotation continue dans l'espace de Hilbert. Cette formulation préserve la structure de la variété de la sphère et capture la continuité rotationnelle et les relations de phase inhérentes aux données angulaires.

2. Circuit Quantique Variationnel (VQC)

L'état encodé est traité par un ansatz VQC composé de quatre couches. Chaque couche alterne entre :

• Rotations Paramétrées : Des rotations locales sur chaque qubit qui apprennent comment les directions de vue transforment l'encodage initial.
• Intrication Circulaire : Une séquence CNOT cyclique ($0\to1\to2\to0$) qui entremêle les trois qubits. Cela crée des corrélations modélisant les interdépendances entre les canaux de couleur (RGB) et l'opacité.
• Sortie : Les mesures dans la base Z produisent un vecteur de caractéristiques quantiques 3D, qui est injecté dans un MLP classique léger pour générer les résidus dépendants de la vue ($\Delta c$ et $\Delta \alpha$) pour la couleur et l'opacité.

3. Cadre à Double Pipeline

Pour équilibrer l'expressivité locale et la scalabilité globale, les auteurs proposent deux stratégies de contrôle :

• Pipeline I (Par-Gaussian / Hyper-Quantique) : Un hyperréseau classique génère des paramètres de VQC uniques (angles de rotation) et des poids de MLP pour chaque Gaussian basé sur son encodage de hachage spatial. Cela maximise la précision locale pour les effets optiques complexes, adapté aux scènes synthétiques.
• Pipeline II (Global / Joint-Hash) : Un VQC partagé avec des paramètres globaux qui est conditionné par la concaténation des encodages de hachage des positions des Gaussians et des directions de vue. Cette approche permet de passer à l'échelle sur de grandes scènes réelles tout en préservant la modélisation assistée par le quantique.

4. Rendu Différentiable

Le cadre maintient le pipeline de rasterisation standard de 3DGS. Les attributs finaux sont calculés comme des mises à jour multiplicatives de la couleur SH de base et de l'opacité :
$$c_{final}(\mathbf{d}) = c(\mathbf{d}) \cdot \Delta c(\mathbf{d}), \quad \alpha_{final}(\mathbf{d}) = \alpha(\mathbf{d}) \cdot \Delta \alpha(\mathbf{d})$$
Le système est optimisé de bout en bout en utilisant une perte combinée $L_1$ et $D$-SSIM.

Contributions Clés

1. Encodage Directionnel sur la Sphère de Bloch : Une stratégie d'encodage novatrice qui projette les directions de vue sur des états de qubits, fournissant une représentation physiquement significative des réflexions anisotropes et de la transparence.
2. Mécanismes de Contrôle Quantique Duaux : Deux schémas complémentaires (Hyper-Quantique et Joint-Hash Global) qui permettent un équilibre contrôlable entre précision locale et généralisation à grande échelle.
3. Rendu Amélioré de la Dépendance de Vue : Le cadre démontre une expressivité et une généralisation supérieures par rapport au 3DGS conventionnel et aux bases classiques, particulièrement pour modéliser les effets spéculaires à haute fréquence et la transparence complexe.

Résultats Expérimentaux

Les auteurs ont évalué QuantumGS sur des jeux de données standards incluant NeRF Synthetic, Mip-NeRF 360, Tanks and Temples, et Deep Blending.

• Performance Quantitative :
  • Sur le jeu de données NeRF Synthetic (Pipeline I), QuantumGS a atteint des résultats de pointe avec un PSNR de 33.98 et un SSIM de 0.970, surpassant le 3DGS standard (33.30 PSNR) et le VDGS (33.37 PSNR).
  • Sur les jeux de données réels à grande échelle (Pipeline II), QuantumGS a démontré une meilleure généralisation. Sur Deep Blending, il a obtenu le PSNR le plus élevé (30.15) et un SSIM de 0.916. Sur Tanks and Temples, il a amélioré le PSNR à 24.70 et le SSIM à 0.888.
• Améliorations Qualitatives :
  • Transparence et Spécularité : Dans la scène "Truck", QuantumGS a récupéré les détails à haute fréquence et la visibilité de l'arrière-plan à travers les pare-brises, qui étaient flous dans le 3DGS standard.
  • Réduction des Artefacts : Dans les scènes "Ship" et "Room", la méthode a éliminé les artefacts de type "floaters" et les incohérences géométriques dentelées communes aux méthodes de référence.
  • Définition des Matériaux : Dans les scènes centrées sur des objets (ex: Drums, LEGO), QuantumGS a préservé les géométries de réflexion distinctes et les ombres d'occlusion qui étaient perdues ou floues dans le VDGS et le 3DGS standard.
• Performance : Malgré la surcharge de calcul liée à la simulation de circuits quantiques sur du matériel classique, la conception efficace à 3 qubits a permis à QuantumGS de maintenir des vitesses de rendu en temps réel, allant de 10 à plus de 16 FPS sur des scènes à haute résolution.

Signification et Revendications

L'article affirme que QuantumGS établit une fondation pour la transition des moteurs de rendu neuronal vers le véritable matériel quantique. En exploitant explicitement la géométrie de l'espace d'état quantique (encodage de la sphère de Bloch) plutôt que d'utiliser les circuits quantiques simplement comme des approximateurs de fonctions à faible paramètre, la méthode capture les interactions lumière-matière dépendantes de la vue que les réseaux classiques peinent à modéliser dans des régimes à faibles paramètres.

Les auteurs reconnaissent que la principale limitation est le coût de la simulation de l'intrication quantique sur des GPU classiques, ce qui empêche actuellement d'atteindre les vitesses de rasterisation extrêmes du 3DGS pur. Cependant, ils affirment que la viabilité de la méthode est confirmée par sa capacité à maintenir des taux de rafraîchissement interactifs tout en améliorant considérablement la fidélité du rendu pour les phénomènes optiques complexes. Ce travail suggère que le futur matériel NISQ (Noisy Intermediate-Scale Quantum) pourrait contourner le goulot d'étranglement de la simulation, renforçant ainsi la praticité du rendu assisté par le quantique.