Differentiable Voronoi Ray Tracing Beyond Rasterization Speeds

Dans le monde de l'infographie, il existe depuis longtemps un compromis fondamental entre la vitesse et la flexibilité. Pendant des décennies, la méthode la plus rapide pour créer des images réalistes sur un écran a été une technique appelée la rastérisation. Imaginez un peintre qui regarde une scène en 3D et la projette simplement sur une toile plate, en remplissant les pixels un par un. Cette méthode est incroyablement rapide et alimente les jeux vidéo et les films que nous voyons chaque jour, mais elle peine avec les effets optiques complexes comme le flou d'un objectif d'appareil photo ou la distorsion d'une vue grand angle. Pour obtenir ces effets, le logiciel doit ajouter des règles spéciales et compliquées au processus de peinture, ce qui ralentit souvent le travail ou introduit des erreurs. L'alternative est le lancer de rayons (ray tracing), une méthode qui imite la façon dont la lumière voyage réellement. Au lieu de projeter une image plate, l'ordinateur tire des faisceaux de lumière invisibles depuis la caméra dans la scène pour voir ce qu'ils touchent. Cette approche gère naturellement tous les effets optiques délicats sans règles supplémentaires, mais elle a historiquement été trop lente pour une utilisation en temps réel, nécessitant une puissance de calcul massive pour calculer seulement quelques images par seconde.

Une équipe de chercheurs suédois a maintenant remis en question l'idée qu'il faille choisir entre la vitesse du peintre et la flexibilité du lanceur de faisceaux de lumière. Ils ont développé un nouveau système appelé VoroTracing qui utilise l'approche par faisceaux de lumière mais fonctionne assez rapidement pour être utilisé en temps réel. Leur travail se concentre sur une manière spécifique d'organiser l'espace 3D, en le divisant en un patchwork de bulles irrégulières, un peu comme les cellules d'un nid d'abeille mais avec des formes qui s'adaptent aux objets de la scène. En naviguant à travers ces bulles de manière intelligente et organisée, leur système peut tracer des faisceaux de lumière à travers un environnement complexe à une vitesse qui rivalise avec, et dans certains cas bat, les méthodes traditionnelles les plus rapides.

Les chercheurs ont commencé par examiner pourquoi le lancer de rayons était resté si lent. Ils ont découvert que le principal goulot d'étranglement n'était pas seulement le calcul mathématique pour trouver où un faisceau de lumière frappe un objet, mais la quantité massive de données que l'ordinateur devait charger et traiter à chaque étape du voyage. Dans les tentatives précédentes pour accélérer cela, l'ordinateur se retrouvait souvent bloqué à charger trop d'informations pour chaque petite étape, ou errait trop longtemps dans l'espace vide avant de trouver un objet solide. L'équipe a réalisé que pour que cela fonctionne, ils devaient repenser l'intégralité du voyage du faisceau de lumière, de la façon dont la scène est construite à la manière dont la puce informatique gère les données.

Ils ont commencé par changer la façon dont la scène est représentée. Au lieu d'utiliser une couleur unique et lisse pour chaque bulle qui ne change qu'en fonction de l'angle sous lequel on la regarde, ils ont doté chaque bulle d'une carte de texture détaillée et minuscule. Cela permet à une seule bulle de contenir des motifs et des détails complexes, ce qui signifie que l'ordinateur n'a pas besoin de créer des millions de minuscules bulles pour montrer un mur de briques ou un arbre feuillu. Ils ont également changé la façon dont l'ordinateur décide quand s'arrêter de chercher. En entraînant le système pour rendre l'espace vide entre les objets complètement invisible et les surfaces des objets complètement solides, les faisceaux de lumière pouvaient traverser l'air sans ralentir et s'arrêter dès qu'ils touchaient une surface. Cela a empêché l'ordinateur de perdre du temps à calculer la couleur de l'espace vide.

Pour rendre le processus encore plus rapide, les chercheurs ont réorganisé la façon dont la mémoire de l'ordinateur stocke ces bulles. Ils ont disposé les données de sorte que les bulles situées à proximité les unes des autres dans le monde 3D soient également stockées à proximité les unes des autres dans la mémoire de l'ordinateur. Cela a permis à la carte graphique de saisir toutes les informations nécessaires pour un groupe de faisceaux de lumière en un seul mouvement efficace, plutôt que de sauter de façon désordonnée dans la banque de mémoire. Ils ont également ajouté un filtre intelligent qui indique à l'ordinateur d'ignorer toute bulle si ténue qu'elle ne modifiera pas l'image finale, sautant ainsi entièrement le calcul.

Les résultats de cette refonte furent frappants. Testé sur un ensemble standard de scènes 3D complexes, le nouveau système a généré des images à 623 images par seconde sur une carte graphique haut de gamme. C'est plus de trois fois plus rapide que la meilleure méthode précédente utilisant des faisceaux de lumière, et c'est aussi nettement plus rapide que les méthodes traditionnelles basées sur la peinture les plus rapides actuellement utilisées dans le domaine. Les images produites étaient tout aussi nettes et réalistes que les méthodes plus lentes, sans aucune perte de qualité. Peut-être plus important encore, comme le système utilise des faisceaux de lumière, il pouvait instantanément passer au rendu d'images avec différents effets de caméra. Sans aucun changement dans le logiciel de base, les chercheurs pouvaient générer des images avec la distorsion d'un objectif fisheye, le flou d'une caméra en mouvement ou la faible profondeur de champ d'un objectif de portrait, simplement en changeant la trajectoire des faisceaux de lumière.

Ce travail démontre que la vieille croyance selon laquelle le lancer de rayons est trop lent pour les applications en temps réel pourrait ne plus être vraie si le système est conçu dès le départ en tenant compte du matériel. En co-concevant soigneusement la façon dont la scène est stockée, la façon dont les faisceaux de lumière voyagent et la façon dont l'ordinateur traite les données, les chercheurs ont montré qu'il est possible d'avoir à la fois la vitesse des jeux vidéo modernes et la flexibilité naturelle de la lumière réelle. Ils ont publié leur code pour que d'autres puissent l'utiliser, ouvrant la porte à de futures applications dans la réalité virtuelle, la conduite autonome et les appareils mobiles, où ils ont déjà démontré le fonctionnement fluide du système sur un smartphone. L'étude suggère que l'avenir des graphismes informatiques réalistes ne réside peut-être pas dans le choix entre la vitesse et le réalisme, mais dans la recherche d'une nouvelle façon de les faire travailler ensemble.