💻 computer science

E2GS: Event Enhanced Gaussian Splatting

E2GS est une méthode novatrice qui intègre les données de caméras événementielles au Gaussian Splatting pour réaliser une synthèse de vues nouvelles de haute qualité et un défloutage d'image efficace, avec des vitesses d'entraînement et de rendu nettement supérieures aux approches traditionnelles basées sur NeRF.

Auteurs originaux : Hiroyuki Deguchi, Mana Masuda, Takuya Nakabayashi, Hideo Saito

Publié 2026-05-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hiroyuki Deguchi, Mana Masuda, Takuya Nakabayashi, Hideo Saito

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de prendre une belle photo d'une scène en mouvement rapide, comme une voiture de course ou un ventilateur qui tourne. Si vous utilisez un appareil photo standard, le résultat est souvent un flou indistinct car l'appareil n'a pas pu suivre la vitesse. Pendant des années, les informaticiens ont tenté d'utiliser les mathématiques pour « déflouter » ces photos et même créer de nouveaux angles de la scène que l'appareil n'a jamais réellement vus.

Ce papier présente un nouvel outil appelé E2GS (Event Enhanced Gaussian Splatting). Imaginez-le comme un éditeur photo surpuissant qui ne se contente pas de deviner à quoi la photo floue devrait ressembler, mais utilise une « deuxième paire d'yeux » spéciale pour voir exactement ce qui s'est passé pendant le flou.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : Le Flou de Mouvement Indistinct

Les appareils photo standards fonctionnent comme une caméra de cinéma : ils prennent une photo toutes les 1/30e de seconde. Si quelque chose bouge trop vite pendant ce minuscule intervalle de temps, l'image se dégrade.

L'ancienne méthode : Les scientifiques ont tenté de résoudre ce problème en utilisant une méthode appelée NeRF. Imaginez NeRF comme un artiste très lent et très méticuleux qui tente de reconstruire le monde entier en 3D en tirant des millions de minuscules faisceaux laser à travers l'air pour deviner ce qu'il y a à l'intérieur. Il crée des images époustouflantes, mais cela prend des jours pour s'entraîner et est trop lent pour être visualisé en temps réel.
La nouvelle méthode (Gaussian Splatting) : Récemment, une méthode plus rapide appelée « Gaussian Splatting » est arrivée. Au lieu de tirer des lasers, elle peint le monde en 3D avec des millions de minuscules nuages 3D flous (Gaussiens). C'est comme utiliser une bombe de peinture aérosol au lieu d'un laser. C'est incroyablement rapide, mais si vous lui donnez une photo floue, elle peint simplement un monde 3D flou.

2. L'Ingrédient Secret : La « Caméra à Événements »

Les auteurs ont réalisé que les appareils photo standards sont mauvais pour capturer la vitesse, mais il existe un type d'appareil photo différent appelé Caméra à Événements.

L'Analogie : Imaginez un appareil photo standard comme un gardien de sécurité qui prend une photo de la pièce chaque seconde. Si un voleur passe entre deux photos, le gardien le manque.
La Caméra à Événements : C'est comme un gardien qui ne prend pas de photos mais crie plutôt : « Quelque chose a bougé ici ! C'est devenu plus lumineux ! » ou « Quelque chose a bougé là-bas ! C'est devenu plus sombre ! » Il ne signale que les changements. Il ne se soucie pas de l'image entière ; il se soucie uniquement de l'action. Il n'a pas de flou de mouvement car il réagit instantanément.

3. Comment E2GS les Combine

La grande idée du papier est de mélanger la « photo floue » (de l'appareil photo standard) avec les « cris de mouvement » (de la caméra à événements).

Le Processus :
1. La Configuration : Vous avez une photo floue d'une scène et un flux de « données d'événements » (les cris de mouvement) qui se sont produits pendant que la photo était prise.
2. La Reconstruction : Le système E2GS utilise les données d'événements pour déterminer exactement comment la lumière a changé pendant le flou. C'est comme avoir une vidéo en accéléré du flou en train de se produire, ce qui aide le système à inverser l'image nette.
3. La Peinture : Il utilise ensuite la technique de « Gaussian Splatting » (les nuages de peinture aérosol) pour construire un modèle 3D. Parce qu'il sait exactement comment la lumière a bougé (grâce aux données d'événements), il peut peindre une scène 3D nette et claire même si la photo d'entrée était floue.

4. Pourquoi C'est une Grande Nouvelle

Le papier revendique deux victoires majeures sur les meilleures méthodes précédentes (comme E2NeRF) :

Vitesse : L'ancienne méthode (NeRF) était comme un escargot ; il fallait 2 jours pour apprendre une scène et produire une vidéo qui se déplaçait à 0,04 images par seconde (essentiellement un diaporama). La nouvelle méthode E2GS est comme un guépard ; elle a appris la scène en 50 minutes et peut rendre une vidéo à 140 images par seconde (vitesse fluide et temps réel).
Qualité : Même si elle est rapide, les images sont plus nettes. Lorsqu'ils l'ont testée sur des photos factices (synthétiques) et réelles, E2GS a produit des images plus claires et de meilleures vues 3D que les anciennes méthodes plus lentes.

Résumé

En bref, E2GS est une nouvelle façon de transformer des photos floues et tremblantes en mondes 3D nets. Elle fait cela en associant un appareil photo standard à une caméra spéciale de « détection de mouvement ». Le résultat est un système qui est non seulement 60 fois plus rapide à entraîner et 3 500 fois plus rapide à rendre que la meilleure technologie précédente, mais qui crée également des images beaucoup plus claires.

Les auteurs notent que cela concerne actuellement des scènes statiques (des choses qui ne bougent pas à l'intérieur de la scène, bien que l'appareil photo puisse bouger), et ils envisagent un avenir où cela pourrait aider avec des scènes sportives en mouvement rapide, mais pour l'instant, c'est une percée pour corriger les photos floues et créer des vues 3D instantanément.

Résumé technique : Gaussian Splatting amélioré par événements (E2GS)

Énoncé du problème

Les récents progrès en reconstruction de scènes 3D et en synthèse de vues nouvelles ont été motivés par les Champs de Radiance Neuronaux (NeRF) et, plus récemment, par le Gaussian Splatting 3D. Bien que le Gaussian Splatting 3D offre des capacités d'entraînement et de rendu rapides par rapport aux NeRF, ces méthodes supposent généralement des conditions d'entrée idéales. Elles rencontrent de sérieuses difficultés face aux images floues par mouvement, un artefact courant causé par le mouvement d'objets, les tremblements de l'appareil photo ou la défocalisation de l'objectif.

À l'inverse, les caméras à événements (capteurs de vision dynamique) offrent une plage dynamique élevée, aucune flou de mouvement et une faible latence en capturant de manière asynchrone les changements de luminosité des pixels. Les méthodes précédentes de reconstruction 3D basées sur les événements, telles que E2NeRF, ont utilisé avec succès les données d'événements conjointement avec des images RVB floues pour reconstruire des scènes nettes. Cependant, ces approches reposent sur le paradigme NeRF, qui nécessite des stratégies d'échantillonnage de rayons étendues, entraînant des temps d'entraînement prohibitivement longs et des vitesses de rendu lentes. Il subsiste un besoin pour une méthode qui combine l'efficacité du Gaussian Splatting avec la résilience aux flous de mouvement des données d'événements.

Méthodologie

Les auteurs proposent le Gaussian Splatting amélioré par événements (E2GS), un cadre qui intègre les données de flux d'événements dans le pipeline de Gaussian Splatting 3D pour gérer les entrées floues par mouvement. La méthode fonctionne en trois étapes principales :

1. Prétraitement et initialisation

Défloutage piloté par les événements : Étant donné un ensemble d'images floues et leurs flux d'événements correspondants, la méthode divise le temps d'exposition de chaque image en $N$ instants temporels égaux. En utilisant le modèle d'intégrale double basé sur les événements (EDI), elle estime une séquence d'images intermédiaires nettes ( $I_i$ ) en accumulant les données d'événements. L'image floue est modélisée comme la moyenne de ces images intermédiaires.
Initialisation : La séquence estimée d'images défloutées est injectée dans un pipeline Structure-from-Motion (SfM) (COLMAP) pour générer les coordonnées 3D initiales des gaussiennes et les poses de la caméra. Cette étape est cruciale, car le SfM standard échoue souvent s'il est initialisé directement avec des images floues.

2. Cadre d'entraînement

E2GS optimise les paramètres des gaussiennes 3D en utilisant deux fonctions de perte distinctes pour superviser la reconstruction :

Perte de rendu d'image ( $\mathcal{L}_{blur}$ ) : Pour adapter le Gaussian Splatting aux entrées floues, la méthode rend $N$ vues intermédiaires correspondant aux instants temporels et les moyenne pour simuler la vérité terrain floue. La perte est une combinaison de la perte L1 et du D-SSIM (Dissimilarité de similarité structurelle) comparant la moyenne simulée à l'image floue d'entrée.
Perte de rendu d'événements ( $\mathcal{L}_{event}$ ) : Pour exploiter la haute résolution temporelle des données d'événements, la méthode sélectionne aléatoirement deux images dans la séquence rendue, les convertit en intensité dans le domaine logarithmique, et calcule le nombre attendu d'événements basé sur la différence d'intensité et un seuil $C$ . Cette estimation de bac d'événements est comparée au bac d'événements de vérité terrain en utilisant l'erreur quadratique moyenne (MSE). Cette perte impose une cohérence avec le processus temporel continu du flou, et non seulement avec la moyenne statique.

La fonction de perte totale est une somme pondérée : $\mathcal{L} = \mathcal{L}_{blur} + w_{event}\mathcal{L}_{event}$ .

Contributions clés

Première intégration des événements dans le Gaussian Splatting : E2GS est la première approche à incorporer des données d'événements dans le cadre du Gaussian Splatting, dépassant le paradigme de rendu volumétrique des NeRF.
Défloutage et synthèse efficaces : La méthode utilise efficacement à la fois les images RVB floues et les flux d'événements pour réaliser un défloutage d'image de haute qualité et une synthèse de vues nouvelles.
Améliorations significatives de la vitesse : En remplaçant l'échantillonnage de rayons par un rasterisation différentiable, E2GS réduit considérablement les coûts de calcul par rapport aux méthodes d'événements basées sur NeRF.

Résultats expérimentaux

Les auteurs ont évalué E2GS sur des ensembles de données synthétiques (tremblements de caméra simulés dans Blender) et des ensembles de données réels (capturés avec des caméras à événements DAVIS346).

Performance quantitative :
- Défloutage d'image : Sur des données synthétiques, E2GS a atteint un PSNR de 30,84, surpassant le Gaussian Splatting standard (22,92) et égalant ou dépassant légèrement E2NeRF (29,77). Sur des données réelles, E2GS a obtenu les scores BRISQUE les plus bas (indiquant une naturalité supérieure), avec une moyenne de 32,50 contre 36,59 pour E2NeRF.
- Synthèse de vues nouvelles : E2GS a démontré des résultats supérieurs ou compétitifs en termes de métriques PSNR, SSIM et LPIPS par rapport au GS standard et à E2NeRF sur des données synthétiques. Pour la synthèse de vues nouvelles sur des données réelles, E2GS a à nouveau obtenu les meilleurs scores BRISQUE (moyenne de 32,77).
Efficacité :
- Entraînement : E2GS a réduit le temps d'entraînement d'un facteur 60 par rapport à E2NeRF (50 minutes contre 2 jours).
- Rendu : E2GS a atteint une vitesse de rendu de 140 FPS, représentant une accélération de 3500 fois par rapport à E2NeRF (0,04 FPS).

Importance et affirmations

L'article affirme qu'E2GS comble avec succès le fossé entre la reconstruction de haute qualité des méthodes NeRF basées sur les événements et l'efficacité computationnelle du Gaussian Splatting. Les auteurs affirment que leur méthode génère des rendus visuellement attrayants tout en offrant des vitesses d'entraînement et de rendu nettement plus rapides, rendant ainsi faisable la reconstruction 3D en temps réel ou quasi réel à partir de données floues par mouvement et augmentées par des événements.

Les auteurs concluent que, bien que leur méthode gère efficacement les scènes statiques, les orientations de recherche futures incluent la prise en charge des scènes dynamiques avec des sujets en mouvement rapide (par exemple, le sport), qui restent un défi pour les approches actuelles se concentrant uniquement sur le RVB ou sur les scènes statiques.