gQIR: Generative Quanta Image Reconstruction

Ce papier présente gQIR, une méthode qui adapte les modèles de diffusion latents text-to-image pour reconstruire des images de haute qualité à partir de données de capteurs SPAD extrêmement bruitées et limitées en photons, en surmontant les défis de l'alignement, du débruitage et du démélangeage de couleurs grâce à des priors sémantiques et à une modélisation des statistiques de photons.

L'essentiel

📸 Le Problème : Prendre des photos avec un seul grain de lumière

Imaginez que vous essayez de prendre une photo dans le noir complet, mais que votre appareil photo ne reçoit qu'une poignée de grains de lumière (des photons) par seconde. C'est le défi des capteurs SPAD (des caméras ultra-sensibles capables de voir dans l'obscurité totale ou à des vitesses folles, comme une balle en train de traverser une pomme).

Le problème ? Ces capteurs ne voient pas des images continues et douces. Ils voient des points noirs et blancs, très espacés, comme un ciel étoilé vu à travers un trou de serrure. Si vous essayez d'assembler ces points bruts, vous obtenez une image pleine de bruit, floue et illisible. C'est comme essayer de reconstituer un puzzle dont on vous donne 5 pièces sur 1000, et qui sont en plus toutes noires ou toutes blanches.

🧠 La Solution : gQIR, le "Super-Intérieur" de l'appareil

Les auteurs (Aryan Garg, Sizhuo Ma et Mohit Gupta) ont créé une méthode appelée gQIR. Pour faire simple, ils ont donné à l'appareil photo un cerveau d'intelligence artificielle capable de "deviner" ce qui devrait être là, même si les données sont manquantes.

Voici comment cela fonctionne, étape par étape, avec des analogies :

1. L'Entraînement du Dessinateur (Le VAE)

Imaginez que vous avez un élève (l'IA) qui doit apprendre à dessiner un visage, mais on ne lui montre que des croquis très grossiers faits avec des points.

• L'ancien problème : Si on lui demande juste de relier les points, il va dessiner des lignes floues et ennuyeuses pour être sûr de ne pas se tromper.
• La solution gQIR : Ils ont entraîné l'IA non pas seulement à relier les points, mais à comprendre la structure de l'image. Ils ont utilisé un modèle d'IA immense (comme ceux qui génèrent des images à partir de texte) et l'ont adapté pour qu'il sache : "Même si je ne vois que 3 points ici, je sais que c'est probablement un œil, pas un grain de poussière."
• L'analogie : C'est comme si vous aviez un chef cuisinier qui, même avec des ingrédients presque vides, sait exactement à quoi le plat final doit ressembler grâce à sa mémoire des milliers de recettes qu'il a apprises.

2. L'Amélioration Artistique (Le LoRA)

Une fois que l'IA a reconstitué une image "correcte" mais un peu terne, elle passe à l'étape suivante : l'embellissement.

• Ils utilisent une technique appelée LoRA (comme un filtre Instagram très puissant, mais appris).
• L'analogie : C'est comme passer d'une photo prise avec un téléphone basique à une photo prise par un photographe professionnel. L'IA ajoute les détails fins (les pores de la peau, les reflets dans les yeux, les textures) que les capteurs n'ont pas pu capturer, en s'appuyant sur ce qu'elle "sait" être réaliste.

3. La Fusion du Temps (Le FusionViT)

C'est là que la magie opère pour les vidéos ultra-rapides (comme un moteur de fusée ou une explosion).

• Les capteurs SPAD prennent des centaines d'images par seconde. Mais si l'objet bouge vite, les images sont décalées.
• Le problème classique : Si vous faites la moyenne de toutes ces images floues, vous obtenez un flou de mouvement.
• La solution gQIR : Ils utilisent un mécanisme intelligent qui dit : "Attends, cette partie de l'image bouge vite, celle-ci est stable. Je vais mélanger intelligemment les meilleures parties de chaque image pour créer une seule image parfaite."
• L'analogie : Imaginez un chef d'orchestre qui écoute 100 musiciens jouant en même temps. Au lieu de tout mélanger dans un bruit assourdissant, il sélectionne la note parfaite de chaque musicien au bon moment pour créer une mélodie cristalline.

🌟 Pourquoi c'est révolutionnaire ?

Avant, si vous vouliez voir une explosion à 50 000 images par seconde, vous deviez accepter une image très bruitée ou floue. Avec gQIR :

1. On voit l'invisible : On peut reconstruire des images nettes à partir de très peu de lumière.
2. On voit le mouvement : On peut filmer des choses ultra-rapides (comme une balle qui traverse un ballon) sans flou.
3. On a de la couleur : C'est la première fois qu'on fait cela avec des capteurs de couleur (pas juste du noir et blanc).

En résumé

L'équipe a pris un super-cerveau d'IA (habituellement utilisé pour créer de l'art) et l'a transformé en un médecin légiste de la lumière. Ce médecin est capable de regarder une scène chaotique, pleine de bruit et de manque de données, et de dire : "Je sais exactement à quoi cette scène ressemblait en réalité, même si le capteur n'a vu que des points."

C'est comme si vous pouviez reconstituer un verre brisé en parfait état en regardant seulement quelques éclats de verre dispersés sur le sol.

Résumé technique

1. Problématique

La capture d'images de haute qualité à partir d'un nombre très restreint de photons détectés constitue un défi fondamental en imagerie computationnelle. Les capteurs à diode avalanche à photon unique (SPAD) promettent une imagerie haute fidélité dans des conditions de très faible luminosité et de très haute vitesse, là où les capteurs conventionnels échouent.

Cependant, les données brutes des caméras SPAD présentent des caractéristiques difficiles :

• Nature binaire et stochastique : Chaque pixel enregistre une valeur binaire (1 si un ou plusieurs photons sont détectés, 0 sinon) suivant une distribution de Bernoulli.
• Sparsité et bruit : Les images individuelles (quanta frames) sont dominées par le bruit de grenaille (shot noise) et des artefacts de quantification, ne contenant souvent qu'une information de scène très clairsemée.
• Défis de reconstruction : Reconstruire une image cohérente à partir d'une rafale (burst) de ces images binaires nécessite de gérer l'alignement, le débruitage et le dématriçage (pour la couleur) dans des statistiques de bruit très éloignées de celles supposées par les pipelines de restauration classiques ou les modèles génératifs modernes.
• Limites des méthodes actuelles : Les approches classiques (estimation de mouvement explicite) et les méthodes d'apprentissage existantes peinent face aux scènes avec des déformations extrêmes ou des vitesses ultra-élevées (jusqu'à 100 000 fps), car l'estimation du mouvement devient peu fiable avec si peu de photons.

2. Méthodologie : gQIR

Les auteurs proposent un cadre modulaire en trois étapes qui adapte de grands modèles de diffusion latents (Text-to-Image, T2I) au domaine de l'imagerie par rafales de quanta.

Étape 1 : Alignement VAE Quanta (Quanta Aligned VAE)

L'objectif est de débruitage et de dématriçage conjoint des images SPAD (nano-bursts).

• Problème identifié : L'alignement classique de l'espace latent (pré-suppression de dégradation) conduit à un "effondrement" de l'encodeur (catastrophic forgetting), où le modèle apprend une solution de contournement lisse et invariante à l'entrée.
• Solutions proposées :
  • Encodage déterministe moyen : Au lieu d'un échantillonnage stochastique, on utilise la moyenne déterministe de l'encodeur pour éviter l'amplification de la variance due au bruit de photons.
  • Perte d'alignement latent (LSA) : Une perte spécifique force l'encodeur à produire des représentations latentes cohérentes avec l'image de vérité terrain (GT), en utilisant une copie figée de l'encodeur pré-entraîné comme référence stable.
  • Cela permet de récupérer les détails structurels et chromatiques de base.

Étape 2 : Amélioration Perceptuelle (Perceptual Enhancement)

Cette étape affine la reconstruction pour améliorer les détails haute fréquence et la qualité perceptuelle.

• Architecture : Un réseau U-Net latent (LoRA - Low-Rank Adaptation) initialisé avec les poids d'un modèle de diffusion pré-entraîné (ex: Stable Diffusion 2.1).
• Entraînement : Un entraînement adversaire (GAN) est utilisé pour distiller la priorité du modèle de diffusion en un générateur en une seule étape (single-step), évitant ainsi le coût de l'échantillonnage itératif.
• Objectif : Combiner la perte adversaire avec des pertes de reconstruction (MSE) et perceptuelles (LPIPS) pour obtenir des images photoréalistes.

Étape 3 : Imagerie par Rafale Latente (Latent Burst Imaging)

Cette étape étend le modèle aux séquences complètes (bursts) en exploitant l'information temporelle.

• Fusion dynamique : Au lieu d'une moyenne simple des images alignées (qui crée du flou), un transformateur spatio-temporel léger (FusionViT) fusionne les latents de la rafale.
• Mécanisme : Le modèle calcule d'abord un flux optique sur des images reconstruites (pour surmonter l'écart de domaine), aligne les latents, puis utilise une attention fenêtrée sub-quadratique pour pondérer dynamiquement les informations des frames environnantes par rapport à la frame centrale.
• Résultat : Cela atténue les artefacts temporels (scintillement, dérive de contenu) tout en préservant la netteté.

3. Contributions Clés

1. Adaptation de priors génératifs : Première approche adaptant de grands modèles génératifs (T2I) à la reconstruction de rafales de quanta, un régime de photons extrêmement limité.
2. Méthode d'apprentissage conjointe : Un pipeline capable de débruitage, dématriçage et alignement de rafales pour des capteurs SPAD couleur, incluant un transformateur spatio-temporel pour la cohérence vidéo.
3. Nouveaux jeux de données :
   • Le premier jeu de données réel de rafales SPAD couleur.
   • Un nouveau jeu de données vidéo XD (eXtreme motion + Deforming) pour tester des mouvements extrêmes et des déformations.
4. Résultats sur des scénarios extrêmes : Démonstration de la capacité à reconstruire des images nettes et colorées à des vitesses allant jusqu'à 100 000 fps (ex: explosion de propane, moteur de jet).

4. Résultats Expérimentaux

Les performances ont été évaluées sur des benchmarks synthétiques et réels, comparées aux méthodes classiques (QBP, QUIVER) et aux méthodes d'apprentissage (Restormer, NAFNet).

• Qualité Perceptuelle vs Fidélité : Bien que les méthodes classiques optimisées pour le PSNR produisent des images plus lisses (oversmoothing), gQIR obtient des scores supérieurs sur les métriques non-référencées (ManIQA, ClipIQA, MUSIQ) et préserve des détails haute fréquence et des textures complexes (visages, texte) grâce au prior génératif.
• Reconstruction par Rafale : Sur le jeu de données XD (mouvements extrêmes), gQIR surpasse nettement les baselines. Là où QUIVER échoue à cause du flou de mouvement dans les nano-bursts et où QBP produit des images floues, gQIR maintient une structure cohérente et une haute fidélité.
• Données Réelles : La méthode fonctionne sur des captures réelles d'un prototype SPAD couleur sans correction explicite des pixels chauds ou du bruit sombre, prouvant sa robustesse.
• Études d'ablation : Elles confirment que l'encodage déterministe et la perte LSA sont essentiels pour éviter l'effondrement de l'encodeur, et que l'étape de fusion (FusionViT) est cruciale pour la stabilité temporelle.

5. Signification et Perspectives

Ce travail marque une étape importante vers l'utilisation de priors génératifs à grande échelle pour l'imagerie photonique limitée. Il démontre que les modèles de diffusion, traditionnellement entraînés sur des images naturelles continues, peuvent être adaptés avec succès aux données discrètes, binaires et extrêmement bruitées des capteurs SPAD.

Limitations et travaux futurs :

• La robustesse diminue sous un éclairage extrêmement faible (PPP ≤ 1).
• La limite de 8 bits du décodeur VAE pré-entraîné restreint la plage dynamique (HDR) native des SPAD.
• Des améliorations futures pourraient inclure la modélisation explicite du nombre de photons par pixel (PPP) comme signal de conditionnement et le développement de décodeurs HDR.

En résumé, gQIR ouvre la voie à une imagerie haute vitesse et haute sensibilité de qualité photographique, rendant possible la visualisation d'événements ultra-rapides (ballistique, explosions) avec une clarté inégalée par les méthodes précédentes.