Imaginez que vous essayez de prendre en photo un magnifique tableau accroché dans un musée, mais que la vitrine devant lui reflète votre propre visage et le flash de votre appareil. Le résultat est un mélange désordonné : le tableau que vous voulez voir est enfoui sous une couche fantomatique de votre propre reflet. C'est le problème classique de la « suppression de réflexion » en vision par ordinateur. Pendant longtemps, les ordinateurs ont tenté de résoudre cela en examinant une seule image figée et en devinant quelles parties appartiennent au tableau et lesquelles appartiennent au reflet. C'est comme essayer de séparer deux chansons différentes jouées en même temps en écoutant simplement un enregistrement statique ; c'est incroyablement difficile car l'ordinateur s'embrouille, laissant souvent derrière lui des taches floues ou effaçant accidentellement des parties de la scène réelle.

Pour aggraver les choses, de nombreuses méthodes avancées tentent de corriger cela en prenant une vidéo et en cherchant des mouvements importants, comme secouer la caméra violemment pour voir comment le reflet se déplace différemment du fond. Mais dans la vraie vie, nous ne pouvons pas toujours déplacer la caméra autant, ou le mouvement est trop infime pour être vu par une caméra standard qui prend des photos à un rythme lent et régulier. C'est là qu'intervient un type spécial de caméra appelé « caméra à événements ». Contrairement aux caméras régulières qui prennent des clichés comme un folioscope, les caméras à événements sont plutôt comme des oreilles super-rapides et sensibles. Elles ne attendent pas une image complète ; elles enregistrent seulement de minuscules changements de luminosité, survenant des millions de fois par seconde. Cela permet de capturer les plus infimes, presque invisibles, ondulations de lumière qui se produisent lorsque vous bougez légèrement la main.

Dans cet article, les chercheurs présentent un nouveau système appelé EvReflection qui utilise ces caméras à événements super-rapides pour résoudre l'énigme de la réflexion. Au lieu de deviner à partir d'une seule image figée ou de nécessiter de secouer la caméra violemment, leur méthode écoute les « micro-dynamiques » — les changements de lumière à haute vitesse capturés par la caméra à événements. Parce que le reflet (sur la vitre) et la scène réelle (derrière la vitre) se trouvent à des distances différentes, même le plus infime mouvement de caméra fait que le reflet et le fond oscillent de manières légèrement différentes. La caméra à événements capte ces subtiles différences instantanément. Les chercheurs ont construit un réseau intelligent qui utilise ces minuscules ondulations comme un code secret pour séparer parfaitement la réflexion de l'image réelle. Ils ont testé cela sur des scènes générées par ordinateur ainsi que sur un nouveau jeu de données du monde réel qu'ils ont créé, et les résultats montrent que leur méthode nettoie l'image bien mieux que les techniques précédentes, supprimant les « fantômes » sans flouter les détails réels.

Le Problème : Le Fantôme dans la Vitrine

Pensez à regarder à travers une fenêtre un jour de pluie. Vous voyez la rue à l'extérieur (la couche de « transmission »), mais vous voyez aussi votre propre visage et la pièce derrière vous se refléter dans le verre (la couche de « réflexion »). Pour un ordinateur, ces deux couches sont mélangées en un désordre flou. Pendant des années, les scientifiques ont essayé d'utiliser l'intelligence artificielle pour les démêler.

L'ancienne méthode consistait à regarder une seule photo et à essayer de deviner quels pixels appartiennent au reflet. Mais c'est comme essayer de démixer un smoothie pour récupérer les fruits originaux ; il est mathématiquement impossible de savoir avec certitude sans plus d'indices. Parfois, le reflet ressemble exactement à l'arrière-plan, ce qui confond l'ordinateur et laisse derrière lui des « artefacts » — des taches bizarres ou des images doubles qui gâchent la photo.

Une autre approche consistait à prendre une vidéo et à chercher du mouvement. Si vous déplacez la caméra, le reflet sur la vitre se déplace à une vitesse différente de celle de l'arrière-plan car ils se trouvent à des profondeurs différentes. Cependant, les caméras standard sont trop lentes pour capturer ces mouvements minuscules, à moins de beaucoup bouger la caméra. Si vous ne bougez que très peu (comme un léger tremblement de la main), une caméra régulière ne voit rien d'autre qu'une image statique, et l'ordinateur reste bloqué.

La Solution : Écouter les « Micro-Dynamiques »

Les auteurs de cet article ont réalisé que, si les caméras régulières manquent les mouvements minuscules, les caméras à événements, elles, ne les manquent pas. Une caméra à événements est un capteur spécial qui ne s'active que lorsqu'il détecte un changement de lumière. Elle est si rapide qu'elle peut détecter des changements en microsecondes.

La grande idée de l'équipe était simple mais brillante : Utiliser les mouvements minuscules, presque invisibles, de votre main pour faire la différence entre le reflet et la scène réelle.

Même si vous tenez la caméra très stable, votre main n'est jamais parfaitement figée. Elle présente de minuscules tremblements. Parce que le reflet est sur la surface de la vitre et que la scène réelle est derrière elle, ces minuscules tremblements font que le reflet et l'arrière-plan se décalent de montants légèrement différents. Une caméra régulière est trop lente pour voir cette différence, mais la caméra à événements la capte instantanément. C'est comme avoir un microphone super sensible capable d'entendre la différence entre deux personnes qui chuchotent dans une pièce, même si elles chuchotent presque les mêmes mots.

Comment fonctionne EvReflection

Les chercheurs ont construit un nouveau système d'IA appelé EvReflection qui agit comme un détective doté de deux regards : l'un observant la photo régulière (RGB) et l'autre écoutant les données à haute vitesse de la caméra à événements.

1. Le Découpleur de Micro-Dynamiques (MDD) : C'est la première partie du système. Il prend les données brutes de la caméra à événements et détermine exactement comment le reflet et l'arrière-plan bougent différemment. C'est comme un filtre qui sépare l'« ondulation » du reflet de l'« ondulation » de l'arrière-plan, les transformant en une carte claire de l'emplacement des couches.
2. Le Rectificateur de Parallaxe-Attention (PAR) : Une fois que le système sait comment les couches se déplacent, cette seconde partie utilise cette carte pour nettoyer la photo régulière. Elle regarde la photo et dit : « Ah, cette partie de l'image bouge comme le reflet, donc je vais la supprimer. Cette partie bouge comme l'arrière-plan, donc je vais la garder. » Elle utilise un mécanisme d'« attention » spécial pour se concentrer uniquement sur les parties qui ont besoin d'être corrigées, garantissant que l'image finale est nette et exempte de taches fantomatiques.

Les Résultats : Clarifier l'Air

Pour tester leur idée, l'équipe a dû résoudre un problème : il n'existait pas de photos du monde réel avec des données de caméra à événements pour l'entraînement. Ils ont donc construit un pipeline de simulation pour créer des milliers d'exemples réalistes mais fictifs où ils savaient exactement à quoi l'image propre devait ressembler. Ils ont également construit un montage spécial avec un support motorisé pour capturer un nouveau jeu de données du monde réel appelé EVR2, qui comprend des photos prises à travers des vitres de différentes épaisseurs.

Lorsqu'ils ont testé EvReflection, les résultats ont été impressionnants :

• Sur les ensembles de tests standards, leur méthode a battu les meilleures méthodes existantes de plus de 1,6 dB en qualité d'image (PSNR).
• Sur leur nouveau jeu de données du monde réel, elle a battu la concurrence de 1,2 dB.
• Visuellement, alors que les autres méthodes laissaient des effets de ghosting évidents ou des bords flous (comme on peut le voir dans les images de comparaison de l'article), EvReflection a réussi à supprimer les reflets, révélant un arrière-plan propre et net.

L'article suggère que cette approche est particulièrement efficace pour gérer le verre « épais », où le reflet crée des doubles images complexes qui confondent les autres systèmes. En s'appuyant sur les données de mouvement à haute vitesse de la caméra à événements, le système ne se contente pas de deviner ; il possède une preuve physique de quelle couche est laquelle.

Ce que cela signifie

Cette recherche suggère que l'ajout de caméras à événements peut résoudre des problèmes qui ont entravé la vision par ordinateur pendant des années. Elle montre que nous n'avons pas toujours besoin de bouger la caméra violemment pour séparer les couches ; même les mouvements les plus infimes et naturels, lorsqu'ils sont capturés avec le bon capteur, fournissent suffisamment d'informations pour démêler le tout. Bien que le système nécessite actuellement un type de caméra spécifique et un ordinateur puissant pour fonctionner, cela ouvre la voie à de futures caméras capables de voir à travers les reflets en temps réel, aidant les robots, les voitures autonomes et les photographes à voir le monde clairement, peu importe le nombre de vitres sur leur chemin.