DFARNet: Learnable Frequency Attention ResNet with Dual-Attention for Single-Image Desnowing

La neige est bien plus qu'une simple et jolie scène hivernale ; pour les machines qui conduisent nos voitures et surveillent nos villes, elle est un flou déroutant. Contrairement à la pluie, qui tombe en filets distincts, ou au brouillard, qui plane comme une brume uniforme, la neige est un mélange chaotique de particules dont la taille, la transparence et la densité varient. Pour un ordinateur tentant de voir le monde, un flocon de neige en chute ressemble souvent exactement à un mur blanc, à un nuage ou à une fleur. Cette ruse visuelle rend incroyablement difficile pour l'intelligence artificielle le nettoyage d'une photo enneigée sans effacer accidentellement les détails réels de la scène située derrière. Pendant des décennies, des chercheurs ont tenté d'apprendre aux ordinateurs à distinguer la météo du monde, mais la plupart des méthodes ont eu du mal à faire la différence entre un flocon de neige aléatoire et l'arête nette et naturelle d'un bâtiment ou d'un arbre.

Une équipe de chercheurs de l'Université des sciences et technologies de Changchun en Chine a proposé une nouvelle approche à ce problème, introduisant un système qu'ils appellent DFARNet. Au lieu de regarder une image enneigée uniquement comme une collection de pixels, comme le faisaient les méthodes précédentes, ce nouveau système regarde l'image de deux manières différentes à la fois : comme une image et comme un motif de vibrations. Dans le monde du traitement d'images, chaque image peut être décomposée en fréquences, qui sont essentiellement les taux de variation des couleurs et de la luminosité à travers l'image. Les bords naturels, comme le coin d'un toit, créent des motifs organisés et directionnels dans ces fréquences. La neige, cependant, crée un bruit aléatoire et dispersé qui semble très différent dans cette perspective mathématique. Les chercheurs ont réalisé qu'en apprenant à l'ordinateur à reconnaître ces motifs aléatoires spécifiques, celui-ci pourrait éliminer la neige sans flouter les lignes nettes du monde réel.

Le système qu'ils ont construit fonctionne comme une paire d'yeux spécialisés travaillant de concert. Un œil, la branche spatiale, regarde l'image pour localiser précisément où se trouve la neige. L'autre œil, la branche fréquentielle, analyse les vibrations mathématiques de l'image pour comprendre ce à quoi ressemble réellement la neige en termes de motifs aléatoires. En combinant ces deux vues, l'ordinateur peut identifier la neige et l'éliminer avec une grande précision. Cette double approche résout une faille majeure des anciens systèmes, qui confondaient souvent la neige avec d'autres objets blancs car ils ne regardaient que la surface de l'image. La nouvelle méthode apprend à s'adapter à la neige telle qu'elle apparaît, plutôt que de s'appuyer sur des règles fixes qui pourraient échouer lorsque la météo change.

Pour entraîner ce système, les chercheurs ont utilisé une vaste collection d'images enneigées et ont appris à l'ordinateur à reconstruire les scènes claires cachées en dessous. Ils ont conçu un système de notation spécial lors de l'entraînement qui récompensait l'ordinateur non seulement pour rendre l'image claire, mais aussi pour maintenir les bords des objets nets et fidèles. Lorsqu'ils ont testé leur nouveau système par rapport à d'autres méthodes de pointe, les résultats étaient prometteurs. Sur un ensemble de tests standard, leur système a obtenu un score de 31,60 dB, une mesure de la qualité d'image qui est supérieure à celle de plusieurs autres modèles avancés. Plus important encore, les images qu'il produisait paraissaient plus naturelles, avec une meilleure texture et une plus grande précision des couleurs, évitant l'aspect flou ou trop lisse qui affecte souvent les autres outils de suppression de neige.

Les chercheurs notent que, bien que leur système soit hautement efficace, il n'est pas une solution parfaite pour tous les scénarios possibles, particulièrement dans les blizzards extrêmement violents où la visibilité est proche de zéro. Ils soulignent également que le processus mathématique requis pour analyser les fréquences de l'image nécessite une certaine puissance de calcul, ce qui pourrait être un défi pour les appareils très petits. Cependant, leur travail démontre que regarder une image à travers le prisme des motifs de fréquence offre une nouvelle façon puissante de résoudre de vieux problèmes. En apprenant aux ordinateurs à voir la structure cachée de la neige, ils ont créé un outil qui peut aider les véhicules autonomes et les systèmes de surveillance à voir clairement, même quand le monde est recouvert de blanc.