Résumé Technique : UniISP

Énoncé du Problème

Les pipelines d'imagerie actuels font face à une dichotomie entre la perception visuelle humaine et les exigences de la vision par ordinateur. Les pipelines traditionnels de traitement du signal d'image (ISP) sont conçus manuellement pour produire des images RVB visuellement agréables destinées à la consommation humaine. Cependant, ces opérations (par exemple, réduction du bruit, accentuation, répartition des tons) introduisent souvent des artefacts de compression et une perte d'information, dégradant ainsi les performances des tâches de vision par ordinateur en aval, en particulier dans des conditions difficiles comme les environnements à faible luminosité.

Inversement, les méthodes conçues pour la vision par ordinateur contournent souvent les ISP traditionnels pour utiliser directement les données brutes du capteur ou emploient des réseaux ISP entraînés conjointement. Bien que ces approches améliorent les métriques spécifiques aux tâches (par exemple, la précision de la détection d'objets), les images RVB résultantes échouent fréquemment à répondre aux standards esthétiques humains, apparaissant invisualisables ou manquant de fidélité chromatique. Il manque des cadres d'optimisation dédiés satisfaisant simultanément les exigences doubles de génération d'images de haute qualité pour la visualisation humaine et de préservation de l'intégrité de l'information pour l'interprétation par machine.

Méthodologie

L'article propose UniISP, un cadre d'ISP neuronal léger et de bout en bout basé sur une architecture U-Net. UniISP est conçu pour traiter les données brutes du capteur en images sRGB optimisées simultanément pour la qualité visuelle humaine et les tâches de vision par ordinateur en aval. Le cadre se compose de trois composants principaux :

1. Module d'Attention Hybride (HAM)

Pour assurer une reconstruction d'image de haute qualité adaptée à la perception humaine, UniISP emploie un Module d'Attention Hybride comme colonne vertébrale.

• Auto-attention par canal : Inspiré de Restormer, le module applique une auto-attention le long de la dimension des canaux plutôt que de la dimension spatiale. Cela réduit la complexité computationnelle de $O((H \cdot W)^2)$ à $O(C^2)$, rendant les interactions globales réalisables pour les images haute résolution.
• Amélioration dynamique des caractéristiques : Contrairement aux mécanismes d'attention statiques, l'auto-attention par canal amplifie dynamiquement les canaux informatifs et supprime les canaux bruyants en fonction du contexte, ce qui est crucial pour la conversion RAW-RVB.
• Encodage de position relatif (RPE) : Le RPE est intégré pour préserver l'information structurelle en fournissant des indices sur les positions relatives des canaux, améliorant ainsi la modélisation des dépendances locales et à longue portée.
• Apprentissage supervisé : Le HAM est entraîné avec un apprentissage supervisé pour garantir que les images générées correspondent aux préférences visuelles humaines.

2. Adaptateur de Caractéristiques

Pour combler le fossé entre l'étape ISP et les réseaux de vision par ordinateur en aval (qui sont généralement pré-entraînés sur des données RVB), un Adaptateur de Caractéristiques est introduit.

• Fusion dans le domaine fréquentiel : L'adaptateur utilise un module FreqFusion pour agréger les sorties d'encodeur multi-échelles (D1–D4). Il sépare les caractéristiques en composantes basse fréquence (contexte global) et haute fréquence (détails fins).
• Intégration multi-étape : Les caractéristiques fusionnées sont progressivement fusionnées dans la colonne vertébrale du réseau en aval via concaténation et connexions résiduelles. Ce mécanisme permet au réseau d'intégrer flexiblement les informations du domaine RAW, réduisant le décalage de domaine et facilitant le transfert des poids pré-entraînés.

3. Cadre d'Entraînement Adaptatif

UniISP emploie une stratégie d'optimisation conjointe pour équilibrer les objectifs de vision humaine et de vision par machine.

• Fonction de perte : Une perte totale $L_{total}$ est définie comme une somme pondérée de la perte de vision humaine ($L_{human}$) et de la perte de vision par machine ($L_{machine}$).
• Pondération dynamique : Le facteur de pondération $\lambda$ est calculé de manière adaptative à chaque étape d'entraînement en utilisant des Moyennes Mobiles Exponentielles (EMA) des pertes. Si la perte de vision humaine est élevée, $\lambda$ diminue pour mettre l'accent sur la performance machine, et vice versa.
• Gestion de l'alignement : Pour les jeux de données non alignés (où les images RAW et RVB de référence proviennent de caméras différentes), le cadre intègre un module de Mappage de Couleur Global (GCM) et un masque de cohérence de flot optique robuste. Ce masque filtre les zones d'alignement inexactes (par exemple, occlusions, motifs répétitifs) pour assurer une supervision fiable.

Contributions Clés

1. Cadre Unifié : La proposition de UniISP, un cadre d'ISP apprenable et léger capable de répondre simultanément aux besoins de la perception visuelle humaine et des tâches de vision par ordinateur.
2. Module d'Attention Hybride (HAM) : L'introduction d'un mécanisme d'attention novateur combinant l'auto-attention avec l'attention convolutionnelle classique. Cette conception exploite différents types d'attention pour améliorer la représentation des caractéristiques et la généralisation tout en maintenant l'efficacité computationnelle.
3. Adaptateur de Caractéristiques : Le développement d'un module qui intègre et adapte les caractéristiques multi-échelles de l'étape ISP vers les réseaux en aval, enrichissant la compréhension du modèle et améliorant les performances des tâches en aval sans sacrifier la qualité visuelle.
4. Évaluation Complète : Des expériences extensives sur plusieurs tâches (mappage RAW-RVB, détection d'objets, segmentation sémantique) et jeux de données démontrent l'efficacité et les capacités de généralisation du cadre.

Résultats Expérimentaux

L'article évalue UniISP sur trois tâches principales en utilisant divers jeux de données (ZRR, PASCAL RAW, LOD, ADE20K RAW) :

• Mappage RAW-RVB : Sur le jeu de données ZRR, UniISP surpasse les méthodes de l'état de l'art (y compris AWNet, MW-ISPNet, LiteISP et FourierISP) sur les métriques PSNR, SSIM et LPIPS. Il atteint ces résultats avec significativement moins de paramètres et une complexité computationnelle inférieure (GFLOPs) grâce à sa conception légère de HAM. Les résultats qualitatifs montrent des images plus nettes avec des détails plus riches et une fidélité chromatique supérieure.
• Détection d'Objets : Sur les jeux de données PASCAL RAW et LOD, UniISP améliore significativement les performances de détection dans les scénarios à faible luminosité par rapport à des méthodes comme RAW-Adapter. L'inclusion de l'Adaptateur de Caractéristiques s'avère cruciale pour exploiter les caractéristiques de l'étape ISP. UniISP atteint un équilibre, offrant une qualité visuelle humaine supérieure tout en évitant le contraste dur souvent observé dans l'optimisation exclusive pour machine, conduisant à une détection robuste dans des conditions normales, surexposées et sombres.
• Segmentation Sémantique : Sur le jeu de données ADE20K RAW, UniISP surpasse les méthodes concurrentes sur différentes tailles de colonne vertébrale (MIT-B0, B3, B5) et niveaux d'éclairage. Notamment, un modèle UniISP avec une colonne vertébrale plus petite (MIT-B3) dépasse d'autres méthodes utilisant des colonnes vertébrales plus grandes (MIT-B5) dans des conditions de faible luminosité, attribué à la fusion efficace des caractéristiques de l'adaptateur.

Signification et Revendications

L'article revendique être la première exploration de l'optimisation simultanée de l'ISP pour la perception visuelle humaine et les tâches de vision par ordinateur. Il postule que la recherche existante a largement traité ces objectifs séparément, conduisant à des solutions sous-optimales soit pour la visualisation humaine, soit pour l'analyse par machine.

La signification de UniISP réside dans sa capacité à :

• Préserver l'Intégrité de l'Information : En évitant la perte d'information inhérente aux pipelines traditionnels en deux étapes (RAW $\to$ ISP-Humain $\to$ Tâche Machine), UniISP conserve l'information physiquement significative des capteurs bruts.
• Combler le Fossé de Domaine : L'Adaptateur de Caractéristiques propage efficacement les caractéristiques RAW vers les réseaux en aval, permettant aux modèles RVB pré-entraînés de fonctionner efficacement sur des données brutes.
• Atteindre une Optimisation Duale : Le cadre d'entraînement adaptatif équilibre avec succès les objectifs souvent conflictuels de qualité esthétique et de performance sémantique, prouvant qu'une approche unifiée est réalisable et supérieure aux stratégies d'optimisation séparées.

Les auteurs concluent que ce travail suggère des directions potentielles pour les futurs systèmes ISP, en particulier dans des scénarios hybrides tels que la conduite autonome, où la visualisation en temps réel pour les utilisateurs et la reconnaissance environnementale pour les machines sont toutes deux requises.