Guided Lensless Polarization Imaging

1. Problématique et Contexte

L'imagerie polarimétrique capture l'état de polarisation de la lumière, révélant des informations invisibles à l'œil nu mais cruciales pour des domaines tels que le diagnostic biomédical, la conduite autonome et la télédétection. Cependant, les caméras polarimétriques conventionnelles souffrent de limitations majeures : elles sont souvent coûteuses, volumineuses et complexes (basées sur des filtres divisés par plan focal ou des séquences temporelles).

L'imagerie sans lentille (lensless) propose une alternative compacte et peu coûteuse en remplaçant les lentilles par des éléments optiques simples (comme des diffuseurs) et en effectuant une reconstruction computationnelle. Néanmoins, les systèmes existants d'imagerie polarimétrique sans lentille produisent des reconstructions de qualité limitée. Le problème inverse est fortement mal posé en raison de la compression élevée des mesures (qui encodent simultanément l'information structurelle et polarimétrique), de la perte d'informations haute fréquence et de la sensibilité au bruit. Les méthodes classiques basées sur la physique (comme FISTA ou ADMM) ne parviennent pas à restituer les détails fins, tandis que les approches d'apprentissage profond n'ont pas encore été explorées efficacement pour ce type spécifique de reconstruction sans lentille.

2. Méthodologie Proposée

Les auteurs proposent un système innovant d'imagerie polarimétrique sans lentille guidé par l'RGB (RGB-guided). Ce système combine un capteur polarimétrique-RGB compact avec une caméra RGB conventionnelle (auxiliaire) fournissant des informations structurelles pour guider la reconstruction.

L'approche repose sur un pipeline de reconstruction en deux étapes :

A. Configuration Optique

Le système utilise un diffuseur aléatoire combiné à un masque de polarisation à rayures (orienté à 0°, 45°, 90° et 135°) placé directement sur le capteur. Cela permet une acquisition en une seule prise (single-shot) d'une mesure multiplexée spatio-polarimétrique. Une caméra RGB conventionnelle capture la même scène pour servir de guide.

B. Pipeline de Reconstruction

1. Étape 1 : Inversion basée sur la physique (Initialisation)

   • Une reconstruction initiale grossière est obtenue en résolvant un problème d'optimisation variationnel.
   • Les auteurs utilisent des solveurs itératifs classiques tels que FISTA (Fast Iterative Shrinkage-Thresholding Algorithm) ou ADMM (Alternating Direction Method of Multipliers).
   • Une régularisation par variation totale anisotrope 3D (3DTV) est appliquée pour lisser l'image dans les dimensions spatiales et de polarisation, tout en imposant des contraintes de non-négativité.
   • Cette étape fournit une estimation physiquement cohérente mais manque de détails haute fréquence.

2. Étape 2 : Raffinement guidé par l'RGB (Réseau de Transformer)

   • Une image de reconstruction initiale (issue de l'étape 1) et l'image RGB de référence sont traitées par un réseau de neurones profond basé sur l'architecture Swin Transformer (adapté de SwinFuSR).
   • Fusion par attention croisée : Le réseau utilise des blocs de fusion guidés par l'attention (Attention-guided Cross-domain Fusion - ACF). Ces blocs alternent entre l'auto-attention (au sein d'une modalité) et l'attention croisée (entre la modalité polarimétrique et la modalité RGB).
   • Cela permet au réseau d'utiliser les contours et la géométrie de l'image RGB pour restaurer les détails fins manquants dans la reconstruction polarimétrique.
   • Une connexion résiduelle (skip connection) ajoute la reconstruction initiale à la sortie finale pour garantir la cohérence avec le modèle physique.
   • Robustesse : Un augmentation par translation aléatoire est utilisée pendant l'entraînement pour rendre le modèle robuste aux petits désalignements entre les deux caméras dans des conditions réelles.

3. Contributions Clés

1. Premier système guidé par l'RGB : Introduction du premier système d'imagerie polarimétrique sans lentille qui intègre une reconstruction guidée par une image RGB conventionnelle.
2. Architecture hybride deux étapes : Combinaison d'un solveur physique (FISTA/ADMM) pour l'initialisation et d'un réseau Transformer pour le raffinement, permettant une fusion efficace des modalités.
3. Performance généralisable : La méthode démontre une capacité de généralisation exceptionnelle sur des datasets simulés variés (PIP, UPLight, ZJU-RGB-P) et sur des mesures réelles, sans nécessiter de ré-entraînement (fine-tuning) massif.
4. Validation matérielle : Mise en œuvre et validation sur un prototype physique de caméra sans lentille, prouvant la faisabilité pratique de l'approche.

4. Résultats Expérimentaux

Les résultats sont évalués sur des métriques quantitatives (PSNR, SSIM, LPIPS) et qualitatives :

• Sur données synthétiques : La méthode proposée surpasse significativement les baselines (FISTA seul, ADMM seul, FISTA+Transformer sans guide RGB, FlatNet, et PolarAnything).
  • Par exemple, sur le dataset PIP (configuration RGB 4 angles), la méthode atteint un PSNR de 33,05 dB et un SSIM de 0,95, contre seulement 14,76 dB et 0,47 pour FISTA seul.
  • Elle restaure des détails haute fréquence et une fidélité structurelle bien supérieures.
• Généralisation : Le modèle fonctionne bien sur des datasets non vus lors de l'entraînement (comme UPLight, contenant des scènes sous-marines) et résiste aux variations de la fonction d'étalement de point (PSF) du diffuseur.
• Sur données réelles (Prototype) : Les résultats sur le prototype matériel montrent une amélioration nette de la netteté et des détails par rapport à la reconstruction purement physique. La méthode réussit là où le baselining "FISTA + Transformer" (sans guide RGB) échoue à se généraliser aux conditions réelles.
• Ablation : Les études d'ablation confirment que l'attention croisée est supérieure à une fusion simple de canaux et que l'augmentation par translation est cruciale pour la robustesse aux désalignements.

5. Signification et Impact

Ce travail représente une avancée significative dans le domaine de l'imagerie computationnelle. En surmontant les limitations de qualité des systèmes sans lentille actuels grâce à l'utilisation d'une caméra RGB standard (bon marché et omniprésente) comme guide, les auteurs rendent l'imagerie polarimétrique haute qualité plus accessible, compacte et abordable.

L'approche ouvre la voie à des applications pratiques dans des environnements contraints en taille et en coût, tels que la microscopie compacte, l'endoscopie médicale et les systèmes embarqués pour la robotique, où les caméras polarimétriques traditionnelles sont trop encombrantes ou chères. La modularité du cadre proposé permet également son adaptation à d'autres solveurs inverses et configurations d'imagerie.