ConvRML: High-Quality Lensless Imaging with Random Multi-Focal Lenslets

Résumé technique de ConvRML : Imagerie sans lentille de haute qualité avec des lentilles multi-focales aléatoires

Énoncé du problème
L'imagerie sans lentille basée sur des masques offre une voie vers des caméras compactes, à faible coût et compressives en remplaçant les lentilles traditionnelles par de minces masques de phase. Cependant, ces systèmes souffrent historiquement d'une faible qualité de reconstruction en raison de problèmes inverses mal posés, de décalages de modèles et des limites de l'encodage compressif. Un goulot d'étranglement primaire est le compromis dans la conception de l'encodeur optique : les encodeurs à haut multiplexage (comme les diffuseurs) fournissent la redondance nécessaire à la détection compressée mais réduisent le contraste de la mesure, particulièrement dans les scènes naturelles denses. Inversement, les conceptions à faible multiplexage manquent souvent de la précision requise pour une reconstruction de haute qualité. De plus, le développement algorithmique a largement progressé indépendamment de la conception optique, les architectures d'apprentissage profond étant souvent évaluées sur des ensembles de données générés par des encodeurs à haut multiplexage, laissant un fossé dans la compréhension de la meilleure façon d'associer les algorithmes modernes à des mesures optiques améliorées à faible multiplexage.

Méthodologie
Les auteurs présentent ConvRML, un système qui intègre des avancées tant dans le matériel optique que dans la reconstruction computationnelle :

1. Encodeur optique (RML) : Le système utilise un masque de phase à lentilles multi-focales aléatoires (RML). Contrairement aux diffuseurs traditionnels ou aux réseaux de micro-lentilles réguliers, le RML se compose de lentilles superposées ayant des distances focales variables et placées à des positions pseudo-aléatoires. Cette conception minimise les corrélations entre les copies décalées de la fonction d'étalement du point (PSF), réduit le multiplexage pour préserver le contraste de la mesure, et maintient un champ de vision (FOV) large. Le masque est fabriqué à l'aide de lithographie à deux photons à haute résolution, garantissant précision et reproductibilité. La nature multi-focale des lentilles offre une profondeur de champ étendue, réduisant la sensibilité au désalignement axial.
2. Architecture de reconstruction : Les auteurs implémentent une architecture d'apprentissage profond basée sur ConvNeXt. Ce réseau de neurones convolutifs est choisi pour sa capacité à atteindre de larges champs récepteurs effectifs grâce à des couches en cascade, lui permettant de gérer les dépendances à longue portée inhérentes aux mesures multiplexées sans la surcharge de calcul ou les contraintes architecturales spécifiques des modèles basés sur l'attention (ex. : Transformers).
3. Cadre d'évaluation standardisé : Pour isoler les effets de l'encodage optique de la performance algorithmique, les auteurs ont construit un dispositif d'imagerie parallèle. Ce dispositif capture simultanément des scènes en utilisant trois systèmes sous des conditions identiques : l'imageur sans lentille RML, un imageur sans lentille à diffuseur standard, et un système de lentille conventionnel (servant de vérité terrain).
4. Contribution de données : Les auteurs ont généré et ouvert l'accès au Parallel Lensless Dataset (PLD), contenant 100 000 mesures pour chaque système (RML, diffuseur, et lentille). Cet ensemble de données est nettement plus grand que les précédents benchmarks en libre accès (ex. : les 25 000 de DiffuserCam ou les 10 000 de PhlatCam) et permet des comparaisons contrôlées entre différents encodeurs optiques.

Résultats clés

• Performance optique : L'analyse quantitative utilisant la fonction de transfert de modulation (MTF) et l'information mutuelle (MI) démontre que le RML surpasse le diffuseur. Le RML préserve des fréquences spatiales plus élevées et maintient significativement plus d'informations en présence de bruit de lecture et d'une profondeur de bits limitée du capteur (ex. : quantification à 4 bits). Alors que le signal du diffuseur s'effondre souvent dans un seul bac de quantification sous l'effet du bruit, le RML conserve des caractéristiques distinguables.
• Performance de reconstruction :
  • Impact optique : Lorsqu'il est associé à la même architecture ConvNeXt, le système RML atteint une amélioration de 2,99 dB du PSNR et une augmentation de 0,116 de l'SSIM par rapport au système diffuseur, confirmant qu'une amélioration des mesures optiques se traduit directement par des reconstructions de plus haute qualité.
  • Impact architectural : Sur le benchmark DiffuserCam à haut multiplexage, ConvNeXt a atteint 25,37 dB de PSB, surpassant les architectures basées sur l'attention de pointe (Lensless Imaging Transformer, Swin Transformer, Vision Transformer) et la ligne de base U-Net. Notamment, ConvNeXt a atteint ce résultat avec une capacité de modèle modérée (36M de paramètres), alors que des modèles plus larges basés sur l'attention (ex. : Swin Transformer avec 59,4M de paramètres) ont moins bien performé.
  • Efficacité des données : L'entraînement de ConvNeXt sur le jeu de données RML a montré des gains de performance jusqu'à 50 000 mesures, après quoi les rendements ont diminué. Cela suggère que l'architecture est bien adaptée à cette taille de jeu de données, tandis que les modèles plus larges basés sur l'attention n'ont pas nécessairement bénéficié de l'augmentation de la capacité ou des données de la même manière.
• Généralisation : Les modèles ConvNeXt entraînés ont réussi à se généraliser pour reconstruire des objets physiques réels (matériaux variés comme le tissu, le métal et le plastique) placés devant les systèmes sans lentille, récupérant des textures fines et des bords nets là où le système diffuseur a échoué.

Signification et affirmations
L'article affirme que le système ConvRML établit un nouveau standard pour l'imagerie sans lentille de haute qualité et compacte en démontant qu'une amélioration de la qualité de mesure couplée à des algorithmes puissants et appropriés produit une performance de reconstruction maximale.

Les principales contributions incluent :

1. Matériel : Un masque de phase RML de précision fabriqué offrant un multiplexage réduit et un contraste amélioré par rapport aux diffuseurs, fabriqué avec une grande reproductibilité.
2. Logiciel : Une architecture de reconstruction ConvNeXt qui surpasse les modèles basés sur l'attention, suggérant que les réseaux convolutifs soigneusement conçés sont suffisants pour gérer les dépendances à longue portée dans l'imagerie sans lentille sans la complexité des Transformers.
3. Ressources : La publication du Parallel Lensless Dataset (PLD), le plus grand ensemble de données d'imagerie sans lentille en libre accès à ce jour, qui facilite l'évaluation standardisée et le développement futur des architectures de reconstruction.

Les auteurs concluent que leurs travaux fournissent les ressources et les preuves nécessaires pour soutenir le développement continu d'imageurs sans lentille compressifs de haute qualité, dépassant les limitations des systèmes précédents à haut multiplexage et faible précision.