Scalable dataset acquisition for data-driven lensless imaging

Resumen Técnico: Adquisición de Conjuntos de Datos Escalables para la Imagenología Sin Lentes Basada en Datos

Planteamiento del Problema
El avance de la imagenología sin lentes, particularmente a través de algoritmos de reconstrucción basados en aprendizaje automático y el diseño de sistemas de extremo a extremo, se ve actualmente obstaculizado por la escasez de conjuntos de datos experimentales de gran escala y alta calidad. Si bien existen datos simulados, estos no logran capturar las no idealidades de los sistemas de imagen del mundo real. Los conjuntos de datos experimentales existentes enfrentan limitaciones significativas: algunos son demasiado pequeños (por ejemplo, 10,000 imágenes) para entrenar algoritmos de vanguardia, otros no están disponibles públicamente, y aquellos que son lo suficientemente grandes (por ejemplo, 25,000 imágenes) suelen contener datos de una sola configuración óptica (máscara de fase única). Además, la adquisición de tales datos es un desafío debido a la necesidad de una alineación y calibración precisas, así como a la falta de procesos (pipelines) flexibles y automatizados capaces de capturar mediciones de múltiples sistemas en paralelo bajo condiciones idénticas.

Metodología
Los autores proponen un proceso de adquisición de datos reproducible y de código abierto que comprende un sistema de hardware modular y un marco de software sincronizado.

• Configuración de Hardware: El sistema utiliza un monitor portátil (INNOCN 13A1F) para mostrar imágenes de verdad fundamental (ground truth) del conjunto de datos MIRFLICKR-25000. Estas imágenes son capturadas simultáneamente por dos sistemas de imagen sin lentes distintos y una cámara de referencia con lente.
  • Sistemas Sin Lentes: Se prueban dos configuraciones diferentes de forma paralela: una DiffuserCam (que utiliza un difusor Gaussiano, a 4.5 mm del sensor) y un sistema de Lentelete de Multi-foco Aleatorio (RML, por sus siglas en inglés) (que utiliza una máscara de fase, a 18 mm del sensor).
  • Verdad Fundamental: Una cámara con lente (Basler daA1920-160uc con una lente de 6 mm) captura la escena sin distorsión. Para asegurar trayectorias ópticas idénticas, la cámara con lente se alinea mediante un divisor de haz (beamsplitter) de 50/50 con la DiffuserCam.
  • Entorno: El montaje está encerrado con divisores negros opacos para controlar la luz parásita, y los captadores están montados en un armazón personalizado impreso en 3D con una separación de 135 mm.
• Marco de Software: Un proceso basado en Python automatiza el procedimiento.
  • Sincronización: El monitor muestra las imágenes secuencialmente, activando todas las cámaras de forma sincrónica con retrasos específicos (200 ms entre cámaras, 500 ms entre imágenes) para asegurar una adquisición continua.
  • Calibración: Los niveles de exposición se calibran heurísticamente para evitar la saturación. La distorsión de la lente en la cámara de verdad fundamental se corrige utilizando rejillas de calibración de OpenCV.
  • Alineación: Para lograr la correspondencia píxel a píxel, se aprende una homografía utilizando el paquete Kornia para alinear computacionalmente las imágenes reconstruidas de los sistemas sin lentes con la verdad fundamental sin distorsión, corrigiendo desplazaciones menores que no son ajustables mediante alineación óptica.
  • Reconstrucción: Durante la calibración, las imágenes se reconstruyen utilizando 200 iteraciones del algoritmo FISTA para visualizar el rendimiento del sistema.

Contribuciones Clave

1. Conjunto de Datos de Acceso Abierto: Los autores lanzan un conjunto de datos de 25,000 imágenes que contiene mediciones emparejadas de dos sistemas de imagen sin lentes diferentes (DiffuserCam y RML) y sus correspondientes imágenes de verdad fundamental.
2. Proceso Reproducible: El artículo proporciona los esquemas de hardware (incluyendo los diseños de montura impresos en 3D) y el código de software de código abierto (disponible vía GitHub) para replicar la configuración de adquisición de datos en paralelo.
3. Capacidad de Adquisición en Paralelo: El sistema demuestra la capacidad de capturar datos de múltiples sistemas sin lentes bajo condiciones de imagen idénticas, una capacidad que anteriormente carecían los conjuntos de datos públicos.

Resultos y Análisis del Sistema
Los autores caracterizan el rendimiento del sistema analizando las Funciones de Propagación de Punto (PSF) de las configuraciones DiffuserCam y RML.

• Resolución y SNR: El análisis de autocorrelación de las PSF capturadas revela que ambos sistemas en esta configuración exhiben lóbulos principales más estrechos y lóbulos laterales más bajos en comparación con un conjunto de datos previo de DiffuserCam de vanguardia (Monhakova et al.). Esto indica una resolución y una relación señal-ruido (SNR) superiores.
• Comparación de Sistemas: La configuración RML demuestra lóbulos laterales mínimos en comparación con la DiffuserCam, lo que sugiere una mejor calidad de imagen y SNR para esa máscara de fase específica.
• Calidad de Reconstrucción: Las reconstrucciones de muestra utilizando FISTA confirman que el sistema captura mediciones de alta calidad aptas para entrenar algoritmos avanzados.

Significancia y Reivindicaciones
El artículo afirma que este trabajo aborda directamente el cuello de botella de los datos en la investigación de la imagenología sin lentes. Al proporcionar un conjunto de datos experimental de gran escala, multisistema y con verdad fundamental emparejada, los autores permiten:

• El entrenamiento de algoritmos de reconstrucción basados en datos (por ejemplo, modelos de aprendizaje profundo como los Transformers) que requieren decenas de miles de imágenes.
• Comparaciones cuantitativas justas entre diferentes sistemas de imagen sin lentes y máscaras de fase.
• Análisis de la teoría de la información y optimizaciones de diseño de sistemas de extremo a extremo que dependen de datos experimentales del mundo real en lugar de simulaciones.

Los autores mantienen un alcance modesto, señalando que, si bien la demostración actual utiliza máscaras de fase específicas, la naturaleza modular del hardware permite la extensión futura a otras configuraciones, conjuntos de datos 3D y adquisición de video. La contribución principal es la facilitación de desarrollos adicionales basados en datos en el campo a través de recursos experimentales accesibles y de alta calidad.