Scalable dataset acquisition for data-driven lensless imaging

Resumo Técnico: Aquisição de Conjuntos de Dados Escaláveis para Imagem Sem Lente Baseada em Dados

Definição do Problema
O avanço da imagem sem lente (lensless imaging), particularmente por meio de algoritmos de reconstrução baseados em aprendizado de máquina e design de sistemas de ponta a ponta, é atualmente dificultado pela escassez de conjuntos de dados experimentais de grande escala e alta qualidade. Embora existam dados simulados, eles falham em capturar as não-idealidades de sistemas de imagem do mundo real. Os conjuntos de dados experimentais existentes enfrentam limitações significativas: alguns são muito pequenos (por exemplo, 10.000 imagens) para treinar algoritmos de estado da arte, outros não estão disponíveis publicamente e aqueles que são suficientemente grandes (por exemplo, 25.000 imagens) frequentemente contêm dados de apenas uma configuração óptica (máscara de fase única). Além disso, a aquisição de tais dados é desafiadora devido à necessidade de alinhamento e calibração precisos e à falta de pipelines flexíveis e automatizados capazes de capturar medições de múltiplos sistemas em paralelo sob condições idênticas.

Metodologia
Os autores propõem um pipeline de aquisição de dados reprodutível e de código aberto, compreendendo um sistema de hardware modular e uma estrutura de software sincronizada.

• Configuração de Hardware: O sistema utiliza um monitor portátil (INNOCN 13A1F) para exibir imagens de verdade fundamental (ground truth) do conjunto de dados MIRFLICKR-25000. Essas imagens são capturadas simultaneamente por dois sistemas distintos de imagem sem lente e uma câmera com lente de referência.
  • Sistemas Sem Lente: Duas configurações diferentes são testadas lado a lado: uma DiffuserCam (usando um difusor Gaussiano, a 4,5 mm do sensor) e um sistema de Lente de Múltiplos Focos Aleatórios (RML) (usando uma máscara de fase, a 18 mm do sensor).
  • Verdade Fundamental (Ground Truth): Uma câmera com lente (Basler daA1920-160uc com uma lente de 6 mm) captura a cena não distorcida. Para garantir caminhos ópticos idênticos, a câmera com lente é alinhada via um divisor de feixe (beamsplitter) de 50/50 com a DiffuserCam.
  • Ambiente: A configuração é envolta por divisórias pretas opacas para controlar a luz dispersa, e os dispositivos de imagem são montados em uma estrutura personalizada impressa em 3D com um espaçamento de 135 mm.
• Estrutura de Software: Um pipeline personalizado baseado em Python automatiza o processo.
  • Sincronização: O monitor exibe as imagens sequencialmente, acionando todas as câmeras de forma síncrona com atrasos específicos (200 ms entre as câmeras, 500 ms entre as imagens) para garantir a aquisição contínua.
  • Calibração: Os níveis de exposição são calibrados heuristicamente para evitar saturação. A distorção da lente na câmera de verdade fundamental é corrigida usando grades de calibração do OpenCV.
  • Alinhamento: Para alcançar a correspondência pixel a pixel, uma homografia é aprendida usando o pacote Kornia para alinhar computacionalmente as imagens reconstruídas das câmeras sem lente com a verdade fundamental não distorcida, corrigindo pequenos desvios não ajustáveis pelo alinhamento óptico.
  • Reconstrução: Durante a calibração, as imagens são reconstruídas usando 200 iterações do algoritmo FISTA para visualizar o desempenho do sistema.

Principais Contribuições

1. Conjunto de Dados de Acesso Aberto: Os autores liberam um conjunto de dados de 25.000 imagens contendo medições pareadas de dois sistemas de imagem sem lente diferentes (DiffuserCam e RML) e suas respectivas imagens de verdade fundamental.
2. Pipeline Reprodutível: O artigo fornece os esquemas de hardware (incluindo designs de montagem impressos em 3D) e o código de software de código aberto (disponível via GitHub) para replicar a configuração de aquisição de dados em paralelo.
3. Capacidade de Aquisição Paralela: O sistema demonstra a capacidade de capturar dados de múltiplos sistemas sem lente sob condições de imagem idênticas simultaneamente, uma capacidade anteriormente ausente em conjuntos de dados públicos.

Resultos e Análise do Sistema
Os autores caracterizam o desempenho do sistema analisando as Funções de Espalhamento de Ponto (PSFs) de ambas as configurações, DiffuserCam e RML.

• Resolução e SNR: A análise de autocorrelação das PSFs capturadas revela que ambos os sistemas nesta configuração exibem lobos principais mais estreitos e lobos secundários (sidelobes) menores em comparação com um conjunto de dados DiffuserCam anterior (Monhakova et al.). Isso indica resolução superior e razão sinal-ruído (SNR) superior.
• Comparação de Sistemas: A configuração RML demonstra mínimos lobos secundários em comparação com a DiffuserCam, sugerindo melhor qualidade de imagem e SNR para essa máscara de fase específica.
• Qualidade de Reconstrução: Reconstruções de amostra usando FISTA confirmam que o sistema captura medições de alta qualidade adequadas para o treinamento de algoritmos avançados.

Significância e Alegações
O artigo afirma que este trabalho aborda diretamente o gargalo de dados na pesquisa de imagem sem lente. Ao fornecer um conjunto de dados experimental de grande escala, multi-sistema e com verdade fundamental pareada, os autores possibilitam:

• O treinamento de algoritmos de reconstrução baseados em dados (por exemplo, modelos de aprendizado profundo como transformers) que requerem dezenas de milhares de imagens.
• Comparações quantitativas justas entre diferentes sistemas de imagem sem lente e máscaras de fase.
• Análises informacional-teóricas e otimizações de design de sistema de ponta a end em que se baseiam em dados experimentais do mundo real, em vez de simulações.

Os autores mantêm um escopo modesto, observando que, embora a demonstração atual utilize máscaras de fase específicas, a natureza modular do hardware permite a extensão futura para outras configurações, conjuntos de dados 3D e aquisição de vídeo. A principal contribuição é a facilitação de novos desenvolvimentos baseados em dados no campo através de recursos experimentais acessíveis e de alta qualidade.