ConvRML: High-Quality Lensless Imaging with Random Multi-Focal Lenslets

ConvRML 기술 요약: 무작위 다초점 렌즈렛을 이용한 고품질 렌즈리스 이미징

문제 정의
마스크 기반의 렌스리스 이미징은 전통적인 렌즈를 얇은 위상 마스크로 대체함으로써 소형화, 저비용 및 압축적 카메라를 구현할 수 있는 경로를 제시한다. 그러나 이러한 시스템은 역사적으로 부적절한 역문제(ill-posed inverse problems), 모델 불일치, 그리고 압축 인코딩의 한계로 인해 낮은 재구성 품질 문제를 겪어왔다. 주요 병목 현상은 광학 인코더 설계의 트레이드오프에 있다. 높은 다중화(high-multiplexing) 인코더(예: 디퓨저)는 압축 센싱에 필요한 중복성을 제공하지만, 특히 밀도가 높은 자연 경관에서 측정 대비(measurement contrast)를 감소시킨다. 반대로, 낮은 다중화 설계는 고품질 재구성에 필요한 정밀도가 부족한 경우가 많다. 또한, 알고리즘 개발은 주로 광학 설계와 독립적으로 진행되어 왔으며, 딥러닝 아키텍처는 종종 고다중화 인코더로 생성된 데이터셋에서 평가되어 왔기에, 개선된 저다중화 광학 측정값과 현대적 알고리즘을 어떻게 최적으로 결합할 것인가에 대한 이해의 간극을 남겨두었다.

방법론
저자들은 광학 하드웨어와 계산 재구성을 모두 통합한 ConvRML 시스템을 제시한다:

1. 광학 인코더 (RML): 이 시스템은 무작위 다초점 렌즈렛 (Random Multi-Focal Lenslet, RML) 위상 마스크를 사용한다. 일반적인 디퓨저나 규칙적인 마이크로렌즈 어레이와 달리, RML은 서로 다른 초점 거리를 가진 렌즈렛들이 의사 무작위(pseudo-random) 위치에 중첩되어 배치된 구조이다. 이 설계는 점 퍼짐 함수(PSF)의 이동된 복사본들 사이의 상관관계를 최소화하고, 다중화를 줄여 측정 대비를 보존하며, 넓은 시야각(FOV)을 유지한다. 마스크는 고해 resolution의 이광자 광역학(two-photon lithography)을 사용하여 제작되어 정밀도와 재현성을 보장한다. 다초점 특성은 초점 심도를 확장하여 축 방향 정렬 불량에 대한 민감도를 낮춰준다.
2. 재구성 아키텍처: 저자들은 ConvNeXt 기반의 딥러닝 아키텍처를 구현하였다. 이 합성곱 신경망(CNN)은 계단식 레이어를 통해 효과적인 수용 영역(receptive field)을 크게 확장할 수 있어, 어텐션 기반 모델(예: Transformer)의 계산 오버헤드나 특정 아키텍처 제약 없이도 다중화된 측정값에 내재된 장거리 의존성을 처리할 수 있도록 선택되었다.
3. 표준화된 평가 프레임워크: 광학 인코딩의 효과를 알고리즘 성능으로부터 분리하기 위해, 저자들은 **병렬 이미징 설정(parallel imaging setup)**을 구축하였다. 이 설정은 동일한 조건 하에서 세 가지 시스템(RML 렌스리스 이미저, 표준 디퓨저 렌스리스 이미저, 그리고 그라운드 트루스 역할을 하는 기존 렌즈 시스템)을 통해 장면을 동시에 캡처한다.
4. 데이터셋 기여: 저자들은 100,000개의 측정값을 포함하는 **병렬 렌스리스 데이터셋 (Parallel Lensless Dataset, PLD)**을 생성하여 오픈 소스로 공개하였다. 이 데이터셋은 이전의 오픈 소스 벤치마크(예: DiffuserCam의 25,000개 또는 PhlatCam의 10,000개)보다 훨씬 크며, 서로 다른 광학 인코더 간의 통제된 비교를 지원한다.

주요 결과

• 광학 성능: 변조 전달 함수(MTF) 및 상호 정보량(MI)을 이용한 정량적 분석 결과, RML이 디퓨저보다 우수한 성능을 보였다. RML은 공간 주파수를 더 잘 보존하며, 읽기 노이즈 및 제한된 센서 비트 깊이(예: 4비트 양자화)가 존재하는 상황에서도 훨씬 더 많은 정보를 유지한다. 디퓨저 신호는 노이즈 환경에서 단일 양자화 빈(bin)으로 붕괴되는 경우가 많은 반면, RML은 구별 가능한 특징들을 유지한다.
• 재구성 성능:
  • 광학적 영향: 동일한 ConvNeXt 아키텍처와 결로 결합했을 때, RML 시스템은 디퓨저 시스템보다 2.99 dB 향상된 PSNR과 0.116 증가한 SSIM을 달와, 개선된 광학 측정이 직접적으로 더 높은 품질의 재구성으로 이어진다는 것을 입증했다.
  • 아키텍처적 영향: 고다중화 DiffuserCam 벤치마크에서, ConvNeXt는 25.37 dB PS로 PSNR을 달성하며 최신 어텐션 기반 아키텍처(Lensless Imaging Transformer, Swin Transformer, Vision Transformer)와 U-Net 베이스라인을 능가했다. 주목할 점은, ConvNeXt가 적절한 모델 용량(36M 파라미터)으로 이를 달성한 반면, 더 큰 어텐션 기반 모델(예: 59.4M 파라미터의 Swin Transformer)은 오히려 더 낮은 성능을 보였다는 것이다.
  • 데이터 효율성: RML 데이터셋으로 ConvNex를 학습시켰을 때, 50,000개의 측정값까지는 성능 향상이 나타났으나 그 이후에는 수익 체감이 발생했다. 이는 해당 아키텍처가 이 데이터셋 크기에 잘 맞음을 시사하며, 더 큰 어텐션 기반 모델들은 증가하는 용량이나 데이터로부터 반드시 동일한 이득을 얻지는 못했다.
• 일반화: 학습된 ConvNex 모델은 렌스리스 시스템 앞에 놓인 다양한 물리적 실제 물체(직물, 금속, 플라스틱 등 다양한 재질)를 성공적으로 재구성하였으며, 디퓨저 시스템이 해결하지 못한 미세한 질감과 날카로운 가장자리를 복원해냈다.

의의 및 주장
본 논문은 개선된 측정 품질과 강력하고 적절히 매칭된 알고리즘의 결면이 최대의 재구성 성능을 낸다는 것을 입증함으로써, ConvRML 시스템이 고품질의 소형 렌스리스 이미징을 위한 새로운 표준을 확립한다고 주장한다.

주요 기여는 다음과 같다:

1. 하드웨어: 높은 재현성을 가지고 제작되었으며, 디퓨저에 비해 낮은 다중화와 향상된 대비를 제공하는 정밀 제조된 RML 위상 마스크.
2. 소프트웨어: 어텐션 기반 모델(Transformer)의 복잡성 없이도 장거리 의존성을 처리하기 위해 정교하게 설계된 합성곱 네트워크가 충분하다는 것을 시사하며, 최신 어텐션 기반 모델을 능가하는 ConvNeXt 재구성 아키텍처.
3. 리소스: 표준화된 평가 및 재구성 아키텍처의 향후 발전을 촉진할 수 있는, 현재까지 공개된 렌스리스 이미지 데이터셋 중 가장 큰 규모의 병렬 렌스리스 데이터셋 (PLD) 공개.

저자들은 본 연구가 고품질의 압축적 렌스리스 이미저의 지속적인 발전을 뒷받침하기 위한 필수적인 리소스와 근거를 제공하며, 기존의 고다중화/저정밀도 시스템의 한계를 넘어선다고 결론짓는다.