Broadband Wide Field of View Imaging with Computational Mirrors

"Computational Mirrors 를 활용한 광대역 광시야 이미징"에 대한 상세 기술 요약입니다.

1. 문제 제기

기존의 굴절식 (유리 기반) 광학은 가시광선에서 단파장 적외선 (VIS-SWIR) 스펙트럼 (400–1700 nm) 에 걸쳐 이미지를 형성할 때 근본적인 병목 현상에 직면합니다. 유리의 분산 특성으로 인해 서로 다른 파장이 서로 다른 깊이 (색수차) 에 초점을 맞추기 때문에, 초점 평면을 정렬하기 위해 복잡하고 무겁고 비싼 다중 요소 렌즈 어셈블리가 필요합니다. 이러한 보정을 거치더라도 유리 광학은 종종 좁은 스펙트럼 대역으로 제한됩니다.

반면, **반사 광학 (거울)**은 본질적으로 무색수차 (achromatic) 이어서 모든 파장을 동일한 지점에 초점을 맞춥니다. 이는 광대역 이미징에 이론적으로 이상적입니다. 그러나 단순한 거울 시스템 (예: 단일 오목 거울) 은 심각한 축외 기하학적 수차, 특히 페츨발 (Petzval) 곡면으로 인해 고통받습니다. 이러한 시스템에서는 이미지 표면이 평평하지 않고 곡선 형태를 띠며, 시야 (FoV) 의 서로 다른 영역이 거울로부터 다양한 거리에서 초점을 맞춥니다. 결과적으로 평평한 센서는 전체 프레임에 걸쳐 동시에 선명하고 모든 초점이 맞는 이미지를 포착할 수 없으므로, 단순한 거울은 중간 초점 거리 (50–100mm) 와 광시야 애플리케이션에 실용적이지 않습니다.

2. 방법론: 계산 거울 (Computational Mirrors)

저자들은 단순한 거울의 한계를 극복하기 위해 하드웨어 제어 초점 스택 획득과 물리학에서 영감을 받은 계산적 재구성 파이프라인을 결합한 Computational Mirrors라는 프레임워크를 제안합니다.

A. 하드웨어 구성

• 광학: 중앙 개구부와 광로를 재지향하는 이차 평면 접이식 거울을 갖춘 주 오목 거울 (50mm F/1 또는 100mm F/2) 을 사용합니다. 이 설계는 굴절식 대응 제품보다 가볍고 소형입니다.
• 센서: 400–1700 nm 를 감지할 수 있는 Sony IMX990 VIS-SWIR 센서.
• 획득: 단일 노출 대신 시스템은 희소 초점 스택 (일반적으로 2–4 장의 이미지) 을 캡처합니다. 모터 구동 변위 스테이지를 사용하여 센서를 광축을 따라 이동시킵니다. 이 축 방향 스윕은 광시야의 모든 지점이 최적 초점 평면에서 또는 그 근처에서 샘플링되도록 보장하여, 곡선형 페츨발 표면을 효과적으로 "스캔"합니다.

B. 알고리즘: SeidelConv

핵심 혁신은 고개구 거울에 내재된 심하고 공간적으로 변하는 축외 수차 (코마, 비점 수차) 를 보정하도록 설계된 새로운 점 확산 함수 (PSF) 모델인 SeidelConv입니다.

• 물리학 기반 모델: 고전적인 제이델 (Seidel) 수차 이론과 공간 변환기 네트워크 (Spatial Transformer Networks) 에서 영감을 받아, SeidelConv 는 블러를 정적 커널이 아닌 기저 성분의 혼합으로 모델링합니다.
• 메커니즘: 초점 스택의 각 이미지에 대해 모델은 다음을 수행합니다:
  1. 축외 수차로 인한 기하학적 왜곡 (늘어남/회전) 을 모델링하기 위해 소수의 아핀 변환 (약 20–30 개 항) 을 사용하여 잠재적 선명 이미지를 **왜곡 (Warps)**합니다.
  2. 학습된 커널을 사용하여 왜곡된 이미지를 블러 (Blurs) 처리합니다.
  3. 픽셀 단위로 이러한 구성 요소를 **가중치 (Weights)**를 부여하고 합산합니다.
• 보정: 모델 파라미터 (아핀 행렬, 커널, 가중치) 는 희소 랜덤 점 세트를 사용하여 모니터 기반 보정 절차를 통해 학습되며, 물리 시스템과 일치하도록 순방향 모델을 최적화합니다.
• 재구성: 시스템은 심층 제거 노이즈 사전 (DPIR) 을 갖춘 Plug-and-Play (PnP) 프레임워크를 사용하여 다중 이미지 역 문제를 해결합니다. 이는 희소 초점 스택을 단일의 고품질, 모든 초점이 맞는 이미지로 융합합니다.

3. 주요 기여

1. 희소 초점 스택 획득: 2–4 장의 최소 스택만으로도 선명하고 광시야 이미지를 복원할 수 있음을 입증하여, 이전의 조밀한 스택 방법 (10–30 장의 이미지 필요) 에 비해 획득 시간과 데이터 오버헤드를 크게 줄였습니다.
2. SeidelConv PSF 모델: 아핀 왜곡을 포함하는 학습 가능한 공간 변이 PSF 모델을 도입했습니다. 이는 축외 거울 광학의 극단적인 기하학적 왜곡을 모델링하는 데 필수적이며, 표준 패치 단위 컨볼루션 또는 방사 대칭 모델보다 우수한 성능을 발휘합니다.
3. 무색수차 광대역 이미징: 단일 하드웨어 보정 (가시광선에서 수행) 이 400–1700 nm 전체 스펙트럼에 대해 재보정이나 재초점 없이 적용될 수 있음을 증명했습니다. 이는 색수차 분산으로 인해 굴절식 광학에서는 불가능한 업적입니다.
4. 프로토타입 검증: VIS-SWIR 센서와 결합된 최초의 50mm F/1 및 100mm F/2 거울 대물렌즈를 구축하고 테스트했습니다.

4. 결과

• 화질: 시스템은 RGB, NIR, SWIR 대역 전반에 걸쳐 선명하고 모든 초점이 맞는 이미지를 생성합니다. 정량적 비교에서 SeidelConv 는 축외 영역에서 PSNR 기준 2dB 이상의 성능 향상으로 CoordGate, Patch-wise 와 같은 최신 PSF 모델을 능가합니다.
• 재료 분석: 시스템은 표준 센서에는 보이지 않는 재료 특성을 드러냅니다:
  • 통화 인증: SWIR 이미징은 가시광선에서는 보이지 않는 지폐의 보안 요소를 드러냅니다.
  • 식생: NIR/SWIR 은 반사율에 기반하여 실제 식물과 인조 식물을 구분합니다.
  • 가림: SWIR 이미징은 가시광선에서는 불투명한 얇은 플라스틱 가림물 (비닐봉지, 병 등) 을 투과합니다.
• 효율성: 거울 기반 시스템은 동등한 유리 렌즈 (400g) 에 비해 훨씬 가볍습니다 (60g).
• 확장성: 이 접근 방식은 50mm (마이크로/클로즈업) 와 100mm (장거리) 초점 거리 모두에서 작동합니다.

5. 의의

이 연구는 단순하고 저비용인 반사 광학과 고급 계산 이미징 사이의 간극을 메웁니다. 곡면 수차와 축외 수차의 전통적인 한계를 극복함으로써, Computational Mirrors는 다음을 가능하게 합니다:

• 단일의 가볍고 비용 효율적인 광학 시스템으로 초광대역 이미징 (400–1700 nm) 구현.
• 색수차 재초점 제거를 통한 파장 독립적이고 빠른 이미징.
• 기존 유리 광학이 너무 무겁거나 비싸거나 스펙트럼적으로 제한적인 초분광 이미징, 재료 분류, 원격 감지 등의 새로운 애플리케이션 창출.

저자들은 거울 기반 계산 이미징에 대한 추가 연구를 촉진하기 위해 SeidelConv 코드와 검증 데이터셋을 공개합니다.