기술 요약: DynGhost

문제 제기

고스트 이미징은 구조화된 조명 패턴과 스칼라 강도 측정을 상관관계 분석하여 단일 픽셀(버킷) 검출기로부터 공간 정보를 재구성하는 계산 기법입니다. 딥러닝이 정적 장면 재구성을 발전시켰지만, 두 가지 결정적인 한계가 동적이고 현실적인 시나리오에 고스트 이미징을 적용하는 것을 방해합니다:

1. 시간적 모델링 부재: 기존 아키텍처 (CNN 및 정적 Transformer 인 Ghost-GPT 포함) 는 장면을 순수하게 정적인 것으로 간주합니다. 이는 프레임 간 시간적 일관성을 활용하지 못해 심각한 모션 아티팩트를 유발하거나 움직이는 프레임을 폐기해야 하는 필요성을 초래합니다.
2. 부정확한 노이즈 모델링: 현재 딥러닝 접근법은 가법적 가우시안 노이즈를 가정합니다. 이는 단일 광자 양자 검출기 (예: SNSPD, SPAD, SiPM) 의 물리적 현실과 모순됩니다. 이러한 검출기들은 포아송 통계를 따르며 암계수 (dark counts), 애프터펄싱, 크로스토크와 같은 특정 아티팩트를 나타냅니다. 이 분포의 변화는 가우시안 데이터로 훈련된 모델이 현실적인 하드웨어 제약 하에서 실패하게 만듭니다.

방법론: DynGhost 아키텍처

저자들은 시간적 및 물리적 모델링 격차를 해결하도록 설계된 DynGhost(동적 고스트 이미징 Transformer) 를 제안합니다.

1. 아키텍처

DynGhost 는 버킷 측정값 시퀀스 $B \in \mathbb{R}^{T \times M}$를 처리하여 재구성된 프레임 $\hat{X} \in \mathbb{R}^{T \times H \times W}$를 출력합니다.

• 토큰 임베딩: 입력은 조명 마스크 ($H_i$) 와 버킷 측정값 ($b_i$) 의 학습된 프로젝션을 연결하고, 학습된 공간 및 시간 위치 인코딩을 보강하여 구성됩니다.
• 교번 어텐션 블록: 핵심 혁신은 두 모드 간에 교번하는 $L$개의 트랜스포머 블록 시퀀스입니다:
  • 공간 어텐션: 단일 프레임 내의 정보적 패턴을 모델링합니다 ($O(M^2)$ 복잡도).
  • 시간 어텐션: 특정 패턴에 대해 프레임 간 정보를 전파하여 모션 일관성을 활용합니다 ($O(T^2)$ 복잡도).
• 출력: 프로젝션 레이어가 최종 토큰 표현을 공간 이미지 도메인으로 매핑합니다.

2. 훈련 목적

모델은 복합 손실 함수를 사용하여 최적화됩니다:
$$\mathcal{L} = \mathcal{L}_{MSE} + 0.5 \mathcal{L}_{SSIM} + 0.1 \mathcal{L}_{temp}$$

• $\mathcal{L}_{MSE}$: 픽셀 단위 재구성 오차.
• $\mathcal{L}_{SSIM}$: 지각적 구조적 유사성 손실.
• $\mathcal{L}_{temp}$: 연속된 재구성 프레임 간의 차이가 기준 참값 (ground truth) 프레임 간의 차이와 일치하도록 강제하는 시간적 일관성 손실로, 부드러운 모션 전파를 보장합니다.

3. 양자 인식 훈련 프레임워크

시뮬레이션과 하드웨어 간의 격차를 해소하기 위해 저자들은 물리적으로 정확한 검출기 시뮬레이션 파이프라인을 도입합니다:

• 검출기 시뮬레이션: 훈련 데이터 생성에는 광자 계수를 위한 포아송 통계와 SNSPD, SPAD, SiPM 에 대한 특정 하드웨어 아티팩트 (암계수, 데드 타임, 애프터펄싱, 크로스토크) 가 포함됩니다.
• 분산 안정화 정규화: 포아송 노이즈가 이분산성 (분산이 평균에 비례) 이라는 점을 인식하여, 저자들은 Anscombe 변환($f(n) = 2\sqrt{n + 3/8}$) 또는 Freeman–Tukey 변환을 적용합니다. 이러한 변환은 포아송 분포된 계수를 약 1 분산의 가우시안 변수로 변환하여 MSE 손실 함수의 암묵적 가정과 입력 분포를 정렬합니다.

주요 기여

1. 최초의 동적 고스트 이미징 Transformer: DynGhost 는 공간 - 시간 어텐션 및 시간적 일관성 손실을 통해 모션 일관성을 명시적으로 활용하는 최초의 아키텍처로, 동적 장면에 대해 훨씬 더 부드러운 예측을 제공합니다.
2. 양자 검출기 평가 및 분포 이동 완화: 이 논문은 진정한 양자 검출기 시뮬레이션 하에서 훈련되고 평가된 최초의 프레임워크를 제시합니다. 가우시안으로 훈련된 모델이 실제 하드웨어에서 치명적인 분포 이동을 겪으며, 올바른 노이즈 모델링과 분산 안정화를 통해 이를 해결하여 실제 하드웨어 시뮬레이션에서 +33.4% SSIM 향상을 달성함을 확인했습니다.
3. 운용 영역 특성화: 일곱 가지 정규화 전략과 다양한 검출기 유형을 벤치마킹함으로써 저자들은 양자 모델이 고전적 대안보다 결정적으로 우월한 특정 운용 영역을 정의합니다: 측정당 광자 수 $\ge$100, 암계수 (DCR) < 10,000 Hz, 효율성 > 60%.

실험 결과

실험은 Moving MNIST, Moving CIFAR-10, 그리고 Kvasir 내시경데이터셋 (현실적인 적외선 비디오) 의 세 가지 벤치마크에서 수행되었습니다.

• 기저 모델 대비 성능: DynGhost 는 고전적 방법 (DGI, 의사역행렬, FISTA) 과 최신 딥러닝 기저 모델 (U-Net, CNN, 정적 Ghost-GPT) 을 크게 능가합니다.
  • Moving MNIST에서 DynGhost 는 정적 Ghost-GPT 대비 MSE 45% 감소 및 SSIM 16% 향상을 달성했습니다.
  • FISTA 와 같은 반복 솔버보다 130 배 더 빠르게 작동합니다.
• 동적 강건성: 이 모델은 초당 10 픽셀까지의 객체 속도에 대해 높은 구조적 충실도 (SSIM > 0.90) 를 유지합니다. 프레임 내 모션 블러라는 물리적 한계로 인해 극단적인 속도 (초당 50 픽셀) 에서 성능이 점진적으로 저하되지만, 이는 알고리즘적 실패가 아닙니다.
• 노이즈 강건성: DynGhost 는 15 dB SNR 까지 수용 가능한 재구성 품질 (SSIM > 0.5) 을 유지하며, 낮은 SNR 에서 치명적으로 실패하는 고전적 솔버를 크게 능가합니다.
• 애블레이션 연구:
  • 시간적 어텐션 블록을 제거하면 MSE 가 2.3 배 증가하여 시간적 일관성이 성능의 주요 동인임을 확인했습니다.
  • MSE 손실에만 의존하면 SSIM 이 심각하게 붕괴 (0.917 에서 0.670 으로) 하여 지각적 및 시간적 손실의 필요성을 강조합니다.
• 정규화 영향: 분산 안정화 변환 (Anscombe, Freeman–Tukey) 은 단일 광자 데이터에서 표준 정규화 (Min-max, Z-score) 를 크게 능가하여 SNSPD 시뮬레이션에서 SSIM 을 약 0.73 에서 약 0.84 로 향상시켰습니다.

중요성 및 주장

이 논문은 DynGhost 가 광자가 부족한 현실 환경에서 고속 고스트 이미징을 배포하기 위한 견고하고 원칙적인 청사진을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

1. 동적 병목 현상 해결: 시간적 일관성을 암묵적 재구성 사전으로 처리함으로써 움직이는 프레임을 폐기하지 않고도 동적 고스트 이미징을 해결 가능하게 합니다.
2. 물리 격차 해소: 단일 광자 검출기의 포아송 성질을 무시하면 하위 최적 성능으로 이어지며, 분산 안정화 변환이 딥러닝 모델을 물리적 하드웨어 제약과 정렬하는 데 필수적임을 입증합니다.
3. 하드웨어 요구사항 정의: 이 연구는 재구성 품질에 있어 검출기 효율성보다 암계수 (DCR) 가 더 중요하며, 효과적인 배포를 위한 구체적인 임계값을 제공함을 명확히 합니다.

인정된 한계:
저자들은 평가가 현실 세계의 복잡성을 완전히 반영하지 못할 수 있는 합성 데이터셋 (Moving MNIST/CIFAR) 에 크게 의존한다고 지적합니다. 시간적 어텐션의 2 차 스케일링은 모델을 짧은 시퀀스 ($T=8$) 로 제한하며, 정규화는 고정된 광자 플럭스에 대해 보정되어 있어 가변 조명 하에서 성능이 저하될 수 있습니다. 물리적 실시간 하드웨어에 대한 검증은 여전히 열려 있는 과제입니다.