Temporal speckle enables probabilistic weights for uncertainty-aware photonic AI

기술 요약: 시간적 스펙클(Temporal Speckle)을 통한 불확실성 인지형 광학 AI용 확률적 가중치 구현

문제 정의
의료, 자율 주행 시스템과 같은 안전 필수 영역에 배치되는 인공지능 시스템은 모호한 관측값(알레아토릭 불확실성, aleatoric uncertainty)이나 생소한 입력(에피스테믹 불확실성, epistemic uncertainty)을 마주했을 때 이를 인식하지 못하고 실패하는 경우가 많다. 기존의 결정론적 신경망은 이러한 시나리오에서도 과도하게 확신하는 경알을 보인다. 베이지안 신경망(BNN)은 점 추정치가 아닌 모델 파라미터에 대한 확률 분포를 추론함으로써 원칙적인 해결책을 제시하지만, 실제 배포 시에는 계산 오버헤드가 걸림돌이 된다. 예측 시 수많은 확률 분포로부터 샘플링하는 과정은 결정론적 디지털 하드웨어에 병목 현상을 일으켜 지연 시간, 에너지 소비 및 메모리 트래픽을 증가시킨다. 멤리스티브 소자와 같은 기존의 아날로그 하드웨어 방식은 확장성, 드리프트 문제 및 가중치당 다수의 소자가 필요한 문제로 어려움을 겪고 있다. 따라서 프로그래밍 가능한 가중치 분포, 병렬 샘플링, 그리고 확립된 머신러닝 프레임워크와 호환되는 직접적인 광학 연산을 가능하게 하는 물리적 메커니즘이 필요하다.

방법론
저자들은 광대역 카오틱 광(broadband chaotic light)의 **시간적 스펙클(temporal speckle)**을 확률적 가중치의 고유한 물리적 표현으로 활용하는 광학 아키텍처를 제안한다.

• 확률의 스펙트럼 인코딩: 디지털 방식으로 난수를 생성하는 대신, 시스템은 광대역 스펙트럼 내 개별 주파수 채널의 광학적 특성에 가중치 분포의 평균($\mu$)과 표준 편차($\sigma$)를 직접 인코딩한다.
  • 평균 ($\mu$): 특정 주파수 채널의 통합 광출력($P$)에 의해 프로그래밍된다.
  • 표준 편차 ($\sigma$): 해당 채널의 광학 대역폭($\Delta\nu$)에 의해 프로그래밍된다.
  • 메커니즘: 주파수 성분들 사이의 무작위한 비팅(beating)은 시간적 출력 변동을 생성한다. 검출기의 유한한 전기적 대역폭($B_{el}$)은 측정 간격을 정의한다. 광대역이 넓어질수록 결맞음 시간(coherence time)은 감소하며, 이로 인해 검출기는 더 많은 시간적 결맞음 셀을 평균화하게 된다($M_{eff} \sim \Delta\nu/B_{el}$). 이러한 평균화 과정은 상대적 변동을 억제($\propto M_{eff}^{-1/2}$)하므로, 대역폭을 통해 무작위성을 제어하고 전력을 통해 신호의 평균을 제어할 수 있다.
• 광학적 확률적 컨볼루션 가속기: 시스템은 스펙트럼 인코딩과 주파수-시간 인터리빙(frequency–time interleaving)을 결합한다.
  • 프로그래밍 가능한 웨이브셰이퍼(waveshaper)는 독립적으로 전력과 대역폭이 제어되는 9개의 스펙트럼 채널(194 THz 중심, 403 GHz 간격)을 정의한다.
  • 전기 광학 변조기(EOM)는 모든 채널에 시간적 입력 데이터를 동시에 인코딩한다.
  • 칩에 통합된 **처프형 도파로 브래그 격자(CWBG)**는 주파수 의존적 지연을 도입한다. 지연 기울기($-93.12$ ps THz$^{-1}$)는 인접한 채널들이 정확히 하나의 입력 심볼 지속 시간($37.5$ ps)만큼 지연되도록 보장하여, 스펙트럼에 인코딩된 가중치를 광검출기에서 해당하는 입력 값과 정렬시킨다.
  • 광검출기는 정렬된 광 출력을 합산하여, 단일 물리적 단계에서 컨볼루션 연산의 확률적 실현(stochastic realization)을 수행한다.
• 하이브리드 베이지안 신경망(BNN): 저자들은 단 하나의 확률적 컨볼루션 레이어만 광 가속기에서 구현되는 네트워크 아키텍처(DenseNet 스타일의 스킵 연결과 depthwise-separable 컨볼루션 결합)를 공동 설계한다. 나머지 네트워크는 결정론적이며 디지털로 유지된다.
  • 학습: 미분 가능한 서로게이트 모델(PyTorch 호환)이 확률적 변분 추론(SVI)을 사용하여 하드웨어 인지 학습 중에 광학 레이어의 통계량(평균 및 분산)을 시뮬레이션한다.
  • 추론: 물리적 가속기가 서로게이트를 대체한다. 시스템은 각 패스마다 새로운 물리적 가중치 실현을 사용하여 여러 번의 확률적 순방향 패스(예: 10회)를 수행한다.
  • 불확실성 정량화: 에피스테믹 불확실성은 상호 정보량(Mutual Information, 서로 다른 가중치 실현 간의 불일치)을 통해 측정하며, 알레아토릭 불확실성은 소프트맥스 엔트로피(Softmax Entropy, 단일 예측 내의 불확실성)를 통해 측정한다.

주요 기여

1. 확률적 가중치의 물리적 표현: 광대역 카오틱 광을 스펙트럼 형태로 구성함으로써, 계산 집약적인 난수 생성 없이도 여러 개의 독립적인 확률 분포를 병렬로 저장하고 샘플링할 수 있음을 입증하였다.
2. 초고속 컨볼루션 가속기: 확률적 컨볼루션 출력 하나를 37.5 ps마다 계산하는(초당 267억 개의 출력에 해당) 광학 프로세서를 구현하였다. 이는 다른 광학 시스템에서 보고된 나노초 단위의 확률적 연산보다 현저히 빠르다.
3. 엔드 투 엔드 불확실성 인지 추론: 하드웨어 인지 학습과 PyTorch 인터페이스를 갖춘 하이브리드 BNN 워크플로우에 물리적 가속기를 성공적으로 통합하였다.
4. 불확실성 유형의 분리: 상호 정보량과 소프트맥스 엔트로피 지표를 사용하여 에피스테믹 신규성(알려지지 않은 입력)과 알레아토릭 모호성(노이즈가 섞인 입력)을 실험적으로 분리할 수 있음을 입증하였다.

실험 결과

• 특성 분석: 시스템은 25개의 무작위 생성된 확률적 커널로 테스트되었다. 측정된 출력 평균 및 표준 편차는 타겟 값과 밀접하게 일치하였으며, 평균 오차는 $0.016 \pm 0.173$, 표준 편차 오차는 $0.036 \pm 0.092$였다.
• 혈구 분류(Blood-Cell Classification): 하이브리드 BNN은 7개의 혈구 클래스로 학습되었다. 제외된 적혈구(erythroblasts, OOD)를 제시했을 때, 시스템은 이를 에피스테믹 불확실성으로 감지하였다.
  • 제외된 세포 유형을 탐지하는 데 있어 **91.16%**의 AUROC를 달성하였다.
  • 불확실한 이미지를 거부함으로써, 유지된 인-도메인 이미지의 분류 정확도를 90.26%에서 **94.62%**로 향상시켰다.
• 표준 벤치마크 (MNIST, Fashion-MNIST, Ambiguous-MNIST):
  • MNIST에서 **96.01%**의 정확도를 달성하였다.
  • 상호 정보량 기반 거부는 MNIST의 비거부 이미지에 대해 정확도를 **99.70%**까지 높였다.
  • 패션-MNIST에 대한 에피스테믹 불확실성 탐지는 **84.42%**의 AUROC를 달성하였다.
  • Ambiguous-MNIST에 대한 알레아토릭 불확실성 탐지는 **88.03%**의 AUROC를 달성하였다.
  • 세 데이터셋은 상호 정보량-소프트맥스 엔트로피 공간에서 뚜렷하게 구분되는 영역을 차지하였으며, 이는 불확실성 유형의 분리를 확인시켜 준다.

의의 및 주장
본 논문은 프로그래밍 가능한 확률적 가중치, 광학 컨볼루션, 그리고 엔드 투 엔드 불확실성 인지 추론을 통합한 최초의 실험적 광학 구현을 제공한다고 주장한다. 본 시스템은 고유한 광학 노이즈를 프로그래밍 가능한 계산 자원으로 변환함으로써 베이지안 추론의 샘플링 병목 현상을 제거한다. 저자들은 이 접근 방식이 단순히 무작위 샘플링을 가속화하는 것을 넘어, 동일한 광 신호 내에 확률적 가중치를 저장, 샘플링 및 처리한다는 점에서 차별화된다고 밝힌다. 본 연구는 불확실성 하에서의 추론이 필수적인 안전 필수 AI 워크로드에 실질적인 시스템 구성 요소를 제공함으로써, 고속 불확실성 인지형 광학 AI로 가는 경로를 구축한다. 또한, 하드웨어-알고리즘 공동 설계를 활용하여 확률성을 특정 레이어에 집중시킴으로써 예측 성능을 유지하면서도 물리적 자원 요구 사항을 줄인다.