What should a linear optical frontend compute? Assessing the role of meta-optics, nonlocality, and coherence in hybrid inference systems

기술 요약: 하이브리드 추론 시스템에서 메타 광학, 비국소성(Nonlocality), 그리고 결맞음(Coherence)의 역할 평가

문제 정의
광학 프론트엔드와 디지털 백엔드를 결합한 하이브리드 추론 시스템은 계산을 물리 계층으로 오프로딩하여 에너지 소비와 지연 시간을 줄일 수 있는 경로를 제시한다. 그러나 어떤 특정 연산을 광학 프론트엔드가 수행해야 하는지, 언제 이러한 오프로딩이 유익한지, 그리고 이러한 시스템을 어떻게 효과적으로 설계할 것인지에 대한 근본적인 질문들이 남아 있다. 핵심적인 과제는 저해상도 센서가 디지털 백엔드로 전달되는 데이터의 차원을 제한하는 "병목(bottleneck)" 영역이다. 최근 연구들이 이미징 및 재구성(reconstruction)을 위한 엔드 투 엔드 최적화를 탐구해 왔으나, 강도 검출(intensity detection) 조건하에서의 특정 추론(분류) 작업에 대한 요구 사항은 여전히 불분명하다. 특히, 선형 광학 프론트엔드가 훈련된 선형 디지털 전처리기보다 더 우수한 성능을 낼 수 있는지, 그리고 결맞음과 비국소성이 이 맥락에서 어떤 역할을 하는지는 알려져 있지 않다.

연구 방법론
저자들은 MNIST 숫자 분류 작업을 모델 문제로 사용하여 하이브리드 광-전자 추론 시스템을 조사한다. 이 시스템은 최적화 가능한 광학 프론트엔드, 고정된 저해상도 강도 센서(병목 역할), 그리고 최적화 가능한 전자 백엔드(다층 퍼셉트론, MLP)로 구성된다.

연구는 다음과 같은 몇 가지 프론트엔드 구성을 평가한다:

1. 베이스라인(Baseline): 이상적인 고정 렌즈를 가진 센서 전용 시스템.
2. 로컬 메타표면(Local Metasurface): 훈련 가능한 위상 마스크(로컬 응답)와 자유 공간 전파(free-space propagation)의 결합.
3. 비국소 필터링(Nonlocal Filtering): 로컬 메타표면에 비국소적 $k$-공간 진폭 필터(횡방향 이동 불변, transverse-shift-invariant)를 추가한 형태.
4. 일반 연산자(General Operator): 전체적인 볼륨 메타물질의 완전한 비국소적 장(field) 혼합 능력을 나타내는 이상적이고 제약 없는 선형 연산자(복소 행렬으로 모델링됨).

저자들은 결맞은(coherent) 조명과 결맞지 않은(incoherent) 조명을 모두 분석한다. 저자들은 입력 장(field)과 센서 판독값 사이의 수학적 관계를 도출하며, 강도 검출($| \cdot |^2$)이 선형 장 연산자를 입력의 이차 사상(quadratic map)으로 변환한다는 점에 주목한다. 연구에는 클래스 분리도를 정량화하기 위해 훈련이 필요 없는 지표인 **바타차야 거리(Bhattacharyya distance)**를 사용하며, 이를 통해 픽셀당 분리도와 결합(상관관계 인식) 분리도를 구분한다.

주요 기여 및 결과

1. 픽셀 간 상관관계를 통한 통계적 재형성:
   잘 설계된 광학 프론트엔드의 주요 기능은 센서 판독값의 통계적 분포를 재형성하여 클래스 분리도를 극대화하는 것이다. 저자들은 $2 \times 2$ 센서에 대해, 최적화된 프론트엔드가 반드시 개별 픽셀의 분리도를 개선하는 것은 아님을 보여준다. 대신, 이들은 판독값의 픽셀 간 상관관계에 판별 정보를 인코딩한다. 개별 픽셀 단위로는 구분이 불가능했던 클래스들이 결합 분포 공간에서는 분리 가능해진다. 결합 판독값의 바타차야 거리는 다운스트림 분류 정확도의 강력한 예측 지표 역할을 한다 (스피어만 순위 상관계수 $\rho = 0.97$).

2. 초선형(Super-Linear) 성능을 위한 결맞음과 비국소성의 필요성:

• 이차 특징(Quadratic Features): 센서는 강도를 측정하므로, 선형 광학 장 연산자는 입력 장에 대해 이차적인 특징을 생성한다. 이러한 특징에는 추가적인 클래스 정보를 담고 있는 간섭 교차항($u_k u_l^*$)이 포함된다.
• 결맞음 요구 사항: 이러한 교차항은 입력 지점들 사이의 결정론적인 상대적 위상을 필요로 한다. 결맞지 않은 조명 하에서는 이러한 교차항이 평균적으로 0이 되어, 시스템이 입력 강도의 순수 선형 사도로 축소된다. 결과적으로 결맞지 않은 시스템은 가장 잘 훈련된 선형 디지털 전처리기의 성능을 초과할 수 없다.
• 비국소성 요구 사항: 이러한 교차항을 활용하려면 광학 시스템이 서로 다른 입력 지점을 동일한 센서 픽셀에 결합하는 비국소적(nonlocal) 특성을 가져야 한다. 자유 공간 전파가 어느 정도의 비국소성을 제공하지만, 로컬 메타표면에 비국소적 $k$-공간 진폭 필터(예: 에지 검출)를 추가하는 것이 성능 향상을 가져오지 못함을 본 연구는 발견했다. 해당 필터는 신호를 전달하는 광자를 감쇄시키거나 간섭 항의 유효 가중치를 감소시킨다.
• 일반 비국소 혼합: 상당한 성능 이득은 프론트엔드가 일반적인 비국소 장 혼합(볼륨 메타물질 또는 제약 없는 연산자로 모델링됨)을 수행하고 결맞은 조명 하에 있을 때만 달성된다. 이 구성은 넓게 떨어진 입력 지점들을 독립적으로 제어되는 크기와 위상을 가지고 단일 픽셀으로 경로를 지정할 수 있게 한다.

3. 성능 한계 및 "이차 천장(Quadratic Ceiling)":
   저자들은 선형 전처리의 경험적 상한선을 설정한다.

• 결맞지 않은 한계(Incoherent Limit): 결맞지 않은 광학(로컬 및 일반 연산자 모두)은 "선형 천장"(부호 있는 가중치를 가진 훈련된 디지털 선형 프론트엔드로 정의됨)보다 현저히 낮은 성능을 보이며, 87% 대비 약 71%의 정확도를 달성한다. 강도 검출의 비음수성(non-negativity) 비용이 결맞지 않은 시스템을 제한한다.
• 결맞은 한계(Coherent Limit): 결맞은 로컬 메타표면은 선형 천장의 성능(~80%)에 도달한다.
• 초선형 이점(Super-Linear Advantage): 오직 결맞은 일반 연산자만이 선형 천장을 초과하여 약 93%의 정확도를 달성한다. 이는 강도 검출에 의해 도입된 비선형성이 결맞은 비국소 혼합과 결합될 때, 선형 디지털 전처리기에는 없는 계산 자원을 제공한다는 것을 입증함으로써 "초선형(이차)" 이점을 증명한다.

4. 병목 영역(The Bottleneck Regime):
   결맞은 비국소 광학의 이점은 센서 병목 영역(작은 센서 크기, 예: $N \le 2$)에 집중되어 있다. 센서 크기가 커짐에 따라 시스템이 충분한 고유 분리도를 포착하게 되어, 광학 프론트엔드의 추가적인 분리 능력이 포화 상태에 도달하며 디지털 백엔드가 제한 요인이 된다.

의의 및 주장
본 논문은 최적의 광-전자 추론 시스템을 위한 물리적 통찰력과 새로운 설계 원칙을 제공한다고 주장한다. 핵심 결론은 다음과 같다:

• 추론 vs 이미징: 추서와 이미징 사이에는 근본적인 이분법이 존재한다. 강도 검출 하의 이미지 재구성을 위해서는 최적의 광학 소자가 비혼합형 초점 요소(일반화된 초점화)인 반면, 추론을 위해서는 최적의 광학 소자가 혼합형, 비국소형, 결맞음 요소이다. 재구성을 제한하는 "강도 병목"은 분류를 위한 계산 자원이 되어 이차 특징에 대한 접근을 가능하게 함으로써 추론을 돕는다.
• 설계 원칙: 병목 영역에서 추론 정확도를 극대화하려면, 광학 프론트엔드는 판독 분포의 결합된, 상관관계 인식 분리도(바타차야 거리로 정량화됨)를 극대화하도록 설계되어야 한다.
• 실질적 시사점: "일반 연산자"는 이상적인 한계치이지만, 결과는 볼륨 메타물로 또는 비국소 메타 광학이 결맞은 조명 하에서 작동할 때 아날로그 광학 전처리의 역량을 실질적으로 확장할 수 있음을 시사한다. 저자들은 전체 엔드 투 엔드 공동 최적화보다 훈련이 필요 없는 분리도 목적 함수를 사용하여 광학 프론트엔드를 최적화하는 것이 더 효율적인 대안이 될 수 있다고 제안한다.

이 연구는 93%의 한계를 달성하는 물리적 볼륨 메타물질을 실제로 제작했다고 주장하는 것이 아니라, 결맞은 비국소 혼합의 잠재력을 보여주기 위한 이론적 경계로 사용한다. 또한, 현재의 "자연광" 메타표면 프로세서(결맞지 않은 방식)는 근본적으로 선형 강도 매핑에 제한되어 있어 결맞은 시스템에서 얻을 수 있는 초선형 성능 이점에 접근할 수 없음을 강조한다.