Nonlinear unitary circuits for photonic neural networks

기술 요약: 광학 신경망을 위한 비선형 유니터리 회로

문제 정의
광학 하드웨어는 에너지 효율적이고 초고속인 딥러닝 가속화 측면에서 상당한 잠재력을 제공하지만, 비선형 표현력(nonlinear expressivity)을 달면하는 것이 핵심적인 병목 현상으로 남아 있다. 기존의 광학적 접근 방식은 일반적으로 선형 광학 행렬 계산과 비선형 활성화 함수를 분리하며, 이는 전기-광학 변환, 신호 인코딩 물질 또는 상당한 전자 신호 처리를 필요로 하는 빛-물질 상호작용에 의존한다. 또한, 빛의 세기를 변화시켜 비선형성을 유도하는 방법(예: 포화 흡수)은 신호 손실 및 훈련 중 기울기 소실(vanishing gradients)과 같은 하드웨어 비용을 발생시킨다. 저자들은 이러한 단점을 피하면서 소프트웨어로 구현된 심층 신경망(DNN)의 벤치마크를 충족할 수 있는, 선형 및 비선형 표현력을 규격 보존(norm-preserving) 프레임워크 내에 통합하는 광학 아키텍처의 필요성을 식별하였다.

방법론
본 논문은 비보존적 내적(non-conservative inner products)을 가지면서 규격 보존 매핑을 달성하기 위해 자가 위상 변조(Self-Phase Modulation, SPM) 및 광학 커 효과(optical Kerr effect)를 활용하는 비선형 유니터리(Nonlinear Unitary, NU) 회로의 개념을 제안한다. 방법론은 다음과 같이 구성된다:

1. NU(1) 유닛 설계: 기본 빌딩 블록은 도파로에 측면 결합된 통합 광학 공진기이다. 이 유닛은 $U(1)$ 군 연산(위상이 변이된 완전 투과)을 수행한다. 비선형성은 두 가지 메커니즘을 통해 공진 주파수($\omega_0$)를 섭동시킴으로써 도입된다:

   • 선형 이동($\Delta\omega_L$): 프로그래밍 가능성을 위해 전기 광학 또는 열 광학 위상 변조기를 통해 조절 가능하다.
   • 비선형 이동($\Delta\omega_{NL}$): SPM으로부터 유도되며, 공진 주파수는 입사광의 세기에 비례하여 이동한다($\Delta\omega_{NL} = -\alpha|\mu|^2$).
     결과적으로 위상 변화 $\xi$는 입사 강도 $|\psi_+|^2$와 선형 이동 $\Delta\omega_L$의 비선형 함수가 되며, 특정 정상 상태 조건 하에서 히스테리시스 없이 작동한다.

2. NU(2) 게이트 구축: 기능적인 게이트를 만들기 위해, 저자들은 각 암(arm)에 NU(1) 유닛이 포함된 마하-젠더 간섭계(MZI)를 구성한다. 이 구성은 $U = R_z(\Delta\xi)R_x(-\pi/2)$ 형태의 규격 보존 연산을 수행한다. 여기서 회전각 $\Delta\xi$는 입력 상태에 따라 달라진다. 이를 통해 게이트는 서로 다른 입력 상태 사이에서 내적이 보존되지 않는 비선형 유니터리 연산을 실행할 수 있으며, 이는 딥러닝 표현력의 핵심 특징이다.

3. 회로 조립 및 훈련: 심층 NU 회로는 (Reck 또는 Clements 설계를 따르는) NU(2) 게이트를 직렬 연결하여 구축된다. 저자들은 비볼록 최적화 문제에서의 지역 최솟값 문제를 해결하기 위해 **신경 진화 학습(neuroevolutionary learning)**을 결합한 시뮬레이티드 어닐링을 사용하여 이 회로들을 평가한다. 훈련 파라미터에는 연속적인 선형 이동과 이진 변수가 포함된다.

주요 기여

• 개념적 프레임워크: 압축된 규격 보존 광학 아키텍처 내에서 선형 및 비선형 표현력을 통합하는 "비선형 유니터리" 회로의 도입.
• 하드웨어 설계: 손실이 발생하는 강도 변조나 전자 피드백 루프를 요구하지 않고, 프로그래밍 가능한 비선형성을 위해 SPM을 활용하는 구체적인 통합 광학 빌딩 블록(NU(1) 유닛) 및 게이트(NU(2)) 제안.
• 이론적 검증: 심층 NU 회로가 회로 깊이가 증가함에 따라 궤적 길이(trajectory length)의 지수적 성장(복잡성)과 출력 공간의 거의 완전한 커버리지를 보임을 입증함. 이러한 지표들은 딥러닝에 필요한 표현력의 필수 요소이다.
• 성능 검증: 심층 NU DNN을 사용하여 2D 비볼록 Rastrigin 함수를 성공적으로 회귀 분석함으로써, 고급 문제를 해결하는 하드웨어의 능력을 검증함.

결과

• 표현력 지표: 수치 시뮬레이션 결과, 선형 유니터리 회로는 입력 궤적의 기하학적 구조를 보존하는 반면, 비선형 회로는 상당한 복잡성을 도입함을 보여준다. 블로흐 구(Bloch sphere) 상의 궤적 길이($\mathcal{E}$)는 회로 깊이($M$)에 따라 지수적으로 성장하며, 이는 DNN의 고유한 특성이다.
• 커버리지: 상태 집중을 유발할 수 있는 비선형성 도입에도 불구하고, 심층 NU 회로는 선형 범용 회로와 유사하게 $M > 7$인 깊이에서 거의 완전한 출력 공간 커버리지(정규화된 엔트로피 $\mathcal{C} \approx 1$)를 달성한다.
• 회귀 작업: 비볼록 함수의 회귀에서, 더 깊은 NU 회로는 얕은 회로보다 우수한 성능(낮은 평균 제곱 오차)을 보였다. 훈련된 네트워크는 대상 함수를 성공적으로 근사했으나, 훈련되지 않은 네트워크는 실패하였으며, 이는 해당 아키텍처가 효과적인 학습을 지원함을 확인시켜 준다.

의의 및 주장
저자들은 본 연구가 높은 표현력을 가진 추론과 안정적인 훈련을 갖춘 광학 신경망을 위한 길을 열었다고 주장한다. 규격 보존 연산을 활용함으로써, 제안된 플랫폼은 유니터리 신경망의 장점, 즉 딥러닝에서 흔히 발생하는 기울기 폭주(gradient explosion) 및 기울기 소실 문제를 완화하는 능력을 계승한다. 선형 및 비선형 표현력을 압축적이고 에너지 효율적인 아키텍처 내에 통합하는 것은 광학 딥러닝의 주요 과제를 해결한다. 본 논문은 이 접근 방식이 고전 및 양자 파동 신경망 모두를 위한 유망한 하드웨어 후보임을 명시하며, 향후 연구에서 고유 손실, 훈련 효율성 및 메모리 기능을 위한 히스테리시스 활용 가능성을 다룰 것임을 밝히고 있다.