Optical Implementation of Equilibrium Propagation Using Spatial Photonic Ising Machines

기술 요약: 공간 광학 이징 머신을 이용한 평형 전파의 광학적 구현

문제 정의
하드웨어 기반의 머신러닝 알고리즘 구현은 특히 광학 시스템 내에서 에너지 효율성을 높일 수 있는 잠재력 때문에 점점 더 주목받고 있다. 그러나 최첨단 디지털 네트워크는 오차 역전파(error backpropagation)에 의존하는데, 이 알고리즘은 빛의 양방향 전파와 정밀한 위상 측정이 필요하기 때문에 아날로그 물리 시스템에 매핑하기가 어렵다. 대조적 에너지 기반 접근 방식(contrastive energy-based approaches)은 물리적 기질의 고유한 역학을 활용함으로써 대안을 제시하지만, 평형 전파(Equilibrium Propagation, EP)—명시적인 역전파 없이 에너지 기반 네트워크를 학습시키는 프레임워크—의 실험적 구현은 드문 실정이다. 기존의 물리적 구현들은 외부 디지털 업데이트 루프를 필요로 하거나, 확장성이 제한된 완전 자율형 시스템으로 작동하는 경우가 많다. 따라서 EP에 필요한 기울기 기반 업데이트를 수행할 수 있는 병렬적이고 에너지 효율적인 물리 시스템이 필요하다.

방법론
저자들은 공간 광학 이징 머신(Spatial Photonic Ising Machine, SPIM)을 사용하여 평형 전파를 구현한 하이브리드 광-디지털 구현 방식을 제안하고 입증한다. 본 방법론의 핵심은 다음과 같다:

1. 에너지 범함수 및 역학: 시스템은 에너지 범함수 $E$의 바닥 상태(ground state)로 완화되는 동적 시스템을 학습시킨다. 에너지는 입력 바이어스, 이차 상호작용, 경계 이차 항, 그리고 출력 뉴런을 위한 비용 항을 포함한다. 학습 가능한 파라미터는 상호작용 행렬 $J_{in}$과 $J_{dyn}$이다.
2. SPIM 인코딩: 상호작용 기울기 계산의 계산 병목 현상($O(N_d^2)$ 행렬-벡터 곱)을 우회하기 위해, 저자들은 SPIM을 활용한다. 이들은 게이지 변환(gauge transformation) 방법을 사용하여 연속적인 뉴런 상태($s_i \in [-\pi/2, \pi/2]$)와 랭크-1 이진 학습 패턴($\xi_{k,i} \in \{-1, 1\}$)을 공간 광 변조기(SLM) 상의 위상 변조로 인코딩한다.
3. 해밀토니안 평가: SPIM은 자유 공간 전파와 단일 강도 측정을 통해 해밀토니안 $H_{SPIM}$을 계산한다. 랭크-1 마티스 문제(Mattis problems)의 선형 결합을 취함으로써, 시스템은 상호작용 행렬의 완전한 프로그래밍 가능성을 달성한다.
4. 기울기 추정:
   • 추론(Inference): 뉴런 상태에 대한 기울기는 위상이 $\pm \pi/4$만큼 이동된 두 번의 해밀토니안 광학 측정을 요구하는 유한 차분법(finite difference scheme)을 사용하여 추정된다.
   • 학습(Learning): 결합 파라미터($\lambda_k$)에 대한 기울기는 단일 샷(single shot)으로 광학적으로 평가된다. 이진 패턴($\xi_{k,i}$)에 대한 기울기는 실험 실행 시간을 줄이기 위해 수치적으로 평가되지만, 논문에서는 이것이 이론적으로 광학적으로 평가될 수 있음을 명시하고 있다.
5. 최적화 루프: 시스템은 이중 레벨 최적화를 따른다. 내부 루프는 에너지를 최소화(추론)하고, 외부 루프는 출력 뉴런을 목표 방향으로 "넛징(nudging)"하는 것에 대한 시스템의 민감도를 바탕으로 파라미터를 업데이트한다. 저자들은 이진 패턴을 업데이트하기 위해 이진 옵티마이저(Binary Optimizer, BOP)를 사용하며, 수치 시뮬레이션에서는 연속 변수에 대해 표준 옵티마이저(Adam 등)를 사용한다.

주요 기여

• 하이브리드 구현: 본 논문은 SPIM이 해밀토니안 및 특정 기울기 평가라는 계산 집약적인 작업을 처리하고, 디지털 구성 요소가 나머지 항과 최적화 로직을 처리하는 구체적인 하이브리드 광-디지털 아키텍처를 입증한다.
• 연속 뉴런 표현: 게이지 변환 방법을 적응시킴으로써, 저자들은 이진 변수를 위해 설계된 하드웨어 플랫폼에서 연속적인 뉴런 상태를 성공적으로 표현하여 표준 SPIM의 주요 한계를 극복했다.
• 실험적 입증: 시스템은 와인 분류(Wine classification) 데이터셋을 통해 실험적으로 검증되었으며, $89.7 \pm 3.2\%$의 테스트 정확도를 달달성했다.
• 수치적 확장성 분석: 저자들은 MNIST 데이터셋에 대한 광범위한 수치 시뮬레이션을 제공한다. 그들은 향후 연속 파라미터를 가진 SPIM(이진 제한이 없는 $\xi$)이 $97.81 \pm 0.15\%$의 정확도를 달성할 수 있음을 보여준다. 또한, 이 아키텍처가 제한된 자원(예: 8비트 정밀도) 하에서도 실행 가능하며, 구조화되고 더 깊은 아키텍처를 지원할 수 있음을 입증한다.

결과

• 실험 (와인 데이터셋): 하이브리드 시스템은 7회의 독립적인 실행 동안 평균 $89.7 \pm 3.2\%$의 테스트 세트 정확도를 기록했다. 시뮬레이션 정확도($98.2\%$)와 이 결과 사이의 차이는 실험적 노이즈(샷 노이즈, 위상 변동, 레이저 출력 불안정성)에 기인하며, 이는 평형 상태에 영향을 미치는 유효 온도로 작용한다.
• 추론 가속화: 훈련 후, 에너지 지형(energy landscape)은 뚜렷한 인력의 분지(basins of attraction)를 형성하였으며, 이를 통해 $85.71 \pm 2.3\%$의 정확도를 유지하면서 단 한 번의 기울기 하강 단계로 추론을 가속화할 수 있었다.
• 수치적 결과 (MNIST 데이터셋):
  • 연속 파라미터를 사용할 경우, 시스템은 표준 EP 구현 및 다른 광학 시뮬레이션과 유사한 $97.81 \pm 0.15\%$의 정확도를 달성했다.
  • 스케일링 연구에 따르면, 최소 구성($N_d=32, K=22$)만으로도 선형 분류기보다 뛰어난 성능을 보일 수 있다.
  • 양자화 분석 결과, 뉴런 정밀도를 8비트(SLM 해상도와 일치)로 낮추면 정확도를 저하시키지 않으면서 추론 단계를 크게 가속화할 수 있었으나, 4비트 정밀도에서는 성능이 눈에 띄게 저하되었다.

의의 및 주장
본 논문은 "평형 전파의 에너지 효율적인 물리적 구현을 위한 구체적인 경로"를 제공한다고 주장한다. SPIM의 병렬성을 활용함으로써, 이 접근 방식은 광학적 역전파(양방향 전파 및 정밀한 위상 측정 필요)의 엄격한 하드웨어 제약을 피한다. 저자들은 이 방법이 복잡한 광학 시스템이나 훈련을 위한 정확한 디지털 트윈을 요구하지 않고도, 확장 가능한 SPIM 플랫폼을 표준 머신러닝 작업에 직접 재사용할 수 있게 해준다는 점을 강조한다.

이 연구는 SPIM의 잠재적 응용 범위를 이차 비제약 이진 최적화(QUBO) 및 볼츠만 머신 학습을 넘어 확장하며, 이를 아날로그 저에너지 뉴로모픽 컴퓨팅의 유망한 후보로 자리매김하게 한다. 저자들은 현재의 실험적 제한 사항(이진 패턴, 노이즈)이 복잡한 데이터셋에서의 성능에 영향을 미치지만, 향후 하드웨어 개선(연속 파라미터, 더 큰 SLM, 파장 다중화)을 통해 이 방법의 잠재력을 완전히 실현할 수 있다고 결론짓는다.