Physical Analogue Kolmogorov-Arnold Networks based on Reconfigurable Nonlinear-Processing Units

기술 요약: 재구성 가능한 비선형 처리 유닛 기반의 물리적 아날로그 콜모고로프-아놀드 네트워크

문제 정의
현대 딥러닝은 다층 퍼셉트론(MLP)에 크게 의존하며, 이는 선형 행렬-벡터 곱셈과 고정된 비선형 활성화 함수를 수행한다. 선형 연산은 현재의 디지털 및 혼합 신호 하드웨어(예: GPU, 멤리스터 크로스바)에서 효율적으로 가속화될 수 있지만, 비선형 활성화 함수는 하드웨어 네이티브 구현에 있어 여전히 병목 현상으로 남아 있다. 또한, 딥러닝의 계산 비용은 지속 불가능할 정도로 상승하고 있으며, MLP의 "블랙박스" 특성은 해석 가능성을 제한한다. 콜모고로프-아놀드 네트워크(KAN)는 계산의 부담을 고정된 노드 활성화에서 네트워크 엣지(edge) 상의 학습 가능한 비선형 함수로 전환함으로써 이론적인 대안을 제시한다. 그러나 이러한 학습 가능한 비선형성을 디지털 근사(예: 룩업 테이블)나 복잡한 회로 수준의 에뮬레이션 없이 하드웨어로 효율적으로 구현하는 것은 여전히 해결되지 않은 과제이다.

방법론
저자들은 **재구성 가능한 비선형 처리 유닛(RNPU)**을 통해 학습 가능한 엣지 함수를 물질 내에서 직접 구현하는 물리적 아날로그 KAN(aKAN) 구조를 제안한다.

• RNPU 소자: 핵심 프리미티브는 8개의 전극을 가진 다단자 나노스케일 실리콘 소자(붕소 도핑된 실리콘 슬래브)이다. 전극에 특정 제어 전압을 인가함으로써, 이 소자의 정상 상태 입력-출력 전달 특성을 다양한 비선형 함수에 근사하도록 연속적으로 튜닝할 수 있다.
• 엣지 프로세서(EP): 표현력과 정밀도를 높이기 위해, 여러 개의 RNPU를 병렬로 결합하여 엣지 프로세서를 구성한다. EP는 개별 RNPU의 스케일링된 출력들을 합산하여 복잡한 학습 가능한 단변량 엣지 함수를 형성한다.
• 아키텍처: aKAN은 프로그래머블 스위치 매트릭스를 통해 상호 연결된 재구성 가능한 EP 배열로 구성된다. 입력 변수는 전압으로서 선형적으로 인코딩되며, EP(비선형 맵 역할)를 통해 처리된 후 다음 레이어를 위해 재스케일링된다. 시스템에는 제어 전압과 판독 전류를 관리하기 위한 혼합 신호 인터페이싱(DAC, ADC, 트랜스임피던스 증폭기)이 포함된다.
• 학습 및 검증: 저자들은 하이브리드 워크플로우를 사용한다. 먼저 소프트웨어에서 대리 모델(실험적 RNPU 특성에 맞춰 보정된 데이터 기반 MLP)을 사용하여 최적의 제어 전압과 선형 결합 계수를 식별하는 훈련을 수행한다. 그 후 이 파라미터들을 물리적 하드웨어로 전송하여 실험적 검증을 진행한다. 전류 측정 제약(단일 소자 설정)으로 인해, 다중 RNPU 네트워크는 하나의 물리적 소자가 훈련된 각 RNPU를 순차적으로 에뮬레이션하는 시분할 멀티플렉싱 방식을 통해 평가된다.

주요 기여

1. 하드웨어 네이티브 비선형성: 본 논문은 디지털 에뮬레이션이 아닌 튜닝 가능한 소자 물리에 의해 비선형 엣지 함수가 본질적으로 구현되는 확장 가능한 물리 컴퓨팅 프리미티브를 입증한다.
2. 재구성 가능한 엣지 프로세서: 여러 RNPU를 집계하는 EP의 도입은 단일 소자가 단독으로는 달성할 수 없는 복잡한 함수(예: 베셀 함수)를 근사할 수 있게 한다.
3. 시스템 수준 분석: 저자들은 혼합 신호 주변 회로의 오버헤드를 고려하여 에너지, 실리콘 면적 및 지연 시간을 포함한 디지털 고정 소수점 MLP와의 포괄적인 시스템 수준 비교를 제공한다.
4. 가지치기 및 강건성: 연구는 aKAN이 성능을 유지하면서 하드웨어 활용도를 줄이기 위해 구조적으로 가지치기(EP 이득에 대한 L1 정규화를 통해)될 수 있음을 보여준다. 또한, 서로 다른 물리적 RNPU들의 이종 결합이 근사 정확도를 저하시키지 않는다는 점에서 이 아키텍처가 소자 간 편차에 대해 강건함을 입증한다.

결과

• 함수 근사: 실험적으로 보정된 모델과 하드웨어 측정을 사용하여, aKAN은 평균 제곱 오차(MSE)가 $\sim 10^{-2}$ 이하에 도달하는 복잡한 함수(사인파, 베셀 함수 $J_0(20x)$)를 성공적으로 근사한다. 성능은 EP당 RNPU의 수에 따라 확장된다.
• 회귀 및 분류: 회귀 작업에서 aKAN은 소프트웨어 MLP 베이스라인(ReLU 또는 tanh 활성화 함수 사용)과 대등한 성능을 달면서도 종종 더 적은 학습 가능 파라미터를 요구한다. 이진 분류 작업(Moons, Spirals, MAGIC, COD-RNA, Skin Segmentation)에서 aKAN은 ReLU-MLP보다 최대 $\sim 5\times$ 적은 파라미터로 경쟁력 있는 정확도를 달ach한다.
• 하드웨어 효율성: 대표적인 워크로드($e^{\sin(\pi x_1) + x_2^2}$)에 대한 시스템 수준 추정치는 다음과 같다:
  • 에너지: 추론당 약 200 pJ로, 유사한 오차 수준에서의 디지털 고정 소점 MLP와 비교했을 때 100배 이상의 감소를 나타낸다.
  • 면적: 디지털 베이스라인 대비 추정 실리콘 면적이 10배 이상 감소한다.
  • 지연 시간: 엔드 투 엔드 추론 지연 시간은 약 0.6 $\mu$s이다.
  • 참고: 저자들은 현재 에너지 소비가 RNPU 코어 자체보다는 혼합 신호 주변 회로(DAC, ADC, TIA)에 의해 지배된다는 점을 명시적으로 밝히고 있다.

의의
본 논문은 RNPU가 확장 가능한 하드웨어 네이티브 비선형 컴퓨팅 프리미티브임을 확립한다. 또한 아날로그 KAN 아키텍처가 특히 엣지 추론을 위한 에너지, 지연 시간 및 풋프린트 효율적인 신경망 하드웨어를 향한 현실적인 경로임을 확인한다. 선형 대수의 가속화에서 벗어나 표현력이 풍부한 비선형 매핑을 물리적 기질에 직접 임베딩하는 것으로 설계 패러다임을 전환함으로써, 본 연구는 비선형 계산이 네이티브하고 프로그래머블한 컴팩트하고 저전력인 추론의 길을 제시한다. 저자들은 현재 시스템이 주변 회로의 오버헤스로 인해 제한적이지만, 향후 소자, 회로 및 아키텍처의 공동 설계(co-design)를 통해 "지능형 물질(intelligent matter)"을 위한 뉴럴 컴퓨팅의 잠재력을 더욱 끌어올릴 수 있다고 강조한다.