Quantum Variational Activation Functions Empower Kolmogorov-Arnold Networks

기술 요약: 콜모고로프-아르노프 네트워크를 위한 양자 변분 활성화 함수

문제 정의
변분 양자 회로(Variational Quantum Circuits, VQCs)는 양자 기계 학습(QML)의 핵심이지만, 그 응용은 주로 데이터 인코딩과 특징 매핑에 집중되어 왔으며, 신경망 구조 내에서 학습 가능한 활성화 함수로서의 역할에는 미치지 못했습니다. 반대로, 고전적 콜모고로프-아르노프 네트워크(Kolmogorov-Arnold Networks, KANs)는 학습 가능한 변분 활성화 함수(VAFs)를 사용하여 고정된 비선형성을 각 엣지에 학습 가능한 함수로 대체함으로써 표현력과 정확도를 높이는 강력함을 입증했습니다. 그러나 기존의 KAN 구현은 종종 B-스플라인(B-splines)이나 푸리에 급수(Fourier series)에 의존하며, 이는 고주파 근사를 위해 계산 비용이 많이 들거나 방대한 파라미터 수를 요구할 수 있습니다. 또한, 다중 큐비트 VQC는 이론적인 표현력을 제공하지만, 2-큐비트 게이트의 높은 오류율, 훈련 중 발생하는 배런 플래토(barren plateau) 문제, 대규모 시스템에 대한 고전적 시뮬레이션 비용의 과도함 등 NISQ(Noisy Intermediate-Scale Quantum) 시대의 상당한 실질적 장벽에 직면해 있습니다. 본 논문은 양자 회로의 표현력과 KAN의 확장성 및 해석 가능성을 결격 없이 결합하고, 현재의 하드웨어 및 클래식 시뮬레이터에서 실행 가능하도록 설계된 프레임워크의 필요성을 다룹니다.

방법론
저자들은 양자 회로가 학습 가능한 활성화 함수 역할을 하는 **양자 변분 활성화 함수(Quantum Variational Activation Functions, QVAF)**라는 일반적인 프레임워크를 제안합니다. 이 프레임워크를 현재의 제약 조건에 맞게 실용적으로 만들기 위해, 저자들은 **데이터 재업로드 활성화(DatA Re-Uploading ActivatioN, DARUAN)**라는 특정 단일 큐비트 인스턴스화를 도입했습니다.

• DARUAN 아키텍처: 표준 VQC가 데이터를 한 번만 인코딩하는 것과 달리, DARUAN은 데이터 재업로드 전략을 사용합니다. 이는 $r$개의 블록 시퀀스로 구성되며, 각 블록은 학습 가능한 유니터리 $W^{(\ell)}(\theta_\ell)$와 데이터 인코딩 연산 $S(w_\ell x) = e^{-i w_\ell x H}$ 사이를 교차합니다. 결정적으로, 데이터 전처리 가중치 $w_\ell$는 학습 가능합니다. 출력은 측정되는 파울리 관측량(일반적으로 $\sigma_z$)의 기대값입니다.
• QKAN 및 HQKAN: 저자들은 DARUAN을 KAN 토폴로지에 삽입하여 **양자 영감을 받은 콜모고로프-아르노프 네트워크(Quantum-inspired Kolmogorov-Arnold Networks, QKANs)**를 구축했습니다. QKAN에서 모든 엣지의 활성화는 별도의 단일 큐비트 DARUAN 회로입니다. KAN의 확장성 제한(입력/출력 차원에 따라 파라미터가 이차적으로 증가하는 문제)을 해결하기 위해, 저자들은 **하이브리드 QKAN(Hybrid QKAN, HQKAN)**을 도입했습니다. HQKAN은 압축된 QKAN 잠재 코어를 고전적인 완전 연결 압축 및 확장 레이어로 감싸서, 고차원 입력을 효율적으로 처리할 수 있게 합니다.
• 레이어 확장(Layer Extension): 훈련 안정성과 용량을 최적화하기 위해, 저자들은 "레이어 확장" 전략을 채택했습니다. 모델을 적은 수의 재업로드 반복 횟수($r$)로 먼저 훈련시킨 후, 점진적으로 더 큰 $r$로 확장하며 새로운 파라미터를 항등 행렬(identity)로 초기화합니다. 이를 통해 모델은 저주파 구조를 먼저 학습한 후, 처음부터 다시 훈련하지 않고도 고주파 세부 사항을 정교하게 다듬을 수 있습니다.
• 이론적 분석: 본 논문은 학습 가능한 전처리 가중치를 통해 단일 큐비트 DARUAN이 접근 가능한 주파수 스펙트럼이 반복 횟수 $r$에 따라 기하급수적으로 성장할 수 있음을 보여주는 이론적 증명을 제공합니다(구체적으로, 가중치를 $w_\ell = 2^{\ell-1}$로 기하학적으로 선택하면 $2^r - 1$의 대역폭을 채울 수 있습니다). 이는 동일한 대역폭을 달ini 위해 선형적으로 증가하는 파라미터가 필요한 고전적 푸리에 기반 KAN에 비해 파라미터 수준의 감소를 제공한다는 이론적 근거를 제시합니다.

주요 기여

1. QVAF 프레임워크: 양자 회로를 학습 가능한 활성화 함수로 정의하여 QML과 고전적 딥러닝을 연결합니다.
2. DARUAN: 클래식 시뮬레이션이 가능하고 현재의 NISQ 하드웨어에서 직접 실행 가능한, 계산 효율적인 단일 큐비트 인스턴스화입니다.
3. QKAN 및 HQKAN 아키텍처: DARUAN을 KAN에 통합하여 개선된 파라미터 효율성, 표현력 및 일반화 성능을 제공하는 새로운 네트워크 설계입니다.
4. 이론적 보장: 학습 가능한 전처리 가중치가 어떻게 지수적인 주파수 지원 성장을 가능하게 하는지 보여줌으로써, QKAN이 고전적 푸리에 기반 대안보다 파라미터 효율적인 데 대한 이론적 근거를 제공합니다.
5. 지식 증류(Knowledge Distillation): 훈련된 QKAN에서 고전적 KAN(B-스플라인 사용)으로 학습된 파라미터를 전이하는 방법으로, QKAN이 고전적 모델의 사전 훈련 메커니즘 역할을 할 수 있게 합니다.

실험 결과
저자들은 세 가지 도메인에서 접근 방식을 검증했습니다:

• 함수 회귀(Function Regression): 노이즈가 있는 회귀 작업(Feynman 데이터셋)에서 QKAN은 고전적 KAN 및 MLP와 대등하거나 이를 능가했습니다. 특히, QKAN은 약 24% 적은 파라미터로도 유사하거나 더 낮은 RMSE를 달성했습니다. 66개의 심볼릭 표현에 대한 광범위한 벤치마크에서, QKAN은 고전적 KAN보다 30% 적은 파라미터를 사용하면서 80% 이상의 방정식에서 가장 낮은 RMSE를 기록했습니다.
• 이미지 분류(Image Classification): MNIST, CIFIA-10, CIFAR-100에서 QKAN 및 HQKAN은 경쟁력 있는 Top-1 및 Top-5 정확도를 달성했습니다. 특히 HQKAN은 뛰어난 파라미터 효율성을 보여주었는데, 예를 들어 CIFAR-100의 경우 KAN이 약 384k 개의 파라미터를 사용하는 동안 HQKAN은 약 32k 개의 파라미터만으로도 유사하거나 더 높은 정확도를 유지했습니다.
• 생성 모델링(Generative Modeling): GPT-2에 통합되었을 때(HQKAN으로서), 이 모델들은 MLP 베이스라인에 비해 더 낮은 퍼플렉시티(perplexity)와 빠른 수렴 속도를 달 나타냈으며, 훈련 중 단 1/3의 파라미터와 30% 적은 메모리만을 사용했습니다.
• 하드웨어 검증: 저자들은 IBM Aachen 양자 프로세서에서 추론 검증을 수행했습니다. 고정밀 회귀는 샷 노이즈(shot noise)와 하드웨어 오류에 민감했으나, 분류 작업(CIFAR-10/100)은 낮은 샷 수(100 샷)에서도 정확한 솔버 정확도와 2-3% 이내의 차이를 유지하며 견고한 성능을 보여주었습니다. 이는 현재의 NISQ 장치에서 단일 큐비트 DARUAN 추론의 실행 가능성을 입증합니다.

의의 및 주장
본 논문은 QKAN이 해석 가능한 고전적 아키텍처와 양자 회로 유래의 구조화된 활성화 함수 사이의 "가교"라고 주장합니다. 본 연구의 의의는 다음과 같습니다:

• 실용성: 단일 큐비트 회로를 활용함으로써 배런 플래토 문제와 다중 큐비트 얽힘 게이트의 충실도 병목 현상을 피하며, 이는 클래식 시뮬레이터와 현재의 양자 하드웨어에서 즉시 실행 가능하게 만듭니다.
• 효율성: 공유된 회전 파라미터를 통해 푸리에 계수를 구조적으로 결합하는 방식은 암묵적 규제자(implicit regularizer) 역할을 하여, QKAN이 더 적은 파라미터로 높은 표현력을 달성할 수 있게 합니다.
• 확장성: HQKAN 아키텍처와 레이어 확장 전략은 KAN의 고유한 확장성 문제를 해결하여, 대규모 모델(LLM 등)에 양자 영감을 받은 모듈을 적용할 수 있게 합니다.
• 검증: 본 연구는 QVAF 개념의 "현재 시점의 검증" 역할을 합니다. 저자들은 다중 큐비트 얽힘 QVAF가 더 많은 이점(예: 감소된 깊이)을 제공할 수 있음을 인정하면서도, 현재의 하드웨어 제한 상황에서는 단일 큐비트 설계가 가장 견고하고 확장 가능한 경로임을 강조합니다. 훈련된 모델은 NISQ 하드웨어에서 직접 추론을 수행할 수 있으며, 이는 결함 허용(fault-tolerant) 양자 컴퓨터가 등장하기 전이라도 특정 추론 작업에서 양자 우위를 확보할 수 있는 직접적인 경로를 제공합니다.