⚡ electrical engineering

Ultrafast On-Chip Online Learning via Spline Locality in Kolmogorov-Arnold Networks

본 논문은 콜모고로프-아르노프 네트워크(KAN)가 B-스플라인 국소성(B-spline locality)을 활용한 희소 업데이트와 고정 소수점 양자화에 대한 내재적 강건성을 통해, 기존의 MLP보다 자원이 제한된 고주파 제어 시스템에서 마이크로초 미만의 지연 시간을 갖는 초고속, 모델 프리 온라인 학습을 FPGA 상에서 가능하게 함을 입증한다.

원저자: Duc Hoang, Aarush Gupta, Philip Harris

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Duc Hoang, Aarush Gupta, Philip Harris

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문의 핵심 문제: 빛의 속도로 학습하기

당신이 우주선을 조종하고 있다고 상상해 보세요. 그런데 이 우주선은 너무 빨라서, 계기판을 확인하려고 단 0.1초라도 기다리면 이미 충돌하고 마는 상황입니다. 이것이 바로 양자 컴퓨터나 핵융합 반응로와 같은 시스템이 처한 현실입니다. 이러한 시스템들은 매우 빠르게(마이크로초 단위로) 변화하기 때문에 기존의 컴퓨터로는 너무 느립니다.

보통 컴퓨터가 학습할 때는 데이터를 거대한 "두뇌"(서버나 클라우드 컴퓨터 같은 것)로 보내고, 그 두뇌가 계산을 마칠 때까지 기다렸다가 답을 다시 받아옵니다. 하지만 답이 도착했을 때쯤이면 상황은 이미 변해버린 뒤입니다.

목표: 연구진은 기계 내부(칩 위)에 완전히 존재하며, 기기를 떠나지 않고도 즉각적으로 학습하고 적응할 수 있는 "두뇌"를 만들고자 했습니다.

기존 방식 vs 새로운 방식

이를 해결하기 위해 연구팀은 두 가지 유형의 학습 모델을 비교했습니다.

기존 방식 (MLP - 다층 퍼셉트론): 이것은 마치 거대하고 빽빽한 거미줄과 같습니다. 새로운 것을 배우려면 거미줄 전체가 흔들리며 재배치되어야 합니다. 거미줄의 모든 실은 서로 연결되어 있습니다.
- 문제점: 공간과 전력이 제한된 작은 칩 위에서 이 거대한 거미줄 전체를 흔드는 것은 너무 느리고 에너지를 많이 소모합니다. 이는 거대한 태피스트리의 실 하나가 풀렸을 때, 그 부분만 고치는 게 아니라 전체를 다시 짜는 것과 같습니다. 또한, 정밀도가 낮은 도구(눈금이 큼직한 자)를 사용하여 계산을 시도하면, 이 거미줄은 휘청거리며 망가집니다.
새로운 방식 (KAN - 콜모고로프-아놀드 네트워크): 이것은 유연하고 신축성 있는 고무줄(B-스플라인이라고 불림)로 만들어진 모듈형 레고 벽과 같습니다.
- 마법 같은 기술: 벽이 새로운 것을 배워야 할 때, 벽 전체를 건드릴 필요가 없습니다. 변화가 일어나는 바로 그 지점에 있는 특정한 몇 개의 고무줄만 만지면 됩니다.
- 논문의 주장: 고무줄이 인접한 이웃에게만 영향을 미치는 성질(국소성, Locality) 덕분에, 컴퓨터는 각 업데이트마다 아주 적은 양의 계산만 수행하면 됩니다. 이 덕분에 믿을 수 없을 정도로 빠르고 효율적입니다.

왜 KAN이 작은 칩에 더 유리한가요?

논문은 이 "레고 벽" 방식이 하드웨어 칩에서 승리하는 세 가지 주요 이유를 강조합니다.

"희소한(Sparse)" 업데이트: 당신이 벽화를 그리고 있다고 상상해 보세요.
- MLP: 얼룩을 지우려면 벽 전체를 다시 칠해야 합니다.
- KAN: 얼룩이 있는 그 작은 사각형 부분만 다시 칠하면 됩니다.
- 결과: KAN은 훨씬 적은 컴퓨팅 파워와 메모리를 사용하므로, 무거운 부하를 감당하기 힘든 작은 칩(FPGA)에도 들어갈 수 있습니다.
"안정적인" 수학:
- MLP: 정밀도가 낮은 자(고정 소수점 숫자)로 계산을 시도하면, 마이크가 스피커에 너무 가까워졌을 때 발생하는 삐 소리처럼 MLP의 계산은 통제 불능 상태로 치솟을 수 있습니다.
- KAN: 고무줄은 수학적 계산이 안전하고 예측 가능한 범위 내에 머물도록 자연스럽게 유지해 줍니다. 정밀도가 낮은 자를 사용하더라도 KAN은 안정성을 유지하며 붕괴하지 않습니다.
망가지지 않고 성장하기:
- MLP: MLP를 더 똑똑하게 만들려면 전체 거미줄에 더 많은 실을 추가해야 하는데, 이는 모델을 더 느리고 무겁게 만듭니다.
- KAN: KAN을 더 똑똑하게 만들려면 단순히 고무줄에 더 많은 "격자점(Grid points)"을 추가하면 됩니다. 이때 각 업데이트에 필요한 계산량은 일정하게 유지되면서 모델의 예측 능력은 훨씬 좋아집니다. 이는 사다리를 더 무겁게 만들지 않으면서 사다리에 발판을 더 추가하는 것과 같습니다.

실험: 실전 테스트

연구진은 이 모델들을 FPGA(실시간으로 재프로그래밍 가능한 칩의 일종)에 구축하고 세 가지 고속 시나리오에서 테스트했습니다.

드리프트 센서(Drifting Sensors): 시간이 흐름에 따라 보정 값이 서서히 변하는 센서를 가정합니다. KAN은 변화를 즉각적으로 추적했지만, MLP는 혼란에 빠져 흐름을 놓쳤습니다.
양자 읽기(Quantum Reading): 노이즈가 심하고 형태가 계속 변하는 양자 비트(큐비트)의 상태를 읽으려 했습니다. KAN은 실시간으로 정확하게 읽는 법을 배웠지만, MLP는 실패하거나 엄청난 양의 전력을 필요로 했습니다.
로봇 제어: 무게가 무작위로 변하는 이중 진자 로봇(Acrobot)을 제어했습니다. KAN은 빠르게 균형을 잡는 법을 배웠지만, MLP는 적응하는 데 어려움을 겪었습니다.

결론

이 논문은 기계가 슈퍼컴퓨터 없이도 칩 내부에서 완전히 1마이크로초 미만(100만 분의 1초) 안에 학습하고 적응할 수 있음을 보여준 최초의 사례라고 주장합니다.

"거대한 거미줄"(MLP) 대신 "레고 벽"(KAN) 방식을 사용함으로써 다음과 같은 성과를 거두었습니다.

속도: 업데이트가 100나노초 미만에 발생합니다.
효율성: 하드웨어 자원을 3~4배 적게 사용했습니다.
안정성: 단순화된 수학을 사용하더라도 시스템이 붕괴하지 않았습니다.

요약하자면, 연구진은 AI가 "즉석에서 학습"할 수 있는 방법을 찾아냈으며, 이를 통해 이전에는 표준 AI 모델로는 불가능했던, 우주에서 가장 빠른 물리적 시스템들과 발맞출 수 있는 속도를 구현해 냈습니다.

기술 요약: B-스플라인 국소성을 이용한 콜모고로프-아르노프 네트워크 기반 초고속 온칩 온라인 학습

1. 문제 정의

본 논문은 마이크로초 미만(sub-microsecond)의 시간 척도에서 적응이 이루어져야 하는 고주파 시스템(양자 컴퓨팅 제어, 핵융합 플라즈마 진단, 고속 통신 등)에서 필수적인 과제인 초고속 모델 프리(model-free) 온라인 학습 문제를 다룹니다.

현재의 접근 방식들은 다음과 같은 심각한 병목 현상에 직면해 있습니다:

호스트-가속기 지연 시간(Host-Accelerator Latency): 오프칩(off-chip) 그래디언트 계산 및 파라미터 업데이트(예: PCIe를 통한)를 포함하는 전통적인 학습 루프는 너무 느립니다. 파라미터가 돌아오는 시점에는 이미 시스템의 운용 조건이 변했을 수 있습니다.
MLP의 한러한계: 기존의 다층 퍼셉트론(MLP)은 온칩 학습의 엄격한 제약 조건 하에서 비효율적이며 수치적으로 불안정합니다:
- 자원 스케일링: MLP는 모든 파라미터에 대해 조밀한(dense) 그래디언트 업데이트를 요구하므로, 모델 용량이 증가함에 따라 온칩 자원(DSP, LUT, FF)과 지연 시간이 선형적으로 증가합니다.
- 고정 소수점 불안정성: 저정밀도(고정 소수점 산술) 환경에서 MLP는 무제한적인 활성화 및 그래디언트 스케일링으로 인해 그래디언트 기반 최적화가 불안정해지는 경향이 있습니다.
- 메모리 제약: 역전파(backpropagation)를 위해 조밀한 활성화 값과 가중치를 저장하는 것은 FPGA의 제한된 온칩 메모리를 초과합니다.

2. 방법론

저자들은 **B-스플라인 기저 함수의 국소성(locality of B-spline basis functions)**을 활용하여, MLP의 하드웨어 네이티브 대안으로서 **콜모고로프-아르노프 네트워크(KAN)**를 사용하는 방안을 제안합니다.

이론적 동기:
- 희소 업데이트(Sparse Updates): 모든 가중치를 업데이트하는 MLP와 달리, KAN은 국소적 지지(local support)를 갖는 B-스플라인을 사용합니다. 스플라인 차수가 $S$ 일 때, 전체 그리드 크기 $G$ 와 관계없이 입력 샘플당 오직 $S+1$ 개의 계수만이 활성화됩니다. 이는 per-sample 업데이트 복잡도를 $O(N)$ 이 아닌 $O(S+1)$ 로 만듭니다.
- 용량 스케일링: 그리드 해상도 $G$ 를 높이면 계산 비용을 늘리지 않고도 근사 품질을 향상시킬 수 있습니다. 이는 용량과 계산 비용을 분리합니다.
- 양자화 강건성: KAN의 활성화 함수는 학습된 계수들의 볼록 조합(convex combination)이며, $\min(W_i) \leq \phi(x) \leq \max(W_i)$ 에 의해 유계(bounded)됩니다. 마찬가지로 그래디언트 또한 B-스플라인 엔벨로프 $[0, 1]$ 내에 묶여 있습니다. 이러한 내재된 유계성은 공격적인 고정 소수점 양자화 시 MLP에서 흔히 발생하는 수치적 불안정성을 방지합니다.
하드웨어 구현:
- 플랫폼: 본 시스템은 AMD Virtex UltraScale+ XCVU13P FPGA 상에 구현되었습니다.
- 아키텍처: Vitis HLS를 사용하여 타겟 클록 200 MHz로 커스텀 커널을 합성하였습니다.
- KAN 커널:
  - 입력은 그리드 셀 인덱스( $k$ )와 LUT 인덱스( $u$ )로 매핑됩니다.
  - 사전 계산된 B-스플라인 값과 미분값은 작은 ROM LUT에 저장됩니다.
  - 순방향(forward) 및 역방향(backward) 패스는 에지(edge)당 활성화된 계수만( $S+1$ ) 업데이트하며, 전역 메모리 접근을 피합니다.
  - 모든 상태(파라미터, 컨텍스트)는 온칩(LUT/FF/BRAM)에 상주하며, 외부 DRAM은 사용하지 않습니다.
- MLP 베이스라인: 공정한 비교를 위해 동일한 스트리밍 인터페이스와 고정 소수점 제약 조건을 가진 조밀한 행렬 곱셈 및 전역 가중치 업데이트를 구현하였습니다.

3. 주요 기여

최초의 서브 마이크로초 모델 프리 온라인 학습: 본 연구는 결정론적 지연 시간이 100 ns 미만(서브 마이크로초)인 온칩 모델 프리 온라인 학습의 첫 구현을 입증했습니다.
하드웨어 인지적 KAN 분석: B-스플라인의 국소성을 활용하여 희소 업데이트를 달성함으로써, 재귀적 평가로 인해 KAN이 하드웨어에 비효율적일 것이라는 인식을 반박했습니다.
고정 소수점 안정성: KAN이 고정 소수점 양자화에 본질적으로 강건하다는 이론적 증명과 경험적 근거를 제공하여, MLP가 발산하는 환경에서도 안정적인 학습이 가능함을 보여주었습니다.
커스텀 FPGA 구현: 전체 온칩 학습 파이프라인(순방향, 역방향, 파라미터 업데이트)을 실현하여 호스트-가속기 간의 통신 병목 현상을 제거했습니다.

4. 실험 결과

저자들은 고정 소수점 산술을 사용하여 세 가지 완전 온라인 벤치마크에서 시스템을 평가했습니다:

적응형 함수 근사 (드리프트 회귀):
- KAN은 파라미터 수가 일치하는 MLP보다 훨씬 낮은 누적 후회(cumulative regret)를 보이며 개념 드리프트(concept drift)를 추적합니다.
- 고정 소수점 양자화(정수 2비트) 환경에서 KAN은 안정성을 유지하는 반면, MLP는 안정화를 위해 훨씬 높은 비트 폭을 요구하는 "정밀도 절벽(precision cliff)" 현상을 보입니다.
적응형 단일 샷 큐비트 판독 (Adaptive Single-Shot Qubit Readout):
- 비선형적으로 분리 불가능하고 드리프트가 발생하는 IQ 분류 작업에서, KAN은 그리드 크기 확장을 통해 높은 실행 정확도(>90%)를 유지합니다.
- MLP는 유사한 고정 소수점 제약 조건 하에서 수렴에 실패하거나 발산하며, 이는 파라미터 수를 늘려도 마찬가지입니다.
비정상 상태 아크로봇트 제어 (Non-Stationary Acrobot Control):
- 에피소드마다 역학이 무작위로 변하는 강화 학습 설정에서, 고정 소수점 KAN Actor-Critic 에이전트는 약 300 에피소드 만에 해결된 상태(solved regime)에 도달합니다.
- MLP 기반 Actor-Critic은 더 안정적인(하지만 더 느린) DQN 스타일의 업데이트 규칙을 사용하지 않는 한, 10배의 파라미터 예산을 가지고도 적응에 실패합니다.
확장성:
- KAN은 모든 태스크에서 서브 100 ns의 순방향 및 역방향 지연 시간을 달성합니다.
- 자원 사용량(DSP/LUT/FF)은 전체 파라미터가 아닌 활성 집합 크기( $S+1$ )에 따라 스케일링되므로, 그리드 크기 $G$ 를 통해 계산 비용을 거의 일정하게 유지하면서 용량을 높일 수 있습니다.
- 라우팅 후 검증 결과, 설계가 타이밍 제약을 충족하며 엔드 투 엔드(end-to-end) 지연 시간이 1 µs보다 훨씬 낮은 수준임을 확인했습니다.

5. 의의 및 주장

본 논문은 콜모고로프-아르노프 네트워크가 MLP가 근본적으로 어려움을 겪는 영역인 초고속 온칩 온라인 학습에 독보적으로 적합하다고 주장합니다.

아키텍처적 이점: 간섭이 잦은 조밀한 그래디언트 업데이트를 대신하여 희소하고 타겟팅된 계수 조정을 사용함으로써, KAN은 유리한 자원 스케일링을 가능하게 합니다.
하드웨어 네이티브 효율성: 현대의 ML 스택은 조밀한 선형 대수(GPU)에 최적화되어 있어, 국소적 기저 함수 학습의 이점을 간과하고 있습니다. 스플라인 평가를 지원하는 커스텀 하드웨어는 KAN의 추론과 희소 업데이트를 "하드웨어 네이티브"하게 만듭니다.
영향력: 이 접근 방식은 양자 제어, 플라즈마 시스템, 고속 네트워킹과 같이 서브 마이크로초 응답 시간이 필요한 신흥 애플리케이션을 위해, 호스트-가속기 루프의 지연 페널티 없이 신뢰할 수 있는 모델 프리 적응을 가능하게 합니다.

저자들은 최적화에 대해 겸허한 태도를 유지하며, 현재의 구현이 빠른 프로토타이핑을 위해 HLS를 사용했음을 언급했습니다. 따라서 향후 수동 RTL 개선을 통해 효율성을 더욱 높일 수 있으며, 현재의 초점은 극단적인 저수준 하드웨어 튜닝보다는 아키텍처적 가치와 규모의 차이를 보여주는 비교에 있음을 명시했습니다.