KANELÉ: Kolmogorov-Arnold Networks for Efficient LUT-based Evaluation

이 논문은 FPGA 에서의 저지연 및 자원 효율적인 추론을 위해 콜모고로프 - 아르논드 네트워크 (KAN) 의 특성을 활용하여 학습, 양자화, 가지치기를 통합한 새로운 프레임워크 'KANELÉ'를 제안하고, 기존 방식 대비 2700 배의 속도 향상과 막대한 자원 절감을 입증합니다.

핵심

🍰 1. 핵심 아이디어: "카넬레"라는 이름의 이유

이 기술의 이름은 프랑스의 유명한 디저트인 **'카넬레 (Canelé)'**에서 따왔습니다.

• 카넬레의 특징: 겉은 바삭하고 단단하지만, 속은 촉촉하고 부드러운 구조를 가지고 있습니다.
• 이 기술의 특징: AI 모델은 보통 거대한 건물처럼 무겁고 복잡합니다. 하지만 '카넬레' 방식은 AI 를 작고 단단한 구조로 재설계하여, 적은 공간에서도 매우 빠르게 작동하게 합니다.

🏗️ 2. 기존 방식 vs 새로운 방식 (건축 비유)

기존 AI (MLP): "거대한 콘크리트 빌딩"

• 기존 AI 는 수많은 계단과 엘리베이터 (연산 장치) 를 통해 정보를 전달합니다.
• 문제를 풀 때, 거대한 계산기를 두드려야 하므로 시간이 오래 걸리고 전기를 많이 먹습니다.
• 작은 칩 (FPGA) 에 이걸 싣으려면 건물을 다 부수고 다시 지어야 할 정도로 어렵습니다.

새로운 AI (KAN + KANELÉ): "레고 블록과 lookup 테이블"

• 이 논문은 AI 를 레고 블록처럼 생각했습니다.
• 핵심 원리 (콜모고로프 - 아르논 정리): 어떤 복잡한 함수 (문제) 도 결국은 **"작은 1 차원 함수들의 합"**으로 나눌 수 있다는 수학 이론을 이용합니다.
• LUT(검색 테이블) 활용: 복잡한 계산을 매번 하는 대신, 미리 계산해둔 **정답 목록 (검색 테이블)**을 칩 안에 넣어둡니다.
  • 비유: "2+2 는 얼마야?"라고 매번 계산하는 대신, "2+2=4"라고 적힌 메모지를 보고 바로 답을 외우는 것과 같습니다.
• 결과: 칩이 계산을 할 필요가 없어서 속도가 2,700 배 빨라지고, 전기는 거의 안 먹습니다.

✂️ 3. 가지치기 (Pruning): "불필요한 장식 제거"

• 문제: 기존 AI 칩은 모든 부품이 서로 연결되어 있어, 하나를 뺄면 전체가 무너집니다.
• 해결책 (KANELÉ): 이 기술은 AI 의 각 부분이 독립적으로 작동합니다.
  • 비유: 카넬레를 만들 때, 맛에 영향을 주지 않는 불필요한 설탕이나 재료를 가위로 잘라내듯 (가지치기) 제거할 수 있습니다.
  • 중요한 부분만 남기고 나머지를 없애도 AI 는 여전히 똑똑하게 작동하며, 칩 크기는 훨씬 작아집니다.

🚀 4. 어떤 효과가 있나요? (실제 성과)

이 기술은 다양한 시험에서 놀라운 결과를 보여주었습니다.

1. 속도: 기존 방식보다 2,700 배 빠릅니다. (예: 18 초 걸리던 일이 0.007 초 만에 해결됨)
2. 크기: 필요한 칩 공간이 4,000 배 줄었습니다. (거대한 서버가 아니라, 작은 로봇이나 드론에도 탑재 가능)
3. 정확도: 수학 공식이나 물리 법칙이 필요한 복잡한 문제 (예: 우주선 궤도 계산, 주가 예측 등) 에서 기존 AI 보다 더 잘 풀었습니다.
4. 실제 적용: 로봇이 걸을 때 균형을 잡는 '실시간 제어' 실험에서도, 더 작은 AI 가 더 큰 AI 보다 더 잘 달리는 것을 증명했습니다.

💡 5. 왜 이것이 중요한가요?

지금까지 AI 는 "무겁고 느리다"는 인식이 있었습니다. 하지만 이 연구는 **"AI 는 작고 빠를 수도 있다"**는 것을 증명했습니다.

• 미래의 모습: 이 기술을 쓰면, 배터리가 작은 드론이 스스로 비행 경로를 계산하거나, 심장 박동기를 넣은 인공심장이 실시간으로 병을 감지하는 등, 전기가 거의 들지 않는 초소형 AI를 현실에서 쓸 수 있게 됩니다.

📝 한 줄 요약

"복잡한 AI 를 레고 블록과 미리 짜놓은 정답 목록 (검색표) 으로 재구성하여, 작은 칩에서도 2,700 배 빠르고 4,000 배 가볍게 만든 '카넬레' 기술입니다."

기술 요약

1. 문제 제기 (Problem)

• FPGA 기반 신경망 추론의 한계: 실시간 처리와 저전력이 요구되는 응용 분야에서 FPGA 기반의 저지연, 자원 효율적인 신경망 추론은 필수적입니다. 기존에는 Lookup Table (LUT) 기반 신경망 (NeuralLUT, TreeLUT 등) 이 널리 사용되었으나, 주로 MLP(다층 퍼셉트론) 구조에 국한되거나 특정 작업에 맞춰 설계되었습니다.
• KAN 의 하드웨어 구현 난제: 콜모고로프 - 아르노드 네트워크 (Kolmogorov–Arnold Networks, KAN) 는 MLP 의 고정된 활성화 함수를 학습 가능한 1 차 스플라인 (spline) 함수로 대체하여 표현력과 해석력을 높인 새로운 아키텍처입니다. 그러나 기존 연구 [41] 에 따르면, KAN 의 복잡한 스플라인 평가와 높은 리소스 요구량으로 인해 FPGA 구현이 비현실적이라고 결론지어졌습니다.
• 핵심 과제: KAN 의 이론적 장점을 살리면서, FPGA 의 LUT 자원을 효율적으로 활용하여 저지연, 저전력 추론이 가능한 하드웨어 친화적인 아키텍처를 설계하는 것입니다.

2. 방법론 (Methodology)

저자들은 KANELÉ라는 프레임워크를 제안하며, KAN 을 FPGA 에 효율적으로 배포하기 위한 소프트웨어 - 하드웨어 공동 설계 (Co-design) 흐름을 제시합니다.

• KAN 아키텍처의 LUT 매핑:

  • KAN 은 노드에서의 합산과 엣지 (연결선) 의 학습 가능한 1 차 활성화 함수로 구성됩니다.
  • 각 활성화 함수는 B-스플라인 (B-spline) 기반이며, 고정된 도메인에서 정의됩니다. 이를 양자화 (Quantization) 하여 **Lookup Table (LUT)**로 직접 매핑합니다.
  • MLP 와 달리 행렬 곱셈이 없고, 엣지 함수의 합산만 존재하므로 LUT 기반 구현에 매우 적합합니다.

• 양자화 인식 학습 (Quantization-Aware Training, QAT) 및 가지치기 (Pruning):

  • QAT: AMD 의 Brevitas 라이브러리를 활용하여 훈련 과정에서 양자화를 시뮬레이션합니다. 입력 및 각 레이어 출력에 균일 양자화를 적용하여 하드웨어 정밀도에 맞춰 모델을 훈련시킵니다.
  • 가지치기: KAN 의 **가산적 독립성 (additive independence)**을 활용합니다. 각 엣지 (스플라인 연결) 의 기여도를 $\ell_2$ 노름으로 측정하여 임계값 이하인 연결을 제거합니다. 이는 기존 LUT 기반 네트워크 (LUT 체이닝 구조) 와 달리 모델 구조를 깨뜨리지 않고 자연스럽게 가지치기를 가능하게 합니다.

• 하드웨어 구현 파이프라인 (Toolflow):

  • 훈련된 PyTorch 모델을 VHDL RTL 로 자동 변환합니다.
  • Logical-LUT (L-LUT) 생성: 학습된 활성화 함수를 이진 Truth Table 로 변환합니다.
  • 파이프라이닝 전략:
    1. Adder Tree Pipelining: 여러 L-LUT 출력의 합산을 계산할 때, 균형 잡힌 파이프라인된 더미 트리를 사용하여 임계 경로를 단축하고 클럭 주파수를 높입니다.
    2. Inter-Layer Pipelining: 레이어 간 레지스터를 삽입하여 지연을 최소화합니다.
  • 리소스 최적화: DSP 블록과 BRAM 을 전혀 사용하지 않고, 순수 LUT 와 Flip-Flop (FF) 만으로 구현하여 리소스 효율을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. FPGA 전용 KAN 아키텍처 (KANELÉ): KAN 연구 관점에서 최초의 FPGA 전용 설계 흐름을 제시했습니다. BRAM/DSP 사용을 제거하고, 이전 설계 대비 지연 시간을 최대 2700 배, 리소스 사용량을 4000 배 이상 줄였습니다.
2. 고성능 구현 및 가지치기 효율성: KAN 의 가산적 구조를 활용해 가지치기를 하드웨어 효율적으로 수행합니다. 대부분의 벤치마크에서 800 MHz 이상의 클럭 주파수를 유지하며, 기존 LUT 기반 아키텍처와 동급 또는 그 이상의 성능을 보입니다. 특히 수식적/물리적 구조가 포함된 작업에서 뛰어난 성능을 발휘합니다.
3. 오픈소스 프레임워크: KAN 을 FPGA 로 자동 컴파일하는 소프트웨어 - 하드웨어 공동 설계 도구를 공개했습니다. (생물학, 물리학, 비전, 신호 처리 등 다양한 도메인 지원)
4. 실시간 제어 시스템 확장: 강화학습 (HalfCheetah 벤치마크) 에서 MLP 대비 약 5 배 적은 파라미터로 더 높은 보상을 얻는 양자화된 KAN 정책을 구현하여, 리소스 제약이 있는 실시간 제어 시스템에 적합함을 입증했습니다.

4. 실험 결과 (Results)

• LUT 기반 신경망 벤치마크 비교 (JSC, MNIST 등):
  • JSC CERNBox: 정확도 75.1% 달성 (NeuralLUT 동급) 이며, LUT 사용량은 18 배 적고, Area$\times$Delay 곱은 4.1 $\times$ 10$^4$로 최상위 성능을 기록했습니다.
  • MNIST: 정확도 96.3% 달성. DWN 보다 LUT 사용량이 많지만, PolyLUT 보다 20 배 이상 적은 리소스로 유사한 정확도를 냈습니다.
• 기존 KAN-FPGA 구현체 비교 (Tran et al. [41]):
  • Dry Bean 데이터셋: 이전 연구가 160 만 개 이상의 LUT 를 사용한 반면, KANELÉ는 402 개의 LUT만 사용했습니다 (약 4000 배 감소).
  • 지연 시간: 18,960 ns 에서 7.1 ns로 단축 (약 2600 배 속도 향상).
  • 클럭 주파수: 최대 1736 MHz 까지 달성.
• MLPerf Tiny (ToyADMOS) 및 강화학습:
  • hls4ml 대비 LUT 41.7%, FF 71.4% 감소, 에너지 효율은 9,840 배 향상.
  • HalfCheetah RL 작업에서 8-bit 양자화 KAN 정책이 5 배 큰 MLP 보다 높은 보상을 얻었으며, FPGA 리소스 사용량은 극도로 낮았습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: KAN 이 하드웨어에서 비효율적이라는 기존 인식을 깨뜨렸습니다. KAN 의 '학습 가능한 활성화 함수'가 본질적으로 LUT 그 자체라는 점을 활용하여, 복잡한 산술 연산 (DSP) 이 아닌 FPGA 의 기본 논리 자원 (LUT) 에 직접 매핑하는 방식을 정립했습니다.
• 해석 가능성과 효율성의 조화: KAN 의 해석 가능성 (interpretability) 장점을 유지하면서, FPGA 에 최적화된 초저지연, 저전력 추론을 가능하게 했습니다.
• 응용 가능성: 물리 법칙이나 수학적 관계를 모델링하는 과학 계산, 로봇 제어, 양자 오류 수정 등 실시간성과 리소스 효율이 극도로 중요한 분야에서 KAN 기반 하드웨어 가속의 새로운 표준을 제시했습니다.

이 논문은 KAN 을 이론적 모델에서 실제 고성능 임베디드 하드웨어로 성공적으로 전환한 획기적인 사례로 평가됩니다.