Concurrent training methods for Kolmogorov-Arnold networks: Disjoint datasets and FPGA implementation

이 논문은 순차적 업데이트의 병렬화 한계를 극복하기 위해 뉴턴-카츠마르츠 기반의 콜모고로프-아르놀드 네트워크 (KAN) 학습 알고리즘에 사전 학습, 불연속 데이터 세트를 활용한 병렬 학습 및 FPGA 구현 등 세 가지 동시성 향상 전략을 제안하고 실험적으로 검증합니다.

핵심

1. 배경: 왜 새로운 방법이 필요한가요? (기존의 문제점)

기존의 인공지능 (MLP) 은 마치 거대한 공장처럼 작동합니다. 모든 공정이 순서대로 이어져 있어, 한 단계가 끝나야 다음 단계가 시작됩니다. 이는 마치 한 명의 요리사가 모든 요리를 하나씩 차근차근 만드는 것과 같습니다. 정확도는 좋지만, 시간이 너무 오래 걸립니다.

KAN 은 조금 다른 방식입니다. 각 요리사 (블록) 가 재료를 직접 다듬고 조리하는 방식인데, 기존 KAN 학습법도 여전히 **'한 사람이 순서대로 모든 일을 해야 한다'**는 치명적인 단점이 있었습니다. 앞선 사람이 일을 끝내야 다음 사람이 일을 시작할 수 있어서, 병렬로 일하기가 매우 어려웠습니다.

2. 이 논문이 제안한 3 가지 혁신 전략

저자들은 이 '순서대로 일하는' 문제를 해결하기 위해 세 가지 창의적인 방법을 제시합니다.

① "미리 연습하기" (Pre-training)

• 비유: 거대한 요리를 처음부터 다 하려고 하면 실패할 확률이 높습니다. 대신, 소스, 반찬, 메인 요리를 각각 작은 팀으로 나누어 미리 연습하게 한 뒤, 마지막에 합치는 방식입니다.
• 설명: 전체 모델을 한 번에 가르치는 대신, 모델의 하위 부분들을 먼저 따로 가르친 뒤 합칩니다. 이렇게 하면 전체가 완성되는 속도가 훨씬 빨라집니다.

② "여러 팀이 나누어 일하기" (Disjoint Datasets & Merging)

• 비유: 100 만 개의 레시피를 한 사람이 외우려 하면 죽을 겁니다. 대신 10 개의 팀을 만들어, 각 팀이 10 만 개씩 레시피를 외우게 합니다. 각 팀이 다 외우면, 팀장들이 모여서 "우리 팀이 외운 대로"를 평균내어 최종 레시피 한 권을 만듭니다.
• 설명: 데이터를 여러 조각으로 나누어 여러 컴퓨터 (또는 CPU 코어) 가 동시에 학습하게 합니다. 학습이 끝나면 각 모델의 결과를 평균내어 하나로 합칩니다.
  • 핵심: 이 방식은 '연방 학습 (Federated Learning)'처럼 데이터를 공유하지 않고, 단순히 학습 속도를 높이기 위한 전략으로 사용됩니다. 여러 팀이 동시에 일하므로 시간이 획기적으로 단축됩니다.

③ "초고속 특수 공장" (FPGA Implementation)

• 비유: 일반 컴퓨터 (CPU) 는 만능 요리사처럼 복잡한 지시사항을 하나씩 처리합니다. 하지만 FPGA 는 수천 개의 작은 로봇 팔이 달린 공장입니다. 모든 로봇 팔이 동시에 같은 동작을 반복할 수 있습니다.
• 설명: FPGA(프로그래밍 가능한 반도체) 는 인공지능 학습에 필요한 단순한 계산 (덧셈, 곱셈) 을 동시에 무수히 많이 처리할 수 있습니다. 저자들은 이 하드웨어에 맞춰 계산을 '정수'로만 처리하고 나누기 연산을 피하는 등, 로봇 팔이 가장 빠르게 움직일 수 있도록 코드를 최적화했습니다.
  • 결과: 일반 노트북보다 수천 배 더 빠른 속도로 학습이 가능해졌습니다.

3. 실험 결과: 얼마나 빨라졌나요?

• 일반 컴퓨터 (CPU/GPU) 에서: 기존 방식보다 약 30 배 더 빨라졌습니다. (기존 GPU 가속 방식보다도 빠릅니다!)
• FPGA 에서: 초당 700 만 개의 데이터를 학습할 수 있는 속도를 기록했습니다. 이는 기존 방식으로는 상상도 못할 속도입니다.

4. 결론: 왜 이 연구가 중요한가요?

이 연구는 인공지능을 가르치는 방식을 '한 사람이 열심히 하는 것'에서 '수천 명이 동시에, 그리고 특수한 기계로 일하는 것'으로 바꿉니다.

• 빠른 학습: 복잡한 모델을 단숨에 완성할 수 있습니다.
• 저렴한 비용: 고가의 GPU 서버 대신, 상대적으로 저렴한 FPGA 칩으로도 초고속 학습이 가능합니다.
• 실용성: 코드가 간단하고 외부 프로그램에 의존하지 않아, 어떤 기기에도 쉽게 심을 수 있습니다.

한 줄 요약:

"이 논문은 인공지능을 가르치는 방식을 '혼자서 천천히 하는 것'에서 '여러 팀이 나누어 하고 특수 로봇 공장에서 동시에 처리하는 것'으로 혁신하여, 학습 시간을 기하급수적으로 줄인 연구입니다."

기술 요약

논문 개요

본 논문은 콜모고로프 - 아르놀드 네트워크 (KAN) 의 학습 알고리즘을 가속화하기 위한 병렬 처리 기법을 제안합니다. 기존 KAN 학습은 뉴턴 - 카츠마르츠 (Newton-Kaczmarz, NK) 방법을 기반으로 하여 다층 퍼셉트론 (MLP) 대비 높은 정확도와 빠른 학습 시간을 보이지만, 업데이트 계산의 순차적 의존성으로 인해 병렬화의 한계가 있었습니다. 저자는 이 한계를 극복하기 위해 데이터 분할 병렬 학습, 사전 학습 (Pre-training), 그리고 FPGA 기반 하드웨어 가속이라는 세 가지 전략을 제시하고 실험을 통해 검증했습니다.

---

1. 문제 제기 (Problem)

• KAN 의 학습 병목 현상: KAN 은 MLP 보다 정확도가 높고 학습 시간이 짧은 것으로 알려져 있으나, NK 기반 학습 알고리즘의 핵심인 '업데이트 값 계산'이 순차적으로 수행되어야 합니다. 즉, 각 단계의 업데이트가 이전 단계의 결과에 의존하므로 대규모 병렬 처리가 어렵습니다.
• 기존 방법의 한계: 현재 널리 사용되는 스플라인 (spline) 기반 KAN 과 Adam/L-BFGS 옵티마이저는 학습 시간이 길고, FastKAN 과 같은 개선된 소프트웨어 구현도 하드웨어 수준의 병렬화를 완전히 활용하지 못합니다.
• 하드웨어 활용 부재: 기존 FPGA 구현은 주로 추론 (Inference) 에 집중되어 있었으며, 온디바이스 학습 (On-device training) 을 수행하는 사례는 거의 없었습니다.

2. 방법론 (Methodology)

저자는 학습 속도를 획기적으로 개선하기 위해 세 가지 상호 보완적인 전략을 제안했습니다.

(1) 사전 학습 (Pre-training)

• 개념: 전체 모델을 한 번에 학습하는 대신, 모델을 여러 개의 하위 모델 (그룹) 으로 나누어 병렬로 학습한 후 통합하는 방식입니다.
• 구현:
  • 2 층 모델의 경우: 전체 합을 여러 그룹으로 나누어 각 그룹을 독립적으로 학습한 후 평균화하여 통합합니다.
  • 다층 모델의 경우: 2 층 구조를 먼저 학습한 후, 그 중간 변수 (hidden layer output) 를 새로운 입력으로 사용하여 다음 2 층을 학습하는 방식으로 재귀적으로 적용합니다.
• 효과: 초기 가중치 설정을 최적화하여 수렴 속도를 높입니다.

(2) 불연속 데이터셋을 이용한 동시 학습 (Concurrent Training on Disjoint Datasets)

• 개념: 학습 데이터를 여러 개의 불연속적인 서브셋 (배치) 으로 나누고, 각 서브셋에 대해 모델의 복사본을 생성하여 병렬로 학습합니다.
• 통합 (Merging): 학습이 완료된 각 모델의 파라미터를 평균화하여 단일 모델로 병합합니다. 이는 연방 학습 (Federated Learning) 과 유사하지만, 학습 가속화를 목적으로 하며 데이터 분할 방식이 임의적으로 설정될 수 있습니다.
• 핵심: 병합 과정에서 발생하는 정확도 손실과 계산 오버헤드 사이의 균형을 맞추기 위해 최적의 배치 수와 크기를 실험적으로 도출했습니다.

(3) FPGA 기반 병렬화 (FPGA Implementation)

• 하드웨어 적응: FPGA 의 고정 소수점 (fixed-point) 연산 특성을 활용하기 위해 모든 변수를 정수 (integer) 기반으로 변환했습니다.
• 나눗셈 제거: 구간 인덱스 계산 시 나눗셈 연산을 2 진 시프트 (binary shift) 로 대체하고, 승수 계수는 2 의 거듭제곱 역수로 저장하여 곱셈을 시프트 연산으로 처리함으로써 연산 효율을 극대화했습니다.
• 범위 제어: 중간 변수가 다음 레이어의 입력 범위를 벗어나는 경우, 절단 (truncation) 또는 노드 업데이트 제어를 통해 처리했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 학습 프레임워크: 순차적 의존성을 가진 NK 기반 KAN 학습 알고리즘에 대해, 데이터 분할 병렬화와 사전 학습을 결합하여 학습 시간을 획기적으로 단축하는 새로운 프레임워크를 제시했습니다.
2. FPGA 상의 KAN 학습 최초 구현: 기존에는 추론만 가능했던 KAN 을 FPGA 에서 직접 학습시키는 첫 번째 구현을 성공적으로 수행했습니다.
3. 오픈 소스 및 재현성: 모든 실험 코드 (MATLAB, C++, FPGA RTL) 를 공개하여 결과의 완전한 재현성을 보장했습니다.
4. 정수 기반 아키텍처 제안: KAN 의 특성 (입출력 및 도메인의 임의 스케일링 가능) 을 활용하여 정수 연산만으로 고효율 학습이 가능함을 증명했습니다.

4. 실험 결과 (Results)

실험은 Det4(4x4 행렬 행렬식 예측), Det5(5x5 행렬 행렬식 예측), Tetra(사면체 면적 예측) 등 다양한 데이터셋에서 수행되었습니다.

• 성능 비교 (CPU/GPU):
  • 제안된 C++ 병렬 구현은 MATLAB 신경망, FastKAN, Keras 보다 정확도는 유사하거나 우세하면서 학습 시간은 훨씬 짧았습니다.
  • 특히 사전 학습과 불연속 데이터 병렬화를 적용한 경우, 단일 스레드 CPU 기준 대비 약 30 배, GPU 기준 대비 약 7 배의 속도 향상을 기록했습니다.
• 확장성 (Scalability):
  • 강한 확장성 (Strong Scaling): 고정된 작업량을 여러 스레드에 분배했을 때, 6 스레드 환경에서 약 4.5~4.9 배의 속도 향상을 보였으며, 병합 오버헤드가 적어 거의 선형에 가까운 확장성을 입증했습니다.
  • 약한 확장성 (Weak Scaling): HPC 클러스터 (최대 64 코어) 에서 데이터 양을 늘리며 테스트한 결과, 32 스레드까지 93% 이상의 효율을 유지했습니다.
• FPGA 성능:
  • Digilent Nexys A7-100T 보드 (Artix-7 FPGA) 에서 3x3 행렬 행렬식 예측을 수행했습니다.
  • 단일 레코드 처리 지연 시간은 14 클록 사이클에 불과했으며, 100MHz 동작 주파수에서 초당 700 만 건 이상의 학습 레코드 처리 (Throughput) 를 달성했습니다.
  • 하드웨어 자원이 허용하는 한 모델 크기에 관계없이 일정한 처리 속도를 유지했습니다.

5. 의의 및 결론 (Significance)

• 하드웨어 친화적 KAN: KAN 의 수학적 구조 (아핀 불변성) 가 하드웨어 병렬화와 정수 연산에 매우 적합함을 증명했습니다. 이는 소프트웨어 오버헤드가 아닌 하드웨어 자원에 의해 성능 한계가 결정됨을 의미합니다.
• 실용적 배포 가능성: 복잡한 외부 의존성 없이 컴팩트한 C++ 코드와 FPGA RTL 코드로 구현되어, 임베디드 시스템 및 에지 AI 환경에서의 KAN 배포를 가능하게 합니다.
• 미래 지향성: 대규모 산업용 FPGA 플랫폼의 발전과 함께, 제안된 학습 방식은 차세대 AI 시스템의 효율적이고 확장 가능한 학습 인프라로 자리 잡을 잠재력을 가집니다.

결론적으로, 본 논문은 KAN 의 학습 병목 현상을 해결하고, 소프트웨어적 최적화를 넘어 하드웨어 수준의 병렬화를 통해 KAN 의 실용성과 확장성을 크게 높인 획기적인 연구입니다.