FS-KAN: Permutation Equivariant Kolmogorov-Arnold Networks via Function Sharing

이 논문은 임의의 치환 대칭군에 적용 가능한 새로운 프레임워크인 함수 공유 KAN(FS-KAN) 을 제안하여, 기존 파라미터 공유 네트워크의 표현력 이론을 확장하면서도 데이터 효율성과 해석 가능성을 크게 향상시켰음을 보여줍니다.

핵심

🎨 1. 핵심 아이디어: "똑같은 일을 하는 친구들"

일반적인 AI(신경망) 는 데이터를 처리할 때 각 부분을 따로따로 학습합니다. 하지만 세상의 많은 데이터는 **대칭성 (Symmetry)**을 가지고 있습니다.

• 비유: imagine(상상해 보세요) 당신이 친구 5 명과 함께 피자를 나누어 먹는 상황입니다.
  • 일반적인 AI: "A 가 먹은 피자 조각, B 가 먹은 피자 조각, C 가 먹은 피자 조각..."을 각각 따로 분석합니다. 만약 친구들이 자리를 바꾼다고 해도 AI 는 다시 처음부터 계산해야 할 수도 있습니다.
  • 이 논문의 AI (FS-KAN): "어떤 친구가 앉든, 피자 조각의 맛과 양은 같다"는 사실을 미리 알고 있습니다. 따라서 친구들이 자리를 바꾸더라도 (순서가 바뀌더라도) AI 는 **"똑같은 규칙"**을 적용해서 처리합니다.

이처럼 데이터의 순서가 바뀌어도 결과가 일관되게 유지되도록 만든 것이 FS-KAN의 핵심입니다.

🧩 2. 기존 방식 vs 새로운 방식 (FS-KAN)

기존의 대칭성을 가진 AI 는 **"가중치 공유 (Parameter Sharing)"**라는 방식을 썼습니다.

• 비유: "모든 친구에게 똑같은 **숫자 (가중치)**를 부여한다"는 뜻입니다. 예를 들어, 모든 친구에게 "맛 = 5"라는 숫자를 줍니다.

하지만 FS-KAN 은 이를 한 단계 업그레이드했습니다. **"함수 공유 (Function Sharing)"**를 사용합니다.

• 비유: 단순히 숫자를 주는 게 아니라, **"모든 친구에게 똑같은 '맛을 느끼는 방법 (함수)'"**을 공유합니다.
  • "A 가 먹으면 '달다', B 가 먹으면 '달다'라고 판단하는 생각의 과정이 완전히 동일하다"는 것입니다.
  • 이는 AI 가 단순히 숫자를 맞추는 것을 넘어, 데이터의 구조와 패턴 자체를 더 깊이 이해하게 해줍니다.

🚀 3. 왜 이 모델이 특별한가요? (세 가지 장점)

① 적은 데이터로도 천재가 됩니다 (데이터 효율성)

• 상황: 요리 레시피를 배우는데, 시식할 수 있는 음식이 10 개뿐이라고 해보세요.
• 일반 AI: 10 개만 보고는 "이건 짜고, 저건 매운가?"를 막연하게 추측하다가 실패합니다.
• FS-KAN: "이건 피자고, 저건 파스타야"라는 기본 규칙을 이미 알고 있기 때문에, 10 개만 봐도 나머지 100 개를 완벽하게 예측할 수 있습니다.
• 결과: 데이터가 부족한 상황 (저데이터 레짐) 에서 기존 모델보다 훨씬 뛰어난 성능을 보여줍니다.

② AI 의 두뇌를 볼 수 있습니다 (해석 가능성)

• 상황: 보통 AI 는 "왜 이걸 정답이라고 했지?"라고 물어보면 "모르다"라고 답합니다 (블랙박스).
• FS-KAN: 이 모델은 어떤 규칙을 배웠는지 직접 그림으로 보여줍니다.
  • 마치 "내가 '달다'를 판단할 때 이렇게 곡선을 그렸어"라고 학습한 함수의 모양을 시각화할 수 있습니다.
  • 연구자들은 이 모델을 통해 AI 가 데이터의 대칭성을 어떻게 이해하는지 눈으로 확인할 수 있었습니다.

③ 기억력도 좋습니다 (연속 학습)

• 상황: 새로운 것을 배울 때, 예전에 배운 것을 잊어버리는 현상 (망각) 이 발생합니다.
• FS-KAN: 새로운 데이터를 배워도 이전 지식을 잘 유지하면서 적응합니다. 점토를 반죽할 때 새로운 모양을 만들더라도 기본 재료의 성질은 유지되는 것과 같습니다.

🏗️ 4. 어떻게 작동할까요? (간단한 구조)

이 모델은 **KAN (콜모고로프 - 아르논 네트워크)**이라는 최신 기술을 기반으로 합니다.

• 기존 MLP: 레고 블록을 쌓아올리는 방식 (선형적).
• KAN & FS-KAN: **부드러운 곡선 (스플라인)**으로 연결된 방식.
  • FS-KAN 은 이 부드러운 곡선들이 친구들끼리 서로 공유되도록 설계되었습니다.
  • 예를 들어, "친구 A 가 겪은 경험"과 "친구 B 가 겪은 경험"이 구조적으로 같다면, 그 경험을 처리하는 **곡선 (규칙)**도 똑같이 공유됩니다.

💡 5. 요약: 이 논문이 우리에게 주는 메시지

이 논문은 **"순서가 바뀌어도 똑같은 데이터 (피자, 점구름, 추천 시스템 등)"**를 다룰 때, 기존의 AI 보다 더 똑똑하고, 더 빠르고, 더 투명하게 작동하는 새로운 모델을 제안합니다.

• 데이터가 적을 때: FS-KAN 이 압도적으로 유리합니다.
• 이해가 필요할 때: FS-KAN 은 AI 가 어떻게 생각하는지 보여줍니다.
• 실제 적용: 추천 시스템 (유저와 아이템 순서 바뀜), 3D 물체 인식 (점의 순서 바뀜), 신호 처리 등 다양한 분야에서 유용하게 쓰일 것입니다.

한 줄 요약:

"FS-KAN 은 데이터의 순서가 바뀌어도 혼란스럽지 않게, 공유된 규칙으로 적은 데이터로도 빠르게 배우고, 그 이유를 우리에게 직관적으로 보여주는 차세대 AI 입니다."

기술 요약

FS-KAN: 함수 공유를 통한 치환 공변성 (Permutation Equivariant) 콜모고로프-아르논 네트워크

이 문서는 ICLR 2026 에 게재된 "FS-KAN: PERMUTATION EQUIVARIANT KOLMOGOROV-ARNOLD NETWORKS VIA FUNCTION SHARING" 논문의 기술적 요약입니다. 이 연구는 대칭성 (symmetry) 을 가진 데이터를 학습할 때 기존 파라미터 공유 (parameter-sharing) 방식의 한계를 극복하고, 콜모고로프-아르논 네트워크 (KAN) 의 해석 가능성과 표현력을 결합한 새로운 아키텍처를 제안합니다.

---

1. 문제 정의 (Problem)

현대 머신러닝에서 데이터의 대칭성 (symmetry) 을 고려한 신경망 설계는 일반화 성능과 계산 효율성을 높이는 핵심 요소입니다. 특히, **치환 대칭성 (Permutation Symmetry)**은 집합 (sets), 그래프 (graphs), 이미지, 사용자 - 아이템 상호작용 등 다양한 현실 데이터에서 나타나는 중요한 성질입니다.

기존의 공변성 (equivariant) 신경망은 주로 파라미터 공유 (parameter-sharing) 방식을 통해 선형 레이어의 가중치 행렬에 제약을 가해 대칭성을 구현합니다. 반면, 최근 주목받고 있는 **콜모고로프-아르논 네트워크 (KANs)**는 스칼라 가중치 대신 학습 가능한 1 차 함수를 사용하여 MLP 대비 향상된 해석 가능성과 표현력을 제공합니다.

하지만 현재까지의 연구는 다음과 같은 한계가 있었습니다:

• KAN 을 대칭성 있는 데이터에 적용하려는 시도는 그래프나 집합 등 특정 데이터 유형에 국한되었습니다.
• **임의의 치환 대칭군 (arbitrary permutation symmetry groups)**에 대해 공변성/불변성 KAN 레이어를 체계적으로 구성하는 프레임워크가 부재했습니다.
• 기존 파라미터 공유 방식의 이론적 성질 (표현력, 보편성 등) 을 KAN 에 적용하는 이론적 근거가 부족했습니다.

2. 방법론 (Methodology)

저자들은 **함수 공유 KAN (Function Sharing KAN, FS-KAN)**이라는 새로운 프레임워크를 제안했습니다. 이는 파라미터 공유를 함수 공유로 일반화한 접근법입니다.

2.1 함수 공유 (Function Sharing) 원리

기존의 파라미터 공유는 행렬의 특정 위치들이 동일한 가중치 값을 공유하는 방식이라면, FS-KAN 은 함수 (univariate functions) 들이 군 (group) 의 작용에 따라 공유되도록 설계합니다.

• 공변성 (Equivariant) FS-KA 레이어:
  입력 $x \in \mathbb{R}^n$에 대해 KAN 레이어 $\Phi$가 $G$-공변적이 되기 위해서는, 임의의 $\sigma \in G$에 대해 다음 조건을 만족해야 합니다:
  $$\phi_{q,p} = \phi_{\sigma(q), \sigma(p)}$$
  즉, 행렬의 $(q, p)$ 위치의 함수와 $(\sigma(q), \sigma(p))$ 위치의 함수는 동일해야 합니다. 이는 선형 레이어의 가중치 공유 조건 ($W_{i,j} = W_{\sigma(i), \sigma(j)}$) 을 비선형 함수 영역으로 확장한 것입니다.

• 불변성 (Invariant) FS-KA 레이어:
  출력 차원이 1 인 경우, 모든 입력 요소에 대해 동일한 함수가 공유됩니다 ($\phi_p = \phi_{\sigma(p)}$).

2.2 효율적인 FS-KA 레이어 (Efficient FS-KA Layer)

표준 KAN 레이어는 모든 입력 - 출력 쌍에 대해 독립적으로 함수를 적용하여 계산 비용이 높을 수 있습니다. 저자들은 효율적인 FS-KA 레이어를 제안하여 계산 복잡도를 줄였습니다.

• 핵심 아이디어: 군의 작용 구조에 따라 입력들을 먼저 집계 (sum/mean pooling) 한 후, 공유된 하위 KAN 레이어를 적용합니다.
• 효과: 비선형 함수 적용 횟수를 줄이고 메모리 사용을 감소시키면서도 공변성 속성을 유지합니다.

2.3 일반화

이 프레임워크는 다음과 같은 복잡한 대칭성 구조에도 적용 가능합니다:

• 직접곱 대칭성 (Direct-product symmetries): 행렬 데이터 (예: 사용자 - 아이템 평점) 에서 행과 열에 대한 독립적인 치환.
• 고차 텐서 대칭성 (High-order tensor symmetries): 그래프의 연결성이나 하이퍼그래프와 같은 고차 관계 데이터.

3. 주요 기여 (Key Contributions)

1. FS-KAN 프레임워크 제안: 임의의 치환 대칭군에 대해 공변성 및 불변성 KAN 레이어를 구성하는 체계적인 방법론을 제시했습니다. 이는 기존 집합이나 그래프 기반 KAN 연구들을 통합하고 확장합니다.
2. 이론적 표현력 동등성 증명:
   • Proposition 6 & 7: FS-KAN 은 표준 파라미터 공유 MLP 와 균일 근사 (uniform approximation) 관점에서 동등한 표현력을 가짐을 증명했습니다.
   • 의미: 파라미터 공유 네트워크에 대해 알려진 모든 표현력 결과 (예: DeepSets 의 보편성, $k$-WL 테스트와 동등한 그래프 식별력 등) 가 FS-KAN 으로 직접 이전 (transfer) 될 수 있음을 의미합니다.
3. 실증적 성과: 다양한 데이터 유형 (신호, 포인트 클라우드, 추천 시스템) 에서 FS-KAN 이 데이터가 부족한 상황 (low-data regime) 에서 기존 파라미터 공유 MLP 보다 월등히 우수한 성능을 보임을 입증했습니다.

4. 실험 결과 (Results)

저자들은 신호 분류, 포인트 클라우드 분류, 반지도식 평점 예측 등 다양한 태스크에서 FS-KAN 을 평가했습니다.

• 데이터 효율성 (Data Efficiency):

  • 신호 분류 (Signal Classification): 적은 양의 학습 데이터 (60~1200 개) 에서 FS-KAN 은 파라미터 공유 기반 Deep Sets 모델보다 훨씬 높은 정확도를 달성했습니다.
  • 포인트 클라우드 분류 (Point Cloud Classification): ModelNet40 데이터셋에서 학습 데이터 수와 점의 개수가 제한될 때, FS-KAN 은 DeepSets 및 Point Transformer 보다 일관되게 우수한 성능을 보였습니다.
  • 추천 시스템 (Rating Prediction): MovieLens 및 Flixster 데이터셋에서 극도로 희소한 데이터 환경에서 FS-KAN 이 기존 SSEM 모델보다 낮은 RMSE 를 기록했습니다.

• 지속 학습 (Continual Learning):

  • 포인트 클라우드 분류에서 새로운 태스크 (회전, 이동 등) 를 학습할 때 발생하는 **재앙적 망각 (Catastrophic Forgetting)**을 평가했습니다. FS-KAN 은 기존 지식을 더 잘 유지하면서도 새로운 태스크를 학습하는 데 있어 DeepSets 보다 우수한 평균 정확도와 낮은 망각률을 보였습니다.

• 해석 가능성 (Interpretability):

  • 학습된 스플라인 함수를 시각화한 결과, FS-KAN 은 대칭적인 구조를 명확하게 반영하여 함수가 공유됨을 보여줍니다. 이는 표준 KAN 이 각 연결마다 독립적인 함수를 학습하여 복잡하고 해석하기 어려운 구조를 만드는 것과 대조적입니다.

• 계산 비용:

  • 효율적인 FS-KAN 변형은 전체 FS-KAN 보다 학습 속도가 빠르고 메모리 사용량이 적지만, 여전히 기존 MLP 기반 모델보다는 계산 비용이 높습니다. 이는 대칭성 있는 데이터에서 소량의 데이터로 학습할 때 그 가치가 입증됨을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 대칭성 있는 데이터 학습을 위한 KAN 아키텍처의 이론적 기반을 확립했다는 점에서 중요한 의의를 가집니다.

• 이론적 통합: 파라미터 공유 네트워크의 풍부한 이론적 결과 (표현력, 보편성, 식별력 등) 를 KAN 에 적용할 수 있는 다리를 놓았습니다.
• 실용적 가치: 데이터가 부족한 환경 (low-data regimes) 에서 대칭성을 가진 데이터를 처리할 때, FS-KAN 은 기존 방법론보다 뛰어난 일반화 성능과 데이터 효율성을 제공합니다.
• 해석 가능성 강화: KAN 고유의 해석 가능성에 대칭성 구조를 명시적으로 반영함으로써, 모델이 학습한 패턴을 더 명확하게 이해할 수 있게 합니다.

결론적으로, FS-KAN 은 대칭성 기반 딥러닝의 새로운 패러다임을 제시하며, 특히 데이터가 제한적이거나 모델의 해석 가능성이 중요한 응용 분야 (과학적 발견, 의료, 추천 시스템 등) 에 적합한 아키텍처로 평가됩니다.