🤖 machine learning

Symbolic--KAN: Kolmogorov-Arnold Networks with Discrete Symbolic Structure for Interpretable Learning

이 논문은 해석 가능성과 확장성 사이의 균형을 맞추기 위해 이산적 기호 구조를 학습 가능한 심층 네트워크에 직접 통합하여, 물리 법칙을 발견하고 편미분 방정식을 풀 수 있는 새로운 신경망 아키텍처인 'Symbolic-KAN'을 제안합니다.

원저자: Salah A Faroughi, Farinaz Mostajeran, Amirhossein Arzani, Shirko Faroughi

게시일 2026-03-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Salah A Faroughi, Farinaz Mostajeran, Amirhossein Arzani, Shirko Faroughi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🧠 "기적의 레시피 찾기": Symbolic-KAN 이란 무엇인가요?

이 논문은 과학과 공학 분야에서 "복잡한 자연의 법칙을 단순한 수식으로 찾아내는" 새로운 인공지능 (AI) 을 소개합니다. 이 AI 의 이름은 **Symbolic-KAN(심볼릭-KAN)**입니다.

기존의 AI 는 마치 **"맛있는 요리를 해주는 로봇"**과 같습니다. 수많은 재료를 넣고 섞어서 맛있는 요리를 만들어내지만, **"도대체 어떤 재료를 얼마나 넣었는지, 어떤 순서로 조리했는지"**는 알려주지 않습니다. (이를 '블랙박스'라고 부릅니다.)

하지만 과학자들은 단순히 요리를 잘하는 것보다, **"이 요리의 정확한 레시피 (수식) 를 찾아내는 것"**을 원합니다. 이 논문은 바로 그 레시피를 찾아내는 새로운 방법을 제안합니다.

🎨 1. 기존 방식의 문제점: "거대한 레시피북" vs "블랙박스"

기존의 수식 찾기 (Symbolic Regression):
- 비유: 모든 가능한 레시피 조합을 하나씩 직접 만들어보며 맛을 보는 방법입니다.
- 문제: 재료가 10 가지만 있어도 조합의 수는 천문학적으로 늘어납니다. 컴퓨터가 미쳐버릴 정도로 계산이 느리고, 너무 복잡한 레시피가 나올 수 있습니다.
기존의 딥러닝 (MLP):
- 비유: 레시피를 외우지 않고, 수만 번의 실험을 통해 '감'으로 요리를 하는 로봇입니다.
- 문제: 요리는 아주 잘하지만, "왜 이렇게 만들었는지" 설명할 수 없습니다. 레시피를 찾아내지 못합니다.

🚀 2. Symbolic-KAN 의 등장: "스마트한 레시피 탐정"

Symbolic-KAN 은 이 두 가지의 장점을 합친 최고의 레시피 탐정입니다.

🧩 핵심 아이디어: "레시피 조각"을 섞어 만든다

이 AI 는 처음부터 복잡한 수식을 외우지 않습니다. 대신, **간단한 기본 레시피 조각 (Primitives)**들을 가지고 있습니다.

예: x, x², sin(x), cos(x), e^x 같은 것들입니다.
이 조각들을 스마트하게 섞어서 (Gating) 최종 레시피를 완성합니다.

🔍 작동 원리: "선택과 집중" (게이트와 정제)

초기 단계 (혼란): AI 는 처음에 모든 기본 레시피 조각을 다 섞어서 시도해 봅니다. "어떤 게 맞을까?"라고 고민하며 여러 가지를 섞어봅니다.
학습 단계 (정제): 데이터를 보며 학습할수록, 불필요한 조각들은 버리고 가장 중요한 조각들만 남깁니다.
- 비유: 요리할 때 "소금, 설탕, 후추, 계피..."를 다 넣다가, "아! 이 요리는 소금과 설탕만 있으면 되네!"라고 깨닫고 나머지는 다 버리는 과정입니다.
최종 단계 (완성): 학습이 끝나면, AI 는 **단 하나의 정확한 레시피 (수식)**만 남깁니다.
- 결과: "이 요리는 sin(x)와 x²을 섞어서 만들었습니다"라고 명확하게 설명해 줍니다.

🌟 3. 이 기술이 얼마나 대단한가요? (실제 실험 결과)

논문에서는 이 AI 를 여러 가지 어려운 문제에 적용해 보았습니다.

📐 상황 1: 복잡한 함수 예측 (데이터만 주어졌을 때)

과제: 점들만 주어졌을 때, 그 점들을 잇는 정확한 곡선 (수식) 을 찾아내기.
결과: AI 는 x²이나 sin(x) 같은 정확한 수식을 스스로 찾아냈습니다. 마치 점들을 보고 "아, 이건 포물선이구나!"라고 외쳐내는 것과 같습니다.

🌪️ 상황 2: 진동하는 물체 분석 (반 데르 폴 진동자)

과제: 진동하는 물체의 움직임을 관찰하며, 그 물체를 움직이는 **물리 법칙 (공식)**을 찾아내기.
결과: AI 는 진동하는 물체의 움직임을 정확히 예측했을 뿐만 아니라, **"이 진동은 sin과 cos 함수로 설명된다"**는 사실을 찾아냈습니다. 기존 AI 는 진동만 예측했지만, 이 AI 는 **왜 진동하는지 이유 (공식)**까지 찾아냈습니다.

🌊 상황 3: 열과 물질의 흐름 (반응 - 확산 방정식)

과제: 열이 퍼지거나 화학 물질이 반응하는 복잡한 현상을 수학적으로 설명하기.
결과: 다른 AI 들은 복잡한 영역에서는 오차가 커졌지만, Symbolic-KAN 은 정확한 수식 구조를 유지하며 훨씬 더 정확한 결과를 냈습니다. 마치 복잡한 지도를 읽는 데서도 길을 잃지 않는 나침반처럼 작동했습니다.

💡 4. 왜 이것이 중요한가요?

이 기술은 과학자들에게 두 가지 큰 선물을 줍니다:

신뢰할 수 있는 설명 (Interpretability):
- "AI 가 이렇게 예측했어"가 아니라, **"AI 는 이 현상이 A + B라는 공식으로 설명된다고 판단했어"**라고 알려줍니다. 과학자들은 이 공식을 보고 "아, 맞아! 이게 물리 법칙이지!"라고 확인할 수 있습니다.
효율적인 발견 (Discovery):
- AI 가 찾아낸 간단한 수식 조각들은, 나중에 더 복잡한 문제를 풀 때 새로운 레시피북의 기초가 됩니다.

🏁 결론

Symbolic-KAN은 **"복잡한 데이터를 보고, 자연의 숨겨진 레시피 (수식) 를 찾아내는 AI"**입니다.

기존 AI: "요리는 잘하지만 레시피는 모른다."
기존 수식 찾기: "레시피는 찾지만 시간이 너무 오래 걸린다."
Symbolic-KAN: "요리도 잘하면서, 가장 간단하고 정확한 레시피를 찾아내어 설명해 준다."

이 기술은 앞으로 과학자들이 자연의 법칙을 더 빠르고 정확하게 발견하는 데 큰 역할을 할 것으로 기대됩니다. 마치 우주에서 별의 움직임을 보고 중력 법칙을 다시 찾아낸 아인슈타인처럼, AI 가 과학의 새로운 통찰을 줄 수 있는 시대가 온 것입니다.

1. 연구 배경 및 문제 제기 (Problem)

과학적 기계 학습 (SciML) 의 핵심 목표 중 하나는 데이터로부터 지배 방정식 (governing equations) 을 발견하고 해석 가능한 (interpretable) 모델을 구축하는 것입니다. 그러나 기존 접근법 사이에는 근본적인 트레이드오프가 존재합니다.

기호 회귀 (Symbolic Regression): 명시적인 해석 가능한 수학적 표현을 생성하지만, 조합적 탐색 (combinatorial search) 에 의존하여 계산 비용이 높고 차원의 저주에 취약하며, 표현이 과도하게 커지는 (expression bloat) 문제가 있습니다.
신경망 (Neural Networks, MLP 등): 데이터와 차원에 대해 확장 가능하고 효율적이지만, '블랙박스' 성향으로 인해 내부 작동 원리를 해석하거나 물리 법칙을 추출하기 어렵습니다.
기존 KAN (Kolmogorov-Arnold Networks): MLP 를 개선하여 가변적인 1 차원 함수를 학습하지만, 학습된 기저 함수들을 조합한 전체 표현은 여전히 복잡하고 불투명하여 직접적인 해석이 어렵습니다.

따라서 확장 가능성 (scalability) 과 해석 가능성 (interpretability) 을 동시에 만족시키면서, 데이터로부터 직접 지배 법칙을 발견할 수 있는 새로운 아키텍처가 필요합니다.

2. 제안 방법론: Symbolic-KAN (Methodology)

저자들은 Symbolic-KAN을 제안합니다. 이는 Kolmogorov-Arnold 표현 정리 (KART) 를 기반으로 하되, 학습 가능한 심층 네트워크 내부에 **이산적 기호 구조 (Discrete Symbolic Structure)**를 직접 임베딩한 신경망 아키텍처입니다.

핵심 구성 요소

구조적 설계 (Network Formulation):
- 기존 KAN 이 각 입력 좌표에 대해 고정된 기저 함수를 사용하는 것과 달리, Symbolic-KAN 은 **학습된 스칼라 투영 (learned scalar projections)**을 수행합니다.
- 각 유닛 (unit) 은 이전 층의 특징들을 선형 결합하여 1 차원 투영 ( $s_k$ ) 을 만들고, 이 투영된 값에 **해석적 원시 함수 (analytic primitives)**를 적용합니다.
- 원시 함수 라이브러리: $\{0, 1, x, x^2, \sin x, \cos x, \tanh x, e^x, \log(1+|x|), \dots\}$ 등 다양한 수학적 연산자를 포함합니다.
게이트 학습 및 이산 선택 (Gated Training & Discrete Selection):
- 프라이미티브 선택 게이트: 각 엣지 (edge) 가 라이브러리 중 하나의 원시 함수를 선택하도록 유도합니다.
- 엣지 선택 마스크: 각 유닛이 여러 투영 방향 중 하나만 선택하도록 합니다.
- 유닛 게이트: 불필요한 유닛을 제거 (Pruning) 하여 구조적 희소성을 확보합니다.
- 학습 전략: 처음에는 Gumbel-Softmax를 사용하여 연속적인 확률 분포로 게이트를 부드럽게 학습하다가, 훈련이 진행됨에 따라 온도 (temperature) 를 낮추고 엔트로피 정규화를 통해 분포를 날카롭게 (sharpening) 만듭니다. 최종적으로 One-hot 선택으로 수렴하여, 각 유닛이 단일 원시 함수와 단일 투영 방향으로 결정되도록 합니다.
손실 함수 (Loss Function):
- 데이터/물리 손실: 회귀 문제에서는 MSE, PDE 문제에서는 잔차 (residual), 경계 조건, 초기 조건을 포함합니다.
- 기호 정규화 (Symbolic Regularization):
  - 엔트로피 손실: 원시 함수 선택 분포가 희소해지도록 유도.
  - NMS (Non-Maximum Suppression) 손실: 동일한 유닛 내의 다른 엣지가 동일한 원시 함수를 선택하는 것을 방지하여 다양성 확보.
  - 편향 (Bias) 페널티: 상수 모드로 수렴하는 것을 방지.

3. 주요 기여 (Key Contributions)

확장 가능한 기호 발견 메커니즘: 신경망의 확장성을 유지하면서, 학습 후 별도의 기호 회귀 (post-hoc fitting) 없이도 **컴팩트한 폐쇄형 표현 (closed-form expressions)**을 직접 생성합니다.
계층적 희소성 (Hierarchical Sparsity): 원시 함수, 투영 방향, 유닛 활성화 수준에서 3 단계의 희소성을 enforced 하여 복잡한 모델을 단순한 해석 가능한 식으로 변환합니다.
프리-라이브러리 선택자 (Pre-library Selector): SINDy(Sparse Identification of Nonlinear Dynamics) 와 같은 기존 희소 방정식 학습 방법의 한계 (라이브러리 내 항의 조합 생성 불가) 를 해결합니다. Symbolic-KAN 이 가장 관련성 높은 원시 성분을 식별하여 후보 라이브러리를 구성해 줌으로써, SINDy 등의 후속 분석을 지원합니다.
물리 정보 학습 (Physics-Informed Learning) 확장: 순방향 및 역방향 PDE 학습 모두에서 정확한 해를 구하면서도, 해의 구조나 지배 방정식의 물리적 성질을 반영하는 기호 표현을 생성합니다.

4. 실험 결과 (Results)

논문은 세 가지 주요 시나리오에서 Symbolic-KAN 의 성능을 검증했습니다.

데이터 기반 회귀 (Data-driven Regression):
- 1 차원 다항식 ( $x^2$ ) 및 복잡한 비선형 함수 ( $\sin, \cos, \text{Lorentz}$ 함수 등) 에 대한 실험에서, Symbolic-KAN 은 정확한 원시 함수를 선택하고 불필요한 유닛을 제거하여 매우 낮은 상대 오차 ( $10^{-5}$ 수준) 를 달성했습니다.
- 훈련 데이터가 없는 영역 (extrapolation) 에서도 올바른 추세를 유지하는 것을 확인했습니다.
동적 시스템 식별 (Dynamical Systems):
- Van der Pol 발진기: 비정수 지수 ( $x^{2.15}$ ) 와 비선형 감쇠가 포함된 복잡한 시스템에서, Symbolic-KAN 은 시간 계열 데이터로부터 지배 방정식의 구조와 미지 매개변수 ( $a, \mu, c$ ) 를 높은 정밀도로 복원했습니다.
- 장기적인 궤적 추적에서도 안정성을 유지하며, $\sin, \cos, x$ 와 같은 물리적으로 의미 있는 기저 함수들을 자동으로 선택했습니다.
물리 정보 학습 (Physics-Informed Learning):
- 반응 - 확산 방정식 (Reaction-Diffusion): 역문제 설정에서 확산 계수와 비선형 반응 계수를 정확히 추정했습니다. 특히 도메인이 확장될 때 기존 PINN 이나 cPIKAN 보다 훨씬 낮은 오차를 보였으며, $\sin^3(6x)$ 와 같은 해의 구조를 정확히 포착했습니다.
- 라플라스 방정식 (Laplace Equation): 2 차원 영역에서 $\sin$ 과 $\sinh$ 함수를 포함한 정확한 해석적 해를 학습했습니다. Symbolic-KAN 은 cPIKAN 대비 약 87%, PINN 대비 약 59% 더 낮은 검증 오차를 기록했습니다.

5. 의의 및 결론 (Significance)

해석 가능한 기계 학습의 새로운 패러다임: Symbolic-KAN 은 신경망의 표현력 (expressivity) 과 기호 모델의 투명성 (transparency) 을 통합하여, 단순히 예측을 넘어 **메커니즘적 통찰 (mechanistic insight)**을 제공하는 모델을 가능하게 합니다.
과학적 발견 도구: 지배 법칙을 알지 못하는 복잡한 시스템에서도 데이터로부터 핵심 물리 법칙을 추출하고, 이를 기반으로 간결한 수학적 모델을 구축할 수 있습니다.
미래 지향성: 이 프레임워크는 확장 가능하면서도 기호적으로 검사 가능한 (symbolically inspectable) 모델 개발의 토대를 마련하며, 향후 강건한 신경 솔버 (neural solvers) 와 연산자 학습 (operator learning) 의 발전에 기여할 것으로 기대됩니다.

요약하자면, Symbolic-KAN은 "학습 가능한 신경망"과 "해석 가능한 기호 식" 사이의 간극을 메우며, 데이터와 물리 법칙으로부터 직접적으로 컴팩트하고 해석 가능한 지배 방정식을 발견할 수 있는 획기적인 방법론을 제시합니다.