🤖 machine learning

KAN-SR: A Kolmogorov-Arnold Network Guided Symbolic Regression Framework

이 논문은 콜모고로프-아르노프 네트워크와 단순화 전략을 활용하여 파인만 데이터셋으로부터 참값 방정식을 정확하게 복원하고 인실리코(in-silico) 바이오프로세스 시스템의 역학을 모델링하는 새로운 기호 회귀 프레임워크인 KAN-SR을 소개한다.

원저자: Marco Andrea Bühler, Gonzalo Guillén-Gosálbez

게시일 2026-06-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Marco Andrea Bühler, Gonzalo Guillén-Gosálbez

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 미스터리를 풀려는 탐정이라고 상상해 보세요. 당신은 서로 다른 것들이 시간이 지남에 따라 어떻게 변하는지를 보여주는 일련의 단서들(데이터 포인트) 뭉치를 가지고 있지만, 왜 그렇게 변하는지를 설명하는 규칙책(수학 방정식)은 모르는 상태입니다. 당신의 목표는 단순히 다음 단서를 추측하는 것이 아니라, 전체 이야기를 설명하는 실제적이고 단순한 문장을 찾아내는 것입니다.

이것이 바로 **기호 회귀(Symbolic Regression)**가 하는 일입니다. 오늘날 대부분의 컴퓨터 프로그램은 "블랙박스"와 같습니다. 그들은 다음 단서를 매우 잘 예측할 수 있지만, 그 규칙을 말해주지는 못합니다. 그들은 토끼를 나타나게 만들지만, 그 속임수를 보여주지는 않는 마술사와 같습니다. 저자들은 그 속임수를 찾고자 합니다.

그들은 KAN-SR이라는 새로운 도구를 소개합니다. 이것이 어떻게 작동하는지 간단한 개념으로 나누어 설명하겠습니다.

1. 새로운 탐정 도구: KANs

전통적인 AI 모델은 모든 사람이 똑같은 방식으로 정해진 일을 수행하는 작업 팀과 같습니다. 저자들은 **Kolmogorov-Arnold Network (KAN)**라고 불리는 더 새로운 유형의 AI를 사용합니다.

비유: 전통적인 AI가 모든 노동자가 정확히 같은 과업을 수행하는 공장 조립 라인이라면, KAN은 전문화된 장인들의 팀과 같습니다. 각 노동자는 특정 문제의 부분을 처리하기 위해 자신만의 고유하고 유연한 기술(학습 가능한 함수)을 배울 수 있습니다. 이 덕분에 이 팀은 데이터의 복잡하거나, 휘어져 있거나, 기묘한 패턴을 이해하는 데 훨씬 더 뛰어납니다.

2. 전략: "분할 정복(Divide and Conquer)"

저자들은 거대하고 복잡한 수학 퍼즐을 한꺼번에 해결하려고 노력하는 것이 너무 어렵다는 것을 깨달았습니다. 그래서 그들은 마치 색깔별로 조각을 분류하여 거대한 직소 퍼즐을 푸는 것과 유사하게 문제를 분해하는 워크플로우를 구축했습니다.

1단계: 빠른 스캔. 그들은 먼저 매우 단순한 답(기본적인 곱셈이나 덧셈 같은)을 찾으려고 시도합니다. 만약 그것이 작동한다면, 거기서 멈춥니다.
2단계: "마법 같은" 단순화. 복잡한 모델을 만들기 전에, 문제가 나뉠 수 있는지 확인합니다. 예를 들어, 답이 두 가지 별개의 사건이 동시에 발생하는 것에 의존하는가? 만약 그렇다면, 문제를 두 개의 더 작고 쉬운 퍼즐로 나눕니다.
3단계: 심층 탐구. 퍼즐이 여전히 너무 어렵다면, 강력한 KAN "장인들"을 사용하여 곡선의 형태를 학습합니다.
4단계: 인간의 언어로 번역. KAN이 형태를 학습하면, 그 형태를 지저도한 컴퓨터 코드로 남겨두는 대신 깔끔하고 읽기 쉬운 수학 방정식(예: $y = x^2 + 5$ )으로 다시 번역합니다.

3. 테스트: 파인만 챌챌린지(Feynman Challenge)

그들의 도구가 제대로 작동하는지 확인하기 위해, 리처드 파인만의 물리학 강의에서 영감을 받은 240개의 유명한 수학 문제 세트로 테스트를 진행했습니다. 이 문제들은 까다롭게 설계되었으며, 종종 "더미 변수"(중요해 보이지만 실제로는 중요하지 않은 레드 헤링/미끼)와 노이즈가 섞인 데이터(라디오의 잡음 같은 것)를 포함하고 있습니다.

결과: KAN-SR이 챔피언이었습니다. KAN-SR은 쉬운 문제의 **93%**를 해결했고, 중간 난이도 문제의 **60%**를 해결하며 다른 모든 방법들을 제쳤습니다. 데이터에 노이즈가 많거나 가짜 단서가 가득할 때조차, KAN-SR만이 진정한 기저의 규칙을 안정적으로 찾아낼 수 있었습니다.

4. 실전 테스트: 가상 바이오리액터(Bioreactor)

저자들은 또한 이 도구가 정적인 그림뿐만 아니라 움직이고 변화하는 시스템(동적 시스템)에서도 작동할 수 있는지 알고 싶었습니다. 그들은 바이오프로세스(박테리아가 제품을 만들기 위해 성장하는 가상 공장)를 시뮬레이션했습니다.

도전 과제: 현실 세계의 데이터는 지저도합니다. 만약 노이즈가 섞인 측정값을 보고 박테리아가 얼마나 빨리 성장하는지 계산하려고 하면, 수학적 모델이 보통 무너집니다.
해결책: 그들은 노이즈를 먼저 매끄럽게 처리하기 위해 특수한 기술(Neural Controlled Differential Equations)을 사용하여, 성장의 과정을 깔끔한 "영화"처럼 만들었습니다. 그런 다음, 이 깨끗한 영화를 KAN-SR에 입력했습니다.
결과: KAN-SR은 박테리아의 성장을 지배하는 방정식들을 성공적으로 재구성했습니다. 박테리아가 너무 밀집되었을 때 성장을 멈추는 아주 작은 세부 사항 하나를 놓치긴 했지만, 주요 이야기는 완벽하게 포착했습니다. 이 모델은 원래의 복잡한 시뮬레이션만큼이나 거의 정확하게 미래의 성장을 예측할 수 있었습니다.

핵심 요약

이 논문은 KAN-SR이 데이터 속에 숨겨진 "자연의 법칙"을 발견하는 강력한 새로운 방법이라고 주장합니다.

가짜 단서를 무시하는 데 더 똑똑합니다.
이전 방법들보다 단순하고 인간이 읽을 수 있는 방정식을 찾는 데 더 뛰어납니다.
먼저 데이터를 매끄럽게 다듬음으로써 노이즈가 많은 현실 세계의 데이터를 처리할 수 있습니다.

한계점에 대한 참고: 저자들은 이 도구의 경계에 대해 솔직하게 밝히고 있습니다. 이 도구는 답이 그들이 제공한 특정 수학적 구성 요소 집합 내에서 발견될 수 있을 때 가장 잘 작동합니다. 만약 진정한 답이 그들의 "라이브러리"에 있는 모양들과 완전히 다르거나, 데이터에 핵심 정보가 아예 누락되어 있다면, 이 도구는 어려움을 겪을 수 있습니다. 이것은 매우 강력한 탐정이지만, 여알히 단서가 존재해야만 작동합니다.

기술 요약: KAN-SR

문제 정의
기호 회귀(Symbolic Regression, SR)는 주어진 데이터셋을 정확하게 모델링하는 폐쇄형 수학적 표현식을 발견하는 것을 목표로 하며, 함수의 형태와 그 매개변수를 모두 추론한다. 고정된 구조를 가진 전통적인 회귀 방식이나 블랙박스 형태의 머신러닝 모델과 달리, SR은 과학적 발견에 필수적인 해석 가능하고 간결한 관계를 찾고자 한다. 그러나 유전 프로그래밍(Genetic Programming, GP)과 같은 고전적 방법들은 샘플 효율성, 높은 계산 비용 및 확장성 문제로 어려움을 겪는 경우가 많다. 최근의 뉴로-심볼릭(neural-symbolic) 접근법들은 이산적 표현의 엔드 투 엔드(end-to-end) 학습에 어려움을 겪고 있으며, 보편적인 벤치마크의 부재는 일관된 비교를 저해한다. 또한, 시계열 데이터의 노이즈에 따른 미분 추정의 민감도 때문에 동적 공학 시스템에 SR을 적용하는 것은 까다로운 과제이다.

방법론: KAN-SR 프레임워크
저자들은 Kolmogorov-Arnold 네트워크(KANs) [22, 23]를 분할 정복(divide-and-conquer) 전략 및 심볼릭 단순화와 결합한 KAN-SR 프레임워크를 제안한다.

네트워크 아키텍처:
- KANs: 고정된 활성화 함수를 사용하는 표준 신경망과 달리, KAN은 학습 가능한 단변량 함수를 채택한다. 저자들은 훈련 속도와 효율성을 개선하기 위해 B-spline 대신 방사 기저 함수(구체적으로는 반사 스위치 활성화 함수, RSWAF)를 사용하는 Fast-KAN을 구현하였다.
- 하이브리드 구성: 단일 레이어 유닛 내에서 곱셈적 상호작용을 표현하는 데 있어 순수 가법적(additive) KAN의 한계를 극복하기 위해, 본 프레임워크는 학습 가능한 활성화 함수의 가법적 및 승법적(multiplicative) 조합을 명시적으로 허용한다.
- 정규화: 희소성과 해석 가능성을 강제하기 위해, 모델은 활성화 행렬에 대한 크기( $L_1$ ) 및 엔트로피 손실을 통해 불필요한 입력 사용을 억제하는 정규화 기법을 활용하며, 기본 선형 가중치에 대해서도 $L_1$ 페널티를 적용한다.
워크플로 및 파이프라인:
본 프레임워크는 유연한 다단계 파이프라인을 통해 작동한다(논문의 그림 1 참조):
- 전처리: 입력 변수의 정규화.
- 브루트 포스 탐색(Brute-Force Search): 단순 다변량 승법 표현식을 찾기 위한 초기 전수 조사.
- 단순화 및 분해: AI Feynman [15]에서 영감을 받아, 시스템은 복잡한 문제를 저차원 하위 문제로 분해하기 위해 분리 가능성(가법 또는 승법)과 대칭성(평행 이동, 스케일링 등)을 재귀적으로 감지한다.
- 단일 레이어 KAN 피팅: 분해된 하위 문제들은 최소한의 KAN 아키텍처(단일 또는 다중 유닛)를 사용하여 피팅된다.
- 심볼릭 추출: 학습된 단변량 활성화 함수는 사전 정의된 확장 가능한 라이브러리(다항식, 삼각함수, 지수, 로그, Michaelis-Menten 등)로부터 함수로 근사된다. 최적의 적합 모델은 MSE 또는 MSE와 복잡성의 균형을 맞춘 점수에 따라 선택된다.
- 출력 변환: 피팅이 실패할 경우, 탐색을 재시도하기 전에 대상 변수를 변환(예: 로그 변환)하여 함수 형태를 단순화한다.
- Deep KAN 루프: 더 단순한 모델이 실패할 경우를 대비한 폴백(fallback)으로서 더 깊은 KAN 아키텍처를 탐색하지만, 주요 실험은 이 단계 없이 단순화 파이프라인의 효용성에 집중한다.
동적 시스템 확장 (Neural CDEs):
동적 시스템을 위해, 프레임워크는 뉴럴 제어 미분 방정식(Neural Controlled Differential Equations, Neural CDEs) [36, 28]를 통합한다. Neural CDE는 노이즈가 있는 시계열 데이터에 대해 학습되어 매끄러운 미분값을 추정한다. 이러한 견고한 미분 추정치는 심볼릭 회귀 단계의 타겟으로 사용되어, 노이즈가 있는 관측값에도 불구하고 지배적인 미분 방정식(반응 속도 법칙)을 발견할 수 있게 한다.

주요 기여

프레임워크 제안: KAN(구성적 딥러닝)을 심볼릭 추출 및 단순화와 결합한 KAN-SR의 도입.
심볼릭 파이프라인: 포괄적인 단변량 함수 라이브러리를 활용하여 AI Feynman에서 영감을 받은 심볼릭 추출 및 단순화 파이프라인 개발.
벤치마크 평가: SRSD-Feynman 데이터셋 [16]에 대한 종합적인 평가를 통해 심볼릭 복구율의 향상을 입증.
동적 모델링: 바이오프로세스 사례 연구를 통해 Neural CDE를 활용한 노이즈 강건 미분 추정 방식을 적용하여 동적 시스템으로의 확장성 제시.

실험 결과

SRSD-Feynman 벤치마크: KAN-SR은 모든 난이도(Easy, Medium, Hard)에서 기존의 최첨단 베이스라인(gplearn, AFP, AIF, DSR, PySR 등) 대비 가장 높은 솔루션 성공률을 달면했다.
- Easy: 93.3% 솔루션 성공률 (차점 모델의 60.0% 대비).
- Medium: 60.0% (PySR의 30.0% 대비).
- Hard: 12.0% (PySR의 4.0% 대비).
- 강건성: 프레임워크는 더미(무관한) 변수가 도입되었을 때도 높은 성능(Easy에서 86.7%)을 유지하며 다른 방법들을 크게 압도했다. 또한 가우시안 노이즈에 대해서도 강건함을 보여, 0.1 수준의 노이즈 환경에서도 Easy 문제의 50% 이상을 해결했다.
바이오프로스 사례 연구: 시뮬레이션된 배치 발효 모델에서, 2단계 접근 방식(미분을 위한 Neural CDE + 방정식을 위한 KAN-SR)은 실제 정답(ground truth)과 구조적으로 유사한 반응 속도 방정식을 성공적으로 복구했다. 바이오매스 의존적 자기 억제 항은 완전히 복구되지 않았으나, 결과적인 심볼릭 모델은 패리티 플롯(parity plot)에서 시스템 역학을 높은 충실도로 재현했다.

의의 및 주장
본 논문은 KAN-SR이 딥러닝의 표현력과 심볼릭 형태의 해석 가능성을 효과적으로 결합함으로써 심볼릭 회귀 분야에서 중요한 진전을 이루었다고 주장한다. 분리 가능성과 대칭성 감지를 활용한 "분할 정복" 접근 방식은 특히 무관한 변수가 존재하거나 노이즈가 있는 상황에서 다른 방법들이 해결하지 못하는 복잡한 문제들을 해결할 수 있게 한다.

저자들은 KAN-SR을 과학적 영역, 특히 바이오프로세스와 같은 동적 공학 시스템 모델링에 특화된 정답 방정식을 복구할 수 있는 도구로 포지셔닝한다. 저자들은 방법론이 훈련 변수로부터 정답을 추출할 수 있을 때 탁월한 성능을 보이지만, 최적의 해가 단일 레이어 KAN 아키텍처 및 특정 단변량 함수 라이브러리에 의해 정의된 탐색 공간 밖에 있을 경우 한계가 있음을 언급한다. 이 프레임워크는 더 견고하고 해석 가능한 동적 모델링을 향한 단계로 제시되나, 일반화 가능성을 완전히 평가하기 위해서는 실제 시계열 시스템에 대한 더 넓은 검증이 필요함을 인정하고 있다.