Is the Statistical Advantage Worth the Cost? An Empirical Comparison of KANs and MLPs for Structured Data Classification

기술 요약: 구조화된 데이터 분류를 위한 KAN과 MLP의 경험적 비교

문제 정의
구조화된 테이블 형태의 데이터는 의료, 금융 및 기타 도메인의 생산형 머신러닝 시스템에서 여전히 지배적인 입력 형식으로 남아 있다. 전통적인 앙상블 방법(예: 랜덤 포레스트, 그래디언트 부스팅 트리)이 이러한 작업에 선호되는 경우가 많지만, 딥러닝 아키텍처에 대한 관심도 높아지고 있다. 다층 퍼셉트론(MLP)은 표준 베이스라인 역할을 하지만, 고정된 활성화 함수와 스칼라 가중치에 대한 의존성은 네트워크의 깊이나 너비를 늘리지 않고는 국소적 비선형 효과를 포착하는 능력을 제한할 수 있다. 최근에는 콜모고로프-아르노프 네트워크(KAN)가 등장하여, 고정된 노드 활성화 함수 대신 네트워크 엣지에 학습 가능한 단변량 함수(스플라인)를 도입함으로써 이론적인 대안을 제시했다. 그러나 이러한 아키텍처의 변화가 다양한 분류 패러다임(이진, 다중 클래스, 다중 레이블, 서열 분류)에 걸친 표준화된 비교가 결여된 상황에서, 실제 테이블 작업에 대해 의미 있고 계산적으로 정당화될 수 있는 성능 우위로 이어지는지는 여전히 미해결된 경험적 과제로 남아 있다.

방법론
본 연구는 12개의 공개 데이터셋을 대상으로 KAN을 MLP와 비교하는 엄격하고 표준화된 벤치마킹을 수행하였다. 실험 설계는 다음 프로토콜을 준수하여 공정성과 재현성을 우선시하였다:

• 데이터셋: UCI, Kaggle, MULAN 라이브러리에서 선정된 12개의 데이터셋을 사용하였으며, 이는 네 가지 작업 유형(이진, 다중 클래스, 다중 레이블, 서열 분류)을 포괄한다.
• 전처리: 결측치 처리(대치 또는 삭제), 명목형 속성에 대한 원-핫 인코딩, 수치형 특성의 표준화를 포함하는 통일된 파이프라인을 적용하였다. 데이터는 층화 추출(stratified sampling)을 사용하여 훈련, 검증, 테스트 세트로 분할되었다.
• 모델 구성: 아키텍처 차이를 격리하기 위해 두 모델 모두 튜닝되지 않은 고정된 하이퍼파라미터를 사용하는 "바닐라(vanilla)" 구성을 활용하였다. MLP는 ReLU 활성 함수를 사용하였고, KAN은 학습 가능한 스플라인 함수(B-spline)를 사용하였다. 아키텍처는 층의 깊이와 너비 측면에서 일치시켰으며, 다중 레이블 작업의 경우 계산 복잡성을 관리하기 위해 특정 조정을 가했다.
• 평가 지표: 성능은 테스트 정확도(Test Accuracy)와 F1-Score(클래스 불균형을 고려한 가중치 적용)를 사용하여 평가되었다. 견고성을 보장하기 위해 모델은 5회의 독립적인 실행 과정을 거쳤다.
• 통계 분석: 통계적 유의성을 결정하기 위해 $\alpha = 0.05$ 수준에서 대응 가설 검정(t-검정 또는 윌콕슨 부호 순위 검정)을 실시하였다. 효과 크기는 코헨의 $d$(Cohen's $d$)와 순위-이연 상관계수($r_{rb}$)를 사용하여 계산되었다.

주요 결과
경험적 결과는 예측 성능과 계산 비용 사이의 미묘한 트레이드오프를 보여준다:

1. 성능 우위:

   • 종합: KAN은 모든 데이터셋을 합산했을 때 MLP보다 통계적으로 우수한 성능을 보였으며($p=0.001$), 12개 중 9개 데이터셋에서 더 높은 테스트 정확도를, 12개 중 10개 데이터셋에서 더 높은 F1-Score를 달성하였다.
   • 작업별 특성: KAN은 이진( $p=0.001$, $d=-1.09$) 및 다중 클래스($p=0.001$, $r_{rb}=-1.00$) 영역에서 유의미한 우위를 입증하였다. 그러나 다중 레이블 및 서열 작업의 경우, 효과 크기가 작거나 중간 수준에 머물렀으며 성능 차이가 통계적으로 유의미하지 않았다.
   • 수렴: 대부분의 데이터셋에서 KAN은 MLP보다 성능 한계에 더 빨리 도달하고 더 일찍 안정화되는 경향을 보였으나, 다중 레이블 데이터인 Emotions, Birds, Enron 데이터셋은 예외였다.

2. 계산 비용:

   • 파라미터: KAN은 MLP보다 훨씬 더 많은 파라미터를 요구한다. 스칼라 가중치를 스플라인 함수(그리드 크기 $G$ 및 차수 $k$)로 대체함에 따라, KAN은 표준 작업에서 MLP 대비 지속적으로 약 16배 더 많은 파라미터를 필요로 했다.
   • 효율성: 계산 오버헤드가 상당하다. KAN의 훈련 시간은 빈번하게 30초를 초과하였고(종종 몇 분에 달함), 반면 MLP의 훈련 시간은 5초를 넘는 경우가 드물었다. 마찬가지로, KAN의 추론 지연 시간은 자주 100ms를 초과한 반면, MLP는 약 3ms였다.

주요 기여

• 표준화된 벤치마킹: 본 연구는 엄격히 통제된 비-튜닝 조건 하에서 다양한 스펙트럼의 테이블 분류 작업(탐색이 부족했던 다중 레이블 및 서열 설정 포함)에 대해 KAN과 MLP를 종합적으로 비교한 최초의 연구 중 하나를 제공한다.
• 통계적 엄밀성: 단순한 정확도를 넘어, 본 논문은 KAN의 이점에 대한 통계적 유의성을 확립하고 효과 크기 분석을 통해 그 이득의 크기를 정량화한다.
• 비용-편익 프레임워크: 본 연구는 예측적 이득을 계산적 손실과 명시적으로 비교하여, 아키텍처 선택을 위한 데이터 기반 프레임워크를 제공한다.

의의 및 주장
본 논문은 KAN이 구조화된 데이터에 대해 통계적으로 유의미하고 이론적으로 우월한 함수 근사 방식을 제공하지만, 그 실용적 효용성은 맥락에 따라 달라진다고 결론짓는다.

• 고정밀 애플리케이션: 예측 정밀도가 매우 중요하고 계산 자원이 풍부한 시나리오(예: 의료 진단, 금융 예측)에서는 KAN의 통계적 이점이 추가적인 계산 비용을 정당화한다.
• 자원 제약 환경: 실시간 엣지 컴퓨팅 또는 저지연 시스템의 경우, 종합적인 개선의 "중간" 효과 크기($d = -0.46$)가 효율성 손실을 상쇄하지 못한다. 이러한 경우에는 MLP가 여전히 견고하고 효율적인 선택이다.

저자들은 KAN의 채택 여부가 계산 오버헤드에 대한 허용치와 미세한 정확도 향상 필요성 사이의 운영 요구 사항에 의해 결정되어야 함을 강조한다. 본 연구는 고정된 하이퍼파라미터 사용(최적의 튜닝된 성능을 반영하지 못할 수 있음) 및 다중 레이블 작업을 위한 감소된 훈련 에포크를 포함한 한계점을 인정하며, 향후 연구에서 추가적인 데이터 모달리티와 심층적인 하이퍼파라미터 최적화를 탐구해야 함을 시사한다.