기술 요약: 기하학적 콜모고로프-아르놀드 네트워크 (GeoKAN)

문제 제기

다층 퍼셉트론 (MLP) 과 최근의 콜모고로프-아르놀드 네트워크 (KAN) 를 포함한 표준 딥러닝 모델들은 일반적으로 고정된 유클리드 좌표계 내에서 작동합니다. KAN 은 고정된 스칼라 가중치를 학습 가능한 단변수 함수로 대체하여 근사 유연성을 향상시키지만, 여전히 이러한 함수들을 원래 입력 좌표에 직접 평가합니다. 이 제한은 과학적 머신러닝과 미분 방정식 풀이에서 치명적이 됩니다. 왜냐하면 목표 함수는 종종 매우 비균일한 행동을 보이기 때문입니다. 즉, 일부 영역에서는 매끄럽지만 충격파, 얇은 인터페이스, 날카로운 피크, 또는 경계층 근처에서는 급격하게 변합니다. 이러한 시나리오에서 고정 좌표 표현은 모델 용량을 비효율적으로 할당하여, 매끄러운 영역은 과도하게 해석하고 급격한 변화 영역은 해석이 부족하게 만드는 경향이 있습니다.

방법론

저자들은 입력 공간의 기하학을 근사 함수와 함께 적응시키는 기하학적 콜모고로프-아르놀드 네트워크 (GeoKAN) 계열 모델을 소개합니다. 핵심 메커니즘은 기저 확장 및 특징 혼합 전에 입력 좌표를 왜곡시키는 대각 리만 계량 (diagonal Riemannian metric) $g(u)$을 학습하는 것입니다.

핵심 메커니즘

GeoKAN 은 원시 입력 $x$에 기저 함수를 평가하는 대신, 먼저 왜곡된 좌표를 계산합니다:
$$\xi_i = x_i \sqrt{g_i(x)}$$
여기서 $g_i(x) > 0$은 학습된 계량 성분입니다. 이 왜곡은 급격한 변화 영역을 늘려 (유효 해상도 증가) 매끄러운 영역은 압축합니다. 그런 다음 모델은 이러한 기하학 적응 좌표에서 특징을 구성합니다.

변형

이 논문은 계량이 어떻게 매개변수화되고 왜곡 후 특징이 어떻게 구성되는지에 따라 세 가지 주요 GeoKAN 변형을 제안합니다:

1. GeoKAN-NNMetric: 신경망 (MetricNet) 을 통해 전체 유입 표현으로부터 학습된 결합 계량을 사용합니다. 이는 국소화된 웨이블릿 사전 (멕시코 모자 웨이블릿) 과 부피 요약 항 ($\log \det g$) 과 결합됩니다.
2. GeoKAN-γ: 각 좌표가 독립적으로 자체 스케일링을 학습하는 구조화된 분리 계량을 사용합니다. 왜곡 후 사전 대신, 왜곡된 좌표, 계량의 국소 로그 미분, 그리고 계량 크기 등 계량에서 유도된 명시적 기하학적 특징을 구성합니다.
3. LM-KAN (Learned-Metric KAN): 물리 정보 설정을 위해 특별히 설계되었습니다. GeoKAN-NNMetric 과 같은 결합 학습 계량을 사용하지만, 문제 구조에 따라 왜곡 후 기저를 선택할 수 있게 합니다: 웨이블릿 (LM-KAN-Wav), 방사형 기저 함수 (LM-KAN-RBF), 또는 푸리에 (LM-KAN-Fourier).

물리 정보 학습

물리 정보 설정에서 저자들은 표준 물리 정보 신경망 (PINN) 프레임워크 내에서 대리 모델로 LM-KAN 변형을 사용합니다. 훈련 목표는 지배 미분 방정식, 초기 조건, 그리고 경계 조건을 포함하는 잔차 기반 손실 함수로 유지됩니다. 참신함은 오직 아키텍처에 있습니다: 대리 모델은 손실의 변분 형식을 변경하는 대신, 작업 종속 계량을 학습하고 계량 적응 좌표에서 국소화된 기저 표현을 평가합니다.

주요 기여

1. 기하학적 귀납 편향: 이 논문은 모델이 함수 근사뿐만 아니라 표현 공간의 기하학 자체도 학습하는 프레임워크를 도입하여, 작업 종속적으로 표현 해상도를 재할당할 수 있는 메커니즘을 제공합니다.
2. 세 가지 고유한 아키텍처: GeoKAN-NNMetric, GeoKAN-γ, 그리고 LM-KAN 의 개발은 유연한 결합 계량 접근법부터 구조화된 경량 계량-특징 모델에 이르는 모델 스펙트럼을 제공합니다.
3. 기저 적응: 기하학적 왜곡 내에서 특정 기저 계열 (웨이블릿, RBF, 푸리에) 을 통합함으로써 모델이 특정 문제 유형에 맞춰 귀납 편향을 맞춤화할 수 있게 합니다 (예: 진동하는 헬름홀츠 문제에 대한 푸리에).
4. 종합 벤치마킹: 이 연구는 두 가지 다른 영역에서 이러한 모델들을 평가합니다:
   • 지도 함수 근사: 고유한 근사 장점을 분리하기 위해 매칭된 용량 벤치마크를 사용합니다.
   • 물리 정보 학습: 과학적 컴퓨팅 컨텍스트에서의 성능을 테스트하기 위해 다양한 미분 방정식 (Allen–Cahn, Burgers, Lorenz 시스템, Helmholtz) 을 풉니다.

결과

지도 함수 근사

매칭된 용량 벤치마크 (약 $2 \times 10^4$개 파라미터) 에서 GeoKAN 변형들은 비균일 구조를 가진 목표에 대해 MLP 와 Efficient-KAN 보다 우수한 성능을 보였습니다:

• 고주파 및 국소화된 목표: GeoKAN-NNMetric 과 LM-KAN-Wav 는 고주파 정현파, 계단 불연속, 좁은 바늘, 그리고 다중 스케일 포락선 변조 정현파에서 가장 낮은 평균 제곱 오차 (MSE) 를 달성했습니다.
• 치프 신호: LM-KAN-RBF 는 치프 목표에서 다른 변형들보다 우수한 성능을 보였는데, 이는 RBF 기저가 매끄럽게 변하는 국소 주파수에 더 적합함을 시사합니다.
• 해석: 결과는 학습된 계량이 어려운 영역을 늘리고 매끄러운 영역을 압축하여 파라미터 수를 증가시키지 않고 더 긴밀한 피팅을 이끌어내며 해상도를 효과적으로 재분배함을 확인시켜 줍니다.

물리 정보 학습

LM-KAN 의 성능은 여러 미분 방정식에 걸쳐 표준 PIKAN 베이스라인 (Efficient-KAN 및 Wav-KAN) 과 비교되었습니다:

• Allen–Cahn 방정식 (Case 1): 두 모델 모두 높은 정확도를 달성했습니다. PIKAN 은 약간 더 낮은 최종 손실에 도달했지만, LM-KAN 은 더 적은 파라미터로 훨씬 빠르게 훈련되었습니다 (539 초 대비 315 초).
• Allen–Cahn 방정식 (Case 2 - 강성): 더 날카로운 인터페이스를 가진 더 도전적인 영역에서 LM-KAN 은 더 나은 해 재구성과 낮은 PDE 잔차를 제공했지만, 더 높은 계산 비용 (1281 초 대비 4760 초) 이 소요되었습니다.
• Burgers 방정식: LM-KAN 은 더 많은 파라미터를 가졌음에도 불구하고 PIKAN 과 거의 동일한 최종 손실을 훨씬 짧은 시간 (295 초 대비 206 초) 에 달성하여, 가파른 기울기를 해결하는 데 있어 향상된 계산 효율성을 나타냈습니다.
• Lorenz 시스템: LM-KAN 은 PIKAN 보다 낮은 최종 손실을 달성하여 기하학적 적응이 결합된 비선형 ODE 에 유익함을 보여주었으나, 훈련 시간이 더 길었습니다.
• Helmholtz 방정식: 이 매우 진동하는 영역에서 LM-KAN (푸리에 기저 사용) 은 Efficient-KAN 베이스라인을 현저히 능가했습니다. 거의 동일한 파라미터 수에도 불구하고 최종 손실이 더 낮아졌고 (약 45% 감소), 두 배 이상 빠르게 훈련되었습니다 (166 초 대비 76 초). 기하학적 적응은 파장이 감소함에 따라 위상 정확도와 파동 구조를 유지하는 데 특히 효과적이었습니다.

중요성 및 주장

이 논문은 GeoKAN 이 날카로운 전이, 국소화된 구조, 또는 진동적 복잡성을 특징으로 하는 문제, 특히 과학적 머신러닝을 위해 더 유연하고 종종 더 효과적인 표현 메커니즘을 제공한다고 주장합니다.

• 아키텍처 대 변분: 저자들은 개선이 아키텍처적임을 강조합니다. 훈련 프레임워크 (잔차 기반 손실) 는 표준으로 유지되며, 이득은 대리 모델이 기하학 적응 좌표계를 학습할 수 있는 능력에서 나옵니다.
• 작업 종속 해상도: 주요 중요성은 "가장 필요한 곳에 용량을 배치"할 수 있는 능력입니다. 어려운 영역을 늘리는 계량을 학습함으로써 GeoKAN 은 국소 특징을 전역적으로 해결해야 하는 고정 그리드 표현의 비효율성을 피합니다.
• 겸손한 주장: 저자들은 GeoKAN 이 모든 지표에서 균일하게 우월하지는 않음을 인정합니다. 어떤 경우 (예: Allen–Cahn Case 1) 에는 표준 PIKAN 이 더 낮은 최종 손실이나 더 빠른 훈련을 달성합니다. GeoKAN 의 장점은 강한 비균일성, 강성, 또는 고주파 진동이 있는 영역에서 가장 두드러집니다.
• 미래 방향: 이 논문은 향후 작업이 고차원 PDE 를 위한 이방성 (비대각) 계량과 기저 선택의 추가 적응성을 탐구할 수 있음을 제안합니다.

요약하자면, GeoKAN 은 입력 도메인의 기하학을 학습함으로써 KAN 패러다임을 확장하여, 많은 과학 및 미분 방정식 문제에 내재된 비균일성을 처리하는 견고한 접근법을 제공합니다.