기술 요약: 비선형 구조 동역학을 위한 물리 정보 신경 대리 모델의 스펙트럼 편향 완화

1. 문제 정의

물리 정보 신경망(PINN)에 사용되는 표준 다층 퍼셉트론(MLP)은 스펙트럼 편향(spectral bias), 즉 신호의 저주파 성분은 학습하는 반면 고주파 모드는 포착하지 못하는 체계적인 경향을 보입니다. 이러한 한계는 시스템 응답이 모드 상호작용, 이력 현상(hysteresis), 비선형 강성으로부터 발생하는 다중 주파수 성분(예: 기본 모드 및 고차 조화파)을 본질적으로 포함하는 비선형 구조 동역학에서 매우 치명적입니다.

최 최근의 대안인 **콜모고로프-아르노프 네트워크(KAN)**는 학습 가능한 에지 활성화 함수를 통해 이를 완화할 수 있다고 제안되었으나, KAN과 MLP에 대한 기존의 비교 연구들은 종종 결함이 있습니다. 선행 연구들은 빈번하게 다음과 같은 문제점을 노출합니다:

• 불균등한 파라미터 수.
• 부적절한 입력 정규화(활성화 포화 유발).
• 비제로 상태임에도 하드코딩된 제로 초기 조건(IC) 적용.
• 일관되지 않은 물리 정보 제약 조건 적용.

이러한 방법론적 불일치는 아키텍처의 선택과 입력 표현 방식 간의 효능에 대해 오해의 소지가 있는 결론을 도출하게 만듭니다.

2. 방법론

본 연구는 입력 표현과 백본 아키텍처의 효과를 분리하기 위해 엄격하고 파라미터가 일치된 실험 프레임워크를 구축합니다.

2.1 벤치마크 문제

각기 다른 동역학 클래스를 대표하는 네 가지 정형 비선형 동역학 문제를 선정하였습니다:

1. Bouc–Wen 이력 진동자: 속도 독립적 이력 현상 (데이터 기반 학습).
2. Duffing 진동자: 준주기적 거동을 갖는 3차 기하학적 강성 (물리 정보 기반).
3. 강제 Van der Pol 진동자: 자가 흥분 한계 주기 진동 (물리 정보 기반).
4. 3-DOF 전단 빌딩: 선형 다주파 모드 중첩 (데이터 기반).

2.2 아키텍처 설계 (2 × 2 요인 설계)

공정한 비교를 위해 모든 모델을 약 16,400개의 학습 가능한 파라미터로 제한하여 설계하였습니다:

1. Plain MLP: 정규화된 시간 입력($t/t_{max}$)을 사용하는 표준 MLP.
2. Fourier-MLP: 푸리에 특징 인코딩($\Phi(t)$)을 적용한 MLP.
3. KAN-only: 학습 가능한 체비쇼프 다항식 활성화를 사용하며 정규화된 시간 입력을 받는 KAN.
4. FPIKAN (Fourier-enhanced KAN): 푸리에 특징 인코딩을 적용한 KAN.

주요 방법론적 통제 항목:

• 입력 정규화: $\tanh$ 포화를 방지하기 위해 Plain MLP와 KAN-only의 입력을 $[0, 1]$로 정규화하였습니다. 푸리에 모델은 사인/코사인 함수 덕분에 이에 영향을 받지 않습니다.
• 초기 조건: 제로로 하드코딩하는 대신 실제 물리적 초기 조건($u(0), \dot{u}(0)$)을 명시적으로 강제하였습니다.
• 손실 함수: 데이터 충실도($L_{data}$), 초기 조건 제약($L_{IC}, L_{vel}$), 그리고 적용 가능한 벤치마크에 대한 물리 잔차($L_{phys}$)로 구성된 통합 손실 함수를 사용하였습니다.
• 학습: 코사인 어닐링(cosine annealing)을 적용한 Adam 옵티마이저를 사용하여 5,000 에포크 동안 학습하였습니다.

2.3 이론적 분석

본 연구는 KAN 레이어의 그래디언트 흐름 분석을 포함합니다. 연구는 체비쇼프 다항식이 암시적 스펙트럼 분해기 역할을 하지만, 이들의 2차 미분(2차 미분 방정식의 물리 정보 손실에 필요)이 진동하는 그래디언트 크기를 생성한다고 가정합니다. 이러한 진동은 푸리에 인코딩된 입력과 결합될 때 상충하는 최적화 지형을 만들어 학습을 불안정하게 만들 수 있습니다.

3. 주요 기여

1. 파라미터 매칭 비교: 엄격하게 동일한 모델 용량(~16.4k 파라미터)을 사용하여 KAN과 MLP 아키텍처를 네 가지 비선형 벤치마크에서 비교한 최초의 엄격한 연구입니다.
2. 요인 제거 연구(Factorial Ablation Study): 푸리에 특징 인코딩과 백본 아키텍처(MLP 대 KAN)의 개별적 기여를 분리하는 체계적인 $2 \times 2$ 설계를 수행하였습니다.
3. 방법론적 교정: 기존 PINN 문헌에서 결과를 왜곡할 수 있는 7가지 일반적인 구현 오류(예: 속도 IC 누락, 비정규화된 시간, 불일치하는 파라미터 등)를 식별하고 수정하였습니다.
4. 그래디언트 불일치 분석: 푸리에 인코딩과 체비쇼프 기반 KAN의 결합이 왜 성능을 저하시키는지(그래디언트 역학의 충돌 때문)에 대한 수학적 증명을 제공합니다.
5. 스펙트럼 충실도 평가: 시간 영역의 오차 지표만으로는 스펙트럼 편향을 진단하기에 불충분함을 보여주는 주파수 영역 분석을 수행하였습니다.

4. 결과

4.1 푸리에 특징 인코딩의 우세성

가장 중요한 발견은 푸리에 특징 인코딩이 스펙트럼 편향을 완화하는 데 있어 가장 지배적인 요인이라는 점입니다.

• Plain MLP에 푸리에 인코딩을 추가했을 때, 모든 벤치마크에서 상대적 $L_2$ 오차가 98.6%에서 100%까지 감소했습니다.
• Fourier-MLP는 네 가지 벤치마크 모두에서 가장 낮은 오차($L_2 \le 0.014$, Duffing 및 Van der Pol의 경우 $L_2 < 10^{-3}$)를 달성했습니다.
• 푸리에 인코딩이 없는 경우, Plain MLP와 KAN-only 모두 Bouc–Wen 및 3-DOF 빌딩 벤치마크에서 고주파 역학을 포착하는 데 실패하여 $L_2 \approx 1.0$(거의 제로 예측)을 기록했습니다.

4.2 푸리에 인코딩이 없는 KAN의 성능

푸리에 인코딩이 없는 상태에서는 KAN-only가 Plain MLP보다 우수한 성능을 보였습니다:

• Duffing: KAN이 오차를 1.9배 감소시켰습니다 ($0.074$대$0.139$).
• Van der Pol: KAN이 오차를 3.5배 감소시켰습니다 ($0.164$대$0.574$).
• 이는 학습 가능한 체비쇼프 활성화 함수가 암시적 스펙트럼 분해기로서 작용하여 단순한 주파수 영역에서의 편향을 부분적으로 완화한다는 것을 확인시켜 줍니다.

4.3 FPIKAN의 "역설"

두 가지 완화 전략을 결합하면 더 나은 결과가 나올 것이라는 예상과 달리, FPIKAN은 일관되게 Fourier-MLP보다 낮은 성능을 보였습니다.

• Duffing 벤치마크에서 KAN에 푸리에 인코딩을 추가했을 때 오차가 201.7% 증가했습니다 ($0.074$에서$0.224$로).
• Van der Pol 벤치마크에서는 오차가 9.0% 증가했습니다.
• 원인: 고차 체비쇼프 다항식에 내재된 진동하는 그래디언트 크기가 2차 물리 잔차에 필요한 매끄러운 최적화 지형과 충돌하기 때문입니다.

4.4 수렴 및 스펙트럼 분석

• 수렴: Fourier-MLP는 $MSE < 10^{-7}$까지 매끄럽게 수렴했습니다. FPIKAN은 초기에 수렴하는 듯했으나 높은 오차 수준($10^{-3}$ ~ $10^{-5}$)에서 정체되었으며, 이는 그래디언트 불안정성 가설과 일치합니다.
• 스펙트럼 충실도: Fourier-MLP는 전체 주파수 스펙트럼을 정확하게 재구성했습니다. 비-푸리에 모델들은 심각한 고주파 감쇠를 보였으며, 이는 2~3 Hz 이상의 모드를 효과적으로 필터링해 버리는 결과를 낳았습니다.

5. 의의 및 결론

본 논문은 비선형 구조 동역학을 위한 물리 정보 신경 대리 모델에 대해 다음과 같이 결론짓습니다:

1. 입력 표현이 핵심적이다: 푸리에 특징 인코딩은 백본 아키텍처와 관계없이 스펙트럼 편향을 효과적으로 제거하는 가장 중요한 설계 요소입니다.
2. 권장 아키텍처: Fourier-MLP가 가장 낮은 오차, 가장 빠른 학습 속도(KAN 대안보다 약 2배 빠름), 그리고 가장 단순한 구현을 제공하므로 권장됩니다.
3. 독립적 KAN의 가치: 푸리에 인코딩을 사용할 수 없는 상황(예: 주파수 범위를 알 수 없는 경우)에서 KAN은 암시적 스펙트럼 분해를 통해 MLP보다 최대 3.5배 우수한 성능을 보이므로 가치가 있습니다.
4. 결합의 역효과: 현재로서는 푸리에 인코딩과 체비쇼프 기반 KAN을 결합하는 것(FPIKAN)은 그래디언트 불일치로 인해 오히려 역효과를 냅니다. 저자들은 이를 해결하기 위해 미분값이 유계된(bounded) B-스플라인 또는 웨이브릿 기반 KAN 변형에 대한 향후 탐구를 제안합니다.
5. 방법론적 엄밀성: 본 연구는 이전의 비교 문헌들이 구현상의 결함으로 인해 왜곡되었을 수 있음을 강조합니다. 엄격한 파라미터 매칭, 적절한 정규화, 그리고 정확한 초기 조건 적용은 이 분야에서 유효한 과학적 결론을 도출하기 위해 필수적입니다.