Structured Kolmogorov-Arnold Neural ODEs for Interpretable Learning and Symbolic Discovery of Nonlinear Dynamics

이 논문은 구조화된 상태 공간 모델링과 Kolmogorov-Arnold 네트워크 (KAN) 를 통합한 SKANODE 프레임워크를 제안하여, 비선형 동역학 시스템의 관측 데이터로부터 물리적으로 해석 가능한 잠재 상태와 지배 방정식을 정확하게 복원하고 발견하는 방법을 제시합니다.

핵심

1. 문제: "예측은 잘하는데, 왜 그런지 모른다"

기존의 딥러닝 (Deep Learning) 은 마치 천재적인 요리사와 같습니다. 수많은 재료를 섞어 맛을 내면, 어떤 재료를 얼마나 넣었는지 정확히 기억하지 못해도 맛있는 요리를 만들어냅니다.

• 장점: 매우 정확합니다.
• 단점: "왜 이 맛이 나는지", "어떤 화학 반응이 일어났는지"를 설명해 주지 못합니다. 과학자나 엔지니어에게는 "맛이 좋다"는 것보다 **"왜 맛있는지 (원리)"**를 아는 것이 더 중요합니다.

또한, 기존 기술들은 보통 모든 상태 (위치, 속도 등) 를 직접 측정할 수 있어야 했습니다. 하지만 현실에서는 가속도계 (진동만 측정) 같은 센서만 있어서, 위치나 속도를 직접 볼 수 없는 경우가 많습니다.

2. 해결책: SKANODE (구조화된 콜모고로프 - 아르노드 신경 ODE)

이 논문이 제안한 SKANODE는 이 문제를 해결하기 위해 두 가지 강력한 도구를 결합했습니다.

① "투명한 유리 상자" (구조화된 상태 공간)

기존 AI 는 데이터를 처리할 때 내부 상태를 임의로 만들어냅니다. 하지만 SKANODE 는 "물리 법칙을 미리 정해둔 유리 상자" 안에 데이터를 넣습니다.

• 비유: 자동차를 운전할 때, 속도계와 계기판이 있는 차를 탄다고 상상해 보세요. SKANODE 는 가속도 (진동) 만 보고도, **"이 차가 지금 어디에 있고 (위치), 얼마나 빠르게 가고 있는지 (속도)"**를 물리 법칙을 통해 자연스럽게 추론해냅니다.
• 효과: 우리가 직접 측정하지 않은 '위치'와 '속도'를 AI 가 스스로 찾아내어, 마치 **가상 센서 (Virtual Sensing)**처럼 작동하게 합니다.

② "수학 공식을 찾아내는 탐정" (KAN - 콜모고로프 - 아르노드 네트워크)

기존 AI 는 복잡한 함수를 블랙박스로 학습하지만, SKANODE 에 쓰인 KAN이라는 기술은 수학 공식을 직접 찾아내는 능력이 있습니다.

• 비유: KAN 은 복잡한 기계의 소리를 듣고, "아, 이 기계는 A + B²라는 공식으로 움직이는구나!"라고 **간결한 수학 공식 (기호)**을 종이에 적어내는 탐정입니다.
• 효과: AI 가 학습한 복잡한 관계를 "인간이 읽을 수 있는 공식"으로 바꿔줍니다.

---

3. SKANODE 가 어떻게 작동하는가? (두 단계 과정)

SKANODE 는 두 단계로 일을 처리합니다.

1. 1 단계: 가상 센서로 상태 파악하기
   • 가속도 (진동) 데이터만 주어지면, 물리 법칙을 적용하여 위치와 속도를 추론합니다. 이때 KAN 이 복잡한 관계를 학습합니다.
2. 2 단계: 공식으로 정리하기
   • 학습된 위치와 속도 데이터를 바탕으로, KAN 이 **"이 시스템의 움직임을 설명하는 진짜 수학 공식"**을 찾아냅니다.
   • 찾은 공식은 다시 시스템에 넣어 예측 정확도를 높입니다.

---

4. 실제 실험 결과 (세 가지 사례)

이 기술은 세 가지 다른 상황에서 테스트되었습니다.

• 사례 1: 덩핑 진자 (Duffing Oscillator)
  • 상황: 탄성이 비선형인 진자가 흔들리는 실험.
  • 결과: SKANODE 는 **"위치의 세제곱 (x³)"**이라는 복잡한 비선형 항이 있다는 것을 정확히 찾아냈습니다. 마치 "이 진자는 평범한 진자가 아니라, 특정 공식으로 움직이는 특별한 진자야!"라고 설명해 준 것입니다.
• 사례 2: 반 더 폴 진자 (Van der Pol Oscillator)
  • 상황: 마찰력이 속도에 따라 변하는 진자.
  • 결과: 마찰력이 속도와 위치의 곱에 비례한다는 비선형 감쇠 공식을 정확히 찾아냈습니다.
• 사례 3: F-16 전투기 (실제 데이터)
  • 상황: 실제 F-16 전투기의 날개와 탑재물 연결부의 진동 데이터.
  • 결과: 여기서는 **'히스테리시스 (Hysteresis, 기억 효과)'**라는 복잡한 현상을 발견했습니다. 즉, "진동이 커질 때와 줄어들 때의 경로가 다르다"는 것을 AI 가 찾아내어, 비행기 연결부의 마모나 피로 손상을 예측할 수 있는 단서를 제공했습니다.

---

5. 왜 이것이 중요한가?

1. 신뢰성: "AI 가 이렇게 예측했다"라고만 하는 게 아니라, **"이 공식에 따라 움직이니까 이렇게 예측했다"**라고 설명할 수 있습니다.
2. 실용성: 모든 상태를 측정할 수 없는 상황 (가속도만 측정) 에서도 정확한 위치와 속도를 복원할 수 있습니다.
3. 효율성: 복잡한 계산을 매번 할 필요 없이, 찾아낸 간단한 수학 공식만으로도 실시간 제어가 가능합니다. (예: 비행기 제어 시스템에 바로 적용 가능)

요약

SKANODE는 "블랙박스"였던 AI 를 **"투명한 유리 상자"**로 바꾸고, 복잡한 데이터 속에서 **"인간이 이해할 수 있는 물리 법칙 (수학 공식)"**을 찾아내는 혁신적인 기술입니다. 이는 과학자와 엔지니어가 복잡한 시스템을 더 잘 이해하고, 안전하고 신뢰할 수 있는 결정을 내리는 데 큰 도움을 줄 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

과학 및 공학 분야에서 비선형 동적 시스템을 이해하고 모델링하는 것은 핵심적인 과제입니다. 최근 딥러닝은 복잡한 시스템 행동을 포착하는 데 탁월한 성능을 보이지만, 정확성과 물리적 해석 가능성 (Interpretability) 을 동시에 달성하는 것은 여전히 큰 어려움으로 남아 있습니다.

기존 방법론들의 한계는 다음과 같습니다:

• Neural ODE (NODE): 연속 시간 모델을 제공하지만, 학습된 잠재 상태 (Latent State) 가 물리적으로 의미 있는 양 (변위, 속도 등) 과 일치하지 않아 '블랙박스' 모델로 남는 경우가 많습니다.
• 기호적 방정식 발견 (Symbolic Equation Discovery, 예: SINDy): 명시적인 수학적 식을 찾지만, 일반적으로 모든 물리 상태와 그 미분값에 대한 직접적인 관측이 필요하며, 노이즈가 있는 간접 측정 데이터 (가속도 등) 에서는 실패하기 쉽습니다.
• 부분 관측성 문제: 실제 공학 시스템에서는 변위나 속도를 직접 측정하기 어렵고, 가속도계와 같은 고차 미분 측정값만 얻는 경우가 많습니다. 이러한 간접 측정 데이터로부터 물리적으로 의미 있는 상태와 지배 방정식을 동시에 복원하는 것은 기존 기술로 어렵습니다.

2. 제안된 방법론: SKANODE (Methodology)

저자들은 구조화된 콜모고로프 - 아르놀드 신경 ODE (Structured Kolmogorov-Arnold Neural ODEs, SKANODE) 라는 새로운 프레임워크를 제안합니다. 이는 구조화된 상태 공간 모델링과 콜모고로프 - 아르놀드 네트워크 (KAN) 를 통합하여, 간접 측정 데이터 (가속도) 로부터 해석 가능한 물리 상태와 지배 방정식을 학습합니다.

핵심 구성 요소:

1. 구조화된 상태 공간 모델 (Structured State-Space Modeling):

   • 시스템의 물리적 성질 (2 차 미분 방정식) 을 모델 구조에 인코딩합니다.
   • 잠재 상태 $z(t)$ 를 물리적으로 의미 있는 변위 ($x$) 와 속도 ($v$) 로 명시적으로 정의합니다.
   • 관측 모델은 가속도 ($\ddot{x}$) 로 설정하며, 이는 상태 전이 함수 $h(x, v, u)$ 와 동일하게 작용하도록 설계됩니다. 이를 통해 변위, 속도, 가속도 간의 물리적 일관성을 강제합니다.

2. 콜모고로프 - 아르놀드 네트워크 (KAN) 활용:

   • KAN 은 전통적인 MLP 와 달리 활성화 함수가 학습 가능한 스플라인 (spline) 함수로 구성됩니다.
   • 범용 함수 근사기 (Universal Approximator): 복잡한 비선형 동역학을 정확하게 학습합니다.
   • 기호적 추출 (Symbolic Extraction): 학습된 스플라인 함수를 조밀한 기호식 (Symbolic Expression) 으로 변환할 수 있어, 지배 방정식을 직접 발견할 수 있습니다.

3. 2 단계 학습 전략 (Two-Stage Learning):

   • 1 단계 (KAN_approx): 가속도 측정 데이터만으로 구조화된 Neural ODE 를 학습하여 물리적으로 의미 있는 잠재 상태 (변위, 속도) 를 복원합니다.
   • 2 단계 (KAN_symbolic): 복원된 상태 데이터를 입력으로 사용하여 KAN 의 기호적 기능을 활성화, 시스템의 지배 방정식을 명시적인 수학적 식으로 추출합니다. 추출된 식을 다시 ODE 프레임워크에 통합하여 정밀도를 보정합니다.

3. 주요 기여 (Key Contributions)

• 부분 관측 하의 물리 상태 복원: 변위나 속도를 직접 측정하지 않고 가속도 데이터만으로 물리적으로 해석 가능한 잠재 상태 (변위, 속도 궤적) 를 정확하게 복원합니다.
• 종단간 기호적 방정식 발견: 블랙박스 모델 학습 후 사후 처리 (post-hoc) 로 방정식을 찾는 것이 아니라, 학습 과정 자체에서 지배 방정식을 기호식으로 직접 발견하고 정제합니다.
• 물리적 일관성 보장: 구조화된 상태 공간 설계를 통해 학습된 모델이 물리 법칙 (예: 가속도는 속도의 미분) 을 따르도록 유도하여, 해석 가능성과 예측 정확도를 동시에 향상시킵니다.
• 실제 적용 가능성 검증: 단순한 시뮬레이션뿐만 아니라 실제 항공기 (F-16) 진동 데이터와 같은 복잡한 실증 데이터를 통해 방법론의 유효성을 입증했습니다.

4. 실험 결과 (Results)

저자는 세 가지 사례 (Duffing 진자, Van der Pol 진자, F-16 항공기 지면 진동 데이터) 를 통해 SKANODE 를 평가했습니다.

• Duffing Oscillator (큐빅 강성 비선형성):

  • SKANODE 는 정확한 큐빅 (3 차) 항이 포함된 지배 방정식을 발견했습니다.
  • 다른 모델 (ANODE, SONODE, ARX/NARX) 은 가속도 예측은 어느 정도 가능했으나, 잠재 상태 (변위/속도) 복원에서는 큰 오차를 보였거나 물리적 의미가 없었습니다.
  • SKANODE 는 노이즈가 있는 환경에서도 가장 낮은 MSE 와 SSIM 점수를 기록하며 안정성을 입증했습니다.
  • 제어 적용: 발견된 기호식을 기반으로 한 피드백 선형화 (Feedback Linearization) 제어기는 뉴턴 역법을 사용하는 수치적 방법과 유사한 제어 성능을 내면서도 계산 시간을 약 7,400 배 단축했습니다.

• Van der Pol Oscillator (비선형 감쇠):

  • 변위와 속도의 곱으로 표현되는 비선형 감쇠 항을 정확히 식별했습니다.
  • 기존 딥러닝 기반 모델들은 동역학 학습에 실패하거나 추상적인 상태만 학습한 반면, SKANODE 는 물리적 의미를 가진 상태를 복원했습니다.

• F-16 항공기 (실제 데이터):

  • 날개와 페이로드 간의 비선형 인터페이스에서 발생하는 히스테리시스 (Hysteresis) 현상을 포착했습니다.
  • SKANODE 는 위상 공간 (Phase Portrait) 에서 히스테리시스 고리를 명확히 보여주었으며, 추가적인 히스테리시스 상태 변수를 도입하여 지배 방정식을 성공적으로 발견했습니다.
  • 기존 수치적 방법 (SINDy 등) 은 내부 히스테리시스 메커니즘을 고려하지 못해 예측이 발산하는 반면, SKANODE 는 높은 정확도를 유지했습니다.

5. 의의 및 결론 (Significance)

이 연구는 딥러닝의 표현 능력과 물리 기반 모델의 해석 가능성 사이의 간극을 해소했습니다. SKANODE 는 다음과 같은 점에서 의의가 있습니다:

1. 신뢰할 수 있는 과학적 모델링: 블랙박스 모델의 불투명성을 극복하여, 공학 및 과학 분야에서 신뢰할 수 있는 의사결정을 지원합니다.
2. 실제 공학 문제 해결: 센서 데이터의 한계 (간접 측정, 노이즈) 를 극복하고, 복잡한 구조물의 비선형 동역학 및 손상 (피로, 마모 등) 을 진단하는 데 활용 가능합니다.
3. 효율적인 제어 및 시뮬레이션: 발견된 기호식은 실시간 제어 및 시뮬레이션에 직접 적용 가능하여 계산 비용을 대폭 절감합니다.

결론적으로, SKANODE 는 부분 관측이 가능한 복잡한 비선형 시스템에 대해 정확한 예측, 물리적으로 해석 가능한 상태 복원, 그리고 명시적인 지배 방정식 발견을 동시에 수행할 수 있는 강력한 프레임워크로 평가됩니다.