🤖 machine learning

Learning Deterministic and Stochastic Forced Hamiltonian Systems

이 논문은 결정론적 및 확률적 강제 해밀턴 시스템을 모두 학습하기 위한 기하학적 프레임워크와 일반화된 강제 해밀턴 신경망(GFHNNs)이라 불리는 새로운 구조 보존 신경망 클래스를 소개하며, 비기하학적 대안들에 비해 우수한 장기 안정성, 정확도 및 데이터 효율성을 입증한다.

원저자: Benedikt Brantner, Tomasz Tyranowski

게시일 2026-08-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Benedikt Brantner, Tomasz Tyranowski

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

물리적 세계에서 많은 시스템은 에너지가 어떻게 이동하고 변화하는지를 규정하는 일련의 규칙, 즉 숨겨진 리듬을 따릅니다. 흔들리는 진자나 별 주위를 궤도 운동하는 행성을 생각해 보십시오. 이것들은 과학자들이 해밀턴 시스템(Hamiltonian systems)이라고 부르는 것의 예입니다. 수 세기 동안 수학자들은 이러한 시스템이 장기간 안정성을 유지하게 하는 일종의 내부 구조, 즉 특별한 기하학적 구조를 가지고 있다는 사실을 알고 있었습니다. 하지만 현실 세계는 결코 완벽하지 않습니다. 마찰은 움직임을 둔화시키고, 외부의 밀거나 당기는 힘이 끊임없이 개입합니다. 이러한 외부 힘이 시스템에 작용할 때, 이상적인 세계의 우아한 규칙은 무너지고 시스템은 주변 환경과 에너지를 교환하게 됩니다. 이러한 시스템이 시간이 지남에 따라 어떻게 행동할지 예측하는 것은 어렵습니다. 왜냐하면 표준적인 수학적 도구들은 시뮬레이션이 길어질수록 정확도를 잃으며 진실로부터 멀어지는 경향이 있기 때문입니다.

수십 년 동안 과학자들은 이 문제를 해결하기 위해 인공지능을 사용하는 방법을 시도해 왔습니다. 그들은 컴퓨터 프로그램이 운동을 설명하는 방정식을 학습하도록 가르쳐, 기계가 시스템의 미래 상태를 예측할 수 있기를 희망했습니다. 이러한 방식은 짧은 시간 동안은 잘 작동하지만, 장기적으로는 실패하는 경우가 많습니다. 컴퓨터는 즉각적인 단계는 학습하지만, 시스템을 안정적으로 유지하는 근본적인 기하학적 구조는 잊어버립니다. 결과적으로 예측된 경로는 잠시 동안은 올바르게 보일 수 있지만, 몇 시간 또는 며칠이 지나면 시스템이 준수해야 할 기본적인 물리 법칙을 위반하며 경로를 크게 벗어나게 됩니다. 이는 로봇 팔이 수년간 정밀하게 움직여야 하는 로봇 공학이나, 핵융합로 내부의 초고온 가스 거동을 모델링하는 플라즈마 물리학과 같은 분야에서 중요한 장애물입니다.

독일과 네덜란드의 연구팀은 처음부터 이러한 복잡한 시스템의 숨겨진 기하학을 존중하는, 컴퓨터에게 이 시스템들을 가르치는 새로운 방법을 개발했습니다. 연구진은 신경망에게 운동의 규칙을 추측하라고 요구하는 대신, 그 규칙 자체로 네트워크를 구축했습니다. 그들은 '일반화된 강제 해밀턴 신경망(Generalized Forced Hamiltonian Neural Networks)'이라는 새로운 유형의 인공지능 아키텍처를 만들었습니다. 이 네트워크는 시행착오를 통해 배우는 단순한 블랙박스가 아닙니다. 이는 시스템의 구조를 보존하는 것으로 알려진 작고 검증된 수학적 단계들을 엮어서 만들어졌습니다. 연구진은 네트워크가 충분히 크다면, 이 접근 방식이 어떤 시스템의 거동도 극도로 정밀하게 근사할 수 있음을 수학적으로 증명했습니다.

연구팀은 몇 가지 까다로운 사례를 사용하여 이 새로운 방법의 성능을 전통적인 비기하학적 신경망과 비교 테스트했습니다. 먼저 그들은 마찰이 있는 스프링을 모사하는 시스템인 감쇠 조화 진동기(damped harmonic oscillator)로 시작했습니다. 이 테스트에서 새로운 기하학적 네트워크는 전통적인 네트워크보다 훨씬 적은 데이터 포인트만으로도 운동을 학습했습니다. 더 중요한 점은, 연구진이 네트워크에 시스템의 행동을 먼 미래까지 예측하도록 요청했을 때 전통적인 네트워크는 실패했다는 것입니다. 그들의 예측은 올바른 에너지 균형을 잃고 통제 불능 상태로 치솟았습니다. 반면, 새로운 기하학적 네트워크는 수천 번의 타임 스텝을 시뮬레이션한 후에도 올바른 물리적 특성을 유지하며 궤도를 유지했습니다. 차이는 극명했습니다. 전통적인 네트워크는 새로운 네트워크가 달성한 정확도에 근접하기 위해 방대한 양의 훈련 데이터를 필요로 했습니다.

연구진은 단순하고 예측 가능한 시스템에 머물지 않았습니다. 그들은 시간에 따라 변하는 시스템과 분자 역학에서 발견되는 예측 불가능한 떨림과 같은 무작위 노이즈의 영향을 받는 시스템으로 그들의 방법을 확장했습니다. 무작위 변동을 네트워크가 학습할 수 있는 매개변수 집합으로 취급함으로써, 그들은 자신들의 기하학적 프레임워크가 이러한 혼돈스러운 시나리오에서도 똑같이 잘 작동함을 보여주었습니다. 시스템이 무작위적인 힘에 의해 휘둘리는 확률적 진동기(stochastic oscillator)를 포함한 테스트에서, 새로운 네트워크는 다시 한번 표준적인 접근 방식을 능가했습니다. 이 네트워크는 시스템의 미묘한 장기적 거동을 훨씬 더 정확하게 포착한 반면, 전통적인 네트워크는 시간이 지남에 따라 급격히 증가하는 오차를 내며 따라가는 데 어려움을 겪었습니다.

이 성공의 핵심은 네트워크가 구축되는 방식에 있습니다. 연구진은 외부 힘이 가해질 때 시스템이 어떻게 움직이는지를 설명하는 라그랑주-달랑베르 원리(Lagrange-d'Alembert principle)라는 물리학 원리를 사용했습니다. 그들은 이 원리를 특정 유형의 수학적 맵, 즉 시스템의 내부 구조를 깨뜨리지 않으면서 한 순간에서 다음 순간으로 시스템을 이동시키는 단계별 절차로 번역했습니다. 이러한 맵들을 사슬처럼 연결함으로써, 그들은 본질적으로 안정적인 신경망을 만들었습니다. 시스템의 전체 흐름을 한꺼번에 학습하려고 시도하는 다른 방법들과 달리, 이 접근 방식은 작고 신뢰할 수 있는 벽돌들로부터 흐름을 구축합니다. 이는 컴퓨터가 새로운 문제의 구체적인 세부 사항을 학습하는 동안에도 근본적인 규칙을 결코 놓치지 않도록 보장합니다.

이 연구의 함의는 장기 시뮬레이션에 의존하는 모든 이들에게 매우 중요합니다. 공학과 과학에서, 시스템이 몇 초 후의 상태를 아는 것보다 몇 달 또는 몇 년 동안 어떻게 행동할지 예측하는 것이 더 중요한 경우가 많습니다. 이 새로운 방법은 방대한 양의 데이터를 수집할 필요 없이(데이터 수집은 실험에서 비용이 많이 들거나 불가능할 수 있습니다) 장기적인 안정성을 달ей할 수 있는 길을 제시합니다. 연구진은 문제의 기하학적 구조를 존중함으로써 신경망이 더 효율적이고 신뢰할 수 있는 학습자가 된다는 것을 입증했습니다. 그것은 단순히 데이터를 암기하는 것이 아니라, 운동의 형태를 이해하는 것입니다.

이 연구는 복잡한 물리 시스템을 위한 더 강력한 모델의 문을 열어줍니다. 저자들은 이 프레임워크가 정밀한 장기 제어가 필수적인 로봇 공학이나, 전하를 띤 입자의 거동을 시뮬레이션하는 것이 계산적으로 비용이 많이 드는 계산 플라즈마 물리학에 적용될 수 있다고 제안합니다. 높은 정확도와 낮은 데이터 요구량으로 이러한 시스템을 학습할 수 있는 방법을 제공함으로써, 이 새로운 아키텍처는 과학자와 엔지니어들에게 강력한 도구가 될 수 있습니다. 이는 인공지능을 바라보는 우리의 관점의 변화를 의미합니다. 즉, 순수한 데이터 피팅에서 벗어나 우주의 근본적인 법칙에 기반을 둔 기계를 만드는 방향으로 나아가는 것입니다. 이 작업은 우리가 컴퓨터에게 자연의 기하학을 존중하도록 가르칠 때, 그들이 이전에는 도달할 수 없었던 명확함으로 미래를 예측할 수 있음을 증명합니다.

기술 요약: 결정론적 및 확률적 강제 해밀턴계의 학습

문제 정의

외부 입력과 소산 효과를 통해 환경과 에너지를 교환하는 강제 해밀턴계(Forced Hamiltonian systems)는 로보틱스, 플라즈마 물리학, 제어, 분자 역학 등 다양한 분야에서 보편적으로 나타난다. 보존계와 달리, 이러한 시스템은 전통적인 의미에서의 심플렉틱성(symplecticity)을 보존하지 않지만, 라그랑주-달랑베르 원리(Lagrange-d’Alembert principle)에 의해 지배되는 기저의 기하학적 구조를 갖는다.

기존의 신경망 기반 미분 방정식 학습 방식은 대개 다음 두 가지 범주로 나뉜다:

비기하학적 적분기(Non-geometric integrators): 표준 아키텍처(예: MLP, ResNet)는 해를 근사하지만 기하학적 구조를 보존하는 데 실패하며, 이로 인해 장기 안정성이 떨어지고 질적인 거동을 정확하게 포착하지 못한다.
구조 보존 방법(Structure-preserving methods): 해밀턴 신경망(HNN)이나 심플렉틱 신경망(SympNets)과 같은 아키텍처는 기하학적 성질을 보존한다. 그러나 이들 중 다수는 보존계로 제한되어 있거나, 흐름 맵(flow maps)이 아닌 지배 방정식을 학습하며, 일반적인 외부 강제력 및 확률성을 처리하기 위한 통합된 프레임워크가 부족하다.

본 연구에서 다루는 주요 과제는 기하학적 구조, 특히 라그랑주-달랑베르 구조를 엄격히 보존하면서 파라미터에 의존하는 강제 해밀턴계(결정론적 및 확률적 모두 포함)의 흐름을 학습할 수 있는 신경망 아키텍처를 설계하는 것이다.

방법론

이론적 토대

저자들은 라그랑주-달랑베르 원리와 변분 적분기(variational integrators) 이론에 뿌리를 둔 기하학적 프레임워크를 구축한다.

라그랑주-달랑베르 맵(Lagrange-d'Alembert Maps): 저자들은 강제 해밀론계의 시간- $T$ 진화 맵을 라그랑주-달랑베르 맵으로 정의한다. 심플렉틱 맵과 달리, 이 맵들은 반드시 심플렉틱할 필요는 없으나 이산적인 힘(discrete forces)을 포함하는 변분 원리를 만족한다.
수렴 정리(Convergence Theorem): 1차 단일 단계 방법(특히 라그랑주-달랑베르-오일러 및 리-트리터 분할 스킴)에 대한 $C^r$ 수렴 정리가 확립되었다. 이 정리는 이러한 적분기들의 합성이 콤팩트 집합 상의 강한 $C^r$ 위상에서 실제 흐름으로 수렴함을 증명하며, 이는 신경망을 통해 흐름을 근사하는 수학적 근거를 제공한다.
파라미터 및 확률적 확장: 이 프레임워크는 파라미터 의존 시스템 및 확률적 강제 해밀턴계로 확장된다. 확률적 시스템의 경우, 스트라토노비치-테일러 전개(Stratonovich-Taylor expansion)에 나타나는 다중 스트라토노비치 적분을 파라미터로 해석한다. 이를 통해 기초적인 위너 과정(Wiener process) 증분이 가용하다면, 확률적 흐름을 파라미터 의존형 라그랑주-달랑베르 맵으로 취급할 수 있다.

신경망 아키텍처

이론적 결과를 바탕으로, 본 논문은 두 가지 구체적인 아키텍처를 제안한다:

일반화된 강제 해밀턴 신경망 (GFHNNs):
- 자율 강제 해밀턴 시스템을 위해 설계되었다.
- 라그랑주-달랑베르-오일러(LDE) 맵의 연결로 구성된다.
- 각 LDE 블록은 분리 가능한 해밀토니안( $H = T(p) + U(q)$ )과 강제 항 $f$ 를 사용하여 흐름의 한 단계를 근사한다.
- 운동 에너지 $T$ , 위치 에너지 $U$ , 그리고 강제 함수 $f$ 는 다층 퍼셉트론(MLP)에 의해 모델링된다.
- 지배 방정식을 학습하는 방식과 달리, GFHNN은 **흐름 맵(flow map)**을 직접 학습한다.
파라미터 일반화 강제 해밀턴 신경망 (PGFHNNs):
- 파라미터 $\mu$ (시간 $t$ 및 확률적 증분 포함)에 의존하는 시스템을 처리하기 위한 GFHNN의 확장형이다.
- MLP의 입력을 파라미터 $\mu$ 로 확장한다.
- 확률적 시스템의 경우, 위너 과정의 증분(및 고차 스킴을 위한 고차 스트라토노비치 적분)을 파라미터 벡터 $\mu$ 로 취급한다.

보편적 근사 (Universal Approximation)

본 논문은 GFHNN과 PGFHNN 모두에 대해 보편적 근사 정리를 증명한다. 이 정리들은 제안된 아키텍처가 콤팩트 집합 상의 $C^r$ 위상에서 라그랑주-달랑베르 맵(및 그 파라미터 버전)의 공간에서 조밀(dense)함을 보여준다. 이는 충분한 용량이 주어진다면, 이 네트워크들이 임의의 강제 해밀턴계의 실제 흐름을 매우 정밀하게 근사할 수 있음을 보장한다.

주요 결과

저자들은 여러 벤치마크 문제를 대상으로 제안된 아키텍처를 비기하학적 잔차 신경망(ResNet)과 비교 평가하였다:

선형 감쇠 조화 진동자 (Linearly Damped Harmonic Oscillator):
- GFHNN은 특히 감쇠 계수가 낮아 궤적이 장기간 진화하는 경우, ResNet에 비해 우수한 장기 안정성과 정확도를 보여주었다.
- GFHNN은 유사한 성능을 달성하기 위해 훨씬 적은 양의 훈련 데이터를 필요로 했다.
이차 감쇠 진자 (Quadratically Damped Pendulum):
- 해석적 해가 없는 상황에서, 암시적 미드포인트 방법(implicit midpoint method)으로 생성된 데이터로 학습된 GFHNN은 소산적 거동과 해밀턴 진화를 재현하는 데 있어 ResNet보다 뛰어난 성능을 보였다.
시간 의존적 감쇠 조화 진동자 (Time-Dependent Damped Harmonic Oscillator):
- 시간을 파라미터로 취급하여 시간 의존적 흐름을 학습하는 PGFHNN을 사용했을 때, 기하학적 아키텍처는 ResNet이 발산하는 장기 구간에서도 정확도를 유지했다.
- PGFHNN의 정확도에 도달하기 위해 ResNet은 약 7.6배 더 큰 훈련 데이터셋이 필요했다.
강제 쿠보 진동자 (Forced Kubo Oscillator, 확률적):
- 위너 증분을 파라미터로 취급하여 확률적 강제 해밀턴계에 PGFHNN 프레임워크를 적용하였다.
- 기하학적 아키텍처는 여러 노이즈 실현(realization)과 초기 조건에 대해 궤적 및 해밀토니안 오차 지표 모두에서 파라미터 ResNet보다 일관되게 우수한 성능을 보였다.

의의 및 주장

본 논문은 제안된 기하학적 아키텍처가 비기하학적 잔차 신경망에 비해 현저히 향상된 장기 안정성과 정확도를 제공한다고 주장한다. 핵심적인 의의는 다음과 같다:

구조 보존: 라그랑주-달랑베르 맵을 직접 학습함으로써, 모델은 강제 시스템의 변분 구조를 본질적으로 존중하며, 비기하학적 접근법에서 흔히 발생하는 드리프트(drift)와 불안정성을 방지한다.
데이터 효율성: 기하학적 귀납 편향(inductive bias)을 통해 모델은 훨씬 적은 훈련 데이터로도 기저 역학을 학습할 수 있다.
통합 프레임워크: 본 연구는 결정론적, 시간 의존적, 확률적 강제 해밀턴계를 라그랑주-달랑베르 원리에 기반한 단일 기하학적 프레임워크 아래 통합한다.
직접 흐름 학습: 지배 방정식을 학습(이후 수치 적분이 필요함)하는 방식과 달리, 이 아키텍처는 흐름 맵을 직접 학습하여 반복적인 솔버 없이도 효율적인 궤적 생성을 가능하게 한다.

저자들은 이 접근 방식이 확률적 응용을 위해 위너 과정에 대한 지식이 필요하다는 점(데이터가 가용한 설정, 예: 몬테카를로 시뮬레이션 등으로 제한됨)을 인정하면서도, 기하학적 충실도가 중요한 물리 및 공학 분야의 대리 모델링(surrogate modeling)을 위한 강력한 도구가 될 것이라고 결론지었다. 향후 연구로는 매니폴드(Lie group) 상의 응용 및 계산 플라즈마 물리학에 대한 적용이 제시되었다.