A Sparse Bayesian Learning Algorithm for Estimation of Interaction Kernels in Motsch-Tadmor Model

기술 요약: Motsch–Tadmor 모델의 상호작용 커널 추정을 위한 희소 베이지안 학습 알고리즘

문제 정식화
본 논문은 상호작용하는 입자 시스템(예: 의견 형성, 군집 비행)의 집단 역학을 설명하는 데 사용되는 프레임워크인 Motsch–Tadmor 모델의 비대칭 상호작용 커널을 데이터 기반으로 식별하는 문제를 다룹다. 총 에이전트 수에 의해 영향력이 정규화되는 대칭 모델과 달리, Motsch–Tadmor 모델은 각 에이전트에 대한 상호작용의 합을 기반으로 하는 상태 의존적 정규화 인자를 사용한다. 이러한 비대칭성은 상당한 수학적 난제를 야기한다. 지배 방정식은 상호작용 커널이 정규화된 상태 의존적 라플라시안 연산자를 정의하는 준선형 진화 방정식(semilinear evolution equations) 클래스가 된다.

핵심 역문제(inverse problem)는 관측된 궤적 데이터 $\{x_i(t), \dot{x}_i(t)\}$로부터 상호작용 커널 $\phi(r)$을 복구하는 것이다. 저자들은 $\phi$가 유한한 기저 함수(basis functions) 집합의 스팬(span) 내에 있다고 가정한다. 주요 어려움은 분모의 정규화 항이 커널에 대한 비선형 의존성을 생성하여, SINDy의 직접적인 적용과 같은 표준 선형 역문제 기법을 적용할 수 없게 만든다는 점이다. 또한, 이 문제는 노이즈와 제한된 데이터가 존재하는 상황에서 부적정(ill-posed)하며, 대칭 시스템에서 일반적으로 분석에 도움이 되는 보존량(예: 총 운동량)이 결여되어 있다.

방법론
제안된 방법론은 변분 재정식화(variational reformulation), 희소 베이지안 학습(Sparse Bayesian Learning, SBL) 프레임워크, 그리고 새로운 모델 선택 기준의 세 가지 주요 구성 요소로 이루어진다.

1. 변분 재정식화 (암시적 형태):
   정규화로 인한 비선형성을 처리하기 위해, 저자들은 지배 상미분 방정식(ODE)을 암시적 형태(implicit form)로 재정식화한다. 정규화 인자를 곱함으로써 분모를 제거하고, 커널 계수에 대해 동차 선형 시스템(homogeneous linear system)을 얻는다:
   $$\sum_{j=1}^N \phi(|x_j - x_i|) (\dot{x}_i - (x_i - x_j)) = 0$$
   이를 통해 커널 식별 문제를 궤적 데이터와 기저 함수로부터 구성된 행렬 $A$에 대해 $Ac = 0$을 만족하는 계수 벡터$c$를 찾는 부분 공간 식별 문제로 변환한다.

2. 희소 베이지안 학습 (SBL):
   결과적으로 발생하는 부적정 선형 시스템을 강건하게 해결하기 위해, 저자들은 SBL 프레임워크를 채택한다.

• 우도(Likelihood): 관측 노이즈는 가법 가우시안 노이즈(additive Gaussian noise)로 모델링된다.
• 사전 분포(Priors): 희소성을 강제하기 위해(진정한 커널이 몇 개의 기저 함수로 표현된다고 가정), 저자들은 계층적 사전 분포를 활용한다(정밀도 파라미터에 대한 감마 분포를 통한 계층적 라플라스 사전 분포 구축). 이 접근 방식은 자동 관련성 결정(automatic relevance determination)을 가능하게 하여, 무관한 기저 함수들이 효과적으로 제거(가중치가 0으로 수렴)되도록 한다.
• 추론(Inference): 방법론은 하이퍼파라미터를 추정하기 위해 Type-II 최대 우도법(증거 극대화)을 사용하여, 계수에 대한 점 추정치와 사후 공분산 행렬을 제공한다.

3. 모델 선택 및 불확실성 정량화:
   좌변의 방정식에서 "진정한" 커널을 나타내는 특정 기저 함수 인덱스 $k^*$가 알려지지 않았으므로, 알고리즘은 후보 인덱스 $k^*$를 순회한다. 각 후보에 대해 SBL 문제를 풀고 새로운 가중 총 불확실성(Weighted Total Uncertainty, wTU) 기준을 평가한다. 이 기준은 추정된 노이즈 분산과 계수의 사후 공분산 트레이스를 해의 크기로 정규화하여 결합한다. wTU를 최소화하는 후보가 최적의 모델로 선택된다.
   또한, 이 프레임워크는 사후 공분산을 기반으로 추정된 커널의 불확실성 영역을 제공한다.

주요 기여

• 비대칭 모델을 위한 변리적 프레임워크: 본 논문은 비대ymmetric 상호작용 모델(Motsch–Tadmor)을 위한 데이터 기반 발견 프레임워크를 최초로 제안하였으며, 비선형 역문제를 부분 공간 식별 과제로 재정식화하여 해결하였다.
• 식별 가능성 결과: 저자들은 상호작용 커널이 스케일링 인자(scaling factor)를 제외하고 유일하게 복구될 수 있는 이론적 조건을 확립한다. 그들은 식별 가능성이 데이터의 쌍별 거리의 경험적 분포의 서포트(support)에 의해 결정되는 기대 그램 행렬(Gram matrix)의 계수(rank)에 달려 있음을 보여준다.
• 강건한 희소 베이지안 알고리즘: 노이즈와 모델 오지정(model misspecification)을 처리하기 위해 정보가 풍부한 사전 분포를 포함하는 SBL 알고리즘을 개발하였다. 결정론적 희소 방법(예: SINDy)과 달리, 이 접근 방식은 불확실성 정량화를 제공하며 진정한 커널이 선택된 기저 공간에 정확히 표현되지 않는 경우에도 강건함을 유지한다.
• 새로운 모델 선택 기준: 높은 노이즈 조건에서 올바른 모델 구조를 선택할 때 표준 예측 오차 및 추정 불확실성 지표보다 성능이 뛰어난 wTU 기준을 도입하였다.

결과
1차원 및 2차원 환경에서의 1차(의견 역학) 및 2차(Cucker–Smale 군집 비행) 시스템 모두에 대해 광범위한 수치 실험이 수행되었다.

• 정확도 및 강건성: 제안된 방법은 다양한 노이즈 수준(신호 대비 노이즈 비율 최대 100%)과 제한된 데이터 영역(작은 수의 궤적 $M$)에서도 계단형 상수 및 매끄러운 상호작용 커널을 성공적으로 복구하였다.
• SINDy와의 비교: 진정한 커널이 기저 내에 정확히 표현되는 시나리오에서, 제안된 방법은 노이즈가 없는 설정에서 암시적 SINDy 접근 방식과 유사한 성능을 보였다. 그러나 노이즈가 있거나 커널이 정확히 표현되지 않는 경우(모델 오지정), SINDy 방식은 의미 있는 근사치를 생성하는 데 실패한 반면, 베이지안 프레임워크는 불확실성 범위를 제공하며 신뢰할 수 있는 추정치를 유지하며 강건함을 보였다.
• 궤적 예측: 추정된 커널이 노이즈로 인해 국부적인 차이를 보이더라도, 학습된 모델의 순방향 적분(forward integration)은 실제 값과 밀접하게 일치하는 궤적을 생성하여 학습된 커널의 실용적 유용성을 입증하였다.
• 계산 효율성: 알고리즘은 실질적인 효율성을 입증하였으며, 실행 시간은 1차 시스템의 경우 약 $O(M^{3/2})$, 2차 시스템의 경우 $O(M^{5/2})$로 스케일링되었으며, 조립된 행렬의 희소성 덕분에 이론적 최악의 경우보다 나은 성능을 보였다.

의의 및 주장
본 논문은 데이터 기반 발견 연구가 주로 대칭 모델에 집중되어 있어, 수학적 복잡성으로 인해 비대칭 모델이 미개척 영역으로 남아 있는 문헌의 중요한 공백을 메운다고 주장한다. 저자들은 자신의 연구가 비대칭 동적 시스템을 모델링하기 위한 원칙적이고, 해석 가능하며, 강건한 접근 방식을 제공한다는 점을 강조한다.

그 의의는 다음과 같다:

1. 비선형성 처리: 암시적 정식화를 통해 비선형 역문제를 다루기 쉬운 선형 부분 공간 문제로 성공적으로 전환하였다.
2. 불확실성 정량화: 점 추정을 넘어 데이터에 노이즈가 많은 과학적 모델링에서 매우 중요한 신뢰 구간을 제공한다.
3. 일반성: 프레임워크는 1차(의견) 및 2차(군집 비행) 시스템 모두에 적용 가능하며, 진정한 상호작용 법칙이 기저 함수에 의해 완벽하게 포착되지 않는 경우도 처리한다.

저자들은 이 프레임워크가 복잡한 비대칭 상호작용 입자 시스템에서 이론적 모델과 경험적 관측 사이의 간극을 메울 수 있는 실행 가능한 경로를 제공한다고 결론짓는다. 향후 연구로는 위치 전용 관측 및 시간에 따라 변하는 상호작용으로의 확장이 제안되었다.