기술 요약: 하이브리드 심볼릭-뉴럴 동역학 시스템을 위한 OrthoReg

1. 문제 정의

동역학계 모델링은 해석 가능성(interpretability)과 표현력(expressiveness) 사이의 근본적인 트레이드오프에 직면해 있다. 수동으로 규정된 기계론적(심볼릭) 모델은 해석 가능하지만, 복잡한 자연 현상을 설명하기에는 미흡하거나 지나치게 단순할 수 있다. 반대로, 유연한 데이터 기반 뉴럴 방법론은 데이터를 잘 피팅하지만 물리적 통찰력이 부족하다. 하이브리드 모델링은 규정된 또는 심볼릭한 물리 성분($f_{phy}$)과 유연한 뉴럴 잔차($f_{aug}$)를 결합함으로써 이 간극을 메우고자 한다.

중요한 도전 과제는 심볼릭 성분이 사전에 고정되지 않고, 희소 라이브러리 기반 방식(예: SINDy 스타일 접근법)을 통해 데이터로부터 **발견(discovered)**되는 경우에 발생한다. 이 체제에서는 표준적인 하이브리드 접근 방식이 명확한 역할 분담을 유지하는 데 종종 실패한다. 구체적으로, 뉴럴 증강(neural augmentation)이 심볼릭 구조를 "재학습"하거나 중복될 수 있으며, 이는 결과적으로 중복되고 해석 불가능한 모델로 이어진다.

본 논문은 기존의 $L_2$ 정규화(APHYNITY 프레임워크와 같은)에 의존하는 방법들이 고정된 심볼릭 부분 공간을 가정하는 투영 논리에 의존한다는 점을 지적한다. 심볼릭 성분이 희소성 제약(예: $L_1$ 정규화)과 함께 공동으로 학습될 때, 계수의 축소(shrinkage)는 심볼릭 라이브러리의 스팬(span) 내에 잔여 구조를 남긴다. 결과적으로, 뉴럴 증강은 전체 노름(norm)이 작더라도 심볼릭 부분과 중첩될 수 있으며, 이는 $L_2$ 정규화가 고정된 클래스 설정에서 제공하는 직교성 보장을 깨뜨린다.

2. 방법론: OrthoReg

저자들은 심볼릭 성분과 뉴럴 성분 사이의 상보적 분해를 강제하도록 설계된 OrthoReg(Orthogonal Regularization)를 제안한다.

핵심 목적

OrthoReg는 심볼릭 라이브러리와 뉴럴 증강 사이의 경험적 중첩을 명시적으로 벌칙(penalize)을 부여하도록 학습 목적 함수를 수정한다. 데이터셋 $D = \{x_i\}_{i=1}^N$, 고정된 심볼릭 라이브러리 $\{\phi_j\}_{j=1}^M$, 그리고 뉴럴 증강 $\hat{f}_{aug}(\cdot; \vartheta)$가 주어졌을 때, 목적 함수는 다음과 같다:

$$\min_{w, \vartheta} \mathcal{L}_{fit}(w, \vartheta) + \mu \|w\|_1 + \lambda \sum_{j=1}^M \langle \hat{f}_{aug}(\cdot; \vartheta), \phi_j \rangle_D^2$$

여기서:

• $\mathcal{L}_{fit}$은 데이터 적합 손실(벡터장 회귀 또는 1단계 예측)이다.
• $\mu \|w\|_1$은 심볼릭 계수 $w$에 대한 희소성을 강제한다.
• 세 번째 항은 **직교성 벌칙(Orthogonality Penalty)**이며, $\langle \cdot, \cdot \rangle_D$는 관측된 상태에 대한 경험적 내적을 나타낸다.
• $\lambda$는 직교성 제약의 강도를 조절한다.

이론적 메커니즘

증강의 전체 노름($\|\hat{f}_{aug}\|_D^2$)을 벌칙으로 주는 $L_2$ 정규화와 달리, OrthoReg는 모든 라이브러리 함수와의 제곱 내적을 벌칙으로 준다.

• 이론적 보장: 저자들은 $\lambda \to \infty$일 때, 경험적 직교성 위반이 0으로 수렴함을 증명한다.
• 오차 분해: 경험적 내적 하에서, 직교성을 강제하면 명확한 오차 분해가 이루어진다:
  $$\|f - (\hat{f}_{phy} + \hat{f}_{aug})\|_D^2 = \|P_D^{F_{phy}}(f) - \hat{f}_{phy}\|_D^2 + \|f - P_D^{F_{phy}}(f) - \hat{f}_{aug}\|_D^2$$
  이는 심볼릭 부분이 라이브러리가 표현할 수 있는 것(in-library projection)을 포착하고, 뉴럴 부분이 그 직교 보공(orthogonal complement, 잔차)을 포착하도록 보장한다.

3. 주요 기여

1. 중첩에 대한 이론적 분석: 본 논문은 심볼릭 성분이 희소 발견을 통해 학습될 때 $L_2$ 정규화가 심볼릭-뉴럴 중첩을 방지하지 못함을 입증한다(정리 A.2). 반례를 통해, 희소성이 잔차를 심볼릭 스팬 내에 머물게 하여 뉴럴 네트워크가 심볼릭 방향을 재학습할 수 있게 함을 보여준다.
2. OrthoReg 알고리즘: 저자들은 직교성 벌칙을 공동 희소 발견 목적 함수에 직접 통합하여, 뉴럴 잔차가 경험적 내적 하에서 심볼릭 라이브러리에 직교하도록 보장하는 알고즘적 솔루션을 도입한다.
3. 경험적 검증: 벤치마크 동역학계(감쇠 진자, 로트카-볼테라, SIR, 더핑 진동자)에 대한 광범에한 실험을 통해, OrthoReg가 순수 심볼릭, 순수 뉴럴, 그리고 $L_2$ 정규화된 하이브리드 베이스라인에 비해 심볼릭 회복(높은 F1 점수, 더 적은 항의 수) 및 분포 외(OOD) 일반화 성능을 개선함을 보여준다.

4. 실험 결과

평가는 **부분적 라이브러리 불일치(partial library mismatch)**가 존재하는 시스템에 초점을 맞춘다. 즉, 실제 역학은 심볼릭 딕셔너리 외부의 항을 포함하고 있다.

• 심볼릭 회복: OrthoReg는 올바른 심볼릭 서포트를 회복하는 데 있어 일관되게 가장 높은 F1 점수와 가장 적은 항의 수를 달성하여, 더 깨끗하고 해석 가능한 모델임을 보여준다. 예를 들어, 감쇠 진자에서 OrthoReg는 $L_2$ 베이스라인의 $0.61$에 비해$0.93 \pm 0.15$의 F1 점수를 달성했다.
• 분포 외(OOD) 일반화: OrthoReg는 특히 중간 정도의 라이브러리 불일치가 있는 영역에서 OOD 미분 오차를 크게 줄인다. 감쇠 진자의 경우, OOD 미분 오차는 $L_2$ 베이스라인 대비 2개 차수 이상 감소했다.
• 트레이드오프: 이 방법은 더 나은 OOD 동작과 심볼릭 분리를 위해 분포 내(ID) 상태 MSE의 약간의 증가를 수용한다. 이는 엄격한 직교 분리를 강제하는 것이 구조적 무결성을 보존하기 위해 가공된 적합도(raw fit)를 일부 희생한다는 이론적 관점과 일치한다.
• 강건성: 이러한 이점은 불규칙한 샘플링 하에서도 지속되지만, 관측 노이즈가 매우 심하거나 누락된 역학이 라이브러리 특징과 강하게 얽혀 있는 경우에는 감소한다.

5. 의의 및 주장

본 논문은 OrthoReg가 하이브리드 모델링의 특정 취약성, 즉 심볼릭 성분이 고정되지 않고 학습될 때 발생하는 해석 가능성의 상실 문제를 해결한다고 주장한다. 직교성 정규화를 통해 심볼릭 성분과 뉴럴 성분 사이의 상보성을 명시적으로 만듦으로써, 이 방법은 다음을 보장한다:

• 심볼릭 성분은 라이브러리에 의해 표현 가능한 모든 역학을 포착한다.
• 뉴럴 성분은 라이브러리가 표현할 수 없는 구조적 잔차만을 포착한다.

저자들은 OrthoReg를 보편적인 정확도 향상 도구가 아니라, 하나의 **분해 정규화 도구(decomposition regularizer)**로 포지셔닝한다. 이 방법의 주요 가치는 심볼릭 설명을 보존하면서 비심볼릭 효과를 잔차로 할당함으로써, 근사적인 기계론적 어휘와 유연한 잔차가 심볼릭 설명을 지우지 않고 공존할 수 있는 하이브리드 과학 모델을 가능하게 하는 데 있다.

인정된 한계점:

• 이론적 보장은 현재 경험적 내적과 고정된 미분 가능한 라이브러리를 가진 가산 모델(additive models)에 국한된다.
• 집단 수준(population-level)의 보장을 위해서는 증강 가설 클래스에 대한 균등 수렴(uniform convergence) 논의가 필요하며, 이는 향후 과제로 남겨두었다.
• 이 방법은 라이브러리에 없는 지배 법칙을 회복하지 않는다. 단지 라이브러리로 표현 가능한 역학과 그 외의 것을 분리할 뿐이다.
• 미분 추정이 신뢰하기 어려울 정도로 높은 노이즈 수준에서는 성능이 저하된다.