Sharpness-Aware Hybrid Model Learning for Architecture-Agnostic Parameter Estimation

기술 요약: 구조 불가지론적 파라미터 추정을 위한 샤프니스 인식 하이브리드 모델 학습

1. 문제 정의

과학적 수학 모델(기계론적/물리 기반)과 머신러닝(ML) 모델을 결면하는 하이브리드 모델링은 유연하고 견고하며 부분적으로 해석 가능한 예측을 달로 성을 위한 유망한 방안을 제시한다. 그러나 ML 구성 요소가 과학적 모델보다 현저히 더 유연할 때 결정적인 문제가 발생한다. 이러한 시나리오에서 ML 부분은 모든 데이터 변동성을 흡수하여, 결과적으로 과학적 모델의 미지 파라미터를 식별 불가능하게 만들 수 있다. 이러한 현상은 흔히 과학적 파라미터의 "식별 불가능성(unidentifiability)"이라 불리며, 이는 최적화 과정이 과학적 파라미터($\theta$)를 임의로 남겨둔 채 ML 파라미터($\phi$)만을 조정하여 예측 오차를 최소화하기 때문에 발생한다.

기존 솔루션들은 대개 ML 구성 요소의 유연성을 억제하기 위해 설계된 정규화 항(regularization terms)에 의존한다. 그러나 이러한 정규화 항을 설계하는 방식은 매우 구조 의존적(architecture-dependent)이다. 단순 가법 모델($y = f(x) + g(x)$)의 경우 $g$의 노름(norm)을 페널티로 부과할 수 있다. 하지만 복잡하고 중첩된 합성 모델($y = g(x, f(x))$ 또는 더 깊은 함수 체인)의 경우, 특정 도메인 지식이나 구조적 가정을 요구하지 않는 일반적이고 효과적인 정규화 항을 설계하는 것은 매우 까다로운 일이다.

2. 방법론

본 논문은 오컴의 면도날 원리에 근거하여, 손실 함수의 평탄함(flatness of loss minima)을 활용하는 구조 불가지론적(architecture-agnostic) 파라미터 추정 방법을 제안한다. 핵심 가설은 "올바른" 과학적 파라미터 $\theta$는 ML 구성 요소 $g_\phi$에게 "단순한" 잔차 과업(residual task)을 남겨주어야 한다는 것이다. 손실 지형(loss landscape)의 맥락에서, 단순한 모델은 **평탄한 최소값(flat minimum)**에 대응하는 반면, 잘못된 $\theta$를 보상하기 위해 특정한, 미세하게 조정된 ML 설정에 의존하는 모델은 **날카로운 최소값(sharp minimum)**에 대응한다.

이론적 토대:
저자들은 하이브리드 모델 학습을 자유 에너지(free energy, 또는 변분 추론) 개념과 연결한다. 이들은 ML 파라미터의 분포 $q(\phi)$에 대한 기대 손실을 사전 확률 $p(\phi)$로부터의 쿨백-라이블러(KL) 발산으로 정규화하는 손실 목적 함수 $\bar{J}(\theta)$를 다음과 같이 정의한다:
$$\bar{J}(\theta) := \min_{q} \left( \mathbb{E}_{\phi \sim q} L(\theta, \phi) + \text{KL}(q(\phi) \| p(\phi)) \right)$$
이 목적 함수를 최소화하는 것은 손실 $L(\theta, \phi)$가 넓은 범위의 $\phi$에 대해 낮은 상태를 유지하는(즉, 평탄한 영역인) $\theta$ 값을 선호하게 한다. 즉, 특정하고 날카로운 $\phi$를 필요로 하는 것이 아니라 평탄한 영역을 찾는 것이다.

알고리즘 구현 (하이브리드 모델을 위한 SAM):
직접적으로 자유 에너지를 최적화하는 것은 정규화 상수로 인해 계산적으로 불가능하다. 대신, 저자들은 샤프니스 인식 최소화(Sharpness-Aware Minimization, SAM) [15]를 변형하여 사용한다.

• 표준 SAM: 파라미터의 근방 내에서의 최악의 손실을 최소화한다: $\min_w \max_{\|\epsilon\| \le \rho} L(w + \epsilon)$.
• 제안된 수정 사항: 저자들은 상승 단계(ascent step) 동안 과학적 파라미터 $\theta$는 건드리지 않고 **오직 ML 파라미터($\phi$)만을 섭동(perturb)**시키도록 SAM을 수정한다.
  • 근거: 목표는 $\theta$가 올바를 때 손실이 $\phi$ 축을 따라 평탄해지는 $\theta$를 찾는 것이다. $\theta$ 축을 따라 평한 것은 원치 않는데, 왜냐하면 그것은 서로 다른 $\theta$ 값이 유사한 손실을 갖게 하여 $\theta$를 식별 불가능하게 만들기 때문이다.
• 알고리즘 1: 각 훈련 단계에서, 알고리즘은 $\phi$에 대한 손실의 기울기를 기반으로 상승 방향 $\epsilon^*_\phi$를 계산하고, $\phi$를 섭동시킨 후, 섭동된 지점에서의 기울기를 계산하여 $\theta$와 $\phi$를 모두 업데이트한다.

3. 주요 기여

1. 구조 불가지론적 파라미터 추정: 다양한 하이브리드 모델 구조(예: 가법적 또는 중첩된 합성)에 대해 특정 정규화 항을 설계할 필요가 없는 방법을 도입하였다.
2. 이론적 연결: 손실의 평탄함(일반적으로 일반화와 연관됨)과 하이브리드 모델 내 과학적 파라미터의 식별 가능성 사이의 연결 고리를 확립하였다. 이는 ML 파라미터 공간에서의 평탄한 최소값이 과학적으로 의미 있는 파라미터에 대응한다는 점을 상정한다.
3. 수정된 SAM 알고리즘: ML 구성 요소의 단순성을 강제해야 한다는 이론적 근거를 바탕으로, ML 파라미터만을 섭동시키는 특정 변형 SAM을 제안하였다.
4. 실증적 검증: 제안된 방법은 다양한 합성 및 실제 데이터셋에서 검증되었으며, 기존의 정규화 방법이 실패하거나 복잡한 구조별 튜닝이 필요한 상황에서도 효과적임을 입증하였다.

4. 실험 결과

저자들은 제안된 SAM 기반 방법들을 ERM, 파라미터 정규화($\phi$에 대한 $L_2$), 기능적 정규화(architecture-specific penalties) 등의 베이스라인과 비교 평가하였다.

• 태스크: 실험에는 네 가지 합성 태스크(감쇠 진자 시계열, 반응-확산, 더핑 진자, 진자 이미지)와 두 가지 실제 태스크(풍동 압력 예측, 라이트 터널 이미지 예측)가 포함되었다.
• 성능:
  • 파라미터 추정 ($\theta$-오차): SAM 기반 방법들은 ERM에 비해 과학적 파라미터에 대해 일관되게 더 낮은 추정 오차를 달enc성하였다. 많은 비가법적 사례(예: 풍동, 라이트 터널, 진자 이미지)에서 베이스라인 정규화 방법(p-reg, f-reg)은 성능이 낮거나 세심한 튜닝이 필요했던 반면, SAM 방법은 구조별 설계 없이도 견고한 추정을 제공하였다.
  • 예측 정확도 ($y$-오차): SAM 방법들은 베스트 베이스라인과 비슷하거나 약간 높은 수준의 예측 오차를 달성하였다. 저자들은 필요하다면 $\theta$를 고정한 후 $\phi$를 재학습하거나 미세 조정하여 미미한 예측 손실을 회복할 수 있다고 언급하였다.
  • 구체적 발견:
    • 더핑 진자(Duffing Oscillator) 태스크(가법적)에서 기능적 정규화는 $\theta$를 잘 추정하지 못했으나, SAM은 성공하였다.
    • 비가법적 태스크(예: 라이트 터널)에서 제안된 방법은 적절한 정규화 항을 정의하는 데 어려움을 겪는 베이스라인들을 크게 앞질렀다.
    • 하이퍼파라미터 민감도: 방법론은 표준 범위 내에서 섭동 반경 $\rho$에 대해 비교적 견고한 것으로 나타났으나, 지나친 정규화는 예측 성능을 저하시킬 수 있다.
    • 섭동 범위: 수정된 SAM( $\phi$만 섭동)과 일반적인 SAM(모든 파라미터 섭동)을 비교한 실험 결과, 특히 과학적 파라미터 수가 적은 태스크에서 수정된 방식이 일반적으로 $\theta$ 추정 정확도를 개선하거나 유지함을 보여주었다.

5. 의의 및 주장

본 논문은 하이브리드 모델에서 구조 불가지론적 파라미터 추정을 위한 새로운 경로를 열었다고 주장한다. 복잡하고 구조별로 특화된 정규화 항을 설계하는 대신, 손실 지형의 기하학적 특성(평탄함)을 활용함으로써 이 방법은 과학적 파라미터 식별을 위한 다재다능한 도구를 제공한다.

겸허함 및 한계:
저자들은 자신들의 방법이 모든 경우에서 "올바른" 과학적 파라미터를 식별한다고 보장하지는 않는다고 명시적으로 밝힌다. 기존 방법들과 마찬가지로, "올바름"은 데이터 생성 과정에 대한 근본적인 가정과 모델 선택 원칙에 달려 있다. 본 논문은 데이터 분포나 모델 구조에 대한 특정 가정이 없다면 제안된 방법이 그럴듯한(ground-truth) 파라미터 회복을 보편적으로 보장할 수 없음을 인정한다. 이 연구는 일반적인 하이브리드 설정에서 식별 문제를 해결하기 위한 실질적인 단계로 자리매김하며, 일반적인 하이브리드 모델에 대한 엄밀하고 보편적인 식별 이론을 구축하는 것은 여전히 미해결 과제로 남아 있음을 언급한다.