Enhancing Symbolic Regression and Universal Physics-Informed Neural Networks with Dimensional Analysis

기술 요약: 차원 분석을 통한 심볼릭 회귀 및 UPINN의 성능 향상

문제 정의
공학 및 응용 수학에서 실험 데이터로부터 정확하고 해석 가능한 수학적 모델을 도출하는 것은 제어와 최적화를 위해 매우 중요하다. 심볼릭 회귀(Symbolic Regression, SR)는 사전 정의된 가정 없이 데이터로부터 직접 폐쇄형 방정식(closed-form equations)을 발견하는 강력한 도구로 부상했다. 그러나 SR은 NP-난해(NP-hard) 문제로서, 방대한 탐색 공간으로 인해 높은 계산 비용, 느린 수렴 속도, 특히 데이터가 제한적이거나 노이즈가 있는 경우 과적합(overfitting)의 위험이 크다는 중대한 과제에 직면해 있다. 또한, 표준 SR 알고리즘은 발견된 방정식의 물리적 일관성(차원 균질성)을 강제하는 데 어려움을 겪는 경우가 많다. 이전 연구들이 SR에 차원 분석을 통합하려는 시도를 해왔으나, 대부분 완전히 알려진 방정식에 국한되었거나, 미분 방정식의 일부 항은 알려져 있고 나머지는 학습해야 하는 "부분적 지식(partial knowledge)" 시나리오에서 무차원화(nondimensionalization)의 이점을 체계적으로 입증하지 못했다.

방법론
저자들은 Buckingham $\Pi$ 정리와 Ipsen의 방법을 심볼릭 회귀 및 범용 물리 정보 신경망(Universal Physics-Informed Neural Networks, UPINNs)과 결래한 프레임워크를 제안한다. 이 방법론은 두 가지 주요 워크플로우로 나뉜다:

1. 대수 방정식의 완전한 발견:
   저자들은 Buckingham $\Pi$ 정리와 PySR 심볼릭 회귀 알고리즘을 결합한다. 원본 차원 데이터를 회귀 전 무차원 $\pi$ 항으로 변환함으로써 입력 변수의 수를 줄이는 과정을 보여준다. 이 과정은 탐색 공간을 단순화하여, 후보 식들이 원래의 변수가 아닌 무차원 그룹으로부터 구성되도록 함으로써 차원이 일치하지 않는 식이 자동으로 배제되도록 보장한다.

2. 미분 방정식에서의 부분 지식 발견 (주요 기여):
   미분 방정식이 부분적으로 알려진 시나리오(예: $du/dt = P(u,t) + Q(u,t)$이며$P$는 알려져 있고$Q$는 알려지지 않은 경우)를 위해, 저자들은 다음과 같은 새로운 파이프라인을 도입한다:

• Ipsen의 방법을 통한 무차원화: 전체 $\pi$ 항의 수를 최소화하는 Buckingham $\Pi$ 정리와 달리, Ipsen의 방법은 알려지지 않은 항 $Q$에 나타나는 입력 변수의 수를 최소화하기 위해 무차원 상수를 구체적으로 선택할 수 있게 한다. 이는 미지의 구성 요소에서 차원을 반복적으로 제거함으로써 달성된다.
• UPINN 근사: UPINN은 무차원화된 데이터를 사용하여 숨겨진 항 $Q$를 복구하도록 훈련된다. UPINN은 관련 무차원 그룹만의 함수로서 $Q$를 학습하며, 이는 함수 근사 작업의 복잡성을 크게 줄여준다.
• 심볼릭 회귀: UPINN의 출력(근사된 숨겨진 항)은 이후 폐쇄형 식을 찾기 위해 심볼릭 회귀 알고리즘(PySR)에 입력된다.
• 복구: 최종적인 무차원 방정식은 원래의 차원 변수로 매핑되어 원래의 지배 방정식을 복구할 수 있다.

이 프레임워크는 세 가지 뚜렷한 사례인 확장 로지스틱 성장 모델(1계 상미분 방정식), 회전하는 구슬 모델(2계 상미분 방정식), 확장된 Lotka-Volterra 시스템(결합 상미분 방정식)에 대해 테스트되었다. 실험은 노이즈가 없는 조건과 노이즈가 있는 조건 모두에서 수행되었다.

핵심 기여

• Buckingham $\Pi$와 SR의 통합: 본 논문은 Buckingham $\Pi$ 정리를 PySR과 결합하는 것이 대수 방정식의 정확한 복구 능력을 크게 향상시키며, 종종 원래의 공식이 실패하는 지점에서 정확한 복구를 달아내는 것을 보여준다.
• 새로운 부분 지식 파이프라인: 저자들은 Ipsian의 방법, UPINN, 그리고 SR을 통합한 파이프라인을 도입한다. 이 접근 방식은 미지의 구성 요소에 대한 입력 차원을 학습 전에 줄임으로써 미분 방정식의 미지 항을 복구하는 것을 구체적으로 목표로 한다.
• 체계적 검증: 본 연구는 여러 유형의 미분 방정식에 걸쳐 원본 데이터와 무차원화된 데이터에 대한 SR 성능을 체계적으로 비교하여, 오차 지표와 방정식 복구율에서 일관된 개선을 보여준다.

결과

• 대수 방정식: 7개의 대수 방정식에 적용했을 때, 무차원화는 PySR이 거의 모든 경우에서 (무시할 수 있는 수준의 MSE와 함께) 실제 기저 방정식을 정확하게 복구할 수 있도록 하였다. 반면, 원래의 공식은 빈번하게 일반화에 실패하거나 잘못된 식을 생성했다. 예를 들어, 쿨롱의 법칙의 경우 무차원화는 문제를 단일 $\pi$ 항으로 축소하여 정확한 복구를 가능하게 했다.
• 미분 방정식 (로지스틱 성장): 확장 로지스틱 성장 모델의 경우, UPINN은 원래 형태와 무차원 형태 모두에서 숨겨진 항을 성공적으로 복구했다. 그러나 무차원 데이터에 대한 심볼릭 회귀는 높은 정확도로 실제 식($\alpha^2/(\alpha^2+1)$)을 찾아낸 반조, 원래 데이터에 대한 SR은 데이터 양을 늘려도 올바른 형태를 찾는 데 실패했다. 이러한 이점은 노이즈 조건($\epsilon=0.05$ 및 $\epsilon=0.1$)에서도 지속되었으며, 무차원 접근 방식이 현저히 낮은 MSE를 나타냈다.
• 미분 방정식 (회전하는 구슬): 회전하는 구슬 모델에서도 유사한 결과가 관찰되었다. 무차원 접근 방식은 PySR이 실제 방정식($-\epsilon \sin \theta + \sin \theta \cos \theta$)을 복구할 수 있게 한 반면, 원래의 공식은 높은 MSE와 잘못된 식을 초래했다.
• 미분 방정식 (Lotka-Volterra): 확장된 Lotka-Volterra 시스템에서 미지 항은 두 무차원 변수($x, y$)의 매개변수가 없는 함수로 축소되었다. UPINN은 두 경우 모두 숨겨진 항을 정확하게 학습했지만, PySR은 두 형식 모두에서 정확한 유리 함수(rational function)를 복구하는 데 어려움을 겪었다. 다만 무차원 접근 방식이 여전히 더 낮은 손실 값을 나타냈다. 저자들은 데이터셋이 기저 함수와 유사한 식들을 구별할 만큼 충분한 정보를 갖추지 못했을 수 있다고 언급했다.

의의 및 주장
본 논문은 차원 분석을 심볼릭 회귀와 통합하는 것이 특히 데이터가 제한적이거나 노이즈가 많은 경우, 지배 방정식을 자동 발견하기 위한 강력한 프레임워크를 제공한다고 주장한다. 무차원 그룹으로 탐색 공간을 줄임으로써, 이 방법은 계산 비용을 낮추고, 과적합을 완화하며, 물리적 해석 가능성을 보장한다. 저자들은 이 방법이 통계적 압축 방법(예: PCA)과 달리 양 사이의 불변 관계를 보존한다는 점을 강조한다.

저자들은 이 연구를 개념 증명(proof-of-concept)으로서 겸허하게 위치시킨다. 이들은 이 방법이 입력 변수와 차원 행렬이 완전히 알려져 있다는 가정에 의존하며, 실제 적용 시 숨겨진 변수나 관측되지 않은 변수를 다루어야 할 수 있음을 인정한다. 또한, 이 파이프라인이 성능을 향상시키기는 하지만, 모든 복잡한 시나리오에서 실제 방정식의 발견을 보장하는 것은 아니라는 점(Lotka-Volterra 결과에서 확인됨)을 명시한다. 향후 연구로는 이러한 가정을 완화하고, 실제 데이터를 사용한 벤치마크를 구축하며, 다양한 무차원화 전략이 알고리즘 성능에 미치는 구체적인 영향을 조사하는 것이 제안되었다.