기술 요약: 방정식을 풀기 위한 데이터 프리(Data-Free) 심볼릭 회귀 접근 방식

문제 정의

과학 및 공학 분야의 많은 방정식, 특히 초월적 항(transcendental terms)이나 복잡한 미분 연산자를 포함하는 방정식은 기존의 해석적 기법으로는 해결할 수 없는 경우가 많습니다. 결과적으로, 이러한 방정식들은 대개 근사해를 제공하는 수치적 방법론을 통해 다루어지지만, 이는 명시적인 심볼릭 표현식 없이 수행됩니다. 수치적 해법은 정량적으로는 정확할 수 있으나, 시스템의 근본적인 함수적 의존성, 대칭성, 그리고 질적인 거동을 가리는 경우가 많습니다.

명시적 해를 복구하려는 기존의 접근 방식들은 다음과 같은 트레이드오프에 직면합니다:

1. 해석적 솔버(Analytical Solvers): 정확한 심볼릭 해를 도출할 수 있지만, 특정 방정식 구조(예: 다항식 시스템 또는 제한된 클래스의 상미분 방정식)에 국한됩니다.
2. 심볼릭 회귀(Symbolic Regression): 해석 가능한 표현식을 발견할 수 있으나, 본질적으로 지도 학습 기반의 쌍을 이룬 입출력 데이터에 의존합니다. 하지만 지배 방정식과 경계 조건만을 알고 있는 상황에서는 이러한 데이터를 구하기 어려운 경우가 많습니다.
3. 잔차 기반 신경망 방법(예: PINNs): 지배 방정식과 제약 조건으로부터 직접 작동하며 레이블이 지정된 데이터가 필요하지 않습니다. 그러나 이들은 해를 신경망 파라미터 안에 인코딩된 형태(수치적 근사치)로 생성하며, 명시적인 심볼릭 형태를 제공하지 못해 추가적인 해석적 활용도를 제한합니다.

지배 방정식과 보조 제약 조건으로부터 직접 작동하면서, 지도 학습용 입출력 데이터 없이도 명시적인 심볼릭 형태의 해를 복구하는 방법에 대한 문헌적 공백이 존재합니다.

방법론: 심볼릭 방정식 솔버 (SES)

저자들은 **심볼릭 방정식 솔버(Symbolic Equation Solver, SES)**를 제안합니다. 이는 미분 가능한 심볼릭 모델 상에서의 최적화 문제로 방정식 풀이를 공식화하는 프레임워크입니다. 전통적인 심볼릭 회귀와 달리, SES는 데이터에 모델을 맞추는 것이 아니라, 지배 방정식과 그 제약 조건을 만족시키도록 심볼릭 표현식을 최적화합니다.

핵심 아키텍처

• 심볼릭 모델 클래스: SES는 Equation Learner (EQL) 포뮬레이션을 기반으로 한 미분 가능한 심볼릭 네트워크를 활용합니다. 이 아키텍처에서는 전통적인 신경망 활성화 함수가 심볼릭 연산자 라이브러리(예: 항등 함수, 상수, 제곱, 지수 함수, 쌍곡 탄젠트 함수, 곱셈)로 대체됩니다.
• 미분 가능성: 네트워크는 완전 미분 가능하여, 심볼릭 연산자를 통해 그래디언트(gradient)가 전파될 수 있습니다. 이를 통해 표준 1차 최적화 방법인 Adam을 사용하여 심볼릭 표현식의 계수에 해당하는 네트워크 가중치를 최적화할 수 있습니다.
• 목적 함수: 훈련 신호는 전적으로 잔차(residual)로부터 유도됩니다. 지배 방정식 $F_k(x, u, \nabla u, \dots) = 0$과 보조 조건 $B_j(x, u, \nabla u, \dots) = 0$이 주어졌을 때, SES는 **콜로케이션 포인트(collocation points)**에서 평가된 잔차의 제곱 합을 최소화하는 손실 함수를 최소화합니다:
  $$L(\theta) = \frac{1}{N_F}\sum |F_k|^2 + \frac{1}{N_B}\sum |B_j|^2$$
  비미분 방정식의 경우, 솔루션을 해당 변수의 상수 함수로 취급하여 콜로케이션 포인트를 생성하기 위해 보조 변수가 도입됩니다.

최적화 전략

수렴을 보장하고 희소하고 해석 가능한 솔루션을 얻기 위해 훈련 과정은 세 가지 뚜렷한 단계로 구성됩니다:

1. 잔차 최소화: 방정식을 만족시키기 위해 오직 잔차 목적 함수만을 사용하여 50,000 에포크 동안 모델을 훈련합니다.
2. 희소성 유도: 내부 가중치에 $\ell_1$ 페널티를 추가하여 200,000 에포크 동안 훈련을 지속합니다. 이 단계에서는 손실 기여도가 가장 낮은 하위 25%의 가중치를 주기적으로 제거하는 가지치기(pruning) 메커니즘을 적용하여, 컴팩트한 심볼릭 구조를 장려합니다.
3. 미세 조정(Fine-Tuning): $\ell_1$ 페널티를 제거하고, 남은 가중치들을 잔차 목적 함수만을 사용하여 20,000 에포크 동안 미세 조정합니다.
4. 추출: 가지치기된 계산 그래프를 탐색하고 학습된 가중치를 소수점 다섯째 자리까지 반올림하여 최종 심볼릭 표현식을 추출합니다.

주요 기여

1. 데이터 프리 심볼릭 복구: SES는 지배 방정식과 제약 조건의 수학적 구조에만 의한 데이터 없이도 명시적인 심볼릭 해를 복구할 수 있음을 입증했습니다.
2. 통합 프레임워크: 이 접근 방식은 잔차 기반 신경망 솔버(PINNs 등)의 방정식 기반 최적화 원리와 심볼릭 회귀의 해석 가능성을 결합합니다. 이는 단일 포뮬레이션 내에서 대수 방정식과 미분 방정식을 모두 적용할 수 있습니다.
3. 시스템을 위한 공동 최적화: 이 프레임워크는 공유된 목적 함수 아래에서 여러 미지수를 동시에 최적화함으로써 다중 미지수 시스템으로 자연스럽게 확장됩니다.

실험 결과

저자들은 다양한 문제에 대해 SES를 평가하였으며, 복구된 심볼릭 표현식을 알려진 해석적 해와 비교하였습니다:

• 선형 시스템: 선형 방정식 시스템($x=2, y=1$)에 대해 정확한 상수 해를 성공적으로 복구했습니다.
• 초월 방정식: 일반적인 수치적 방법이 필요하고 표준적인 심볼릭 고립이 불가능한 방정식 $e^x + x^3 = e + 1$에 대해 해 $x=1$을 복구했습니다.
• 상미분 방정식 (ODEs):
  • 비선형 ODE $dy/dt = 1 - y^2$에 대해 $y(t) = \tanh(t)$를 복구했습니다.
  • 선형 수송 방정식에 대해 이차 꼴의 수송 해 $u(x,t) = (x-t)^2$를 복구하였으며, 근사적인 계수 값에도 불구하고 올바른 함수 형태를 보존했습니다.
• 편미분 방정식 (PDEs):
  • 혼합 경계 조건을 가진 2D 푸아송 방정식을 성공적으로 풀었으며, 정확한 다항식 구조인 $u(x,y) = x^2 + y^2 + xy^2$를 복구했습니다.
  • 동일한 PDE에 대해 다른 경계 조건 세트를 적용했을 때도 해를 복구함으로써, 다양한 제약 조건 구성에 대한 강건성을 입증했습니다.

모든 사례에서 SES는 해석적 해와 일치하는 컴팩트한 심볼릭 표현식을 생성하였으며, 종종 올바른 함수적 의존성과 대칭성을 드러냈습니다.

의의 및 주장

본 논문은 방정식 풀이가 단순한 해석적 유도나 수치적 근사가 아니라, 심볼릭 함수 공간에서의 최적화로 재정의될 수 있다고 주장합니다. SES의 의의는 방정식 기반 포뮬레이션과 심볼릭 복구 사이의 간극을 메우는 데 있습니다.

• 해석 가능성 및 발견: 명시적인 심볼릭 형태로 해를 복구함으로써, SES는 순수 수치적 근사로는 추론하기 어려운 구조적 의존성과 함수적 관계를 드러냅니다. 저자들은 이 능력이 후보 해석적 형태와 불변성을 제공함으로써 과학적 가설 생성 및 발견의 메커니즘 역할을 할 수 있다고 제안합니다.
• 과학적 머신러닝: SES는 심볼릭 추론을 과학적 머신러닝에 더욱 직접적으로 통합하는 단계이며, 예측 가능할 뿐만 아니라 구조적으로 근거가 있는 모델을 향한 경로를 제시합니다.
• 한계 및 향-후 과제: 저자들은 현재의 결과가 알려진 해석적 해와 상대적으로 간결한 구조를 가진 문제들에 대한 개념 증명(proof-of-concept)임을 겸허히 밝힙니다. 이들은 더 도전적인 PDE, 고차원 시스템, 그리고 카오스 역학에 프레임워크를 확장하기 위해서는 더 표현력이 풍부한 아키텍처, 더 풍부한 연산자 라이브러리, 그리고 더 강력한 최적화 전략이 필요함을 인정합니다.