VaSST: Variational Inference for Symbolic Regression using Soft Symbolic Trees

본 논문은 이산적 기호 표현 공간의 탐색을 효율적인 경사 기반 최적화 문제로 변환하고 불확실성 정량화를 가능하게 하는 '소프트 심볼릭 트리'를 활용한 변분 추론 기반의 확장 가능한 확률적 기호 회귀 프레임워크인 VaSST 를 제안하여, 기존 방법들보다 우수한 구조 복원 및 예측 정확도를 입증합니다.

핵심

🕵️‍♂️ VaSST: 과학자의 비밀 공식을 찾아주는 '지능형 탐정'

1. 문제 상황: 왜 기존 방법들은 힘들까요?

과학자들은 실험 데이터를 보고 "어떤 공식이 이 현상을 설명할까?"라고 고민합니다. 예를 들어, 사과가 떨어지는 속도나 전기가 흐르는 법칙 같은 거요.

기존의 방법들은 두 가지 큰 단점이 있었습니다.

• 무작위 추측 (진화 알고리즘): 마치 무작위로 레고 블록을 조립해 보다가 우연히 맞는 모양을 찾을 때까지 수천 번을 시도하는 것과 같습니다. 시간이 너무 오래 걸리고, 엉뚱하게 복잡한 괴상한 모양을 만들어내기도 합니다.
• 불확실성 부족: "이 공식이 맞을 확률이 얼마나 될까?"를 제대로 계산하지 못합니다. 그냥 "이게 맞다"라고만 말합니다.

2. VaSST 의 핵심 아이디어: '부드러운 나무 (Soft Symbolic Trees)'

VaSST 는 이 문제를 해결하기 위해 아주 창의적인 방법을 썼습니다. 바로 **'부드러운 나무'**라는 개념입니다.

• 비유: 레고 블록 vs 점토

  • 기존 방법: 레고 블록처럼 딱딱한 조각들 (더하기, 빼기, sin, cos 등) 을 하나씩 딱딱하게 붙여야 합니다. 한 번 붙이면 떼어내기가 어렵고, 잘못된 조합을 고치려면 처음부터 다시 시작해야 할 수도 있습니다.
  • VaSST 의 방법: 레고 대신 점토를 사용합니다. 처음에는 "여기에 '더하기'가 있을 수도 있고, '곱하기'가 있을 수도 있고, 'sin'이 있을 수도 있어"라고 **모든 가능성을 섞어둔 상태 (부드러운 상태)**로 시작합니다.

• 어떻게 작동할까요?

  1. 점토로 시작: VaSST 는 모든 가능한 수학적 연산자들을 섞어서 하나의 거대한 '점토 덩어리'를 만듭니다.
  2. 점토 다듬기 (최적화): 컴퓨터는 이 점토 덩어리를 데이터에 맞춰서 부드럽게 다듬어 나갑니다. "아, 여기는 '더하기'가 너무 많네? 줄여야겠다", "여기 'x' 변수가 핵심이네? 더 강조해야겠다"라고 점토를 변형시킵니다. 이 과정은 수학적으로 매우 효율적으로 (기울기를 따라) 이루어집니다.
  3. 딱딱한 공식 완성: 점토 다듬기가 끝난 후, 가장 확률이 높은 부분을 골라 **딱딱한 레고 블록 (실제 수식)**으로 다시 조립합니다.

이 방법은 무작위로 레고를 쌓는 것보다 훨씬 빠르고, 데이터의 노이즈 (오차) 에도 강하게 반응합니다.

3. VaSST 가 특별한 이유: "불확실성도 알려줘!"

VaSST 는 단순히 "이 공식이 정답이다"라고 말하지 않습니다.

• 비유: 날씨 예보
  • 기존 방법: "내일 비가 옵니다." (정답만 알려줌)
  • VaSST: "내일 비가 올 확률이 80% 입니다. 만약 비가 오지 않는다면, 이 공식은 조금 다를 수도 있어요." (확신 정도와 대안 제시)

VaSST 는 점토를 다듬는 과정에서 수천 가지의 가능한 공식 후보를 만들어냅니다. 그리고 그중에서 가장 유력한 것들을 순위별로 정리해서 보여줍니다. 과학자들은 "아, 이 공식이 가장 유력하구나. 근데 저것도 가능성은 있구나"라고 판단할 수 있게 됩니다. 이것이 **'불확실성 정량화'**입니다.

4. 실제 성과: 페르미의 공식들

이 논문에서는 VaSST 를 물리학의 고전적인 법칙들 (쿨롱의 법칙, 중력 퍼텐셜 에너지 등) 을 찾는 실험에 적용했습니다.

• 결과: VaSST 는 다른 최신 인공지능 방법들보다 더 빠르고, 더 정확한 공식을 찾아냈습니다.
• 특히: 데이터에 잡음 (오차) 이 섞여 있어도 흔들리지 않고 정확한 법칙을 찾아냈으며, 불필요하게 복잡한 수식을 만들지 않고 오컴의 면도날 (간단한 것이 옳다) 원칙을 잘 지켰습니다.

📝 한 줄 요약

VaSST는 딱딱한 레고 블록을 무작위로 쌓는 대신, 부드러운 점토로 수학적 법칙을 빚어낸 뒤 가장 그럴듯한 형태로 다듬어주는 지능형 과학 탐정입니다. 이 방법은 빠를 뿐만 아니라, "이게 정답일 확률이 얼마나 되는지"까지 알려주어 과학적 발견을 더 신뢰할 수 있게 만들어줍니다.

기술 요약

1. 문제 제기 (Problem Statement)

• 상징적 회귀 (Symbolic Regression, SR) 의 중요성: 과학적 발견 (Scientific Discovery) 에서 데이터로부터 명시적인 폐쇄형 수식 (closed-form expressions) 을 복원하여 물리 법칙이나 메커니즘을 규명하는 것은 핵심 과제입니다.
• 기존 방법론의 한계:
  • 휴리스틱 검색 기반: 유전 프로그래밍 (Genetic Programming) 등 기존 방법은 초기화 민감성, 과도한 계산 복잡도, 그리고 너무 복잡한 수식 생성의 문제가 있습니다.
  • 딥러닝 기반: 신경망을 활용한 방법은 확장성이 좋지만, 여전히 탐색 기반 (search-driven) 이며 NP-난제 (NP-hard) 인 상징적 공간 탐색의 어려움과 대량의 데이터/저잡음 환경을 가정해야 한다는 제약이 있습니다.
  • 베이지안 기반: MCMC(Markov Chain Monte Carlo) 를 사용하는 기존 베이지안 방법 (예: BMS, BSR) 은 이산적인 상징적 트리 공간에서 효율적으로 탐색하기 어렵습니다. 특히, 다중 모드 (multimodal) 인 후분포 (posterior) 지형에서 MCMC 의 혼합 (mixing) 이 느리고 수렴이 더딥니다. 또한, 불완전한 매개변수 불확실성 전파로 인해 과도하게 복잡한 결과를 낳기도 합니다.
• 핵심 과제: 상징적 회귀에 대한 완전한 확률적 프레임워크 (Fully Probabilistic Framework) 를 구축하면서도, 계산적 확장성 (Scalability) 을 유지하고 불확실성 정량화 (Uncertainty Quantification) 를 가능하게 하는 방법론이 필요합니다.

2. 제안 방법론: VaSST (Methodology)

저자들은 VaSST (Variational Inference for Symbolic Regression using Soft Symbolic Trees) 라는 새로운 확률적 프레임워크를 제안합니다. 이 방법론의 핵심은 연속 완화 (Continuous Relaxation) 와 변분 추론 (Variational Inference) 을 결합한 것입니다.

2.1 소프트 심볼릭 트리 (Soft Symbolic Trees)

• 이산 문제의 연속화: 상징적 표현은 본질적으로 이산적인 트리 구조 (연산자와 피연산자의 조합) 를 가집니다. VaSST 는 이 이산적인 구조를 소프트 심볼릭 트리로 완화합니다.
  • 각 노드에서의 이산적인 연산자 선택과 피연산자 할당을, 허용 가능한 모든 구성 요소에 대한 소프트 확률 분포 (Soft Distributions) 로 대체합니다.
  • Binary Concrete 분포: 트리 구조의 확장/종결 (Expansion/Pruning) 여부를 결정하는 이진 변수를 완화합니다.
  • Gumbel-Softmax 분포: 연산자 (Operator) 와 피연산자 (Feature) 의 선택을 완화합니다.
• 미분 가능성: 이 완화 기법을 통해 상징적 공간 탐색을 연속적인 최적화 문제로 변환하여, 자동 미분 (Automatic Differentiation) 을 활용한 효율적인 기반 최적화 (Gradient-based Optimization) 가 가능해집니다.

2.2 모델 구조 및 사전 분포 (Model & Prior)

• 심볼릭 앙상블: 반응 변수 $y$를 $K$개의 심볼릭 트리의 선형 결합으로 모델링합니다.
  $$y_i = \beta_0 + \sum_{j=1}^K g_j(x_i)\beta_j + \epsilon_i$$
• 계층적 사전 분포:
  • 깊이 의존적 분할 확률 (Depth-dependent split probability): 오컴의 면도날 원리 (Occam's razor) 를 따르기 위해, 트리의 깊이가 깊어질수록 분할 확률이 감소하도록 설계하여 불필요하게 복잡한 수식을 억제합니다.
  • 연산자/피연산자 가중치: 디리클레 (Dirichlet) 사전 분포를 사용하여 연산자와 피연산자의 사용 빈도를 학습합니다.
  • 회귀 계수: 정규 - 역감마 (Normal-Inverse-Gamma) 공액 사전 분포를 사용하여 매개변수를 마진화 (Marginalization) 할 수 있게 합니다.

2.3 변분 추론 및 최적화

• Evidence Lower Bound (ELBO): 사후 분포를 근사하기 위해 ELBO 를 최대화합니다.
  • KL 발산 (KL Divergence): 변분 분포와 사전 분포 간의 거리를 계산합니다.
  • 확률적 근사 (Stochastic Approximation): 로그 가능도 항은 해석적으로 구할 수 없으므로, 소프트 트리를 통해 생성된 몬테카를로 (Monte Carlo) 샘플을 사용하여 근사합니다.
• 학습 과정:
  1. 온도 스케줄링 (Annealing): 학습 초기에는 높은 온도 (smooth mixture) 로 탐색을 넓게 하고, 학습이 진행됨에 따라 온도를 낮추어 (discrete structure) 최종적으로 하드 (hard) 한 심볼릭 트리로 수렴하도록 합니다.
  2. 최적화: AdamW 최적화기를 사용하여 ELBO 를 최대화하는 변분 매개변수를 찾습니다.
  3. 하드 트리 샘플링: 학습된 변분 분포에서 하드 심볼릭 트리들을 샘플링하고, 이를 기반으로 사후 평균 추정치를 계산하여 최종 수식을 도출합니다.

3. 주요 기여 (Key Contributions)

1. 확장 가능한 확률적 프레임워크: 상징적 회귀를 위한 최초의 변분 추론 기반 프레임워크 중 하나로, MCMC 기반 방법의 계산적 비효율성을 극복하고 대규모 데이터셋에서도 확장 가능한 성능을 제공합니다.
2. 소프트 심볼릭 트리를 통한 연속 완화: 이산적인 구조 탐색 문제를 연속적인 미분 가능한 최적화 문제로 변환하여, 기존에 불가능했던 효율적인 그라디언트 기반 학습을 가능하게 했습니다.
3. 원칙적인 불확실성 정량화: 단일 수식만 제공하는 것이 아니라, 학습된 분포에서 여러 후보 수식을 샘플링하여 불확실성을 정량화할 수 있습니다. 이는 과학적 발견 과정에서 모델의 신뢰도를 평가하는 데 필수적입니다.
4. 구조적 간결성 (Structural Parsimony): 깊이 의존적 사전 분포를 통해 오컴의 면도날 원리를 자연스럽게 구현하여, 과도하게 복잡한 수식 생성을 방지하고 해석 가능한 단순한 수식을 유도합니다.

4. 실험 결과 (Results)

저자들은 시뮬레이션 데이터와 Feynman Symbolic Regression Database (SRBench) 를 통해 VaSST 를 평가했습니다.

• 비교 대상: QLattice, gplearn (유전 프로그래밍), DEAP, BMS (Bayesian Machine Scientist), BSR (Bayesian Symbolic Regression) 등 최신 방법론.
• 구조 복원 능력 (Structural Recovery):
  • Feynman 방정식: VaSST 는 Coulomb 법칙, 중력 퍼텐셜 에너지, 로런츠 힘, 푸리에 열전도 법칙 등 4 가지 물리 법칙에 대해 모든 노이즈 수준 (무잡음, 잡음 0.12, 0.22) 에서 정확한 수식을 복원했습니다.
  • 기타 방법: BMS 는 일부 복잡한 방정식에서 수치적 오류를 보였으며, gplearn, DEAP, QLattice 는 종종 불필요하게 복잡한 수식을 생성하거나 정확한 구조를 찾지 못했습니다.
• 예측 정확도 (Predictive Accuracy):
  • VaSST 는 모든 실험에서 최상위 수준의 테스트 RMSE (Root Mean Squared Error) 를 기록했습니다. 특히 잡음이 있는 환경에서도 다른 방법들보다 안정적인 성능을 보였습니다.
• 계산 효율성 (Computational Scalability):
  • 샘플 크기가 증가함에 따라 VaSST 는 BMS 및 BSR 보다 훨씬 빠른 실행 시간을 기록했습니다. 이는 변분 추론의 효율적인 최적화 덕분입니다.
• 불확실성 정량화:
  • 학습된 분포에서 샘플링된 상위 5 개 수식을 제공하며, 이 중 가장 낮은 RMSE 를 가진 수식이 실제 물리 법칙과 일치함을 보여주었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 과학적 발견의 패러다임 전환: VaSST 는 데이터 기반 모델링과 물리 법칙 발견 사이의 간극을 메우는 강력한 도구입니다. 단순히 예측만 하는 것이 아니라, 해석 가능하고 (Interpretable), 불확실성이 정량화된 (Uncertainty-quantified), 과학적으로 타당한 (Scientifically valid) 수식을 제공합니다.
• 확장성과 실용성: 기존 베이지안 방법의 계산적 병목 현상을 해결하여, 현대의 대규모 데이터 과학 및 과학적 머신러닝 (SciML) 환경에 적용 가능한 실용적인 솔루션을 제시했습니다.
• 미래 전망: 이 연구는 변분 추론 기반의 상징적 회귀에 대한 새로운 방향을 제시하며, 더 구조화된 최적화 전략을 통해 현대 머신러닝 기반 방법론 대비 확장성을 더욱 높일 수 있는 가능성을 열었습니다.

요약하자면, VaSST는 상징적 회귀의 난제인 '이산적 공간 탐색'과 '계산적 비효율성'을 연속 완화 (Soft Relaxation) 와 변분 추론으로 해결하여, 정확성, 해석 가능성, 불확실성 정량화, 그리고 계산 효율성을 모두 갖춘 차세대 과학적 발견 도구를 제시한 획기적인 연구입니다.