기술 요약: 심볼릭 회귀에서의 불확실성 정량화에 관한 포괄적이고 이해하기 쉬운 조사

문제 정의

심볼릭 회귀(Symbolic Regression, SR)는 데이터셋의 기저 관계를 정확하게 포착하는 수학적 함수를 발견하도록 설계된 탐색 알고리즘 클래스이다. 최근의 발전에도 불구하고, SR의 실제 의사결정 과정 도입은 불확실성 정량화(Uncertainty Quantification, UQ) 지원의 부족으로 인해 제한적이다. 회귀 분석에서 UQ는 모델의 신뢰성을 평가하고, 데이터 노이즈(알레아토릭 불확실성)를 고려하여 과적합을 방지하며, 의사결정을 위한 통찰력을 제공하는 데 필수적이다.

SR은 두 가지 주요 불확실성 원천에 직면한다:

1. 알레아토릭 불확실성(Aleatoric Uncertainty): 데이터 생성 과정의 내재적 무작위성 또는 측정 불정밀함. 이는 줄일 수 없는 것이지만, 노이즈로 인한 오차의 하한을 추정하기 위해 정량화될 수 있다.
2. 에피스테믹 불확실성(Epistemic Uncertainty): 진정한 모델에 대한 지식의 부족. 여기에는 다음이 포함된다:
   • 모델 불확실성(Model Uncertainty): 진정한 모델 $h^*$가 가설 공간 $\mathcal{H}$ 내에 존재하지 않을 위험.
   • 근사 불확실성(Approximation Uncertainty): 특정 가설 $h$가 $\mathcal{H}$ 내에서 최선인지에 대한 불확실성으로, 이는 파라미터 불확실성(조절 가능한 파라미터 $\theta$에 대한 불확실성)과 구조적 불확실성으로 분해될 수 있다.

전통적인 SR 문헌은 다봉형(multimodal) 탐색 공간의 효율적인 순회에 집중하지만, 불확실성은 명시적으로 다뤄지지 않는 경우가 많다. 본 조사는 필수적인 UQ 개념을 소개하고 현재의 문헌을 검토하여, 신뢰할 수 있는 SR용 UQ 방법론의 발전을 촉진하고 인식을 높이는 것을 목표로 한다.

방법론 및 이론적 토대

본 논문은 리뷰를 빈도주의(Frequentist), 베이지안(Bayesian), **모델 선택(Model Selection)**이라는 세 가지 연구 방향을 중심으로 구성한다. 또한 우도 함수(likelihood functions)와 피셔 정보(Fisher information)를 사용하여 이론적 토대를 구축한다.

1. 통계적 기초

• 우도 및 피셔 정보: 조사는 우도 함수 $L_N(\theta)$와 그 로그 변환을 정의한다. 파라미터 확실성을 추정하기 위해 로그 우도의 헤시안(Hessian) 행렬을 활용한다. 음의 헤시안은 **관측된 피셔 정보(observed Fisher information)**에 해당하며, 정보 값이 작으면 완만한 우도 표면(높은 불확실성)을 나타내고, 급격한 정점은 정밀한 추정을 나타낸다.
• 빈도주의 접근법: 파라미터를 고정되어 있으나 알려지지 않은 것으로 취급한다. UQ는 파라미터에 대한 **신뢰 구간(Confidence Intervals, CI)**과 출력에 대한 **예측 구간(Prediction Intervals, PI)**을 통해 달성된다. 본 논문은 역 헤시안을 사용한 표준 오차 계산을 상세히 설명하며, 가우시안 가정을 따르는 전통적인 PI와 대조되는, 교환 가능한 데이터에 대해 커버리지를 보장하는 분포 비의존적 방법인 **컨포멀 예측(Conformal Prediction, CP)**을 논의한다.
• 베이지안 방법: 파라미터를 분포를 가진 확률 변수로 취급한다. UQ는 사후 분포 $p(h|D) \propto p(h)p(D|h)$로부터 유도된 **신용 구간(Credible Intervals, CrI)**을 통해 달성된다. 본 논문은 다루기 어려운 사후 분포를 근사하기 위한 마르코프 체인 몬테카를로(MCMC) 및 순차적 몬테카를로(SMC) 방법을 논의한다. 또한 근사 불확실성을 처리하기 위한 **베이지안 모델 평균화(Bayesian Model Averaging, BMA)**를 다룬다.
• 모델 선택: 조사는 베이즈 인자(Bayes Factor), (부적절한 사전 분포를 처리하기 위한) 분수 베이즈 인자(Fractional Bayes Factor, FBF), 그리고 모델 복잡도와 데이터 적합도 사이의 균형을 맞추기 위해 코드 길이(codelength)를 최소화하는 최소 기술 길이(Minimum Description Length, MDL) 원칙을 검 리뷰한다.

2. SR 특화 UQ 문헌 조사

저자들은 동료 검토를 거친 저널, 컨퍼런스 및 프리프린트에서 18개의 관련 논문(베이지안 11개, 비-베이지안 4개, 모델 선택 3개)을 조사하였다.

SR에서의 베이지안 접근법

• 순차적 몬테카를로(SMC): Bomarito 등, Leser 등의 일련의 연구는 SR을 위한 유전 프로그래밍(GP)에 SMC를 통합한다. 이들은 국소 최적화 및 선택의 확률적 재구성을 제안한다. 이 방법은 모델을 비교하기 위해 **정규화된 주변 로그 우도(Normalized Marginal Log Likelihood, NMLL)**를 추정한다. 이는 파라미터에 대한 적분을 근사하기 위해 SMC를 사용하여 라플라스 근사보다 다봉형 사후 분포를 더 잘 처리한다. 최근 연구는 이를 직접적인 이산 모델 구조로 확장하여, 심볼릭 모델의 집단을 가중치가 부여된 사후 분포로 취급한다.
• 구조적 사전 분포(Structural Priors): Guimera 등과 Bartlett 등은 모델 구조에 대한 정보가 있는 사전 분포를 도입한다. Guimera 등은 Wikipedia 코퍼스의 연산자 빈도를 사용하여 사전 분포를 정의하는 반면, Bartlett 등은 표현 트리 내의 맥락을 포착하기 위해 조상 노드에 대한 노드 확률을 모델링하는 언어 모델(n-gram)을 사용한다.
• X축 불확실성: Bartlett과 Desmond는 독립 변수($x$)의 측정 오차를 포함하는 우도를 공식화하여, 수정된 우도 함수를 도출하기 위해 참값을 주변화(marginalizing out)한다.
• 앙상블 방법: Agapitos 등은 근사 불확실성을 설명하기 위해 다양한 모델의 집단에 대해 베이지안 모델 평균화를 제안한다.
• 선형 베이지안 포레스트: Roy 등은 HierBOSSS(선형 결합된 심볼릭 트리의 포레스트)와 VaSST(소프트 심볼릭 트리를 이용한 변분 추론)를 제안한다. 이러한 접근 방식은 선형 계수에 대해서는 공액성(conjugacy)을 활용하지만, 트리 구조에 대해서는 평균장(mean-field) 근사에 의존한다. 저자들은 선형성 가정과 실험적 재현의 잠재적 불일치에 대한 한계를 언급한다.
• 사후 MCMC: Zhao와 Zhao는 SR에서 발견된 최종 모델에 MCMC를 적용하여 계수 및 예측에 대한 신용 구간을 계산한다.

비-베이지안 접근법

• 분위수 회귀(Quantile Regression): Hoekstra와 Hengst는 조건부 분위수를 추정하기 위해 SR 적합 함수를 핀볼 손실(pinball loss)로 대체하여 효과적으로 예측 구간을 생성한다.
• 프로파일 우도(Profile Likelihood): de Franca와 Kronberger는 파라미터 및 예측에 대한 비대칭 신뢰 구간을 계산하기 위해 프로파일 우도를 사용하여, 델타 방법 근사가 놓치는 파라미터 간의 의존성을 포착한다.
• 부트스트래핑(Bootstrapping): Manzi와 Vasile은 여러 샘플을 생성하고, SR 모델을 적합시키며, 파라미터 분포를 히스토그램으로 시각화하여 구조적 및 파라미터적 불확실성을 평가하는 부트스트래핑을 적용한다.
• 노이즈를 위한 터미널 심볼: Schmidt와 Lipson은 비선형 노이즈 관계를 표현식 내에 직접 모델링하기 위해 무작위 터미널 심볼을 도입하여 예측 구간의 범위를 최적화한다.
• SR에서의 컨포멀 예측: Thuong 등은 CP를 최적 모델에 사후적으로 적용하거나, 구간 너비를 적합 함수에 포함시키는 방식으로 통합하며, 사후 적용이 더 나은 결과를 낸다는 것을 발견했다.

모델 선택

• SR에서의 MDL: Iba 등과 Nikolaev는 다항 모델(STROGANOFF) 및 전수 조사에 MDL을 적용하여 복잡도에 패널티를 주는 코드 길를 사용한다. Bartlett 등은 기능적 복잡성과 파라미터 정밀도를 이산화를 통해 고려하는 상세한 DL 메트릭을 제안한다.

주요 결과 및 발견

• 최신성: 조사된 18편의 논문 중 3편만이 2020년 이전에 발표되었으며, 이는 SR에서의 UQ가 빠르게 부상하는 분야임을 나타낸다.
• 방법론적 다양성: 전통적인 UQ 방법(예: CI)이 존재하지만, 이를 SR에 직접 적용하는 경우는 드물다. 조사된 작업의 대부분(약 60%)은 샘플링 방법(MCMC, SMC)을 활용하여 본질적으로 UQ를 제공하는 베이지안 접근법을 사용한다.
• SMC vs. Laplace: SR을 위한 SMC 기반 방법(Bomarito 등)은 라플라스 근사에 비해 다봉형 사후 분포를 포착하는 능력이 우수함을 보여주지만, 계산 비용이 더 높다.
• 구조적 사전 분포: 구조적 사전 분포(예: 언어 모델 또는 연산자 빈도 기반)를 포함하는 것은 모델 선택을 돕고 과적합을 줄이지만, 훈련 코퍼스에 존재하지 않는 새로운 표현의 탐색을 제한할 수 있다.
• 현재 방법의 한계:
  • 많은 베이지안 SR 방법(예: VaSST)은 노드 간의 의존성을 무시하는 평균장 근사에 의존하여 최적이 아닌 전역 구조를 초래할 수 있다.
  • 선형 베이지안 포레스트는 파라미터에 대해 선형인 모델로 제한된다.
  • 제안된 일부 방법(예: HierBOSSS, VaSST)은 실험적 재현 및 코드 일관성 측면에서 어려움에 직면한다.
  • 빈도주의 접근법은 유연한 SR 모델이 쉽게 과적합될 수 있기 때문에 어려움을 겪으며, 이는 특정 분산 계산에 필요한 편향되지 않은 추정량으로서 부적합하게 만든다.

의의 및 주장

본 논문은 심볼릭 회귀에서 UQ 문제를 명확하게 다룬 최초의 조사라고 주장한다. 본 논문의 주요 의의는 다음과 같다:

1. 간극 해소: 확립된 통계적 UQ 개념(빈도주의 및 베이지안)을 모델 구조의 이산적 특성 및 다봉형 탐색 공간과 같은 SR의 특정 과제와 연결한다.
2. 범주화: 파편화된 문헌을 세 가지 일관된 연구 방향(빈도주의, 베이지안, 모델 선택)으로 정리한다.
3. 미개척 분야 강조: 저자들은 SR에서의 UQ가 여전히 크게 미개척 상태이며 그 중요성이 체계적으로 과소평가되고 있다고 결론짓는다.
4. 미래 방향: 본 논문은 향-후 연구가 신뢰할 수 있는 의사결정을 위해 SR에 확립된 UQ 방법을 채택하고 데이터와 노이즈를 신중하게 분석해야 한다고 주장한다. 또한, UQ가 샘플링 기반 접근법에서 "덤"으로 얻어질 수 있음에도 불구하고, 현재의 구현체들은 계산 비용, 구조적 사전 분포, 다봉성 처리 측면에서 상당한 한계를 가지고 있음을 강조한다.