기술 요약: 심층 변분 추론 심볼릭 회귀 (DVISR)

문제 정의

심볼릭 회귀 (SR) 는 사전에 함수 형태를 가정하지 않고 독립 변수와 종속 변수 간의 명시적이고 해석 가능한 수학적 관계를 발견하는 것을 목표로 합니다. 유전 프로그래밍 (GP) 과 심층 심볼릭 회귀 (DSR) 와 같은 기존 방법들은 단일 최적 적합 식을 성공적으로 식별하지만, 후보 모델에 대한 확률 분포를 추론하는 능력은 부족합니다. 이러한 한계는 노이즈가 있거나 제한된 실제 데이터를 다룰 때 필수적인 불확실성 정량화를 방해합니다.

기존의 베이지안 접근법인 마코프 연쇄 몬테 카를로 (MCMC) 는 사후 분포에서 정확하게 샘플링할 수 있지만, 고차원 공간에서의 확장성에 어려움을 겪으며 변분 방법에 비해 계산 속도가 느립니다. 반면, 변분 추론 (VI) 은 더 빠르고 확장 가능한 대안을 제공하지만 SR 에서는 제한적으로만 적용되어 왔습니다. 이전의 변분 SR 시도들은 계산적 비실용성으로 인해 다항식 신경망이나 식 공간의 부분 집합으로 제한되었습니다. 식 트리 및 이에 연관된 상수들에 대한 사후 분포를 추론할 수 있는 확장 가능한 변분 베이지안 접근법이 필요합니다.

방법론

저자들은 심층 변분 추론 심볼릭 회귀 (DVISR) 를 제안합니다. 이는 심층 심볼릭 회귀 (DSR) 알고리즘의 변분 베이지안 확장 버전입니다. DVISR 은 심볼릭 식을 생성하기 위해 순환 신경망 (RNN) 을 활용하며, 최적화를 위해 REINFORCE 정책 경사 방법을 사용합니다.

주요 아키텍처 및 알고리즘 수정 사항

1. 상수에 대한 분포: DSR 이 별도의 절차를 통해 하류에서 상수를 최적화하는 것과 달리, DVISR 은 RNN 출력을 확장하여 상수 값에 대한 정규 분포의 매개변수 (평균 및 분산) 를 포함합니다. 상수 토큰이 샘플링될 때, 그 값은 이 학습된 분포에서 추출됩니다.
2. 향상된 입력 컨텍스트: RNN 이 샘플링을 수행하는 데 도움을 주기 위해, 네트워크는 이전 토큰, 부모 토큰, 형제 토큰 (존재하는 경우) 을 입력으로 받으며, 이전에 샘플링된 상수들의 값도 함께 입력받습니다. 이는 네트워크가 모든 이전 토큰을 "볼" 수 없었던 DSR 의 한계를 해결합니다.
3. 보상 함수 및 목적 함수:
   • DSR: 단일 최적 모델을 찾기 위해 단일화 함수로 제한된 정규화된 루트-평균-제곱 오차 (NRMSE) 기반의 보상을 최대화합니다.
   • DVISR: NRMSE 보상을 증거 하한 (ELBO) 의 적분자로 대체합니다. 보상 함수는 다음과 같이 정의됩니다:
     $$R(f) = \log \mathcal{L}_\theta(f|X, y) + \log p(f) - \log q_\phi(f)$$
     여기서 $\mathcal{L}_\theta$ 는 가능도, $p(f)$ 는 사전 분포, $q_\phi(f)$ 는 변분 분포입니다.
   • REINFORCE 를 통해 이 보상을 최대화함으로써, DVISR 은 변분 분포 $q_\phi(f)$ 와 실제 사후 분포 $p(f|X, y)$ 간의 쿨백 - 라이블러 (KL) 발산을 간접적으로 최소화합니다.
4. 가능도 계산: 식 $f$ 의 가능도는 이전에 샘플링된 모든 토큰과 상수에 조건을 둔, 해당 식의 토큰 및 상수 가능도들의 곱으로 계산됩니다.

주요 기여

1. 새로운 알고리즘: 식 트리 및 연속 상수 매개변수를 모두 포함하는 전체 심볼릭 회귀 공간에 대한 변분 추론을 수행하는 최초의 알고리즘인 DVISR 의 도입.
2. 사후 분포 회복: 단순한 설정에서 DVISR 이 상수 토큰 유무와 관계없이 실제 사후 분포에 올바르게 수렴할 수 있음을 입증.
3. 확장성 분석: 식 공간의 크기가 증가함에 따라 DVISR 성능이 어떻게 저하되는지 검토하여 현재 아키텍처의 한계를 규명.

실험 결과

저자들은 DVISR 의 수렴성과 확장성을 검증하기 위해 실험을 수행했습니다.

1. 실제 사후 분포로의 수렴 (상수 없음)

$y=x_0^2$, $y=x_0$, $y=0.5$ 로부터 생성된 데이터를 사용하여 제한된 토큰 라이브러리를 사용한 단순 실험에서, 모델 공간은 작고 유한했습니다.

• 결과: ELBO 는 증거의 로그로 수렴했으며, KL 발산은 0 에 수렴했습니다.
• 검증: 표 1 은 10 회 실행에서 중앙값 변분 확률이 실제 사후 분포 값과 8 자리 소수점까지 일치함을 보여줍니다.

2. 상수를 포함한 수렴

실험에는 $x_0 \cdot c$ 와 같은 식을 허용하기 위해 토큰 라이브러리에 상수 토큰 ($c$) 이 포함되었습니다.

• 방법: 실제 사후 분포는 수치 적분기를 사용하여 상수를 적분 (마진화) 하여 계산되었습니다.
• 결과: 표 2 는 변분 분포가 상수에 대해 마진화된 실제 사후 분포와 8 자리 소수점까지 정확히 일치하도록 식 트리에 대해 수렴했음을 보여줍니다.

3. 확장성

저자들은 확장성을 테스트하기 위해 최대 식 크기를 1 에서 12 개의 토큰까지 변화시켰습니다.

• 발견: 최대 식 크기가 증가함에 따라 실제 사후 분포와 변분 분포 간의 추정된 KL 발산이 증가했습니다.
• 한계: 해당 규모에서 증거를 계산하는 계산적 어려움으로 인해 12 를 초과하는 크기에 대한 실험은 수행되지 않았습니다. 이는 DVISR 이 작은 공간에서는 작동하지만 검색 공간이 확장됨에 따라 성능이 저하됨을 나타냅니다.

중요성 및 주장

이 논문은 DVISR 을 전체 심볼릭 모델에 대한 불확실성 정량화를 제공하는 확장 가능한 베이지안 심볼릭 회귀를 향한 중요한 단계로 위치시킵니다.

• 해석 가능성과 불확실성: 단일 점 추정치가 아닌 사후 분포를 추론함으로써, DVISR 은 일부 회귀 모델의 "블랙박스" 성격을 해결하고 노이즈 및 데이터 제한을 고려합니다.
• MCMC 대비 진전: 일반적으로 느리고 고차원에서 어려움을 겪는 베이지안 SR 을 위한 MCMC 보다 빠른 대안을 제공합니다.
• 적은 범위: 저자들은 작은 식 크기, 적은 수의 독립 변수, 실제 데이터셋의 부재 등 현재의 한계를 인정합니다. 복잡한 실제 문제에서 즉각적인 우월성을 주장하지는 않지만, DVISR 이 기초적인 프레임워크를 확립한다고 주장합니다.
• 향후 방향: 이 논문은 향후 작업이 하이퍼파라미터 스윕, 고급 아키텍처 (예: 트랜스포머), 또는 더 정교한 강화 학습 알고리즘 (예: PPO) 을 통해 확장성을 개선할 수 있음을 제안합니다.