🤖 machine learning

Bayesian Symbolic Regression with Entropic Reinforcement Learning

이 논문은 엔트로피 정규화 강화 학습을 사용하여 대수적 표현의 사후 분포로부터 샘플링함으로써 효과적인 불확실성 정량화를 가능하게 하고 Feynman과 같은 벤치마크에서 경쟁력 있고 해석 가능한 결과를 생성하는 확장 가능한 베이지안 심볼릭 회귀 방법인 ERRLESS를 소개한다.

원저자: Oussama Boussif, Mohammed Mahfoud, Younesse Kaddar, Moksh Jain, Sida Li, Damiano Fornasiere, Xiaoyin Chen, Yoshua Bengio, Esmeralda S. Whitammer

게시일 2026-08-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Oussama Boussif, Mohammed Mahfoud, Younesse Kaddar, Moksh Jain, Sida Li, Damiano Fornasiere, Xiaoyin Chen, Yoshua Bengio, Esmeralda S. Whitammer

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 미스터리를 해결하려는 탐정이라고 상상해 보십시오. 하지만 당신이 찾는 것은 실종된 사람이 아니라, 세상이 어떻게 작동하는지를 설명하는 숨겨진 수학적 규칙입니다. 이것이 바로 **기호 회귀(Symbolic Regression)**의 역할입니다. 일반적인 수학 도구들이 이미 존재하는 정해진 공식의 단추를 조절하는 재단사(숫자를 미세하게 조정하는 것)라면, 기호 회귀는 완전히 새로운 옷을 처음부터 만들어내는 숙련된 재단사와 같습니다. 다양한 천들(덧셈, 사인 함수, 제곱근과 같은 수학 연산)을 엮어 데이터에 완벽하게 들어맞는 옷을 만들어내는 것이죠.

하지만 현실 세계의 데이터는 지저-적입니다. 마치 잡음이 가득한 라디오 신호처럼 노이즈가 많고, 단 세 개의 음표만으로 노래의 멜로디를 추측해야 하는 것처럼 데이터가 부족할 때도 있습니다. 만약 당신이 단 하나의 '최선의' 공식만을 찾아낸다면, 그 잡음에 속아 넘어갈 수 있습니다. 여기서 **베이지안 사고(Bayesian thinking)**가 등장합니다. 단 하나의 정답에 도박을 거는 대신, 베이지안 탐정은 각 공식이 단서와 얼마나 잘 부합하는지에 따라 확률을 부여하며 가능한 이론들의 거대한 도서관을 유지합니다. 이를 통해 탐정은 "이 공식일 가능성이 높지만, 저 공식일 가능성도 작게나 존재한다"라고 말할 수 있으며, 이는 데이터가 부족할 때 매우 중요합니다. 큰 과제는 언제나 이것이었습니다. 어떻게 하면 수많은 가능한 수학 공식이 담긴 무한한 도서관을 효율적으로 탐색하여 올바른 확률의 조합을 찾아낼 것인가 하는 점입니다.

여기, 오사마 부시프(Oussama Boussif)와 동료들이 소개한 새로운 접근 방식인 ERRLESS가 있습니다. 이 방식은 이 탐색 과정을 비디오 게임처럼 다룹니다. 마치 로봇이 복잡한 레고 구조물을 만드는 법을 배우는 것과 같습니다. 하지만 로봇은 단순히 하나의 완벽한 탑을 쌓는 것이 아니라, 주어진 단서들을 바탕으로 어떤 것이 진정한 구조물일 가능성이 높은지 이해하며 '여러 가지' 다른 탑들을 쌓는 법을 배웁니다. 연구진은 이 방법을 ERRLESS(엔트로피 정규화 강화 학습을 통한 표현 구조 샘플링, Entropy-Regularized Reinforcement Learning for Expression Structure Sampling)라고 부릅니다.

데이터의 실제 세계에서 이 방식이 작동하는 원리는 다음과 같습니다. 연구팀은 신경망(AI의 한 종류)이 설계자 역할을 하도록 가르쳤습니다. 이 설계자는 단순히 추측하는 것이 아니라, 문장을 단어 하나하나 써 내려가듯 수학적 표현을 단계별로 구축합니다. 하지만 여기에는 제약 조건이 있습니다. 설계자는 엄격한 물리 법칙을 따라야 합니다. 마치 "미터"에 "초"를 더해 의미 있는 결과를 낼 수 없는 것처럼, AI는 물리적 단위의 법칙을 깨뜨리는 수학적 조합을 거부하도록 프로그래하도록 되어 있습니다. 이는 "상향식(bottom-up)" 접근 방식을 통해 이루어집니다. 즉, AI가 먼저 작고 유효한 조각들을 만든 다음 그것들을 결합함으로써, 매 단계마다 모든 과정이 논리적으로 타당한지 확인하며 나아가는 방식입니다.

AI는 **강화 학습(Reinforcement Learning)**이라는 과정을 통해 학습합니다. 이는 강아지를 간식으로 훈련시키는 것과 비슷합니다. AI가 데이터를 잘 설명하는 공식을 만들 때마다, AI는 '간식'(보상)을 받습니다. 하지만 여기서 영리한 반전이 있습니다. 연구진은 단순히 AI가 단 하나의 최선인 공식을 찾기를 원한 것이 아닙니다. 그들은 AI가 가능한 모든 영역을 탐색하기를 원했습니다. 이를 위해 그들은 **최대 엔트로피 강화 학습(Maximum-Entropy Reinforcement Learning)**이라는 기술을 사용했습니다. 이것은 AI에게 "단 하나의 최선의 경로만 찾지 말고, 가능한 한 많은 다양한 경로를 탐색하되, 가장 유망한 경로를 더 자주 방문하라"고 말하는 것과 같습니다. 이를 통해 AI가 하나의 아이디어에 갇히지 않고, 확률 높은 공식들의 전체 '지도'를 학습할 수 있게 합니다.

결과는 매우 유망합니다. 전설적인 물리학자 리처드 파인만이 남긴 100개의 물리 공식 모음인 **파인만 기호 회귀 데이터베이스(Feynman Symbolic Regression Database)**를 테스트했을 때, ERRLESS는 기존의 최고 방법들과 대등한 성능을 보여주었습니다. 이 모델은 다른 알고리즘들이 찾아내는 복잡한 공식만큼 정확하면서도, 짧고 읽기 쉬운 공식을 찾아냈습니다. 더 중요한 점은, 베이지안 관점(불확실성을 포착하는 것) 덕분에 ERRLESS가 노이즈가 섞인 데이터를 더 잘 처리했다는 것입니다. 데이터가 부족하고 노이즈가 많은 테스트에서, ERRLESS는 선두 경쟁 모델인 PySIPS보다 더 정확한 '사후 예측 평균(posterior predictive mean, 최선의 추측들을 평균 낸 값)'을 생성했습니다. PySIPS는 때때로 평균을 왜곡하는 엉뚱하고 비현실적인 추측들에 휘둘려 혼란을 겪었지만, ERRLESS는 자신의 추측을 현실에 기반하게 함으로써 더 신뢰할 수 있는 예측을 제공했습니다.

또한 논문은 ERRLESS가 믿을 수 없을 정도로 빠르다는 점을 강조합니다. 공식을 만든 후 숫자를 반복해서 미세 조정해야 하는 다른 방식들과 달리(이는 계산 비용이 많이 드는 느린 과정입니다), ERRLESS는 공식의 구조와 그 안의 숫자들을 동시에 추측하는 법을 배웁니다. 이 덕분에 경쟁 모델들보다 수십 배 더 빠르게 작동합니다.

하지만 저자들은 이것이 모든 문제에 대한 마법의 해결책이라고 주장하는 데는 신중합니다. 그들은 ERRLESS가 가능한 답의 분포를 모델링하는 데는 뛰어나지만, 극도로 복잡한 대상 표현을 다룰 때는 여전히 어려움을 겪을 수 있다고 언급했습니다. 또한 이 방법이 특정 수학 연산자 집합에 의존하고 있다는 점을 지적하며, 향후 연구를 통해 AI가 스스로 연산자를 발명하거나 이 아이디어를 미분 방정식에 적용할 수 있을 것이라고 밝혔습니다.

요약하자면, 이 논문은 물리학의 법칙과 똑똑하고 탐구적인 AI 훈련 방식을 결 조합함으로써, 단순히 '하나의' 공식을 찾는 것이 아니라 가능한 공식들의 '지형'을 이해하는 시스템을 구축할 수 있음을 시사합니다. 이는 단순히 숫자를 계산하는 것을 넘어, 우리 우주를 지배하는 법칙의 불확실성과 아름다움을 진정으로 이해하는 기계로 나아가는 한 걸음입니다.

기술 요약: 엔트로피 정규화 강화 학습을 이용한 베이지안 심볼릭 회귀 (ERRLESS)

문제 정의

심볼릭 회귀(Symbolic Regression, SR)는 입력값을 출력값으로 매핑하는 대수적 표현식을 찾는 것을 목표로 하며, 이는 일반적으로 연산자 라이브러리로부터 구성된 추상 구문 트리(AST)로 표현됩니다. 일반적인 SR 알고리즘은 최적의 적합도를 가진 단일 표현식을 찾는 데 집중하지만(종종 복잡도와 적합도 사이의 절충), 이러한 점 추정 방식은 **인식론적 불확실성(epistemic uncertainty)**을 포착하지 못합니다. 데이터가 제한적이거나 노이즈가 많은 과학적 환경에서, 단일 표현식은 신뢰할 수 없을 수 있으며 데이터 부족으로 인한 불확실성은 가려지게 됩니다.

기존의 베이지안 SR 접근 방식은 표현 구조와 파라미터에 대한 사전 분포를 정의하고 데이터를 통해 사후 분포를 유도함으로써 이러한 불확실성을 모델링하려고 시도합니다. 그러나 Reversible-Jump MCMC 또는 Sequential Monte Carlo(SMC)에 의존하는 전통적인 방법들은 수작업으로 설계된 제안 분포(proposal distribution)에 의존하거나 계산 비용이 많이 들어 확장성이 떨어지는 경우가 많습니다.

방법론: ERRLESS

저자들은 ERRLESS(Entropy-Regularized Reinforcement Learning for Expression Structure Sampling)를 제안합니다. 이는 최대 엔트로피 강화 학습(maximum-entropy RL)을 통해 신경망 정책을 학습시켜 샘플링 과정을 상쇄(amortize)하는 확장 가능한 프레임워크입니다.

1. Bottom-Up 생성 환경

대부분의 딥러닝 기반 SR 방식이 사용하는 Top-down 생성 방식(연산자를 피연산자보다 먼저 샘플링하는 방식)과 달리, ERRLESS는 Bottom-up (postorder) 생성 프로세스를 채택합니다.

순차적 의사결정: 표현 트리는 토큰의 시퀀스(역 폴란드 표기법, RPN)로 생성됩니다. 정책은 토큰을 하나씩 샘플링합니다.
제약 조건 강제: 이 Bottom-up 방식은 즉각적인 제약 조건 강제를 가능하게 합니다. 피연산자(잎 노드)가 먼저 지정됨에 따라, 새로운 연산자가 추가되기 전에 차원 타당성(물리적 단위 호환성) 및 구조적 타당성(예: $\sqrt{x^2}$ 와 같은 중복 구성이나 삼각 함수 중첩 방지)을 확인할 수 있습니다.
상태 공간: 환경은 현재의 부분 시퀀스를 추적하여, 유효한 연속 동작만을 샘플링하도록 보장함으로써 탐색 공간을 효과적으로 가지치기(pruning)합니다.

2. 최대 엔트로피 강화 학습

본 연구의 핵심 혁신은 SR 작업을 $p(T, \theta, \sigma | D)$ 로부터 샘와 샘플링하는 것을 목표로 하는 RL 문제로 정식화한 것입니다.

보상 함수: 보상 $R(T, \theta, \sigma)$ 는 비정규화된 로그 사후 확률(unnormalized log-posterior)로 정의됩니다.
$R(T, \theta, \sigma) = \log P(T) + \log p(\theta, \sigma | T) + \sum_{i=1}^N \log \mathcal{N}(y_i; f_{T,\theta}(x_i), \sigma^2)$
목적 함수: 정책 $\pi_\phi$ 는 다음의 엔트로피 정규화 목적 함수를 최대화하도록 학습됩니다.
$\max_\phi \left( \mathbb{E}_{(T,\theta,\sigma) \sim \pi_\phi}[R(T, \theta, \sigma)] + H[\pi_\phi] \right)$
이를 최대화함으로써 학습된 정책과 실제 사후 분포 사이의 Kullback-Leibler(KL) 발산을 최소화합니다.
학습 알고리즘: 저자들은 Generative Flow Networks(GFlowNets)의 핵심 손실 함수인 Trajectory Balance (TB) 목적 함수를 활용합니다. 이를 통해 행동 정책(behavior policy)에 의해 생성된 궤적의 리플레이 버퍼로부터 학습하는 오프 정책(off-policy) 학습이 가능하며, 초기 상태와 최종 보상 사이의 경로 일관성을 최적화합니다.

3. 정책 아키텍처

정책은 Transformer 기반 아키텍처로 매개변수화됩니다.

입력: 현재까지 생성된 토큰 시퀀스.
헤드(Heads): 네트워크는 세 가지 별도의 분포를 출력합니다.
1. Action Head: 다음 토큰(연산자, 변수, 상수 또는 종료)에 대한 로짓(logits).
2. Constant Head: 실수 값 상수 $\theta$ 를 샘플링하기 위한 가우시안 혼합 모델(GMM)의 파라미터.
3. Noise Head: 노이즈 분산 $\sigma$ 를 샘플링하기 위한 로그-노멀(Log-Normal) 혼합 모델의 파라미터.

주요 기여

새로운 생성 프로세스: 차원 분석과 구조적 제약을 생성 과정에 직접 통합하여 탐색 공간을 크게 줄이는 SR을 위한 bottom-up 환경을 제공합니다.
엔드 투 엔드 베이지안 정식화: 스칼라 파라미터 추론을 포함한 베이지안 SR을 단일 정책 학습 문제로 정식화하여, 명시적인 후보별 상수 피팅 과정 없이 구현했습니다.
확장 가능한 사후 분포 샘플링: 표현 구조와 파라미터에 대한 사후 분포로부터 효율적으로 샘플링할 수 있는 방법으로, 불확실성 정량화를 가능하게 합니다.

실험 결과

저자들은 세 가지 벤치마크(합성 데이터셋, Feynman Symbolic Regression Database, Blackbox 벤치마크)를 통해 ERRLESS를 평가했습니다.

사후 모델링 정확도 (합성 데이터): SMC 베이스라인인 PySIPS와 비교했을 때, ERRLESS는 유의미하게 높은 결정 계수( $R^2$ )를 가진 사후 예측 평균을 생성했습니다. PySIPS는 발산하는 샘플의 꼬리 부분이 평균을 지배하여 사후 평균 산출에 실패하는 경우가 많았던 반면, ERRLESS는 유한하고 잘 정의된 사후 샘플을 생성했습니다.
Feynman 벤치마크: ERRLESS는 0.924의 경쟁력 있는 AUC 점수를 달성하여, DSR(0.873) 및 PhySO(0.893)와 같은 다른 RL 기반 방법들과 베이지안 베이스라인인 BSR(0.702)을 능가했습니다. 또한 다양한 노이즈 수준( $\gamma \in \{0.001, 0.01, 0.1\}$ )에 대해 우수한 강건성을 보여주었습니다.
복잡도 vs 정확도: 일부 진화 알고리즘은 높은 적합도 점수를 달성하기도 했으나, 종종 지나치게 복잡한 표현식을 생성했습니다. ERRLESS는 짧고 해석 가능한 표현식을 생성하며 유리한 절충안을 유지했습니다.
효율성: ERRLESS는 대부분의 학습 기반 경쟁 모델보다 한 자릿수 더 빨랐습니다. 이러한 속도 향상은 파라미터 최적화의 상쇄(amortization) 덕분이며, 신경망 정책이 파라미터를 직접 샘플링하도록 학습되어 다른 방법들에서 요구되는 내부 최적화 루프(예: 최소 제곱 피팅)를 제거했기 때문입니다.

의의 및 주장

본 논문은 ERRLESS가 심볼릭 회귀의 해석 가능성과 베이지안 추론의 불확실성 정량화 사이의 간극을 성공적으로 메웠다고 주장합니다. 최대 엔트로피 강화 학습을 활용함으로써, ERRLESS는 전통적인 MCMC/SMC의 계산적 병목 현상을 피하면서 단일 점 추정치가 아닌 전체 사후 분포를 제공합니다.

저자들은 데이터가 부족하고 노이즈가 많은 환경에서 베이지안 관점이 특히 가치 있다는 점을 강조하며, ERRLESS의 사후 예측 평균이 단일 점 추정치보다 우수함을 입증했습니다. 이 연구는 표현 구조와 그 파라미터를 동시에 샘플링하는 정책을 학습하는 것이 가능함을 보여주며, 불확실성이 명시적으로 모델링되는 자동화된 과학적 발견을 향한 확장 가능한 경로를 제시합니다.

저자가 언급한 한계점: 매우 복잡한 타겟 표현식에서는 성능이 저하될 수 있습니다. 복잡도와 정확도의 균형을 더 잘 맞추기 위해 온도(temperature) 파라미터에 따라 샘플러를 조건화하고, 데이터셋에 대해 상쇄하거나 연산자 라이브러리를 발견하도록 확장하는 후속 연구가 제안되었습니다.