Learned variable-support priors accelerate symbolic regression of physical laws

기술 요약: 기호 회귀를 위한 학습된 변수 지원 사전 확률(Learned Variable-Support Priors)

문제 정의
기호 회귀(Symbolic Regression, SR)는 관측된 데이터에 적합한 압축된 공식을 찾기 위해 수학적 표현의 공간을 탐색함으로써 해석 가능한 물리 법칙을 발견하는 것을 목표로 한다. SR은 블랙박스 예측 모델에 비해 차원 일관성 및 외삽 능력과 같은 장점을 제공하지만, 근본적인 조합론적 장애물에 직면해 있다. 후보 표현 트리(expression trees)의 수는 입력 변수의 수와 가용 연산자의 수에 따라 기하급적으로 증가한다. 물리적 응용 분야에서 지배 법칙은 일반적으로 매우 적은 수의 측정 변수와 제한된 연산자 집합만을 사용하지만, 표준 솔버는 무관한 브랜치가 포함된 방대한 탐색 공간을 탐색해야 한다. 이러한 비효율성은 특히 데이터셋에 다수의 "방해 요소(distractor)" 컬럼(무관한 변수)이 포함되어 있을 때 성능 저하를 초래하며, 이로 인해 솔버가 진정한 법칙을 찾는 데 실패하거나 가짜(spurious)의 과적합된 표현으로 수렴하게 만든다.

방법론: DenoisedSR
저자들은 SR을 가속화하기 위해 "지원 사전 확률(support prior)"—즉, 지배 법칙에 참여할 가능성이 높은 입력 변수(및 선택적으로 연산자)의 부분 집합—을 예측하도록 설계된 솔버 불가지론적(solver-agnostic) 학습 프런트엔드인 DenoisedSR을 제안한다. DenoisedSR은 전체 방정식을 직접 디코딩하려고 시도하는 대신(이는 종종 구조적 오류를 유발함), 백엔드 솔버가 시작되기 전에 탐색 공간을 좁힌다.

시스템 아키텍처는 다음과 같이 구성된다:

1. 앙상블 예측기(Ensemble Predictor): **그래프 어텐션 네트워크(GAT)**와 랜덤 포레스트(RF) 모델의 결합체이다.
   • GAT는 노드가 입력 컬럼을 나타내는 그래프 상에서 작동한다. 노드 특징에는 통계적 모멘트, 타겟과의 상관관계, 단조성 및 차원 기술자가 포함된다. 엣지는 물리 법칙의 지식 그래프로부터 학습된 공생 사전 확률(co-occurrence prior)을 인코딩하여, 모델이 어떤 변수들이 함께 그럴듯한 법칙을 뒷받침하는지 추론할 수 있게 한다.
   • RF는 컬럼별 통계치를 기반으로 컬럼 점수를 매긴다.
   • 최종 점수는 가중 합계로 계산된다: $s(col) = RF(col) + \sigma(GAT(col))$.
2. 임계값 설정(Thresholding): 진정한 법칙이 도달 가능한 상태로 남을 수 있도록 높은 재현율(recall)을 우선시하여, 점수가 낮은 임계값($\tau = 0.10$)을 초과하는 변수들만 유지한다.
3. 연산자 사전 확률(Operator Prior, 선택 사항): 유사한 GAT 모델이 물리적 변수 이름(예: $\theta$를 삼각 함수와 연관시킴)을 기반으로 관련 연산자의 부분 집합을 예측한다.
4. 통합(Integration): 예측된 지원 집합은 축소된 변수 및 연산자 집합에 대해 최종 탐색을 수행하는 기존 SR 백엔드(예: PySR, gplem, 또는 GPU 기반 열거법)로 전달된다.

주요 기여

• 솔버 불가지론적 가속화: 이 방법은 솔버의 내부 로직을 수정하지 않고도 모든 트리 탐색 또는 열거형 백엔드를 개선하는 전처리 계층 역할을 한다.
• 고재현율 필터링: 모델은 외부 물리 벤치마크에서 $\ge 0.96$의 재현율을 달 achieves하며, 이는 진정한 변수가 거의 누락되지 않으면서도 상당수의 후보 컬럼을 효과적으로 제거함을 보장한다.
• 차원 축소와의 구별: 저자들은 성능 향상이 단순한 차원 축소가 아니라 학습된 탐색 가이드에서 비롯되었음을 동일한 크기의 랜덤 지원 집합을 사용한 대조 실험을 통해 입증하였다.

결과
논문은 네 가지 외부 벤치마크(AI-Feynman, Strogatz, Nguyen, SRSD-Feynman)와 세 가지 구조적으로 다른 백엔드(PySR, gplem, PSE)에 대해 DenoisedSR을 평가하였다.

• 변수 복구(Variable Recovery): AI-Feynman 벤치마크(118개 방정식)에서 앙상블은 모든 진정한 변수를 복구하는 완벽한 재현율(1.000)을 달성했다. 이는 변수의 개수에 대한 오라클 지식이 있더라도 진정한 변수를 놓치는 5가지 고전적 피처 선택 기법(Pearson/Spearman 상관관계, 상호 정보량, 랜덤 포레스트 중요도, Lasso)보다 우수한 성능을 보인다. 모델은 상대적 가우시안 노이즈가 30%인 경우에도 레이블 노이즈에 견고하다.
• 백엔드 성능 (PySR): 고정된 10초 예산 하에서, 변수 사전 확률을 PySR에 공급하면 정확한 법칙 복구율이 $42 \pm 13\%$에서 시드 안정적인(seed-stable) $60 \pm 0\%$로 증가한다. 평균 홀드아웃 $R^2$는 $0.906$에서$0.980$으로 개선된다. 후보 컬럼 집합은 85% 감소하며(약 23개에서 약 3.4개로), 탐색 어휘(vocabulary)는 절반으로 줄어든다.
• 방해 요소에 따른 확장성: 가이드된 탐색과 가이드되지 않은 탐색 사이의 성능 격차는 방해 컬럼의 수가 증가함에 따라(5개에서 30개까지) 단조롭게 넓어진다. 전체 PySR 복구율이 방해 요소가 많아질수록 크게 떨어지는 반면, DenoisedSR은 약 61~62%의 안정적인 복구율을 유지한다.
• 해결 시간(Time-to-Solution): 불필요한 브랜치를 제거함으로써, DenoisedSR은 비사소한(non-trivial) 공식에 대해 해결 시간을 최대 6배까지 단축하며, 중앙값 속도는 약 1.5배 향상된다. 프런트엔드 추론은 작업당 약 40ms만 추가된다.
• 다른 백엔드로의 일반화:
  • gplem (고전적 GP): 정확한 복구가 3.3%에서 17.8%로 향상된다.
  • PSE (GPU 병렬 열거): 사전 확률이 샘플러가 정보가 있는 변수 부분 집합을 추출하도록 보장함에 따라, 정확한 복구가 0%에서 40%로 급증한다.
• 블랙박스 데이터: 24개의 PMLB/SRBench 블랙박스 작업에서, DenoisedSR은 전체 탐색에 비해 평균 홀드아웃 $R^2$를 유의미하게 개선한 반면, 랜덤 지원 대조군은 성능이 저하되었다. 이는 관측치에 조건화된 가이드의 가치를 확인시켜 준다.
• 특정 영역에서의 한계: 물리적으로 타당한 더미 변수가 거의 포함된 SRSD-Feynman 벤치마크에서 사전 확률은 대체로 중립적이다. 이는 이 방법이 방해 변수 대비 진정한 변수의 비율이 높을 때 가장 효과적임을 확인시켜 준다.

의의 및 주장
논문은 학습된 지원 사전 확률이 기호 회귀를 위한 "높은 레버리지, 낮은 리스크의 개입"을 나타낸다고 주장한다. 변수 선택이라는 어려운 과제를 방정식 발견 과정과 분리함으로써, DenoledSR은 기존 솔버가 더 효율적이고 신뢰성 있게 작동할 수 있도록 한다. 저자들은 신경망 프런트엔드가 아직 변수를 특정 방정식 내의 위치에 할당하는 것(즉, "할당 간극(assignment gap)")은 확실히 하지 못하지만, 어떤 양이 중요한지는 성공적으로 식별한다는 점을 강조한다. 이 접근 방식은 기존의 물리 기반 사전 확률 및 차원 분석을 보완하며, 엔드 투 엔드 신경망 방정식 생성 없이도 더 빠르고 견고한 물리 법칙 발견을 위한 실질적인 경로을 제공한다. 이 방법은 현재의 솔버를 강화하는 데 즉시 유용하며, 실패 모드 또한 경험적으로 안전하다(높은 재현율이 진정한 법칙이 제외되지 않음을 보장함).