기술 요약: 좋은 방정식이 나쁜 점수를 받는 경우

문제 정의

기호 회귀 (SR) 는 관측 데이터로부터 해석 가능한 수학적 방정식을 발견하는 것을 목표로 합니다. 대부분의 현대 SR 방법은 이중 최적화 프레임워크 내에서 작동합니다. 외부 루프는 이산적인 방정식 구조 (예: 표현식 트리) 를 탐색하는 반면, 내부 루프는 주어진 구조에 대해 연속적인 매개변수 (상수, 계수) 를 최적화합니다.

이 논문은 **"좋은 구조, 나쁜 점수"**라고 명명된 치명적인 병목 현상을 식별했습니다. 이 현상에서 구조적으로 올바른 방정식은 내부 루프 매개변수 최적화가 전역 최소점을 찾지 못하기 때문에 낮은 적합도 점수를 받습니다. 이러한 실패는 다음과 같은 원인에서 비롯됩니다:

1. 비볼록 지형: 중첩된 비선형 연산자 (예: 지수함수, 삼각함수) 는 수많은 국소 최소점을 가진 고도로 비볼록한 손실 표면을 생성하며, 이는 종종 "분지 속의 바늘" 토폴로지라고 묘사됩니다.
2. 부족한 솔버: 현재 SR 시스템은 초기값에 민감한 빠르고 범용적인 국소 솔버 (예: BFGS, Nelder-Mead) 에 의존합니다. 이러한 솔버는 종종 비최적 국소 최소점에 수렴하거나 평탄한 고원 (plateau) 에서 멈추어, 올바른 구조에 부당하게 낮은 점수를 부여합니다.
3. 탐색 오도: 이러한 낮은 점수에 속아 넘어간 외부 루프는 유망한 후보들을 폐기하여 실제 물리 법칙으로의 수렴을 방해하고 계산 자원을 낭비합니다.

저자들은 병목 현상이 유효한 구조를 생성하는 것에서 이를 정확하게 평가하는 것으로 이동했다고 주장합니다.

방법론: SAGE-Fit

이를 해결하기 위해 저자들은 SAGE-Fit(기호 회귀를 위한 구조 인식 및 의미론적 안내 평가자) 을 제안했습니다. 이는 플러그 앤 플레이 모듈로 설계된 통합 매개변수 피팅 프레임워크입니다. SAGE-Fit 은 기호 표현식에 내재된 두 가지 "네이티브 사전 지식"을 활용합니다: 대수적 구조와 함수적 의미론.

이 프레임워크는 세 가지 통합 모듈로 구성됩니다:

1. 구조 인식 차원 축소 (모듈 1)

• 개념: 대수적 구조 사전 지식을 활용합니다. 방정식의 모든 매개변수가 비선형인 것은 아니며, 일부는 조건부 선형입니다 (예: $a \sin(bx+c)$의 진폭).
• 메커니즘: 시스템은 후보 방정식의 추상 구문 트리 (AST) 를 파싱하여 조건부 선형 매개변수를 식별합니다. 그런 다음 **변수 투영 (VarPro)**을 사용하여 이러한 선형 매개변수 ($\alpha$) 를 비선형 매개변수 ($\beta$) 에서 결정론적으로 분리합니다.
• 효과: 고정된 비선형 매개변수 집합 $\beta$에 대해, 최적의 선형 매개변수 $\alpha^*$는 선형 최소제곱법을 통해 폐쇄형으로 해결됩니다. 이로 인해 고차원의 혼합 탐색 공간이 더 낮은 차원의 순수 비선형 매니폴드로 축소되어, 불량한 조건을 유발하는 인위적인 선형 - 비선형 결합이 제거됩니다.

2. 의미론적 안내 초기화 (모듈 2)

• 개념: 함수적 의미론 사전 지식을 활용합니다. 매개변수 공간에서의 거리는 기만적입니다 (예: $\sin(x)$와 $\sin(x+2\pi)$는 매개변수는 다르지만 동일한 함수를 가짐). 무작위 매개변수 샘플링은 여러 시작점이 동일한 국소 최소점으로 수렴하는 "분지 붕괴"를 초래합니다.
• 메커니즘: 저자들은 **함수 공간 최원점 샘플링 (FS-FPS)**을 도입합니다.
  1. 후보 매개변수 벡터의 과샘플링 집합을 생성합니다.
  2. 이러한 벡터를 훈련 데이터에 대한 예측 출력 벡터 (함수 지문) 로 매핑합니다.
  3. 매개변수 공간이 아닌 함수 공간 (출력의 정규화된 유클리드 거리) 에서 최대한 분리된 다양한 시작점 집합을 선택합니다.
• 효과: 이는 여러 시작점이 진정으로 구별되는 끌개 분지 (attractor basins) 를 탐색하도록 보장하여, 나쁜 초기화로 인해 전역 최적점을 놓칠 위험을 크게 줄입니다.

3. SR 전용 국소 인력 (모듈 3)

• 개념: 축소된 매니폴드에서도 지형은 여전히 비볼록합니다. 표준 경사 하강법은 비효율적입니다.
• 메커니즘: SAGE-Fit 은 신뢰 영역 반사 (TRF) 감쇠를 적용한 투영 가우스 - 뉴턴 방법을 사용합니다. 야코비안은 선형 매개변수가 비선형 매개변수에 의존한다는 점을 고려하여 암시적으로 계산됩니다.
• 효과: 이는 환원 불가능한 비선형 매니폴드에서 곡률 인식 하강을 제공하여, 모듈 2 에서 제공된 고품질 시드 (seed) 로부터 전역 최적점으로 빠르게 수렴할 수 있게 합니다.

주요 기여

1. 병목 현상의 진단: 이 논문은 올바른 구조에 대한 "분지 속의 바늘" 토폴로지와 부분적으로 올바른 구조에 대한 다양하고 불안정한 행동을 특징으로 하는 SR 최적화 실패에 대한 지형 수준의 분석을 제공합니다.
2. SAGE-Fit 프레임워크: 범용 최적화기의 한계를 극복하기 위해 구조적 사전 지식 (VarPro 를 통해) 과 의미론적 사전 지식 (FS-FPS 를 통해) 을 통합한 새로운 플러그 앤 플레이 평가자입니다.
3. 실증적 검증: 다양한 SR 패러다임 (유전 프로그래밍, 강화 학습, LLM 기반 탐색) 에 걸친 광범위한 실험을 통해, 외부 루프 탐색 논리를 수정하지 않고 내부 루프 최적화기만 업그레이드해도 성능이 크게 향상됨을 입증했습니다.

실험 결과

저자들은 화학, 생물학, 물리학, 재료 과학의 네 가지 도메인에 걸쳐 128 개의 방정식 발견 문제를 포함하는 LSR-Synth데이터셋에서 SAGE-Fit 을 평가했습니다. 그들은 PySR, uDSR, LaSR, LLM-SR이라는 네 가지 기준 시스템의 내부 루프 최적화기 대체제로 이를 테스트했습니다.

• 기호 정확도 (SA): "Plus" 변형 (기준 + SAGE-Fit) 은 기준 시스템보다 일관되게 우수한 성과를 보였습니다. 예를 들어, **PySR+**는 기호 정확도를 2.78% 에서 8.33% 로 높여 3 배 개선을 이루었으며, **uDSR+**는 LSR-Synth 데이터셋에서 13.89% 의 최고 SA 를 달성했습니다.
• 수치적 충실도: "Plus" 변형은 허용 오차 내 정확도 ($Acc_{0.1}$) 와 정규화 평균 제곱 오차 (NMSE) 에서 상당한 개선을 보여주었으며, 이는 탐색이 단순히 더 잘 맞는 잘못된 형태가 아닌 구조적으로 우월한 형태로 안내되었음을 나타냅니다.
• 평가자 충실도 분석:
  • 손실률: LLM-SR 궤적에서 원래 평가자는 재료 과학 분야에서 최대 **61.79%**의 "손실률"을 유발하여, 부적합한 피팅으로 인해 유망한 후보들이 폐기되었습니다. SAGE-Fit 은 이를 크게 줄였습니다.
  • 후보 수준 분석: 구조 진행 은행(200 개의 중간 후보에 대한 벤치마크) 에서 SAGE-Fit 은 표준 멀티 - 스타트 BFGS 를 사용할 때 51.5% 였던 "누락된 진행"률을 **8.0%**로 낮췄습니다.
  • 로그 비율 개선: 원래 평가자를 SAGE-Fit 으로 교체한 결과, NMSE 의 중앙값 로그 비율 개선은 생물학에서 1.91, 화학에서 1.59, 물리학에서 0.69, 재료 과학에서 5.67 로 나타나 일부 도메인에서는 오차 감소가 수배에 달했습니다.

중요성과 주장

이 논문은 폐쇄 루프 기호 회귀, 특히 LLM 안내 접근법에서 내부 루프 평가자의 충실도가 주요 병목 현상이라고 주장합니다. 이 연구의 중요성은 다음과 같은 점을 입증하는 데 있습니다:

• 내부 루프 최적화는 독립적인 레버입니다: 매개변수 피팅만 강화해도 기호 탐색 논리 (예: 새로운 진화 연산자 또는 LLM 프롬프트) 에 복잡한 변경을 요구하지 않고도 주류 SR 시스템을 크게 강화할 수 있습니다.
• 사전 지식이 중요합니다: 기호 표현식을 블랙박스로 취급하는 것은 중요한 대수적 및 의미론적 정보를 무시하는 것입니다. 이러한 사전 지식을 명시적으로 활용하면 "좋은 구조, 나쁜 점수" 현상을 해결합니다.
• 보편적 개선: 이 접근법은 "플러그 앤 플레이" 방식으로, 최적화 실패로 인해 구조적으로 올바른 후보들이 조기에 폐기되지 않도록 보장함으로써 진화 기반부터 LLM 기반까지 다양한 SR 시스템의 성능을 보편적으로 향상시킵니다.

저자들은 "분지 속의 바늘" 병리를 완화하고 분지 붕괴를 방지함으로써 SAGE-Fit 이 SR 시스템이 복잡한 과학 법칙을 발견하는 데 있어 그 잠재력을 최대한 발휘할 수 있게 한다고 결론지었습니다.