Library Reachability in LSR-Synth: How Anti-Memorization Design Changes the Measurement of Symbolic Discovery

기술 요약: LSR-Synth에서의 라이브러리 도달 가능성 (Library Reachability)

1. 문제 정의

LSR-Synth와 같은 기존의 과학적 방정식 발견(scientific equation discovery) 벤치마크는 확립된 과학적 메커니즘과 새로운 합성 항(synthetic terms)을 결합하여 타겟 방정식을 구성함으로써 "공식 암기(formula memorization)"를 완화하도록 설계되었습니다. 이는 타겟 표현 전체가 언어 모델(LLM)의 학습 코퍼스에 그대로 존재할 가능성을 방지합니다.

그러나 LLM의 성공이 진정한 과학적 사전 지식(scientific priors)에서 기인한 것인지, 아니면 단순히 익숙한 수학적 구성 요소들을 재조합하는 능력에 불과한지를 평가하는 데에는 여전히 중요한 격차가 존재합니다. 타겟 방정식 자체는 새롭더라도, 그 구성 연산자(예: 거듭제곱, 지수 함수, 삼각 함수)와 구조적 패턴은 고정된 의미론적 공백이 없는(semantics-free) 탐색 공간 내에 완전히 포함되어 있을 수 있습니다. 만약 문서화된 어휘집을 사용하는 전통적인 탐색 알고리즘이 변수의 의미나 도메인 맥락에 접근하지 않고도 타겟을 복구할 수 있다면, LLM의 기여도는 표준적인 연산자 탐색과 구별할 수 없게 됩니다. 본 논문은 다음과 같은 질문을 다룹니다: 현재의 LSR-Synth 태스크들이 LLM이 제공하는 과학적 사전 지식과 고정된 어휘집 내에서의 전통적 탐색을 효과적으로 구분하고 있는가?

2. 방법론

저자들은 라이브러리 도달 가능성(library reachability) 개념을 중심으로 한 진단 프레임워크를 도입합니다: 이는 정해진 어휘집과 계산 예산 하에서 타겟을 복구할 수 있는 성질을 의미합니다.

실험 설정:

• 데이터셋: LSR-Synth 벤치마크에서 추출한 129개의 태스크 (인구 성장, 물리적 진동, 화학 반응, 재료 관계를 포함).
• 후보 출처 (Candidate Sources):
  • BANK: 태스크의 의미론(변수명 또는 도메인 설명)에 접근하지 않고 구축된 고정 후보 라이브러리. 두 가지 변형이 사용됨: BANK-LaSR (PySR 연산자 세트 기반) 및 BANK-SRBench-PySR.
  • LLM: 두 가지 조건 하에서 언어 모델이 제안한 후보군:
    • L1: 전체 맥락 제공 (변수명, 도메인 설명, 데이터 범위).
    • L2: 의미론적 블라인딩 (익명의 변수, 도메인 설명 없음).
  • UNION: BANK와 LLM 후보 세트의 합집합.
• 탐색 절차: 동일한 훈련 서브샘플, 적합 절차(매개변수 공동 재추정 기능을 갖춘 비선형 최소제곱법), 그리고 중단 기준을 사용하여 각 후보 풀(BANK, LLM, UNION)에 대해 쌍을 이룬 그리디 탐색(paired greedy search)을 실행합니다. 이를 통해 후보 출처를 유일한 변수로 격리합니다.
• 중재 (Interventions):
  • 의미론적 블라인딩 (Semantic Blinding): 도메인 맥락의 가치를 평가하기 위해 L1과 L2를 비교.
  • 라이브러리 약화 (Library Weakening): 명시적인 커버리지 공백을 만들기 위해 전체 라이브러리를 BANK-Poly(다항식 전용) 라이브러리로 교체.
  • 매치드 녹아웃 (Matched Knockouts): 타겟에 필요한 연산자 계열을 제거하는 것과 동일한 수의 무관한 연산자를 제거하는 것을 비교하여 커버리지 민감도를 테스트.

평가 지표:

• 내부 분포 정확도 (In-Distribution Accuracy): 상대 오차 임계값 ($\tau=0.01, 0.001$).
• 엄격한 공동 복구 (Strict Joint Recovery): 내부 분포(ID) 및 외부 분포(OOD) 데이터 모두에서 성공 ($NMSE < 10^{-8}$).
• 기호적 정확도 (Symbolic Accuracy, SA): 예측된 스켈레톤이 실제 정답과 구조적으로 동일한지를 결정하는 엄격한 만장일치 규칙 (GPT-OSS-120B의 10/10 "Yes" 투표).

3. 주요 결과

• 고정 라이브러리에 의한 높은 커버리지: 전체 LaSR 어휘집 하에서, 고정된 BANK-LaSR 라이브러리는 높은 성능(Acc0.01 77.71%, SA 19.77%)을 달성하며, 기존 문헌에 보고된 많은 LLM 기반 방법들을 능가했습니다.
• LLM의 미미한 기여: 고정 라이브러리가 완전할 때, LLM 후보를 추가(UNION)하더라도 BANK 단독 사용 시보다 개선 효과가 미미하거나 비단조적(non-monotonic)입니다. LLM은 고정 라이브러리가 찾지 못하는 솔루션을 거의 발견하지 못합니다.
• 라이브러리 약화의 영향: 고정 라이브러리가 다항식으로 제한될 때(BANK-Poly), 성능이 크게 하락합니다. 이 설정에서는 LLM 후보를 추가(UNION-Poly)했을 때 모든 지표에서 상당한 이득이 발생하며, 이는 LLM이 제한된 어휘집에서 누락된 실제 구조적 공백(예: 지수 또는 삼각 항)을 채우는 데 효과적임을 입증합니다.
• 의미론적 맥락: LLM의 성능은 블라인딩된 맥락(L2)보다 전체 맥락(L1)을 가질 때 더 높지만, 이 이점이 최종적인 엔드 투 엔드(end-to-end) 이득으로 이어지는 것은 고정 라이브러리에 커버리지 공백이 있을 때뿐입니다.
• 성공의 분해: 쌍을 이룬 결과 분석을 통해 BANK와 LLM의 성공 사이의 광범한 중첩이 드러났습니다. 엄격한 기준(SA, OOD) 하에서, LLM에 의해서만 해결된 태스크의 수는 BANK에 의해서만 해결된 태스크의 수에 비해 매우 적습니다.

4. 주요 기여

• 라이브러리 도달 가능성 개념: 본 논문은 완전한 방정식의 참신함과 탐색 공간의 참신함을 구분하기 위한 진단 도구로서 "라이브러리 도달 가능성"을 정의하고 구체화합니다.
• 진단적 벤치마킹 프로토콜: LLM의 사전 지식과 후보 커버리지를 분리하기 위해 고정된 시드와 예산을 사용하는 쌍을 이룬 BANK, LLM, UNION 실행을 사용하는 엄격한 평가 프로토콜을 제안합니다.
• LSR-Synth에 대한 실증적 증거: 본 연구는 현재의 LSR-Synth 종합 점수가 대부분의 태스크가 의미론이 없는 라이브러리에 의해 도달 가능하다는 점을 고려할 때, LLM이 고정된 탐색 공간 이상의 과학적 사전 지식을 제공한다는 것을 입증하기에는 불충분함을 보여줍니다.

5. 의의 및 주장

본 논문은 LLM이 기호 회귀(symbolic regression)에 무용하다거나 안티-메모리제이션(anti-memorization) 벤치마크가 유효하지 않다고 주장하는 것이 아닙니다. 대신, 다음과 같이 제한적이지만 정밀한 결론을 제시합니다:

"현재의 종합 벤치마크 점수만으로는 언어 모델이 고정된 라이브러리에 이미 인코딩된 것 이상의 과학적 지식을 기여한다는 것을 입증하기에 불충분하다."

저자들은 LSR-Synth가 전체 공식의 회상을 성공적으로 방지하고 있지만, 탐색 공간의 도달 가능성에 대해서는 아직 통제하지 못하고 있다고 주장합니다. 결과적으로, 이러한 벤치마크에서의 높은 정확도는 새로운 과학적 사전 지식의 적용보다는 익숙한 연산자를 재조합하는 모델의 능력을 반영할 수 있습니다.

향후 연구를 위한 시사점:

• 벤치마크는 생성된 태스크를 공개하기 전에 문서화된 고정 라이브러리와 대조하여 스트레스 테스트를 수행해야 합니다.
• 평가는 후보 회상(candidate recall)과 효과적인 탐색 경계 확장(search-boundary expansion)을 구분하기 위해 BANK, LLM, UNION 결과를 공동으로 보고해야 합니다.
• 과학적 발견에 대한 주장은 LLM이 동일한 계산 예산 하에서 고정된 의미론 없는 어휘집이 달성할 수 있는 범위를 넘어 탐색 경계를 확장한다는 증거에 의해 뒷받침되어야 합니다.