기술 요약: LLM 기반 모델 발견을 위한 확률론적 프레임워크

문제 정의

과학적 발견은 이론과 데이터를 통합하여 해석과 예측을 가능하게 하는 기계론적 시뮬레이터 모델에 점점 더 의존하고 있습니다. 그러나 이러한 모델을 구축하는 것은 상당한 도메인 전문 지식과 반복적인 수동 정교화 과정을 필요로 하므로 노동 집약적입니다. 대규모 언어 모델(LLM)은 텍스트 형식의 공식을 실행 가능한 코드로 직접 생성하고 수정함으로써 이 과정을 자동화할 수 있는 경로를 제공하지만, 기존의 LLM 기반 발견 시스템은 일반적으로 수작업으로 설계된 휴리스틱, 에이전트 역할 및 상호작용 프로토콜을 통해 운영적으로 정의됩니다.

이러한 운영적 접근 방식은 명시적인 확률론적 정식화가 결여되어 있어 다음과 같은 세 가지 주요 한계를 가집니다:

1. 해석 가능성 부족: 기저의 추론 문제가 명시적으로 기술되지 않아, 실패 모드를 파악하기 어렵고 원칙적인 확장이 방해됩니다.
2. 이론적 간극: 이러한 시스템은 자연스럽게 이론적 분석이나 수렴 보증을 허용하지 않습니다.
3. 형식적 추론의 어려움: 역할이 느슨하게 지정될 경우 특정 시스템 구성 요소의 필요성이나 충분성을 형식적으로 추론하기 어렵습니다.

본 논문은 자동화된 모델 발견을 단순한 휴리스틱 워크플로우가 아니라, 관측 데이터 $x_o$를 설명할 수 있는 기계론적 모델 $m$(코드로 구현됨)에 대한 미지의 분포 $p(m|x_o)$로부터 샘플링하는 확률론적 추론 문제로 재정의해야 한다고 주장합니다.

방법론: ModelSMC

저자들은 이 확률론적 프레임워크를 구현하는 순차 몬테카를로(Sequential Monte Carlo, SMC) 샘플링 기반 알고리즘인 ModelSMC를 소개합니다. ModelSMC는 후보 시뮬레이터 모델을 '입자(particles)'로 취급하여, 이를 LLM에 의해 반복적으로 제안, 정교화 및 가중치 부여합니다.

핵심 알고리즘

ModelSMC는 $K$번의 반복 동안 $N$개의 입자 모집단을 사용하여 사후 분포 $p(m|x_o)$를 근사합니다. 각 반복 $k$에서의 각 입자 $i$는 모델 코드, 가중치, 그리고 문맥적 피드백을 나타내는 튜플 $(m^i_k, w^i_k, c^i_k)$입니다. 과정은 매 반복마다 세 단계로 진행됩니다:

1. 재표집(Resampling): 알고리즘은 유효 샘플 크기(ESS)를 계산합니다. 만약 ESS가 임계값 $\tau_{ESS}$ 미만으로 떨어지면, 낮은 가중치의 입자를 버리고 높은 가중치의 입자를 복제하여 모집단을 재생하는 체계적 재표집(systematic resampling)이 적용됩니다.
2. 전파(Propagation): 각 입자는 혼합 커널을 통해 전파됩니다. 확률 $\alpha$에 따라 입자는 변경 없이 복제되어(계산 자원 보존) 유지됩니다. 확률 $1-\alpha$에 따라, LLM으로부터 새로운 모델 구현이 샘플링됩니다. 이때 LLM은 다음 조건들을 부여받습니다:
   • 재표집된 입자의 조상 모델들.
   • 이전 반복으로부터 얻은 문맥적 피드백(성능 평가 및 진단).
   • 도메인 지식과 제약 조건을 인코딩한 고정된 태스크 특화 프롬프트($c_{task}$).
3. 가중치 부여(Weighting): 생성된 각 모델은 관측 데이터의 주변 가능도(marginal likelihood) $p(x_o|m)$에 비례하는 가중치를 할당받습니다. 실제 가능도는 종종 다루기 까다롭기 때문에, ModelSMC는 명시적인 파라미터 최적화나 미분 가능한 모델을 요구하지 않고 가능도를 근사하기 위해 대리 밀도 추정기(구체적으로 TabPFN 파운데이션 모델을 활용한 NLE-PFN)를 사용하는 **신경 가능도 추정(Neural Likelihood Estimation, NLE)**을 채택합니다.

이론적 토대

본 프레임워크는 ModelSMC를 고전적인 SMC 이론과 연결합니다. 이상적인 가정(정확한 가능도 평가 및 사전 분포와 일치하는 제안 분포) 하에서, 저자들은 ModelSMC가 모델 사후 분포의 **점근적으로 편향되지 않은 입자 근사(asymptotically unbiased particle approximation)**를 제공함을 증명합니다. 실제 알고리즘은 대리 가능도와 문맥 조건부 LLM 제안을 사용하지만, 이러한 이론적 근거를 통해 휴리스틱 에이전트 워크플로우에는 없는 안정성 및 수렴 특성에 대한 형식적 분석이 가능해집니다.

주요 기여

1. 확률론적 정식화: LLM 기반 모델 발견을 실행 가능한 프로그램에 대한 확률론적 추론으로 규정하여, 제안, 정교화 및 선택을 단일 목적 함수 아래 통합했습니다.
2. ModelSMC 알고리즘: LLM이 제안 분포 역할을 수행하는 모집단 기반 SMC 방법을 제안하며, 이를 통해 수작업 제한 없이 복잡하고 개방적인 모델 공간(수백 줄의 코드)을 탐색할 수 있게 합니다.
3. 실증적 검증: 합성 작업 및 신경과학(Hodgkin-Huxley 뉴런 역학)과 약리학(신장 알도스테론 조절)의 실제 데이터셋에서 성능을 검증하여, FunSearch+와 비교해 경쟁력 있는 성능을 입증했습니다.
4. 이론적 분석: 자동화된 모델 발견에 기존 SMC 이론을 적용하는 방법을 보여줌으로써, 수렴성과 시스템 구성 요소의 역할을 이해할 수 있는 렌즈를 제공합니다.

실험 결과

저자들은 ModelSMC를 두 가지 베이스라인인 FunSearch+(모델 발견을 위해 적응된 진화 탐색법 및 파라미터 최적화 포함) 및 ModelSMC N=1(단일 입자를 사용하는 순차적 비확률적 변형)과 비교 평가했습니다.

• 정량적 성능: 합성(SIR 역학 모델) 및 실제 작업(신장 약리학, Hodgkin-Huxley) 전반에 걸쳐, ModelSMC는 FunSearch+ 및 ModelSMC N=1과 대등한 수준의 경쟁력 있는 주변 및 조건부 가능도를 달s성했습니다.
• 기계론적 발견:
  • 신장 모델: ModelSMC는 알도스테론에 대한 누락된 조절 역학을 성공적으로 추론하였으며, 제한된 데이터에도 불구하고 실제 정답과 매우 유사한 좁은 범위의 피드백 메커니즘 가계(family)를 발견했습니다.
  • Hodgkin-Huxley 모델: 알고리즘은 베이스라인 모델의 구조적 결함을 식별하였으며, 이차 채널(예: 지속성 나트륨 $I_{NaP}$ 또는 HCN $I_h$)과 결합된 **M형 느린 칼륨 전류($I_M$)**를 포함하는 확장에 대해 일관되게 높은 사후 가중치를 할당했습니다.
• 사후 분석: 단일 점 추정치를 생성하는 방법들과 달리, ModelSMC는 모델에 대한 사후 분포를 생성합니다. 이를 통해 저자들은 구조적 부적절성과 파라미터 불확실성을 진단할 수 있었으며, 견고한 결론(예: $I_M$의 필요성)을 도출하는 동시에 모델 공간의 대칭성과 모호성을 밝혀낼 수 있었습니다.
• 절제 연구(Ablation Studies): 본 프레임워크는 가중치 부여 방식(MSE vs. likelihood), 시뮬레이션 예산, 프롬프트 복잡성 및 LLM 백본(Claude Sonnet 4.6 vs. GPT-5 mini)의 변화에 대해 견고함을 입증했습니다.

의의 및 주장

본 논문은 LLM 기반 모델 발견을 확률론적 추론으로 재구성하는 것이 다음과 같은 통합된 프레임워크를 제공한다고 주장합니다:

• 가정의 명확화: 추론 문제를 명시적으로 기술하여 실패 모드와 가정을 투명하게 만듭니다.
• 엄밀성 확보: SMC 이론에서 유도된 안정성 및 수렴에 대한 원칙적인 보증을 가능하게 합니다.
• 분석 용이성: 시스템 구성 요소에 대한 형식적 추론을 가능하게 하여, 체계적인 절제 연구 및 확장을 지원합니다.
• 해석 가능성 향러: 파라미터를 주변화(marginalize)하고 가중치가 부여된 모델 모집단을 유지함으로써, 단순히 하나의 "최적" 모델을 선택하는 것을 넘어 어떤 기계론적 가설이 강력하게 지지되는지, 어떤 것이 배제되는지, 그리고 무엇이 불확실한 상태로 남아 있는지를 드러냅니다.

저자들은 주요 기여가 방법론적임을 강조합니다. 즉, 과학적 참신함과 타당성에 대한 질문을 의미 있게 던질 수 있는 일반적인 추론 프레임워크를 제공하는 것입니다. 이들이 모든 경우에 새로운 과학적 통찰을 생성한다고 주장하는 것은 아니며, 그러한 결과는 특정 응용 분야, 데이터 및 모델링 가정에 달려 있음을 명시하고 있습니다. 이 프레임워크는 후보 모델을 실행할 수 있고 신뢰할 수 있는 가능도 근사가 가능한 환경에 적용 가능합니다.