🤖 AI

Model Discovery Agent: LLM-assisted Bayesian experiment design for data-efficient discovery of mechanistic world models

본 논문은 가설 생성을 위한 대규모 언어 모델과 베이지안 실험 설계를 시너지 효과를 내도록 결합하여, 물리, 화학, 생물학 벤치마크 전반에 걸쳐 제한된 개입 데이터로부터 잠재적인 메커니즘적 세계 모델을 효율적으로 발견하는 프레임워크인 모델 발견 에이전트(Model Discovery Agent, MDA)를 소개한다.

원저자: Kevin Murphy

게시일 2026-08-11

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Kevin Murphy

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 미스터리를 해결하려는 탐정이라고 상상해 보십시오. 하지만 단순히 용의자를 지켜보기만 해서는 안 됩니다. 당신은 그들과 상호작용하고, 구체적인 질문을 던지며, 그들의 반응을 살펴 진실을 파헤쳐야 합니다. 과학의 세계에서 이것은 자연이 일어나는 것을 그저 지켜보는 것(수동적 관찰)과 실험을 수행하는 것(능동적 개입)의 차이입니다. 때로는 단순히 관찰할 때를 설명할 수 있는 완전히 다른 두 가지 규칙이 존재할 수 있습니다. 하지만 만약 당신이 시스템을 건드린다면—예를 들어, 변수를 바꾸거나 힘을 가한다면—두 규칙은 서로 충돌하기 시작할 것입니다. 어떤 규칙이 실제로 존재하는지 알아내기 위해서는 메커니즘 모델(mechanistic model), 즉 단순히 그래프 위의 점들을 맞추는 화려한 곡선이 아니라, 사물이 어떻게 작동하는지에 대한 깊은 이해가 필요합니다.

문제는 실험에는 비용이 많이 든다는 것입니다. 실험실에서 화학 물질을 혼합하든, 환자에게 신약을 테스트하든, 우주로 탐사선을 쏘아 올리든, 모든 테스트에는 시간, 돈, 자원이 소모됩니다. 확신을 얻기 위해 수백만 번의 실험을 무작정 수행할 수는 없습니다. 그래서 과학자들의 큰 과제는 **데이터 효율성(data efficiency)**입니다. 즉, 어떻게 하면 가능한 최소한의 실험으로 우주의 진정한 규칙을 배울 수 있을 것인가 하는 문제입니다. 이 논문은 창의적인 브레인스톨링 능력을 갖춘 초지능형 AI와 확률론의 엄격한 수학을 결합하여 이 질문에 답하는 '디지털 탐정'을 구축함으로써 이 문제를 다룹니다. 이는 컴퓨터에게 더 많은 사실을 알게 하는 것이 아니라, 더 나은 질문을 던지는 법을 가르침으로써 이전보다 더 나은 과학자가 되도록 만드는 과정에 관한 것입니다.

모델 발견 에이전트(MDA): 수정구슬을 가진 탐정

저자는 **모델 발견 에이전트(Model Discovery Agent, MDA)**라는 새로운 시스템을 소개합니다. MDA를 매우 다른 두 캐릭터의 파트너십이라고 생각하십시오. 첫 번째 캐릭터는 **대규모 언어 모델(LLM)**로, 창의적인 브레인스토밍 파트너 역할을 합니다. 이 모델은 수백만 편의 과학 논문을 읽었으며 세상이 어떻게 돌아갈 수 있는지에 대한 많은 지식을 가지고 있습니다. 에이전트가 데이터를 보면, LLM은 발생하고 있는 현상을 설명할 수 있는 다양한 수학적 공식이나 메커니즘, 즉 서로 다른 '용의자 목록'을 제안합니다.

두 번째 캐릭터는 엄격하고 논리적인 판사 역할을 하는 베이지안 통계학자입니다. 그는 단순히 추측하지 않고 확률을 계산합니다. 그는 LLM이 만든 용의자 목록을 받아 순차 몬테카를로(Sequential Monte Carlo) 방법을 사용하여 데이터에 비추어 그들의 무게를 잽니다. 그는 다음과 같이 묻습니다. "지금까지 우리가 본 것을 바탕으로 볼 때, 각 용의자가 진실일 확률은 얼마인가?" 또한 그는 **정보의 가치(Value of Information, VoI)**라는 개념을 사용합니다. 당신에게 목격자에게 던질 수 있는 질문의 수가 제한되어 있다고 상상해 보십시오. VoI는 어떤 단 하나의 질문이 가장 많은 명확성을 줄 것인지, 즉 한 번에 가장 많은 용의자를 탈락시킬 수 있는지를 알려주는 수학적 도구입니다.

여기에는 마법 같은 기술이 있습니다. LLM이 새로운 아이디어를 제안하면 통계학자가 이를 테스트합니다. 만약 그 아이디어가 데이터와 완벽하게 일치하지 않는다면, 시스템은 단순히 포기하는 대신 "진실이 현재의 용의자 목록에 없다"는 것을 깨닫습니다. 이것을 M-open 설정이라고 부릅니다. 그러면 시스템은 LLM에게 목록에 추가할, 이전에 상상하지 못했던 완전히 새로운 메커니즘을 생각해 내라고 요청합니다. 이는 마치 탐정이 범인이 평범한 용의자 중 한 명이 아니라는 것을 깨닫고, 새로운 인물을 찾아가 심문하러 나가는 것과 같습니다.

"아하!" 모먼트: 적은 단서로부터 배우기

이 논문은 물리, 화학, 생물학이라는 세 가지 실제 과학 현장이라는 '범죄 현장'에서 이 탐정을 테스트했습니다.

물리학 (힘의 법칙): 에이전트는 두 입자를 끌어당기는 보이지 않는 힘을 밝혀내야 했습니다. 어떤 힘들은 가까이 있을 때는 비슷해 보이지만, 멀리 떨어졌을 때는 매우 다르게 행동합니다. MDA는 이 차이를 구별하기 위해 멀리 떨어진 곳으로 프로브를 보내야 한다는 것을 빠르게 깨달았습니다. 이 특정하고 장거리적인 실험을 선택함으로써, 에이전트는 "아하!" 모먼트를 경험했습니다. 데이터가 갑자기 진짜 법칙을 가짜 법칙들 사이에서 두드러지게 만들었고, 에이전트는 단 몇 번의 시도만으로 정확한 공식을 학습했습니다.
화학 (효소 속도): 여기서 에이전트는 온도, pH, 성분 함량에 따라 화학 반응이 얼마나 빨리 일어나는지를 밝혀내야 했습니다. 다른 AI 방식들은 단순히 숫자를 완벽하게 맞추려고 시도하며, 물리적으로는 말이 안 되지만 겉보기에는 그럴싸해 보이는 복잡하고 터무니없는 공식들을 만들어냈습니다. 그러나 MDA는 단순하고 진실된 화학 법칙을 찾아냈습니다. MDA는 다른 방법들보다 훨씬 빠르게 진실을 학습했으며, 정답을 맞히기 위해 훨씬 적은 실험만을 필요로 했습니다.
생물학 (뉴런 스파이크): 이것은 가장 어려운 테스트였습니다. 에이전트는 뇌 속의 단일 뉴런이 어떻게 전기 신호를 쏘는지 알아내야 했습니다. 데이터는 폭풍 속에서 속삭임을 듣는 것처럼 노이즈가 많고 무질서했습니다. MDA는 영리한 트릭을 사용했습니다. 전압의 아주 작은 떨림 하나하나를 맞추려고 노력하는 대신, 뉴런이 얼마나 자주 "스파이크(발화)"하는지를 세는 것과 같이 큰 그림을 보았습니다. 에이전트는 특정 행동을 유발할 수 있는 실험을 설계했고, 이를 통해 신호를 일으키는 뉴런 내부의 숨겨진 채널들을 식별할 수 있었습니다.

결과: 더 열심히가 아닌, 더 똑똑하게

이 논문은 MDA가 다른 방법들보다 훨씬 더 데이터 효율적이라는 것을 보여줍니다. 간단히 말해, MDA는 훨씬 적은 실험으로 동일한 양의 진실을 배웁니다. 물리 및 화학 테스트에서 MDA는 약 8번의 실험만으로 높은 정확도에 도달한 반면, 다른 AI 에이전트들은 근접하기 위해 수십 번 혹은 수백 번의 실험이 필요했습니다.

결정적으로, 이 논문은 단순히 공식을 추측할 수 있는 강력한 AI를 갖는 것만으로는 충분하지 않다고 주장합니다. 만약 AI가 단순히 추측하고 데이터에 끼워 맞추게 둔다면, 물리적으로는 틀렸지만 겉보기에는 완벽해 보이는 지나치게 복잡한 솔루션을 찾게 될 가능성이 높습니다. MDA는 "정보의 가치"를 사용하여 경쟁하는 이론들 사이의 승부를 가릴 수 있는 실험을 설계함으로써 이 문제를 피합니다. 이는 시스템이 자신의 본 모습을 드러내도록 강제하는 것입니다.

또한 저자는 이 방법이 데이터에 노이즈가 많고 진정한 메커니즘이 AI가 이전에 본 적 없는 것이라 할지라도 효과적으로 작동함을 보여줍니다. 새로운 가능성을 상상하는 LLM의 능력과 그것을 엄격하게 검증하는 통계학자의 능력을 결합함으로써, MDA는 통상적으로 요구되는 데이터의 극히 일부만을 사용하여 새로운 과학 법칙을 발견할 수 있습니다. 이것은 단순히 더 빨라지는 것에 관한 것이 아닙니다. 단서가 부족하고 소음이 심할 때 진실을 찾아내는 능력에 관한 것입니다.

기술 요약: 모델 발견 에이전트 (Model Discovery Agent, MDA)

문제 정의

해결하고자 하는 핵심 과제는 개입적 "만약 ~한다면(what if)" 질문(예: 투여된 적 없는 약물의 결과나 시행된 적 없는 정책의 결과를 예측하는 것)에 답할 수 있는 **기계론적 세계 모델(mechanistic world models)**을 데이터 효율적으로 발견하는 것입니다. 수동적인 관찰 데이터는 유연한 곡선에 데이터를 맞출 수는 있지만, 종종 근본적인 메커니즘을 식별하지 못하는 퇴화(degeneracy) 문제를 남깁니다. 즉, 서로 다른 인과 구조가 관찰된 모든 데이터에는 일치할 수 있지만, 개입 시에는 서로 다른 결과를 보일 수 있습니다.

과학적 발견은 이러한 잠재적 메커니즘을 식별하는 것을 요구하지만, 실험은 비용이 많이 듭니다. 운영상의 문제는 바로 데이터 효율성입니다. 즉, 최소한의 개입으로 정확한 메커니즘을 식별하는 것입니다. 나아가 과학적 발견은 종로 M-open 설정에서 이루어지는 경우가 많으며, 여기서는 진정한 메커니즘이 현재의 가설 클래스 외부에 존재할 수 있습니다. 표준적인 베이지안 방법론은 최선의 현재 모델이 실패하더라도 가설 공간을 확장할 수 없기 때문에 이 환경에서 어려움을 겪습니다.

방법론: 모델 발견 에이전트 (MDA)

MDA는 대규모 언어 모델(LLM)을 표준 베이지안 메커니즘과 결합하여 폐쇄 루프 형태의 발견 및 설계 사이클 내에서 작동합니다. 이 시스템은 각 라운드마다 세 가지 주요 단계로 운영됩니다.

1. 가설 생성 및 확장 (제안자)

제안자로서의 LLM: 자연어 형태의 도메인 설명과 현재의 관찰 데이터(잔차 오차 포함)를 바탕으로, LLM은 후보 기계론적 구조(모델)를 제안합니다.
M-Open 적응: 에이전트는 예측 점검(predictive check)을 수행합니다. 만약 최선의 현재 가설(MAP 모델)이 미관측 개입 예측에서 실패할 경우(잔차 오차 $r^*$ 가 임계값 $\tau_r$ 를 초과할 때), 시스템은 M-open 확장을 트리거합니다. 이때 LLM은 광범위한 사전 확률을 가진, 이전에 고려되지 않았던 새로운 메커니즘을 제안하도록 프롬프트됩니다. 이를 통해 에이전트는 고정된 라이브러리에 갇히지 않고 새로운 지식을 발견할 수 있습니다.
가설 풀 관리: 반대로, 사후 확률이 잘 맞는 모델에 집중되는 경우, 유사한 가설의 무분별한 증식을 막기 위해 풀 크기를 줄입니다.

2. 베이지안 추론 (SMC)

순차적 몬테카를로 (SMC): 에이전트는 모델에 대한 사후 분포 $p(m|D)$ 와 파라미터에 대한 사후 분포 $p(\theta|m, D)$ 를 유지합니다. 이는 적응형 템퍼링(adaptive-tempered) SMC를 사용하여 계산됩니다.
증거 계산: 각 후보에 대해 한계 가능도(marginal likelihood) $Z_m$ 을 계산합니다. 파라미터에 대한 이 적분 과정은 데이터에 잘 맞는 더 단순한 모델을 선호하도록 하는 자동적인 오캄의 면도날(Occam's razor) 페널티를 제공합니다.
다루기 힘든 가능도 처리: 채널 노이즈가 있는 뉴런과 같이 가능도 계산이 까다로운 확률적 시스템의 경우, MDA는 **시뮬레이션 기반 추론(SBI)**을 활용합니다. 부트스트랩 입자 필터(bootstrap particle filters)를 사용하거나 요약 통계량(예: 스파이크 카운트)을 통해 합성 가능도를 학습하여 사후 분포를 근사합니다.

3. 실험 설계 (정보 가치)

VoI 극대화: 무작위 탐색이나 탐욕적 활용 대신, 에이전트는 **정보 가치(Value of Information, VoI)**를 극대화하는 방향으로 다음 실험 $\xi$ 를 선택합니다.
메커니즘 판별: VoI 목적 함수는 모델 클래스와 실험 결과 사이의 상호 정보량으로 정의됩니다: $\xi^* = \arg\max_\xi I(M; Y_\xi | D)$ . 실제로 가우시안 관측 노이즈의 경우, 이는 예측 평균의 **클래스 간 분산(between-class variance)**을 극대화하는 것으로 귀결됩니다. 에이전트는 서로 다른 메커니즘에 대한 현재의 믿음이 가장 크게 엇갈리는 개입을 선택함으로써, 두 메커니즘을 구별하기 위한 정보 이득을 극대화합니다.

주요 기여

MDA 프레임워크: LLM 기반의 가설 생성과 베이지안 순차 추론, 그리고 정보 가치 기반의 실험 설계를 통합한 새로운 에이전트 아키텍처를 제시했습니다.
M-Open 발견: 진실이 가설 클래스 외부에 있는 "M-open" 환경을 다루는 방법을 제시했습니다. 예측 점검을 통해 LLM 기반의 가설 확장을 트리거함으로써, 시스템은 새로운 메커니즘을 발견하고 설계된 실험을 통해 이를 정교화할 수 있습니다.
새로운 벤치마크 (NEURONBENCH): 부분 관측성, 확률성(채널 노이즈를 통한), 그리고 기억에서 불러올 수 없는 숨겨진 메커니즘을 특징으로 하는 단일 뉴런 전기생리학 분야의 새로운 벤치마크를 구축하여 기존 벤치마크의 공백을 메웠습니다.
최첨단 성능(SOTA): 물리, 화학, 생물학 도메인 전반에서 순수 LLM 베이스라인 및 이전의 SOTA 방식들과 비교하여 우수한 데이터 효율성과 개입적 예측 정확도를 입증했습니다.

실험 결과

MDA는 세 가지 벤치마크에서 평가되었습니다:

FORCEBENCH (물리): 2D 입자 시스템에서 알려지지 않은 힘의 법칙(예: Yukawa, Coulomb)을 발견하는 과제입니다. MDA는 순수 LLM 에이전트 대비 약 5배의 데이터 효율성 우위를 보였으며, 제한 없는 LLM 베이스라인이 약 41회의 실험을 필요로 할 때 단 8회의 실험만으로 동일한 정확도에 도달했습니다. 또한 74%의 실행에서 정확한 기호적 형태를 복구하는 데 성공하여 베이스라인(31%)을 압도했습니다.
CHEMBENCH (화학): 7개의 제어 가능한 입자를 가진 효소 반응 속도 법칙을 발견하는 과제입니다. MDA는 약 8회의 실험 내에 성능 한계치에 도달(기호적 정확도 56%)한 반면, 이전 SOTA(LLM-AutoSciLab)는 60회의 실험을 수행하고도 42%에 그쳤습니다. 결정적으로, MDA는 베이스라인에서 나타나는 "높은 수치 정확도/낮은 기호적 정확도"의 병리 현상(비물리적인 식으로 숫자에만 맞추는 현상)을 피했습니다.
NEURONBENCH (생물): Hodgkin-Huxley 모델의 이온 채널 메커니즘을 발견하는 과제입니다. MDA는 인컨텍스트(in-context) LLM 예측 및 무작위 설계를 크게 앞질렀습니다. 확률적 변형 버전(NEURONBENCHSTOCH)에서 MDA는 입자 필터를 사용하여 다루기 힘든 가능도를 성공적으로 처리하였으며, 결정론적 가능도가 완전히 실패하는 상황에서도 강건한 모델 선택을 달성했습니다.

의의 및 주장

본 논문은 발견(discovery)과 설계(design)가 서로를 강화한다고 주장합니다. 실험 설계 단계는 발견 단계에서 제안된 새로운 메커니즘을 식별하며, 식별된 메커니즘은 예측 능력을 향상시켜 추가적인 발견을 촉발하는 미세한 잔차를 감지할 수 있게 합니다.

저자는 MDA가 데이터 효율적인 모델 학습과 신뢰할 수 있는 개입적 예측에 있어 새로운 **최첨단(SOTA)**을 설정했다고 단언합니다. 그 의의는 단순히 수동적인 곡선 피팅이나 순수 생성형 LLM 접근 방식을 넘어, 불확실성에 대해 능동적으로 추론하고, 필요할 때 스스로 가설 공간을 확장하며, 경쟁하는 인과 모델 간의 퇴화(degeneracy)를 깨뜨리기 위해 특화된 실험을 설계하는 시스템을 구축했다는 데 있습니다. 이 연구는 LLM의 사전 지식과 엄격한 베이지안 추론을 결합하는 것이 얼마나 강력하고 해석 가능하며, 샘플 효율적인 과학적 발견 엔진을 만들어낼 수 있는지를 보여줍니다.