🤖 machine learning

LLM-ACES: Closed-Loop Discovery of Dynamical Systems with LLM-Guided Adaptive Search

이 논문은 대규모 언어 모델을 활용하여 적응형 데이터 획득과 기호적 가설 구축을 유도함으로써, 제한적이고 노이즈가 있는 데이터로부터 지배적인 상미분 방정식을 정확하고 효율적으로 복원하는 데 있어 기존 방식들을 크게 능가하는 폐쇄 루프 프레임워크인 LLM-ACES를 소개한다.

원저자: Nikhil Abhyankar, Sha Li, Sanchit Kabra, Naren Ramakrishnan, Yulia Gel, Chandan K. Reddy

게시일 2026-06-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nikhil Abhyankar, Sha Li, Sanchit Kabra, Naren Ramakrishnan, Yulia Gel, Chandan K. Reddy

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 신비로운 기계의 비밀 규칙을 알아내려는 탐정이라고 상상해 보십시오. 당신은 기계의 톱니바퀴가 어떻게 돌아가는지, 어떻게 움직이는지 관찰할 수 있지만, 그 기계를 작동시키는 수학적 공식은 알지 못합니다. 이것이 바로 과학자들이 바이러스가 어떻게 퍼지는지, 혹은 행성이 어떻게 궤도를 도는지와 같은 자연계의 시스템을 이해하기 위해 '지배 방정식(governing equations)'을 발견하려고 할 때 직면하는 도전 과제입니다.

이 논문은 LLM-ACES(LLM-guided Active Closed-loop Equation Search)라고 불리는 새로운 방법을 소개합니다. 이것은 단순히 기계를 지켜보기만 하는 것이 아니라, 다른 누구보다 더 빠르고 정확하게 규칙을 알아내기 위해 적극적으로 질문을 던지는 초스마트 탐정 팀과 같습니다.

작동 방식은 다음과 같이 간단한 단계로 나뉩니다.

1. 문제점: "사각지대(Blind Spot)"

보통 과학자들은 고정된 데이터 세트(예: 기계를 촬영한 영상)를 보고 규칙을 추측하려고 합니다. 문제는 만약 기계를 아주 짧은 시간 동안만 관찰하거나 특정 지점에서만 관찰한다면, 그 현상을 설명할 수 있는 서로 다른 수많은 규칙서가 존재할 수 있다는 점입니다.

비유: 자동차가 직선으로 주행하는 것을 관찰한다고 상상해 보십시오. 당신은 운전자가 단순히 가속 페달을 밟고 있다고 추측할 수도 있습니다. 하지만 만약 당신이 그 직선 구간만을 보았다면, 자동차에 핸들이나 브레이크가 있는지 여부는 알 수 없습니다. 자동차가 회전하거나 멈추는 모습을 보아야만 전체 규칙을 알 수 있습니다.
문제점: 기존의 방법들은 이미 가지고 있는 데이터만을 바라보기 때문에 잘못된 규칙을 추측하는 데 갇히는 경우가 많습니다. 그들은 영상에는 완벽하게 들어맞지만, 조건이 바뀌는 순간 실패하는 공식을 찾아낼 수도 있습니다.

2. 해결책: "스마트 탐정" (LLM-ACES)

LLM-ACES는 수학과 과학에 대한 지식이 풍부한 대규모 언어 모델(LLM)을 가이드로 사용하여 게임의 판도를 바꿉니다. 이 AI는 단순히 최종 정답을 맞히려고 애쓰는 대신, 정답을 찾기 위한 '탐색' 자체를 설계하도록 돕습니다.

이 과정은 "뜨겁다/차갑다(Hot and Cold)" 게임처럼 루프(loop) 형태로 진행됩니다.

단계 A: AI가 게임의 규칙을 설정함
AI는 문제를 살펴보고, 솔루션의 일부가 될 가능성이 높은 수학적 재료들(덧셈, 곱셈, 사인파, 지수 함수 등)의 "메뉴"를 제안합니다. 아직 최종 방정식을 쓰는 것이 아니라, 검색 범위를 좁혀서 더 똑똑하게 만듭니다.
- 은유: 건초더미에서 바늘을 찾는 대신, AI는 "바늘은 아마 이 특정 건초 더미 안에 있을 것이고, 재질은 철일 가능성이 높다"라고 말해주는 것과 같습니다.
단계 B: 팀이 추측을 생성함
시스템은 해당 메뉴를 바탕으로 여러 가지 후보 방정식을 생성합니다. 어떤 것은 단순할 수도 있고, 어떤 것은 복형적일 수도 있습니다.
- 은유: 팀은 자동차가 어떻게 작동하는지에 대해 5가지 서로 다른 이론을 작성합니다.
단계 C: "불일치(Disagreement)" 테스트 (비법)
이 부분이 가장 중요한 부분입니다. 시스템은 이 5가지 이론을 살펴보고 다음과 같이 묻습니다: "이 이론들이 가장 크게 엇갈리는 지점은 어디인가?"
- 만약 이론 A는 자동차가 빠르게 달릴 것이라고 하고, 이론 B는 자동차가 멈출 것이라고 한다면, 시스템은 바로 이 순간이 자동차를 테스트하기에 가장 좋은 시점임을 알게 됩니다.
- 비유: 친구들이 다리가 트럭을 견딜 수 있는지 아니면 오토바이만 견딜 수 있는지에 대해 논쟁하고 있다면, 가장 똑똑한 행동은 무거운 트럭을 몰고 다리 위를 지나가 보는 것입니다. 그 테스트는 즉시 누가 맞았는지를 알려줄 것입니다.
- 시스템은 그 특정 조건 하에서 기계를 실행하도록 "오라클(Oracle, 시뮬레이터 또는 실제 실험)"에게 요청합니다.
단계 D: 피드백 루프
새로운 데이터가 팀에게 다시 전달됩니다. 틀린 이론들은 버려지거나 수정됩니다. 맞는 이론들은 더 강력해집니다. 그런 다음 AI는 다음 라운드를 위해 자신의 "재료 메뉴"를 업데이트합니다.
- 결과: 팀은 매 테스트마다 점점 더 똑똑해지며, 빠르게 단 하나의 진정한 규칙으로 좁혀 나갑니다.

3. 왜 더 나은가?

논문은 이 방법을 122개의 서로 다른 수학적 시스템(기상 모델이나 화학 반응 등)에 대해 테스트하였으며, 이를 기존의 가장 뛰어난 방법들과 비교했습니다.

정확도: LLM-ACES는 다른 방법들보다 훨씬 더 자주 올바른 수학적 공식을 찾아냈습니다. 다른 방법들은 특정 데이터에는 숫자를 맞출 수 있었을지 모르지만, 공식의 구조는 틀리는 경우가 많았습니다. 반면 LLM-ACES는 구조를 정확히 찾아냈습니다.
효율성: LLM-ACES는 정답을 찾는 데 10배 적은 데이터가 필요했습니다. 기계를 몇 시간 동안 지켜볼 필요 없이, 미스터리를 풀 수 있는 정확히 어떤 짧은 장면을 봐야 하는지 알고 있었습니다.
강건성(Robustness): 데이터에 노이즈가 섞여 있을 때(예: 흔들리는 영상)도 LLM-ACES는 진정한 규칙을 찾아낼 수 있었던 반면, 다른 방법들은 혼란에 빠져 가짜 규칙을 만들어내곤 했습니다.

요약

요컨대, LLM-ACES는 AI를 사용하여 단순히 자연의 법칙을 '추측'하는 것이 아니라, 그것을 증명하는 데 필요한 '실험을 설계'하는 시스템입니다. 이는 과학적 발견을 하나의 대화로 취급합니다: 추측을 하고, 그 추측을 테스트하기 위한 구체적인 질문을 던지고, 답변으로부터 배우고, 이를 반복합니다. 이를 통해 이전의 방법들보다 더 적은 데이터로, 더 빠르게, 그리고 더 높은 정확도로 복잡한 시스템의 진정한 "비밀 규칙"을 찾아낼 수 있습니다.

기술 요약: LLM-ACES

문제 정의

데이터로부터 지배적인 상미분 방정식(ODE)을 복구하는 것은 동역학계 모델링의 근본적인 과제이다. 기존 접근 방식은 관측된 궤적이 충분히 정보가 있다고 가정하며, 고정된 데이터셋에 대한 정적 추론 문제로 이를 프레임화한다. 그러나 동역학계는 매우 넓은 상태 공간에서 진화할 수 있으며, 제한된 데이터는 구조적으로 구별되는 방정식들을 관측상으로는 구별 불가능하게 만들 수 있다. 이는 후보 방정식이 관측된 데이터에는 잘 부합하지만, 새로운 초기 조건이나 더 긴 시간 지평(time horizon) 하에서는 잘못된 동작을 예측하는 "식별성 격차(identifiability gaps)"를 초래한다. 현재의 방법들은 발견의 완전한 폐쇄 루프(closed-loop) 특성을 해결하지 못한다. 즉, 이들은 정적 데이터 상에서 방정식을 탐색하거나(수동적), 실험을 가이드하기 위한 구조화된 기호적 가설을 사용하지 않고 데이터를 획득한다.

방법론: LLM-ACES

저자들은 LLM-ACES(LLM-guided Active Closed-loop Equation Search)를 제안한다. 이는 기호적 가설 구축과 적응형 데이터 획득을 결합하여 공동 최적화하는 프레임워크이다. 핵심 통찰은 기호적 가설 공간과 획득된 데이터셋이 반복적인 피드백을 통해 함께 진화해야 한다는 것이다.

1. LLM 유도 가설 생성

LLM에게 최종 방정식을 직접 출력하도록 요청하는 대신, LLM-ACES는 LLM( $\pi_\theta$ )을 사용하여 **연산자 사전(operator priors)**을 생성한다.

과정: 각 반복(iteration)에서 LLM은 작업 메타데이터, 사용 가능한 연산자 어휘집, 그리고 이전 반복으로부터 얻은 피드백이 담긴 경험 버퍼를 전달받는다.
출력: LLM은 $K$ 개의 연산자 사전(단항 및 이항 연산자에 대한 제약 조건, 예: $\sin, \cos, +, \times$ )을 생성한다. 이러한 사전은 더 큰 가설 공간 내에서 제약된 기호적 부분 공간을 정의한다.
전략: 하나의 사전은 경험 버퍼로부터 성능이 높은 연산자 패턴을 활용(exploitation)하고, 다른 사전들은 구조적으로 구별되는 구성을 탐색(exploration)한다.
피팅(Fitting): 기호 회귀 백엔드(예: PySR)는 예측 오차와 복잡성을 최소화하기 위해 이러한 제약된 부분 공간 내에서 후보 방정식들을 피팅한다.

2. 가설 주도 데이터 획득

프레임워크는 식별성 격차를 해결하기 위해 예측-발산 기반 획득(predictive-divergence-driven acquisition) 전략을 채택한다.

발산 지표: 시스템은 예측 지평 동안 현재 후보군들의 롤아웃(rollout) 간의 평균 쌍별 예측 불일치(정규화된 평균 제곱 오차, NMSE)를 계산한다.
선택: 새로운 초기 조건은 이 발산(divergence)을 최대화함으로써 선택된다. 목표는 경쟁하는 동역학적 가설들이 가장 크게 불일치하는 상태 공간 영역을 쿼리하는 것이다.
피드백 루프: 새로 획득된 궤적들은 데이터셋에 추가된다. 모든 후보군이 재평가되며, 경험 버퍼는 고성능(효과적인 연산자를 강화하는) 및 저성능(가짜 구조를 억제하는) 후보군과 함께 업데이트된다. 이는 다음 반복을 위해 가설 공간을 정교화한다.

3. 구현

프레임워크는 LLM 백본(GPT-4o-mini 및 Qwen-3-32B)과 오라클(oracle)을 위한 SciPy 기반 ODE 솔버로 구현된다. 이는 LLM이 탐색 공간을 가이드하고, 회귀 백엔드가 방정식을 피팅하며, 후보들 간의 불일치가 새로운 데이터 획득을 구동하는 폐쇄 루프 내에서 작동한다.

주요 기여

폐쇄 루프 방정식 발견: LLM 유도 기호 가설 구축과 적응형 궤적 획득을 결합하여, 가설 공간과 데이터셋이 함께 진화할 수 있도록 하는 통합 프레임워크를 제공한다.
LLM 유도 기호 탐색 공간: LLM을 사용하여 도메인 지식이 반영된 연산자 사전을 구성함으로써 기호 회귀를 제약하고, 가설 공간 설계와 방정식 피팅을 분리한다.
발산 기반 데이터 획득: 후보들 사이의 예측 발산을 최대화함으로써 초기 조건을 선택하는 전략을 통해, 경쟁하는 가설들을 구별하기 가장 어려운 영역을 직접 타겟팅한다.
경험적 개선: 수동적 및 능동적 베이스라인 모델들에 비해 재구성, 일반화, 분포 외(out-of-distribution) 설정에서 우수한 성능을 입증하였다.

실험 결과

방법론은 ODEBench(63개 시스템)와 ODEBase(59개 시스템)를 아우르는 122개의 ODE 시스템에 대해 평가되었다.

성능 지표: 논문은 정규화된 평균 제곱 오차(NMSE), 기호 정확도, 표현 복잡도를 보고한다.
정확도: LLM-ACES는 모든 설정(재구성, 일반화, 분포 외)에서 가장 낮은 중앙값 NMSE를 달와성하였으며, 기존의 최첨단 베이스라인(SINDy, PySR, ODEFormer, LLM-ODE 및 베이지안 최적화와 같은 능동적 방법 포함)보다 수 자릿수 더 높은 성능을 보였다.
- ODEBench: GPT-4o-mini 사용 시 (재구성) 중앙값 NMSE $1.33 \times 10^{-17}$ .
- ODEBase: Qwen-3-32B 사용 시 (재구성) 중앙값 NMSE $3.70 \times 10^{-15}$ .
기호 정확도: LLM-ACES는 가장 높은 기호 정확도를 달성하였으며, ODEBench의 경우 46.2%(GPT-4o-mini), ODEBase의 경우 52.4%(Qwen-3-32B)에서 올바른 함수 형태를 복구하였다.
샘플 효율성: LLM-ACES는 경쟁 방법들이 훨씬 더 큰 데이터 예산(최대 10배 더 많은 샘물)을 가졌음에도 불구하고 더 나은 성능을 보였다. 이는 다른 방법들이 요구하는 데이터의 10분의 1만으로도 더 나은 성능을 달성했음을 의미한다.
강건성: 피드백 기반 획득은 노이즈에 대한 강건성을 부여하고, 데이터를 국소적으로는 잘 맞추지만 실제 지배 관계를 포착하지 못하는 가짜 항(spurious terms)의 복구를 방지하였다.

의의 및 주장

본 논문은 LLM-ACES가 현재의 과학적 발견의 근본적인 한계인 '방정식 탐색'과 '데이터 수집'의 분리를 해결한다고 주장한다. 가설이 데이터 획득을 가이드하는 능동적 추론 과정으로 발견을 취급함으로써, 프레임워크는 정적 방법론이 극복할 수 없는 식별성 격차를 해결한다.

과학적 영향: 결과는 방정식 발견이 단순한 정적 회귀 문제가 아니라, 가설과 관측이 지속적으로 서로에게 정보를 제공하는 반복적인 과정으로 간주되어야 함을 시사한다.
LLM의 역할: 논문은 LLM이 직접 방정식을 생성하는 도구가 아니라, 구조화된 탐색 공간과 데이터 기반 피드백에 근거하여 연산자 구성을 추론하는 도구로서 가장 효과적임을 강조한다.
한계점: 저자들은 현재 프레임워크가 자율적인 ODE 시스템에 집중하고 있으며 시뮬레이터 또는 실험적 오라클에 대한 접근에 의존한다는 점을 언급한다. 따라서 PDE, 확률적 역학, 또는 데이터 획득 비용이 비싸거나 안전 제약이 있는 환경에서는 수정이 필요할 수 있다. 또한, 성능은 LLM 백본 및 프롬프트 엔지니어링의 선택에 민감하다.

결론적으로, 파운데이션 모델을 구조화된 사전(priors) 및 적응형 실험과 통합하는 것이 더 해석 가능하고, 데이터 효율적이며, 신뢰할 수 있는 과학적 발견을 가능하게 한다고 본 연구는 마무리된다.