🤖 machine learning

LLM-PDESR: Robust PDE Discovery via Subdomain Weighted Residuals and LLM-Guided Symbolic Hypothesis Generation

LLM-PDESR는 대규모 언어 모델 가이드 기반의 기호적 가설 생성과 강건한 서브도메인 가중 잔차 및 C⁴-연속 스플라인 미분을 결합하여, 노이즈가 있는 데이터로부터 지배 편미분 방정식을 정확하게 발견함으로써 구조적 회복력과 노이즈 탄성 측면에서 기존 방법들을 크게 능가하는 새로운 프레임워크이다.

원저자: Jinyang Du, Hao Ma, Xiaohu Shi, Bo Yang, Yanchun Liang, Heow Pueh Lee, Chunguo Wu

게시일 2026-07-14

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Jinyang Du, Hao Ma, Xiaohu Shi, Bo Yang, Yanchun Liang, Heow Pueh Lee, Chunguo Wu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 미스터리를 해결하려는 탐정이라고 상상해 보십시오: 소용돌이치는 폭풍이나 흐르는 강물처럼 복잡한 물리 계가 남긴 시끄럽고 지저분한 단서(데이터)를 말입니다. 당신의 목표는 그 시스템이 어떻게 움직이는지를 설명하는 숨겨진 "규칙책"(수학 방정식)을 찾는 것입니다.

오랫동안 탐정들은 무작위적인 수학 기호들의 조합을 추측하며 이 문제를 해결하려 노력해 왔습니다. 마치 원숭이가 키보드를 두드려 우연히 소설을 쓰기를 바라는 것과 같습니다. 이것을 **기호 회귀(Symbolic Regression)**라고 부릅니다. 하지만 문제는 데이터의 "노이즈"(라디오의 잡음 같은 것)가 장난꾸러기처럼 작용한다는 점입니다. 기존 방식으로 변화율(미분)을 계산하려고 하면, 노이즈가 폭발하여 단서들을 왜곡되고 불가능한 지도처럼 만들어 버립니다. 탐정들은 유망해 보이지만 실제로는 수학적 트릭에 불과한 가짜 단서를 쫓으며 길을 잃게 됩니다.

여기에 LLM-PDESR이라는 새로운 탐정 팀이 등장했습니다. 이 팀은 매우 정교하고 노이즈에 강한 돋보기를 갖춘 똑똑한 AI 두뇌를 결합했습니다.

새로운 탐정 팀: 작동 원리

이 팀은 단순히 무작위로 수학을 추측하는 대신, 수많은 과학 서적을 학습한 유형의 AI인 **대규모 언어 모델(LLM)**을 사용하여 "아이디어 생성기" 역할을 수행합니다. LLM을 과학적 통찰력을 가진 물리학자로 생각하십시오. 이 물리학자는 지저분한 데이터를 보고 "음, 규칙에 곡선과 기울기가 포함되어 있겠군"이라고 말하며 가능한 방정식의 골격 리스트를 제안합니다.

하지만 LLM도 완벽하지는 않습니다. 멋져 보이지만 실제 데이터와 대조했을 때 실패하는 수학 구조를 제안할 수도 있습니다. 바로 그 지점에서 팀의 두 번째 구성 요소인 **노이즈 방지 평가기(Noise-Proof Evaluator)**가 등장합니다.

스무디 메이커 (Quintic Splines): 들쭉날쭉한 개별 데이터 포인트들을 직접 보는 대신(이는 노이즈를 증폭시킵니다), 이 방법은 **5차 스플라인(quintic splines)**을 사용하여 데이터를 매끄럽고 연속적인 곡선으로 블렌딩합니다. 이는 울퉁불퉁하고 암석이 많은 길을 완벽한 고속도로로 다듬어, 차가 흔들려 부서지지 않고도 속도를 측정할 수 있게 만드는 것과 같습니다. 이를 통해 팀은 노이즈가 수학을 망치지 않으면서 최대 4차 미분(변화율)까지 계산할 수 있습니다.
노이즈 필터 (Subdomain Weighted Residuals): 방정식이 모든 작은 지점에서 맞는지 확인하는 대신(노이즈가 가장 심한 곳입니다), 팀은 서로 겹치는 작은 구역 단위로 방정식을 검증합니다. 이들은 오차의 가중치를 두기 위해 "테스트 함수"(매끄러운 파형)를 사용합니다. 이는 저역 통과 필터(low-pass filter) 역할을 하여, 고주파 잡음을 자연스럽게 차단하면서 실제 신호를 유지합니다. 이는 시끄러운 방에서 대화에 집중할 때, 마이크의 개별적인 지직거림보다는 전체적인 말의 리듬에 집중하여 대화를 듣는 것과 같습니다.
파레토 코치 (The Pareto Coach): LLM이 방정식을 제안하고 노이즈 방지 평가기가 이를 테스트하면, 팀은 "파레토 기반 피드백 루프"를 사용합니다. 코치가 LLM에게 "그 방정식은 정확하긴 하지만, 너무 복잡하고 불필요한 항들이 많아. 거의 비슷하면서도 더 단순한 것을 찾아봐"라고 조언하는 것을 상상해 보십시오. 이는 최종 규칙책이 깔끔하고 단순하게 유지되도록 하며, "방정식 팽창(equation bloat)"(노이즈에 맞추기 위해 불필요한 항을 추가하는 현상)을 방지합니다.

대규모 테스트: 성공했는가?

연구진은 이 새로운 탐정 방법이 실제로 진실을 찾을 수 있는지 확인하기 위해 혹독한 일련의 테스트를 거쳤습니다.

1. 표준 훈련 (23개의 정형 방정식)
그들은 이 시스템을 과학계에서 잘 알려진 23개의 표준 물리 방정식(유명한 버거스 방정식 등)으로 테스트했습니다. 여기에 0%에서 20%(상당히 많은 양의 잡음)까지 다양한 수준의 노이즈를 추가했습니다.

결과: 이 새로운 방법은 노이즈가 없을 때 100% 확률로 정확한 방정식을 찾아냈으며, 20%의 노이즈가 있는 상황에서도 놀라울 정도로 견고함을 유지했습니다.
경쟁자들: SGA-PDE, DISCOVER, WSINDy_PDE와 같은 다른 방법들은 노이즈가 증가함에 따라 심각하게 무너지기 시작했습니다. 그들은 방정식을 찾지 못하거나 잘못된 방정식을 찾아냈습니다. EqGPT는 데이터를 먼저 정제하는 추가 단계를 거쳤기 때문에 어느 정도 성과를 냈지만, LLM-PDESR은 가공되지 않은 노이즈 데이터를 직접 처리했습니다.

2. "본 적 없는" 도전 (5개의 새로운 방정식)
AI가 단순히 훈련 데이터의 답을 암기한 것이 아님을 증명하기 위해, 연구진은 기존 교과서에는 존재하지 않는 5개의 완전히 새로운 방정식을 만들었습니다. 여기에는 다음이 포함되었습니다:

모르포제네시스(Morphogenesis): 까다로운 "유리 분수"(변수가 분자와 분모에 모두 있는 형태)를 포함하여 생물학적 패턴이 형성되는 과정을 모델링한 것.
교통 흐름(Traffic Flow): 병목 구간에서 차가 막히는 현상을 모델링한 것으로, 급격하고 갑작스러운 변화를 포함합니다.
포식자-피식자(Predator-Prey): 포식자가 피식자의 밀도 구배(gradient)를 바탕으로 사냥하는 시스템.
결과:
- 모르포제네시스와 포식자-피식자 시스템의 경우, LLM-PDESR은 정확한 수학적 구조를 찾아냈습니다.
- 교통 흐름 모델의 경우, 이 방법은 한계에 부딪혔습니다. 데이터의 급격하고 갑작스러운 변화(충격파)가 스무딩(smoothing) 기술이 감당하기에는 너무 "딱딱해서(stiff)" 정확한 규칙을 찾지 못했습니다. 이는 이 방법이 극도로 거친 데이터에는 한계가 있음을 보여줍니다.
- 나머지 두 새로운 방정식에 대해서는, 비록 미세한 디테일은 놓쳤을지라도 주요 물리 법칙을 포착하는 "부분적" 솔루션을 찾아냈습니다.
- 결정적으로: 다른 모든 방법은 이 새로운 방정식들에서 완전히 실패했습니다. 그들은 루프에 빠지거나, 엉뚱한 결과를 내놓거나, 여러 변수를 동시에 처리하지 못했습니다.

3. 실전 임무: 대기(Atmosphere)
마สุดท้าย로, 그들은 이 방법을 실험실 밖 실제 세상으로 가져가, ERA5 기후 데이터(지구 날씨의 방대한 데이터셋)를 사용했습니다. 그들은 대기 중에서 바람이 어떻게 움직이는지를 설명하는 간단한 규칙을 찾고자 했습니다.

발견: AI는 1D-CACE라고 불리는 새롭고 해석 가능한 방정식을 찾아냈습니다. 이것은 단순한 추측이 아니었습니다. 한 방향의 바람이 다른 방향의 바람을 밀어내는 방식과 같이 물리적으로 타당한 항들을 찾아냈으며, 심지어 3차원 효과(지구 자전 등)를 보완하는 "클로저(closure)" 역할을 하는 특수 항들까지 발견했습니다.
증명: 그들은 이 새로운 규칙을 다른 장소와 시간의 데이터(예: 북태평양에서 남인도양으로, 또는 1월에서 2월로 이동)에 대해 테스트했습니다.
- 서태평양으로 이동했을 때도 이 규칙은 **60.97%의 정확도(R²)**를 유지하며 작동했습니다.
- 남인도양(완전히 다른 반구와 계절)으로 이동했을 때, 정확도는 **72.54%**로 반등했습니다.
- 이는 AI가 특정 주의 날씨를 단순히 암기한 것이 아니라, 대기가 움직이는 근본적이고 변하지 않는 법칙을 찾아냈음을 입증합니다.

이 논문이 부정하는 것 (한계점)

저자들은 이 방법이 무엇이 아닌지를 명확히 밝히고 있습니다:

이것은 모든 문제를 해결하는 마법 지팡이가 아닙. 이 방법은 교통 흐름 예시처럼 극단적인 불연속 충격파가 존재하는 경우, 즉 수학적으로 너무 "딱딱한(stiff)" 경우에 명시적으로 실패합니다.
이 방법은 기존 방식들처럼 "수작업으로 만든" 수학 용어 목록(사전)에 의존하지 않습니다. 그러한 목록은 너무 경직되어 있어 AI가 발견한 기묘하고 새로운 형태들을 다룰 수 없습니다.
이것은 블랙박스가 아닙. 단순히 숫자를 예측만 하고 이유를 설명하지 못하는 딥러닝 모델과 달리, 이 방법은 명확하고 읽을 수 있는 방정식을 출력합니다.

얼마나 신뢰할 수 있는가?

논문은 단순히 이 방법이 작동한다고 "제안"하는 데 그치지 않고, 이를 광범위하게 측정했습니다.

그들은 23개의 표준 테스트와 5개의 새로운 테스트를 특정 노이즈 수준에서 실행했습니다.
그들은 네 가지 최첨단 방법과 비교하여 "구조적 성공률"(정확한 방정식을 찾았는가?) 및 "상대 계수 오차"(숫자가 얼마나 정확한가?)와 같은 엄격한 지표를 사용했습니다.
결과는 합성 데이터(새로운 방정식을 위해 특별히 생성됨)를 기반으로 한 것이지만, 실제 데이터(ERA5)에 대한 시뮬레이션과 측정 결과가 뒷받침됩니다.
"최신 기술(state-of-the-art)보다 성능이 뛰어나다"는 주장은 데이터로 입증되었습니다. 노이즈 테스트에서 새로운 방법은 100%에 가까운 성공률을 유지한 반면, 다른 방법들은 0%에 가깝게 떨어졌습니다.

요약하자면, LLM-PDESR은 AI를 사용하여 규칙의 형태를 추측하고, 정교한 수학적 필터를 통해 그 추측이 실제인지 검증하는 강력하고 새로운 도구입니다. 이는 큰 진전이지만, 데이터가 지나치게 거칠고 혼돈스러울 때는 여전히 어려움을 겪습니다.

기술 요약: LLM-PDESR

문제 정의

노이즈가 포함된 관측 데이터로부터 지배 편미분 방정식(PDE)을 발견하는 것은 과학적 머신러닝 분야의 근본적인 과제로 남아 있습니다. 희소 회귀(sparse regression)부터 유전 프로그래밍(genetic programming)에 이르는 전통적인 기호 회귀(symbolic regression, SR) 방법들은 두 가지 결정적인 병목 현상에 직면해 있습니다:

탐색 공간의 제한: 이들은 방대한 조합론적 가설 공간 전반에 걸쳐 확장하는 데 어려움을 겪으며, 경직되고 수작업으로 설계된 함수 라이브러리에 의존하지 않고 도메인 특화된 물리적 사전 지식(prior)을 통합할 수 있는 구조적 유연성이 부족합니다.
수치적 불안정성: 미분을 계산하기 위해 점별 평가(pointwise evaluations)와 이산 유한 차분(finite difference, FD) 방식에 의존하는 것은 본질적으로 고주파 측정 노이즈를 증폭시킵니다. 이러한 왜곡은 기만적인 적합도 지형(fitness landscapes)을 생성하여 최적화 과정을 방해하며, 알고리즘이 진정한 물리적 메커니즘과 수학적 아티팩트를 구분하지 못하게 만듭니다.

대규모 언어 모델(LLM)이 물리적으로 타당한 구조적 가설을 생성하는 유망한 엔진으로 부상했음에도 불구하고, 복잡하고 시간에 따라 변하는 PDE로의 확장은 이러한 동일한 수치적 불안정성에 의해 현재 병목 현상을 겪고 있습니다. 기만적인 적합도 점수를 LLM에 피드백하는 것은 진화적 탐색을 실패하게 만듭니다.

방법론: LLM-PDESR

저자들은 LLM의 구조적 가설 생성 능력과 수학적으로 엄격하고 노이즈에 강건한 평가 환경을 통합한 엔드 투 엔드 프레임워크인 LLM-PDESR(Large Language Model-guided Partial Differential Equation Symbolic Regression)을 제안합니다. 이 프레임워크는 세 가지 핵심 모듈로 구성된 폐쇄 루프 파이프라인을 통해 작동합니다.

1. LLM 기반 가설 생성

LLM은 자동화된 구조적 설계자 역할을 합니다. 물리적 관측값(예: 공간 좌표 및 장 변수)이 주어지면, LLM은 실행 가능한 파이썬 추상 구문 트리(AST)로 표현된 후보 방정식 집단을 생성합니다.

제약 조건: 문법적 또는 물리적으로 유효하지 않은 구조를 방지하기 위해, 탐색 공간은 사전 정의된 제약 조건(예: 특정 미분 연산자인 d_dx(u, order) 강제 적용)에 의해 엄격히 제한됩니다.
출력: LLM은 오직 기호적 골격(symbolic skeletons)만을 생성하며, 수치적 계수는 나중에 수치적으로 최적화될 파라미터 플레이스홀더(예: params[0])를 활용합니다.

2. 강건한 파라미터 식별

미분 노이즈 병목 현상을 해결하기 위해, 본 프레임워크는 표준 FD 방식을 연속적이고 노이즈에 강건한 수치 파이프라인으로 대체합니다.

5차 스플라인 평활화(Quintic Spline Smoothing): 노이즈가 포함된 공간 장(field)은 $C^4$ 연속 5차 B-스플라인을 사용하여 재구성됩니다. 이를 통해 이산 FD에 내재된 $O(\sigma/(\Delta x)^k)$ 노이즈 증폭을 피하면서, 최대 4차까지의 해석적이고 노이즈에 강건한 공간 미분이 가능해집니다.
부도메인 가중 잔차(Subdomain Weighted Residuals, SWR): 점별 평균 제곱 오차(MSE) 대신, 본 프레임워크는 국소적 부도메인에 대해 매끄럽고 컴팩트하게 지지되는 테스트 함수를 사용하여 PDE 잔차를 적분하여 평가합니다. 이 공식은 자연스러운 저역 통과 필터(low-pass filter) 역할을 하여, 오차 계산 전 고주파 노이즈를 감쇄시킵니다.
최적화: 파라미터는 적분된 잔차 손실을 최소화하기 위해 준 뉴턴(quasi-Newton) BFGS 알고리즘을 사용하여 최적화되며, 이를 통해 평활화된 적합도 지형에서 신뢰할 수 있는 수렴을 보장합니다.

3. 파레토 기반 평가 및 선택

본 프레임워크는 방정식 발견을 예측 정확도(점수: $-MSE$)와 구조적 간결성(복잡도: AST 노드 수) 사이의 균형을 맞추는 다목적 최적화 문제로 모델링합니다.

피드back 루프: 정확도와 복잡도 사이의 트레이드오프를 추적하기 위해 파레토 프런티어(Pareto frontier)가 유지됩니다. 상위 3개의 엘리트 솔루션(가장 높은 점수, 가장 낮은 복잡도, 그리고 균형 잡힌 솔루션)은 직렬화되어 LLM 프롬프트에 다시 입력되어 반복적인 정교화를 유도합니다.
자동 선택: 최종 방정식은 로그 오차 허용 범위를 기준으로 선택되며, 글로벌 최소 오차의 한 자릿수 범위 내에 있는 가장 단순한 구조를 선택함으로써 비물리적인 팽창(bloat)을 효과적으로 제거합니다.

주요 기여

프레임워크 통합: LLM의 구조적 생성과 연속적인 수치 최적화 및 진화적 탐색을 결합하여 PDE 발견을 자동화하는 LLM-PDESR을 제안하였습니다.
노이즈 해결: $C^4$ 연속 5차 스플라인과 SWR 평가를 통해 미분 노이즈 병목 현상을 해결하였습니다. 이는 적합도 지형의 왜곡을 완화하며, 파레토 기반 피드백 루프를 통해 정확도와 간결성의 균형을 최적으로 맞춥니다.
엄격한 벤치마킹: 23개의 표준 PDE와 5개의 구조적으로 새로운 방정식을 포함하는 포괄적인 벤치마크를 도입하였습니다. 이 새로운 방정식들(예: 지형 제약 화학주성, 교차 화학주성 포식자-피식자 모델)은 데이터셋 암기(memorization)를 방지하고 진정한 기호적 발견 능력을 검증하도록 명시적으로 설계되었습니다.
실제 응용: 노이즈가 포함된 ERA5 기후 재분석 데이터로부터 직접 해석 가능한 1D 동역학 대리 모델(1D-CACE)을 성공적으로 추출하여, 복잡한 실제 시스템에서 불변의 동역학적 메커니즘을 포착하는 본 프레임워크의 능력을 입증하였습니다.

실험 결과

본 프레임워크는 세 가지 영역에서 최신 방법론들(SGA-PDE, DISCOVER, WSINDy_PDE, EqGPT)과 비교 평가되었습니다.

표준 PDE: 다양한 노이즈 수준(0% ~ 20%)을 가진 23개의 벤치마크 PDE에 대해, LLM-PDESR은 노이즈 0%에서 100%의 구조적 성공률을 달성하였으며, 노이즈가 증가함에 따라 일관되게 높은 강건성을 유지했습니다. 경쟁 모델들은 심각한 성능 저하를 보였으며, 많은 경우 노이즈 조건에서 수렴에 실패했습니다.
구조적으로 새로운 방정식: 비다항 유리 분수, 고차 비선형성, 결합된 다변량 시스템 등 분포 외(out-of-distribution) 데이터를 위해 설계된 5개의 방정식에 대해, 전통적인 베이스라인들은 보편적으로 실패하거나 비물리적이고 과적합된 식을 생성했습니다. LLM-PD사은 형태 형성(Morphogenesis) 및 결합된 포식자-피식자 시스템에 대한 정확한 수학적 골격을 성공적으로 회복하였으며, 완전한 기호적 회복이 부분적이었을 때조차 5개 시스템 모두에서 가장 낮은 평균 제곱 오차(MSE)를 달산했습니다.
실제 세계의 발견 (1D-CACE): ERA5 데이터셋의 시간별 풍속 데이터에 적용하여, 결합된 대기 순환 대리 모델을 추출했습니다.
- 일반화: 발견된 구조적 골격은 강력한 분포 외(OOD) 일반화 능력을 보여주었습니다. 모델을 고정하고 별도의 시공간 도메인(예: 서태평양, 남인도양, 다른 월별 데이터)에 대해 재최적화했을 때, 모델은 높은 예측 충실도( $R^2$ 범위 58% ~ 76%)를 유지하며 불변의 동역학적 메커니즘을 포착했음을 확인시켜 주었습니다.
- 물리적 해석: 발견된 항들(공간 의존적 클로저 항 $xv, xu$ 포함)은 단순한 과적합이 아니라, 미해결된 거시적 배경 기울기(베타 평면 근사와 유사함)에 대한 수학적 프록시 역할을 하는 것으로 나타났습니다.

의의 및 주장

본 논문은 LLM-PDESR이 구조적 회복, 노이즈 탄력성, 그리고 가짜 복잡성 회피 측면에서 기존의 최신 방법론들을 크게 능가한다고 주장합니다. LLM의 추론 능력과 연속적이고 노이즈에 강건한 평가 환경을 통합함으로써, 본 프레임워크는 역사적으로 PDE 발견을 괴롭혀온 이산 수치 미분의 한계를 극선합니다.

저자들은 구조적으로 새로운 방정식을 발견하고 서로 다른 시공간 영역에 걸쳐 일반화할 수 있는 본 프레임워크의 능력이, 데이터 암기가 아닌 진정한 기호적 발견 역량을 입증한다고 강조합니다. 혼돈스러운 실제 기후 데이터에 대한 성공적인 적용은 전통적인 방법들이 실패하는 복잡한 물리 시스템으로부터 해석 가능한 차수 축소 모델(reduced-order models)을 추출하는 경로를 제시합니다.

인정된 한계점:
저자들은 본 프레임워크가 극단적인 수치적 강성(numerical stiffness)이나 거의 불연속적인 충격 전선(예: 공간적 병목 현상이 있는 교통 흐름)을 보이는 PDE를 다루는 데 현재 어려움이 있다고 언급했습니다. 이러한 경우 가파른 기울기가 SWR 적분과 BFGS 최적화를 방해합니다. 또한, 반복적인 LLM 추론에 따른 계산 오버헤드가 발생하며, 현재 구현은 구조화된 격자 위의 1D 시스템으로 제한되어 있습니다. 향후 연구는 2D/3D 비구조적 격리로 프레임워크를 확장하고 계산 효율성을 최적화하는 것을 목표로 합니다.