💻 computer science

A Search‑Free Foundation Model for Symbolic Regression of Physical Laws

이 논문은 물리 정보 기반의 대조 정렬된 수식-데이터 매니폴드와 플로우 매칭을 활용하여 데이터로부터 해석 가능한 물리 법칙을 신속하고 정확하게 복구하며, 다양한 과학적 및 실세계 벤치마크에서 기존 방법론보다 속도와 구조적 정확도 측면 모두에서 뛰어난 성능을 보이는 탐색 불필요(search-free) 파운데이션 모델인 PISR을 소개한다.

원저자: Chenxi He, Jingqiu Chen

게시일 2026-07-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chenxi He, Jingqiu Chen

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 탐정이 되어 미스터리를 풀고 있다고 상상해 보세요. 하지만 당신의 단서는 지문이나 발자국 대신 숫자로 이루어져 있습니다. 과학의 세계에는 '기호 회귀(symbolic regression)'라고 불리는 특별한 종류의 퍼즐이 있습니다. 목표는 단순히 다음에 어떤 일이 일어날지 예측하는 것(예를 들어 날씨 앱이 비가 올 것을 추측하는 것처럼)이 아니라, 왜 그런 일이 일면 발생하는지를 설명하는 '규칙'을 찾는 것입니다. 케이크의 부스러기를 맛보는 것만으로 그 케이크의 비밀 레시피를 찾아내려는 것과 같습니다. 당신은 자연이 사용하고 있는 정확한 수학적 공식—예를 들어 $E=mc^2$ 나 중력의 법칙처럼—을 발견하고자 합니다.

오랫동안 컴퓨터는 이 작업에 서툴렀습니다. 컴퓨터는 데이터에서 패턴을 찾는 데는 뛰어나지만, 대개 "블랙박스" 형태의 답을 내놓습니다. 즉, 작동은 하지만 그 과정을 설명해주지는 않는 복잡하고 읽기 어려운 기계 같은 답 말입니다. 다른 방법들은 수천 개의 무작위 조합을 벽에 던져보고 그중 무엇이 붙는지 확인하는 방식으로 레시피를 추측하려 하는데, 이는 느리고 투박하며 데이터가 지저분할 때 자주 실패합니다. 과학자들이 던져온 핵심적인 질문은 이것입니다. "우리가 단순히 무작위로 추측하는 것이 아니라, 과학적 법칙의 '형태'를 이해하여 더 빠르고 정확하게 찾아낼 수 있는 컴퓨터를 만들 수 있을까? 심지-노이즈가 섞인 실제 세상의 데이터에서도 말이다."

여기서 PISR(Physics-Informed Symbolic Regression, 물리 정보 기반 기호 회귀)이라는 새로운 발명품이 등장합니다. PISR를 도서관을 미친 듯이 뒤지는 탐정이 아니라, 요리 역사를 통달한 마스터 셰프로 생각해보세요. PISR의 연구자들은 실제 과학 법칙이 단순히 무작위적인 수학이 아니라는 점을 깨달았습니다. 법칙들은 가능한 모든 방정식이라는 거대한 우주 속에서 특정한, 조직화된 구역에 살고 있습니다. 그들은 이 구역을 "공식 매니폴드(formula manifold)"라고 부릅니다.

매번 답을 처음부터 찾는 대신, PISR는 이 구역의 '지도'를 학습합니다. 이들은 영리한 기술을 사용합니다. 방대한 양의 알려진 물리 및 수학 법칙들을 학습하여, 실제 법칙이 가진 '느낌'이나 '형태'를 인식하도록 훈련합니다. 당신이 새로운 지저분한 데이터(예를 들어 바람의 혼란스러운 움직임이나 먼 별의 궤도 같은 것)를 입력하면, PSR은 처음부터 다시 시작하지 않습니다. PISR은 즉시 그 데이터를 자신의 내부 지도 위로 투영하고 이렇게 묻습니다. "이것은 무엇과 닮았는가?" 그런 다음 두 가지 초능력을 사용하여 답을 찾아냅니다:

플로우 매칭(Flow Matching): 마치 강물이 바다를 찾아가듯, 데이터 포인트를 지도 위의 가장 가까운 알려진 법칙을 향해 부드럽게 "흐르게" 합니다.
검색(Retrieval): 이미 공부한 40만 개의 실제 공식 라이브러리에서 가장 가까운 이웃들을 빠르게 낚아챕니다.

결과는 인상적입니다. 테스트에서 PISR은 까다로운 실제 물리 문제 세트에서 물리 법칙의 올바른 수학적 구조를 **51.3%**의 확률로 찾아냈으며, 이는 다른 모든 방법들을 능가하는 성적입니다. 또한 경쟁 모델들보다 약 2.4배 더 빨랐습니다. 하지만 진짜 마법은 연구자들이 한 번도 본 적 없는 것들을 테스트했을 때 일어났습니다. PISR은 금융, 생물학, 천문학 등 서로 다른 분야의 가공되지 않은 데이터로부터 유명한 법칙들을 성공적으로 복구해냈습니다. 여기에는 복잡한 난류 패턴과 별의 밝기와 온도 사이의 관계 등이 포함되었습니다.

결정적으로, 이 논문은 PISR이 단순히 답을 암기하는 것이 아님을 보여줍니다. 연구자들은 컴퓨터의 "두뇌"(그 수학적 공간) 안에서 실제 과학 법칙들이 무작위적인 엉터리 수학과는 명확히 구분되어 있다는 것을 증명했습니다. 이는 마치 모든 진짜 법칙들이 깔끔하고 조직된 원 안에 모여 있고, 무작위적인 헛소리들은 저 멀리 흩어져 있는 방과 같습니다. PISR은 이 원이 존재한다는 것을 알기 때문에, 헛소리는 무시하고 의미 있는 패턴에만 집중할 수 있습니다.

하지만 이것이 모든 것을 해결하는 마법 지팡이는 아닙니다. 논문은 PISR이 "폐쇄형(closed-form)" 법칙—종이에 적을 수 있는 방정식—을 위해 설계되었다는 점을 주의 깊게 언급합니다. 현재로서는 시간에 따라 변화하는 비율을 포함하는 방정식(미분 방정식 같은 것)을 동일한 방식으로 다루지는 못합니다. 또한, 과학적 공식의 형태를 따르는 법칙을 찾는 데는 탁월하지만, 물리 법칙의 규칙을 따르지 않는 추상적인 수학 문제에는 어려움을 겪는데, 이는 PISR이 "매니폴드 밖(off-manifold)"의 구조를 무시하도록 학습되었기 때문입니다.

요약하자면, PSR은 "무차별적인 탐색"에서 "스마트한 패턴 인식"으로의 전환을 의미합니다. 이는 만약 우리가 컴퓨터에게 우주가 어떻게 규칙을 쓰는지 그 근본적인 구조를 이해하도록 가르친다면, 이전보다 훨씬 빠르고 정확하게 그 규칙들을 복구할 수 있음을 시사합니다. 연구자들은 과학적 법칙이 수학적 공간의 특별하고 구조화된 구석을 차지하고 있음을 보여주었으며, 그 구석을 항해하는 법을 배움으로써 우리는 단 한 번의도 신속한 시선만으로 우주의 비밀을 재발견할 수 있습니다.

기술 요약: 물리 법칙의 기호 회귀를 위한 검색 프리(Search-Free) 파운데이션 모델

1. 문제 정의

기호 회귀(Symbolic Regression, SR)는 관측 데이터로부터 해석 가능한 폐쇄형(closed-form) 수학 법칙을 복구하는 것을 목표로 한다. 이는 과학적 발견의 핵심이지만, 기존 방법론들은 정확도와 속도 사이의 근본적인 트레이드오프에 직면해 있다:

검색 기반 방법론(예: 유전 알고리즘, GPU 병렬 열거): 깨끗하고 저차원인 데이터에서는 정확하지만, 계산 비용이 높고, 노이즈가 있는 실제 데이터에서 취약하며, 새로운 문제마다 조합적 표현 공간을 다시 탐색해야 한다는 단점이 있다.
엔드 투 엔드 딥러닝 방법론(예: 트랜스포머): 속도는 빠르지만, 일반적으로 SR을 시퀀스 번역 작업으로 취급한다. 이들은 데이터 분포를 모델링하는 법은 배우지만, 공식의 공간 자체를 모델링하지는 못하며, 물리 법칙의 구조에 대한 명시적인 사전 지식(prior)이 부족하다. 결과적으로, 물리적 발견에 필요한 이산적이고 비매끄러우며 초지수적으로 증가하는 표현 공간을 다루는 데 어려움을 겪는다.

본 논문은 현재의 데이터 구동형 알고리즘들이 물리 법칙의 구조적 관계를 추론하지 못하는 이유가, 그들이 예측하고자 하는 "공식의 공간"에 대한 모델을 인코딩하지 못하기 때문이라고 주장한다.

2. 방법론: PISR (물리 정보 기반 기호 회귀)

저자들은 PISR을 제안한다. 이는 검색 프리(search-free) 파운데이션 모델로서, 기호 회귀를 사전 훈련된 대비 학습 기반(contrastively-aligned)의 공식-데이터 매니폴드(formula–data manifold) 내에서의 생성 문제로 재정의한다. 핵심 가설은 실제 물리 법칙이 차원 일관성과 반복되는 구성 모티프에 의해 형성된, 방대한 모든 표현 공간 내의 구조적이고 낮은 복잡도의 저차원 부분 매니폴드를 점유한다는 것이다.

아키텍처 및 훈련

공유 잠재 매니폴드(Shared Latent Manifold): PISR은 대칭적 InfoNCE 대비 학습 목적 함수(CLIP 스타일)를 통해 정렬된 두 개의 인코더를 사용한다:
1. 데이터 인코더 ( $E_d$ ): 점 구름(point clouds) $\{(x_i, y_i)\}$ 를 잠재 벡터 $z_d$ 로 매핑하는 순열 불변 인코더(16개의 학습된 시드 토큰을 가진 풀링된 멀티 헤드 어텐션).
2. 공식 인코더 ( $E_f$ ): 표현식의 추상 구문 트리(AST)를 잠재 벡터 $z_f$ 로 매핑하는 그래프 신경망 인코더.
- 정렬(Alignment): 훈련 과정에서 특정 공식과 그 공식이 생성하는 데이터는 잠재 공간( $\mathbb{R}^{640}$ ) 내의 가까운 지점으로 끌어당겨지며, 이를 통해 근접성은 기능적 관계의 대리 지표(proxy)가 된다.
구조적 감독(Structural Supervision): 모델은 물리 지식 그래프와 함께 증강된 대규모 물리/수학 코퍼스(3,360만 개의 표현식)로 훈련된다. 구조적 손실 항( $L_{struct}$ )은 부모 법칙, 전제 조건, 유도 DAG 에지를 활용하여 표현 구조에 대한 물리 정보 기반의 사전 지식을 강제한다.
모델 규모: 전체 모델은 인코더, 플로우 매칭 필드(flow-matching field), 디코더를 포함하여 약 4억 개의 파라미터로 구성된다.

추론 파이프라인 (검색 프리)

PISR은 인스턴스별 기호 검색 없이 단일의 아마티즈드(amortized) 순방향 패스(forward pass)로 작동한다:

잠재 생성(Latent Generation): 플로우 매칭 필드(DiT 스타일)가 데이터 잠재 벡터 $z_d$ 를 후보 공식 잠재 벡터 쪽으로 이동시킨다.
검색(Retrieval): 400,000개의 실제 공식 잠재 벡터 라이브러리가 인덱싱되어 있다. $z_d$ 의 $k$ -최근접 이웃(k-nearest neighbors)을 검색하여 생성된 후보들을 보완하는 비매개변수적(non-parametric) 보완책을 제공한다.
조건부 디코딩(Conditioned Decoding): 조건부 데이터 표현을 바탕으로, 오토레그레시브 디코더가 플로우 생성 및 검색된 잠재 벡터를 표현식 스켈레톤(타입 지정된 토큰)으로 렌더링한다.
선택(Selection): 후보 표현식의 자유 상수(free constants)는 비선형 최소 제곱법을 통해 피팅된다. 후보들은 오직 홀드아웃 예측 오차에 의해 순위가 매겨진다(물리 법칙은 구조적으로 복잡할 수 있으므로 복잡도 페널티는 적용되지 않는다). 가장 성능이 좋은 표현식이 반환된다.

3. 주요 기여 및 결과

공식 매니폴드 가설

본 논문은 실제 물리 공식이 학습된 잠재 공간 내에서 무작위 표현식으로부터 선형적으로 분리 가능하다는 실증적 증거를 제시한다.

분리 가능성(Separability): 선형 프로브(linear probe)는 연산자 빈도와 길이를 제어한 상태에서, 실제 물리 법칙을 구조가 일치하는 무작위 표현식과 구별하는 데 **94.4%**의 ROC-AUC를 달연했다.
기하학적 구조(Geometry): 실제 법칙은 무작위 표현식(10.5)과 구별되는 풍부하고 확장된 구조(참여율 21.5)를 형성하며, 이는 "법칙 영역"이 단순히 더 작은 부분 집합이 아니라 구성적 문법에 의해 정의됨을 확인시켜 준다.
차원 분석: 이러한 분리 가능성은 버킹엄- $\pi$ 정리(Buckingham- $\pi$ theorem)에 근거하며, 이는 유효한 법칙을 무차원 군(dimensionless groups)으로 제한함으로써 통사적으로는 유효하지만 물리적으로는 불가능한 대다수의 표현식을 제거한다.

벤치마크 성능

PISR은 네 가지 베이스라인(PySR, PSE, PhyE2E, GenSR)을 대상으로 세 가지 벤치마크에서 평가되었다.

실제 물리 벤치마크 (797개 태스크): PISR은 **51.32%**의 구조적 정확도를 달성하여, 차순위 모델인 PySR보다 7.66%포인트 높은 성능을 보였다.
교차 도메인 일반화 (270개 태스크): PSR은 **71.11%**의 정확도를 달성하여 PySR을 15.93%포인트 앞질렀다. 이는 모델이 물리 분포뿐만 아니라 법칙다운 공식의 구조를 학습했음을 시사하며, 금융, 경제, 생물학으로의 전이를 가능하게 한다.
파인만 방정식 (119개 태스크): PISR은 **39.50%**의 정확도에 도달하여 GPU 열거 베이스라인을 6.73%포인트 앞섰다.
효율성: PISR은 유전 프로그래밍보다 약 2.4배, GPU 열거보다 2.5배 빠르며, 반복적인 검색이 필요한 베이스라인들과 달리 단 한 번의 순방향 패스(~12.25초/태스크)만 필요하다.

복잡한 법칙의 복구

PISR은 모든 베이스라인이 실패한 지점에서 명명된 법칙들을 독보적으로 복구해 냈으며, 특히 다음과 같은 경우에 그러했다:

초월 함수(Transcendental functions): 베이스라인들이 대수적 근사(예: 중첩된 거듭제곱 또는 유리 근사)를 사용할 때, 지수 또는 로그 형태를 정확히 식별함.
가변 지수(Variable exponents): 트랜스포머가 고정 지수를 사용하는 경우에도 $x^n$ 과 같은 가변 지수 형태를 복구함.
특정 도메인: 난류 데이터에서 콜모고로프의 2/3 법칙을 성공적으로 복구하였고, 성표(stellar catalogs)에서 슈테판-볼츠만 관계를, 그리고 클래식 모델이 실패한 지점에서 레이놀즈 응력 폐쇄(Reynolds-stress closure)를 복구하였다( $R^2 \approx 0.99$ ).

4. 의의 및 주장

본 논문은 P-ISR이 법칙을 "검색"하는 것에서 학습된 물리 정보 기반 매니폴드 내에서 법칙을 "생성"하는 것으로의 패러다임 전환을 나타낸다고 주장한다.

귀납적 편향(Inductive Bias): 법칙다운 공식의 매니폴드에 특화됨으로써, 모델은 실제 과학 데이터에서 최첨단 정확도를 달성하는 동시에, 추상적 표현 공간의 "구조가 없는(structure-free)" 영역(이는 설계상의 특징임)에서는 성능이 낮게 나타난다.
일반화: 물리적으로 훈련된 단일 파운데이션 모델이 비물리적 과학 도메인(예: 경제학, 생물학)에도 일반화될 수 있음을 보여준다. 이는 해당 도메인들이 동일한 "구성적 문법"을 공유하기 때문이다.
확장성: 검색 프리 아키텍처는 대규모 가설 생성 및 검증을 계산적으로 가능하게 하여, 분야를 알려진 법칙의 복구에서 새로운 법칙의 제안으로 확장시킨다(예: 난류 모델링과 같은 개방형 폐쇄 문제).

저자들은 모델의 성공이 과학적 법칙이 표현 공간의 임의적인 요소가 아니라, 차원 일관성과 물리적 모티프에 의해 정의된 구조적 부분 매니폴드를 점유하고 있다는 가설에 달려 있음을 강조한다. 이러한 사전 지식은 실제 세계의 과학적 특성인 노이즈와 차원 구조를 처리하는 데 결정적인 역할을 한다.