⚛️ lattice

Symbolic Density Estimators for Unnormalized Distributions

이 논문은 관측된 샘플로부터 해석 가능한 기호적 형태의 비정규화된 확률 분포를 추정하기 위해 딥 생성 모델과 기호 회귀를 결합한 프레임워크를 제시하며, 다변량 토이 데이터와 XY 모델 및 $\phi^4$ 이론과 같은 복잡한 계산 물리학 시스템에 대한 효과를 입증한다.

원저자: Vikas Kanaujia, Riyansha Singh, Shashank Sharma, Vipul Arora

게시일 2026-10-09

📖 4 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Vikas Kanaujia, Riyansha Singh, Shashank Sharma, Vipul Arora

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

물리학에서 세상이 어떻게 작동하는지 이해하는 것은 종종 사물들이 어떻게 행동할 가능성이 높은지를 설명하는 문제로 귀결됩니다. 고체 안의 원자나 자성 물질 안의 스핀처럼, 수많은 미세한 부분들로 이루어진 시스템을 상상해 보십시오. 이 부분들은 무작위로 움직이지 않습니다. 이들은 어떤 배열이 시스템에서 훨씬 더 일어날 법한지를 만드는 규칙들을 따릅니다. 과학자들은 이러한 가능성을 확률 분포라는 수학적 지도로 설명합니다. 이 지도 안에는 에너지가 존재하는 숨겨진 풍경이 있으며, 시스템은 자연스럽게 가장 낮은 골짜기로 가라앉습니다. 흔히 해밀토니언(Hamiltonian)이라 불리는 이 에너지 풍경은 시스템이 열, 압력 또는 시간에 어떻게 반응할지를 예측하는 핵심입니다. 수십 년 동안 물리학자들은 자신들의 직관과 깊은 이론적 지식에 의존하여 이러한 에너지 풍경을 설명하는 방정식을 작성해 왔습니다. 그들은 방정식의 형태를 추측한 다음, 관찰된 데이터에 맞추기 위해 숫자들을 미세하게 조정했습니다. 이러한 접근 방식은 잘 작동해 왔지만, 느리고 노동 집약적이며 전적으로 인간의 전문성에 의존합니다. 만약 근본적인 규칙이 너무 복잡하거나 시스템이 단순한 추측을 거부하는 방식으로 행동한다면, 전통적인 방식은 한계에 부딪힙니다.

IIT 칸푸르와 KU 루벤의 연구팀은 이 인간의 병목 현상을 우회할 수 있는 새로운 방법을 개발했습니다. 그들은 컴퓨터가 복잡한 시스템의 가공되지 않은 데이터를 보고 그 에너지의 수학적 방정식을 자동으로 작성할 수 있게 하는 프레임워크를 만들었습니다. 이것은 단순히 점들에 맞는 곡선을 찾는 것이 아닙니다. 이것은 물리학의 상징적 언어 자체를 발견하는 것입니다. 연구진은 두 가지 강력한 유형의 인공지능을 결합했습니다. 첫째, 그들은 복잡한 데이터 구름의 형태를 학습하고 특정 입자의 배열이 얼마나 발생할 가능성이 높은지 알려주는 데 탁월한 딥 생성 모델을 사용했습니다. 둘째, 그들은 블랙박스 형태의 예측 대신 단순하고 읽기 쉬운 수학적 공식을 찾는 기술인 심볼릭 회귀(symbolic regression)를 사용했습니다. 첫 번째 AI로부터 얻은 통찰력을 두 번째 AI에 입력함으로써, 시스템은 물리적 시스템의 무질서하고 고차원적인 데이터를 깔끔하고 해석 가능한 방정식으로 번역할 수 있습니다.

연구진은 단순한 장난감 분포부터 계산 물리학에서 사용되는 복잡한 모델에 이르기까지 여러 도전적인 시나리오에 대해 이 방법을 테스트했습니다. 한 실험 세트에서 그들은 많은 "우물", 즉 깊은 에너지 골짜기를 가진 시스템을 살펴보았는데, 이는 데이터가 여러 다른 상태에 흩어져 있기 때문에 지도를 그리기가 매우 까다로운 대상입니다. 또한 그들은 격자 위의 스핀이 어떻게 상호작용하는지를 설명하는 고전적인 물리 문제인 XY 모델과, 입자 물리학에서 장(field)이 어떻게 행동하는지를 연구하는 데 사용되는 $\phi^4$ 이론을 조사했습니다. 모든 경우에서, 이 프레임워크는 데이터로부터 근본적인 에너지 방정식을 성공적으로 복구했습니다. 더 단순한 시스템의 경우, 컴퓨터는 인간 전문가가 작성했을 법한 공식의 상징적 근사치를 찾아냈으나, 그 과정에서 해당 공식이 어떠해야 하는지에 대한 사전 지식은 필요하지 않았습니다. 시스템은 데이터가 고차원이고 노이즈가 섞여 있었음에도 불구하고 변수 간의 관계와 이를 지배하는 특정 숫자들을 정확하게 식별해 냈습니다. 다만 그 결과는 엄밀한 항등식이라기보다는 압축된 상징적 근사치로 이해하는 것이 적절합니다.

이 작업이 특히 중요한 이유는 문제의 가장 어려운 부분인 '변수의 엄청난 수'를 어떻게 다루느냐에 있습니다. 수천 개의 상호작용하는 부분들로 이루어진 시스템에서 수학적 공식을 찾기 위한 탐색 공간은 불가능할 정도로 거대해집니다. 이를 해결하기 위해 연구진은 시스템을 작은 국소적 패치(local patches)로 나누는 전략을 도입했습니다. 전체 시스템에 대한 하나의 거대한 방정식을 찾으려 하는 대신, AI는 상호작용하는 부분들의 작은 이웃을 살펴보고, 그 작은 조각에 대한 규칙을 찾은 다음, 그 규칙들을 하나로 엮습니다. 이 접근 방식은 데이터에 제어된 노이즈를 추가하여 AI가 희귀하지만 중요한 고에너지 상태를 볼 수 있도록 하는 기술과 결합되어, 다른 방법들이 실패하는 고차원 환경에서도 효과적으로 작동하게 했습니다. 결과는 제안된 프레임워크가 정확할 뿐만 아니라 물리적으로도 의미 있는 압축된 상징적 근사치를 추정할 수 있음을 보여주었습니다.

연구팀은 또한 지도를 확대하여 세부 사항은 무시하면서 큰 그림을 보는 것과 유사한 르노멀라이제이션(renormalization, 재규격화)이라는 문제에도 이 방법을 적용했습니다. 물리학에서 이것은 미세한 시스템을 가져와서 더 큰 규모에서 동일하게 작동하는 더 단순하고 효과적인 버전을 만드는 것을 의미합니다. 전통적으로, 복잡하고 비섭동적인 영역에서 이 더 큰 규모 버전의 방정식을 유도하는 것은 거대한 해석적 과제이며, 종종 손으로 풀 수 없는 문제입니다. 연구진은 프레임워크에 조립된 격자(coarse-grained lattice)의 데이터를 입력하고 새로운 에너지 방정식을 찾아내도록 요청했습니다. 시스템은 원래 시스템의 거동과 일치하는 상징적 표현식을 성공적으로 생성했습니다. 이 표현식들은 알려진 물리학과 일치했으며 시스템의 올바른 통계적 특성을 재현했습니다. 이는 프레 framework가 전통적인 해석적 방법으로는 너무 복잡한 경우에도 데이터로부터 직접 효과적인 법칙을 밝혀낼 수 있음을 입증합니다.

이 연구는 이것이 단순히 곡선 맞추기(curve-fitting) 연습에 불과하다는 생각을 명시적으로 배제했습니다. 연구진은 고정된 구성 요소들을 기반으로 방정식의 형태를 추측하려는 기존 방법들과 이 접근 방식을 비교했습니다. 기존의 방법들은 종론이 수렴하지 않거나, 잘못된 계수 및 포함되지 말아야 할 가짜 항들을 포함하는 방정식을 만들어내는 경우가 많았습니다. 반면, 딥 러닝과 심볼릭 탐색을 통합하고 국소적 인수분해(local factorization)를 사용하는 이 새로운 프레임워크는 올바른 구조를 일관되게 찾아냈습니다. 연구진은 이 방법이 어떤 수학적 함수가 물리적으로 관련이 있는지와 같은 일부 사전 지식에 의존하지만, 최종 답안을 미리 알 필요는 없다고 언급했습니다. 결과는 여러 무작위 시행에 걸쳐 견고하게 나타났으며, 프레임워크가 올바른 상호작용을 신뢰성 있게 발견하고 무관한 상호작용은 억제한다는 것을 보여주었습니다.

궁극적으로, 이 작업은 과학적 발견을 위한 새로운 길을 제시합니다. 이는 복잡한 시스템을 지배하는 법칙을 공식화할 때 인간의 직관적 한계를 넘어설 수 있음을 시사합니다. 자연의 수학적 언어를 찾는 과정을 자동화함으로써, 이 프레임워크는 과학자들이 방대한 데이터셋을 분석하면서도 인간이 읽을 수 있는 방정식의 명료함과 통찰력을 유지할 수 있도록 합니다. 연구진은 이 접근 방식이 단순한 통계 분포부터 입자 물리학의 복잡한 격자에 이르기까지 매우 다양한 시스템에 작동함을 입증했으며, 이전에 분석적으로 모델링하기 너무 어려웠던 시스템의 에너지 함수를 추정할 수 있는 도구를 제공했습니다. 이 결과는 딥 러닝과 심볼릭 추론의 적절한 결 조합을 통해, 우리가 남긴 데이터로부터 자연의 숨겨진 규칙을 직접 밝혀낼 수 있음을 보여줍니다.

기술 요약: 비정규화 분포를 위한 기호적 밀도 추정 (Symbolic Density Estimators for Unnormalized Distributions)

문제 정의
관측된 샘플로부터 확률 밀도 함수(PDF)의 기호적 또는 해석적 형태를 추정하는 것은 통계 및 계산 모델링의 근본적인 과제이다. 딥 생성 모델(Normalizing Flows 및 Score-based models와 같은)은 복잡한 분포로부터 샘플링하는 데 탁월하지만, 기저의 에너지 함수 또는 해밀토니언( $H(x)$ )에 대한 해석 가능한 해석적 표현을 제공하지 않는 "블랙박스" 추정기로 기능한다. 반대로, 전통적인 기호 회귀(Symbolic Regression, SR) 방법은 고차원 데이터로 확장하는 데 어려움을 겪으며, 분포가 비정규화되어 있거나 탐색 공간이 너무 큰 경우 실패하는 경우가 많다. 본 연구에서 다루는 핵심 문제는, 수동적인 도메인 전문 지식을 사용하여 함수 형태를 선택하는 것에 크게 의존하지 않고, 관측된 데이터로부터 직접 비정규화된 분포의 해석적, 기호적 표현을 자동으로 추론하는 것이다.

방법론
저자들은 딥 생성 모델링과 기호 회귀를 결합하여 무감독 밀도 추정 문제를 지도 학습 기반의 기호 회귀 문제로 변환하는 2단계 프레임워크를 제안한다.

생성 모델링 단계: 프레임워크는 먼저 관측된 샘플에 대해 딥 생성 모델을 훈련시킨다. 저자들은 두 가지 유형의 모델을 활용한다:
- 우도 기반 모델 (Normalizing Flows): 이는 음의 로그 우도( $-\log p_\theta(x)$ )를 제공하며, 이는 상수 항을 제외한 에너지 함수의 타겟이 된다.
- 스코어 기반 모델 (Score-based models): 이는 스코어 함수 $s(x) = \nabla_x \log p(x)$ 를 추정한다. 복잡한 기호적 스코어의 적분 문제를 해결하기 위해, 저자들은 신경망을 통해 에너지 함수 $H_\theta(x)$ 를 직접 모델링하고 자동 미분을 통해 스코어를 얻는 방식( $s_\theta(x) = -\nabla_x H_\theta(x)$ )을 제안한다. 저밀도 영역에서의 추정을 개선하기 위해 디노이징 스코어 매칭(Denoising score matching)이 사용된다.
데이터 증강 (Data Augmentation): 견고한 기호적 추정을 보장하기 위해, 프레임워크는 고밀도 샘플에 노이즈 섭동( $x' = x + \epsilon$ )을 가한다. 이를 통해 SR 모델이 고밀도 영역과 저밀도 영역 모두의 샘플을 볼 수 있도록 하며, 이는 안정적인 추정에 매우 중요하다.
기호 회귀 (SR) 단계: 생성 모델의 출력값(로그 우도 또는 스코어 필드)은 SR 알고리즘의 레이블 역할을 한다. SR 작업의 목표는 이 레이블을 근사하는 간결한 폐쇄형 표현식 $\hat{H}(x)$ 를 찾는 것이다. 프레임워크는 두 가지 SR 백엔드를 사용한다:
- PySR: 유전 프로그래밍 기반 알고리즘.
- EQL (Equation Learner): 희소 정규화(Sparse regularization)를 사용하는 딥 뉴럴 네트워크 기반 접근 방식.
주요 귀납적 편향 (Key Inductive Biases): 고차원 시스템(예: 격자 모델)에 대해 문제를 해결 가능하게 만들기 위해, 프레ک임워크는 세 가지 특정 전략을 통합한다:
- 국소적 인수분해 (Local Factorization): 물리적 시스템의 공간적 국소성을 활용하여, 전역 해밀토니언을 작은 패치(예: $2\times2$ 또는 $3\times3$ ) 단위로 인수분해한다. SR은 적은 수의 변수에 대한 국소 에너지 함수 $\hat{h}(x_p)$ 를 추정하며, 이를 합산하여 전역 에너지를 재구성한다.
- 태스크 특화 프리미티브 (Task-Specific Primitives): 탐색 공간을 제한하기 위해 도메인 특화 프리미티브 함수(예: XY 모델을 위한 삼각 함수, $\phi^4$ 이론을 위한 다항식)를 포함한다.
- 다중 스케일 섭동 (Multi-scale Perturbation): 앞서 언급했듯이, 샘플에 노이즈를 추가함으로써 상태 공간의 커버리지를 개선한다.

주요 기여

프레임워크 통합: 본 논문은 딥 생성 모델과 SR을 연결하는 모듈형 프레임워크를 도입하여, 사전적으로 파라미터 형태를 가정하지 않고도 관측된 비정규화 분포로부터 해석 가능한 에너지 함수를 발견할 수 있게 한다.
인수분해를 통한 확장성: 해밀토니언의 국소적 인수분해를 채택함으로써, 표준 SR이 실패하는 고차원 격자 시스템(재규격화 맥락에서 $d=64$ 이상)에 대해서도 에너지 함수를 추정할 수 있도록 기호적 탐색 공간의 차원을 효과적으로 축소한다.
비섭동 영역 처리: 프레임워크는 전통적인 섭동 이론이나 해석적 유도가 어렵거나 불가능한 강결합 시스템(특히 $\phi^4$ 이론의 재규격화)에 대해 유효 해밀토니언을 성공적으로 추정한다.
오설정(Misspecification)에 대한 강건성: 실험 결과, 프리미티브 라이브러리가 잘못 설정된 경우(예: XY 모델에서 삼각 연산자를 제거한 경우)에도 프레임워크가 기저의 상호작용에 대한 의미 있는 다항식 근사를 여전히 찾아낼 수 있음을 보여준다.

실험 결과
프레임워크는 저차원 토이 분포부터 고차원 격자 물리 모델에 이르는 다양한 데이터셋에 대해 평가되었다:

토이 분포 (Toy Distributions): 다변량 가우시안 및 다중 웰(many-well) 분포에 대해, 프레임워크는 차원 $d=2$ 에서 $d=64$ 에 걸쳐 진정한 해밀토니언을 거의 완벽하게 복구하였다 ( $R^2 \approx 1.0$ , MSE $\approx 0$ ). PySR은 EQL( $10^5$ )보다 더 적은 샘플( $10^3$ )로도 대등한 결과를 달성했다.
XY 모델: $8\times8$ 격자( $d=64$ )에서 프레임워크는 코사인 기반 상호작용 항을 성공적으로 복구했다. Flow 기반 모델을 결합한 방식이 스코어 기반 방식 및 EQL보다 우수한 성능을 보였으며, 가짜 항(spurious terms) 없이 높은 정밀도와 재현율을 달 achieved.
스칼라 $\phi^4$ 이론: 프레임워크는 약결합 및 강결합 영역 모두에서 국소 해밀토니언을 정확하게 추정했다. 특히, PySR은 더 큰 패치 크기(더 많은 변수 도입)를 사용했을 때도 정확한 최근접 이웃 상호작용을 일관되게 식별하여 불필요한 장거리 의존성을 효과적으로 억제했다.
재규격화 (Renormalization): 비섭동 설정에서, 프레임워크는 조립된 격자(coarse-grained lattices, $32\times32$ 에서 $8\times8$ 까지)에 대한 유효 해밀토니언을 추정했다. 추정된 해밀토니언은 물리적 관측량(자화, 감수율)을 높은 충실도로 재현하였으며(히스토그램 중첩 $>98\%$ ), 이는 분석적 유도 없이도 조립된 역학을 포착하는 방법의 유효성을 입증한다.
비교: 제안된 방법은 $d>2$ 에서 수렴에 어려움을 겪고 종종 가짜 항이 포함된 식을 생성하는 베이스라인인 MeSSY를 크게 능가했다.

의의 및 주장
저자들은 본 연구를 새로운 SR 알고리 알고리즘이 아닌, 과학적 발견을 위한 실용적인 프레임워크로 위치시킨다. 주요 의의는 복잡하고 고차원적인 시스템으로부터 관측된 데이터로부터 직접 해석 가능한 에너지 함수를 자동 유도할 수 있다는 점에 있다. 본 논문은 이 접근 방식이 특히 분석적 해법이 없는 비섭동 영역에서 노동 집약적이고 전문가 주도적인 모델 공식화의 실행 가능한 대안을 제공한다고 주장한다.

저자들은 프레임워크가 물리적으로 동기화된 귀납적 편향(패치 크기, 프리미티브 라이브러리)에 의존하며, 추정된 식은 실제 역학의 정확한 표현이라기보다 "간결하고 해석 가능한 기호적 근사"라는 점을 겸허히 명시한다. 또한, 확장성이 현재 변수의 수가 매우 많은 경우를 처리하는 SR 구성 요소의 능력에 의해 제한되어, 매우 큰 패치를 요구하는 시스템의 장거리 또는 비국소적 상호작용 발견에는 한계가 있음을 인정한다. 향후 연구로는 생성 모델의 모드 커버링(mode-covering) 동작 문제를 해결하고 비평형 시스템으로 확장하는 것을 제안한다.

유사한 논문