🔭 astrophysics

NestyNet. III. Symbolic Regression from Analytic Neural Surrogates

NestyNet-SR는 해석적 신경 대리 모델(analytic neural surrogates)을 활용하여 복잡한 데이터를 분리 가능한 성분들로 재귀적으로 분해하고, 이를 다시 정확한 폐쇄형 수식(closed-form expressions)으로 증류함으로써 벤치마크에서 최첨단 성능을 달성하고 실제 천문 데이터를 통해 근본적인 물리 법칙을 성공적으로 재발견하는 새로운 기호 회귀 프레임워크이다.

원저자: Rodrigo Ibata, Wassim Tenachi, Foivos Diakogiannis, Neil Ibata, Anirudh Shankar

게시일 2026-08-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Rodrigo Ibata, Wassim Tenachi, Foivos Diakogiannis, Neil Ibata, Anirudh Shankar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

자연은 종종 단순한 법칙들을 복잡성이라는 베일 뒤에 숨겨둡니다. 물리 법칙은 가공되지 않은 데이터로 쓰여 있을 때는 얽히고설킨 변수들의 매듭처럼 보일 수 있지만, 우리가 보는 법을 알기만 한다면 단 한 줄의 우아한 문장이 될 수도 있습니다. 수 세기 동안 과학자들은 그 적절한 관점을 찾아내어, 매듭을 풀고 그 아래에 숨겨진 깨끗한 구조를 드러내기 위해 인간의 직관에 의존해 왔습니다. 하지만 우주가 우리에게 더 많은 데이터와 더 복잡한 시스템을 제시함에 따라, 우리의 도움 없는 정신은 그 패턴을 파악하는 데 어려움을 겪을 수 있습니다. 이제 질문은 기계가 훨씬 더 넓은 범위의 가능성을 조사하여, 데이터를 완벽하게 설명할 뿐만 아니라 우리가 한 번도 보지 못한 새로운 상황에서 사물이 어떻게 행동할지까지 예측할 수 있는 관계를 찾아낼 수 있는지로 옮겨갔습니다. 이것이 바로 심볼릭 회귀(symbolic regression)라고 불리는 분야의 목표입니다. 즉, 단순히 그래프에 곡선을 맞추는 것이 아니라, 세상을 설명하는 실제 수학적 문장을 찾는 것입니다.

문제는 가능한 문장의 수가 너무 방대하여 하나씩 검색하며 찾는 것이 불가능하다는 점입니다. 이는 모든 선반에 가능한 모든 단어의 조합이 들어 있는 도서관에서 특정 책을 찾으려는 것과 같습니다. 이 문제를 해결하기 위해 로드리고 이바타(Rodrigo Ibata)와 그의 팀은 네스티넷-SR(NestyNet-SR)이라는 새로운 방법을 개발했습니다. 무작위로 문장을 추측하는 대신, 이 시스템은 먼저 인공 신경망의 일종을 사용하여 데이터에 대한 매우 정확하고 유연한 모델을 구축합니다. 이 모델은 대리물(surrogate), 즉 데이터를 아주 잘 알고 있는 대역 역할을 합니다. 핵심적인 혁신은 이 대리물이 수학적으로 투명하게 설계되었다는 점입니다. 이는 연구자들이 입력을 미세하게 조정할 때 출력이 정확히 어떻게 변하는지 계산할 수 있게 해줍니다. 이러한 변화를 연구함으로써, 시스템은 데이터가 더 단순하고 독립적인 부분들로 분해될 수 있는지 감지할 수 있습니다. 시스템은 다음과 같은 질문을 던집다: 이 부분은 온도에만 의존하는가, 아니면 저 부분은 압력에만 의존하는가? 혹은 특정 비율이나 합계와 같이 전체를 단순하게 만드는 숨겨진 변수의 조합이 존재하는가?

시스템이 이러한 더 단순한 구성 요소들을 식별하면, 두 번째 단계인 인간이 읽을 수 있는 언어로의 번역으로 넘어갑니다. 여기서 이 방법의 진가가 드러납니다. 이 방식은 단순히 하나의 완벽한 공식을 찾는 것이 아니라, 구조를 찾는 과정과 숫자를 찾는 과정을 분리합니다. 열쇠의 이빨 크기를 정확히 모르는 상태에서 열쇠의 모양을 찾는다고 상상해 보십시오. 시스템은 먼저 방정식의 골격인 '모양'을 찾은 다음, 그에 맞는 정확한 숫자들을 맞춥니다. 이러한 접근 방식 덕분에 기존의 방법들이 어려워하던 복잡한 중첩 계층을 처리할 수 있습니다. 시스템은 관계가 사인파, 제곱근, 또는 멱법칙(power law)을 포함하고 있음을 발견할 수 있으며, 데이터에 노이즈가 있거나 여러 다른 실험에서 동시에 나온 데이터일 때도 이를 수행할 수 있습니다. 또한 이 시스템은 물리적 실체에 대해 엄격합니다. 측정 단위가 타당한지 확인하여, 공식이 실수로 미터(m)에 초(s)를 더하는 것과 같은 오류를 범하지 않도록 합니다.

연구팀은 컴퓨터가 풀기 어렵기로 유명한 120개의 물리 방정식 세트인 AI 파인만(AI Feynman) 벤치마크를 통해 이 방법을 테스트했습니다. 노이즈가 없는 세상에서, 이 시스템은 120개의 방정식 모두를 정확하게 복구해 냈으며, 이는 이 유형의 벤치마크에서 처음 있는 일이었습니다. 시스템은 복잡한 방정식을 단순하게 만드는 숨겨진 내부 좌표를 찾아냄으로써 이를 수행했습니다. 현실적인 노이즈를 추가하여 실제 세계의 측정 과정에서 발생하는 불완전함을 시뮬레이션했을 때도, 시스템은 거의 절반의 문제에 대해 올바른 구조를 찾아냈으며, 구조의 어느 부분이 여전히 신뢰할 수 있는지 연구자들에게 알려줄 수 있었습니다. 진정한 법칙과 운 좋은 추측을 구별하는 이러한 능력은 중요한 진전입니다.

이 방법이 실제 천문학 데이터에서도 작동함을 증명하기 위해, 연구진은 SPARC 조사(SPARC survey)의 나선 은하 컬렉션에 이를 적용했습니다. 그들은 컴퓨터에 은하 회전에 대한 가스와 별의 개별 기여도만을 제공했을 뿐, 이들을 어떻게 결합해야 하는지는 알려주지 않았습니다. 시스템은 이 은하들이 어떻게 회전하는지를 지배하는 규칙을 찾도록 요청받았습니다. 사전 지시 없이도, 알고리즘은 회전 속도가 가스와 별 양쪽 모두로부터 오는 가속도의 단일 결합된 척도에 의존한다는 것을 발견했습니다. 시스템은 별의 질량-광도 비(mass-to-light ratio)와 일치하도록 별과 가스의 무게를 맞추는 올바른 방법을 찾아냈습니다. 나아가, 관측된 운동과 이 결합된 가속도 사이의 관계가 수년간 천문학계에서 논쟁이 되어온 특정한, 비고유한 형태를 따른다는 점을 확인했습니다. 또한 시스템은 이 관계의 기울기에 대한 통계적 확신도를 제공함으로써, 은하의 깊고 느리게 움직이는 부분과 빠르고 바깥쪽 가장자리가 서로 다른 규칙을 따른다는 것을 보여주었습니다.

이 연구는 정확한 수학적 대리물과 스마트한 계층적 탐색 전략을 결합함으로써, 우리가 가공되지 않은 데이터로부터 해석 가능한 자연의 법칙으로 나아갈 수 있음을 보여줍니다. 이 시스템은 단순히 숫자를 예측하는 것이 아니라 우주의 구조를 드러내며, 은하의 복잡한 춤 속에서도 우리가 보는 법을 안다면 발견될 수 있는 단순하고 발견 가능한 규칙들이 존재함을 보여줍니다. 연구진은 자신의 코드와 데이터를 공개하여, 행성의 운동부터 유체의 거동에 이르기까지 다른 이들이 자신의 문제에 이 방법을 테스트할 수 있도록 했습니다. 신경 네트워크로부터 폐쇄형 방정식(closed-form equation)으로 가는 길은 더 이상 미스터리가 아닙니다. 그것은 우리 세상을 지배하는 근본적인 법칙을 이해하기 위한 실질적인 경로입니다.

기술 요약: NestyNet. III. 해석적 신경 대리 모델로부터의 기호 회귀 (Symbolic Regression)

문제 정의
기호 회귀(Symbolic Regression, SR)는 고정된 모델 클래스를 가정하지 않고 데이터에 적합한 폐쇄형(closed-form) 수학식을 찾는 것을 목표로 한다. 근본적인 과제는 표현 공간의 조합론적 방대함이며, 이는 문제를 NP-hard로 만든다. 실용적인 SR 방법론은 탐색 공간을 줄이기 위해 강력한 귀납적 편향(inductive biases)에 의존해야 한다. 주요 편향 중 하나는 **분리 가능성(separability)**이다. 이는 많은 물리 법칙이 가법적(additive), 승법적(multiplicative), 또는 복합 좌표(compound-coordinate) 구조로 분해된다는 관찰에 기초한다. 그러나 이러한 구조를 신뢰성 있게 탐지하려면 정확한 함수 값과, 결정적으로 정확한 혼합 2계 도함수(mixed second derivatives)가 필요하다. 표준 신경망 대리 모델(neural surrogates)은 종종 이러한 미분 기반 테스트에 필요한 정밀도가 부족하여, 다운스트림 탐색을 오염시키는 거짓 양성(false positives)과 거짓 음성(false negatives)을 유발한다. 또한, 기존 방법들은 구조적 탐색과 계수 피팅(coefficient fitting)을 얽히게 만들어, 올바른 내부 구조를 찾더라도 상수가 함께 발견되지 않으면 그 구조에 대한 보상을 받지 못하게 한다.

방법론: NestyNet-SR 파이프라인
저자들은 고도로 정확한 해석적 도함수를 제공하기 위해 NestyNet 대리 모델(논문 I에서 소개됨)을 활용하는 2단계 프레임워크인 NestyNet-SR을 제시한다. 이 파이프라인은 구조 발견과 기호적 재작성(symbolic rewriting)을 분리한다.

단계 A: 구조 발견 (분해)
- NestyNet 대리 모델을 학습시켜 데이터를 피팅한다.
- 해석적 도함수(그레이디언트 및 헤시안)를 사용하여 가법적 분리 가능성 ( $f = g(u) + h(v)$ ), 승법적 분리 가능성 ( $f = g(u)h(v)$ ), 그리고 복합 좌표 의존성 (여기서 $f = g(z(x))$ )을 테스트한다.
- 시스템은 단항식(monomials), 아핀 조합(affine combinations), 방사형 그룹(radial groups), 중심 좌표(centered coordinates)를 포함하는 내부 좌표 $z(x)$ 를 탐색한다.
- 이 단계는 다변수 문제를 저차수(low-arity) "신경 원자(neural atoms)"(단변수 또는 단순 다변수 함수)의 트리로 재귀적으로 분해한다.
- 일반화된 대칭(Generalized Symmetry, GS) 레이어: 타겟의 그레이디언트 기하학으로부터 리 대칭(Lie symmetries)에 대한 결정 방정식을 풀어 좌표 패밀리(단항식, 아핀, 방사형 등)를 발견하는 새로운 구성 요소이다. 이 레이어는 표준 탐지기가 놓치는 정수 혹은 사선(oblique) 계수를 가진 좌표를 복구할 수 있으며, 이를 탐색 과정에 직접 시딩(seeding)한다.
단계 B: 해석적 폐쇄 (재작성)
- 단계 A의 신경 원자들을 폐쇄형 표현식으로 재작성한다.
- 계층적 탐색 (Tiered Search): 시스템은 먼저 전문화된 고신뢰 재작성 규칙(예: 동차성 제거(homogeneity peeling), 비율 불변성(ratio invariance))을 적용한다. 만약 이것들이 실패하면, **요소 분해 기호 탐색(Factorized Symbolic Search, FSS)**으로 격상한다.
- 요소 분해 기호 탐색 (FSS): 내부 좌표(스켈레톤)의 발견과 외부 맵(outer map)의 교정(calibration)을 분리하는 핵심 혁신이다.
  - 전체 표현식을 탐색하는 대신, 상수 없는 "캐리어(carrier)"(스켈레톤)를 제안한다.
  - 각 캐리어에 대해, 외부 맵(다항식, 멱함수, 사인 함수 등)의 가계(family)와 가법적 잔차(additive residuals)를 피팅한다.
  - 후보들은 전체 표현식이 아닌, 최적의 피팅을 보이는 외부 맵의 손실(loss)에 의해 점수가 매겨진다. 이를 통해 시스템은 내부 좌표의 상수가 아직 이산적 토큰(discrete tokens)으로 발견되지 않았더라도 올바른 내부 좌표에 보상을 줄 수 있다.
  - 탐색은 잔차 분지(residual basins)(후보들의 실패 모드를 지문화함)와 상한 신뢰 구간(Upper Confidence Bound, UCB) 전략을 사용하여 변이와 수정을 유도하며, 좋은 분지를 활용하는 착취(exploitation)와 방문되지 않은 분지를 탐색하는 탐색(exploration) 사이의 균형을 맞춘다.
- 차원 분석 (Dimensional Analysis): 개별 연산에 대한 로컬 체크와, 전체 표현 트리 전반에 걸쳐 차원 제약을 전파하여 부적절한 후보를 사전 제거하는 글로벌 "버킹엄-스도쿠(Buckingham–Sudoku)" 솔버의 두 단계로 강제된다.
- 다중 데이터셋 정밀화 (Multi-Dataset Refinement): 시스템은 여러 데이터셋을 동시에 피팅할 수 있으며, 클래스 공유 파라미터(예: 물리 상수)와 실험별 파라미터를 구분한다.

주요 기여

도함수 정확도가 높은 분해: NestyNet 대리 모델을 활용함으로써, 표준 MLP에 비해 미분 기반 분리 가능성 테스트에서 훨씬 높은 정확도를 달acia, 복잡한 구조적 모티프를 신뢰성 있게 탐지할 수 있다.
요소 분해 기호 탐색 (FSS): 내부 좌표(스켈레톤)의 발견과 외부 함수의 교정을 분리하는 새로운 탐색 전략이다. 이는 구조와 상수의 얽힘을 방지하며, 단일 스켈레톤을 바탕으로 전체 표현식 가계에 점수를 부여할 수 있게 한다.
일반화된 대칭 레이어: 타겟의 그레이디언트 필드에 대한 리 대칭 분석을 통해 내부 좌표를 발견하는 방법으로, 정수 계수 모티프를 넘어 탐색 범위를 확장한다.
통계적 감사 및 교정: 프레임워크는 엄격한 통계적 선택(봉인된 감사 세트 사용)과 교정된 절제(abstention) 메커니즘을 포함하여, 복구된 법칙에 대한 주장이 인증이 유효한 도메인 내로 제한되도록 보장한다.

결과

AI Feynman 벤치마크 (무잡음): SRBench 표준화된 AI Feynman 데이터셋에서, NestyNet-SR은 120개의 무잡음 방정식 모두를 정확하게 기호적으로 복구했다. 저자들은 이 벤치마크의 전체 세트에 대해 정확한 복구를 보고한 첫 사례라고 언급했다. 중앙값 벽 시간(median wall time)은 단일 CPU 코어당 방정식당 6분이었다.
AI Feynman 벤치마크 (잡음): 가법적 가우시안 잡음 하에서, 시스템은 상당한 비율의 방정식(예: 10% 잡음 수준에서 약 47%)을 성공적으로 복구했으며, 통계적 선택 방법을 통해 어떤 구조가 생존하는지 인증했다.
오라클 모드 (FSS 격리 테스트): 단계 A 분해나 대리 모델 학습 없이, 6개 이하의 변수를 가진 115개 방정식에 대해 FSS를 격리 테스트한 결과, 정확한 그레이디언트와 GS 캐리어 시드를 사용하여 88개 방정식(76.5%)을 복구했다. 이는 탐색 방법 자체의 효능을 입증한다.
천체물리학적 사례 연구 (Astrophysical Vignettes):
- 은하 조석 반경 (Galactic Tidal Radius): 시스템은 Jacobi(조석) 반경 $r_J = [\mu/(4\Omega^2 - \kappa^2)]^{1/3}$ 에 대한 정확한 법칙을 복구했으며, 모의 데이터로부터 비등방성 조석 불변량인 $4\Omega^2 - \kappa^2$ 을 발견했다.
- SPARC 은하 회전 곡선: 가스와 항성 디스크의 가속도 성분이 분리되어 있다는 조건만으로, 알고리즘은 바리온 가속 좌표( $z = g_{gas} + \Upsilon_d g_{disk}$ )를 블라인드로 발견했다. 시스템은 확립된 질량-광도비( $\Upsilon_d \approx 0.56$ ), 방사 가속 관계(RAR)를 재현했으며, 국소 기울기의 사후 확률(posterior)을 포함하여 심층 영역의 기울기 $1/2$ 까지 제시했다.

의의 및 주장
본 논문은 해석적 도함수가 신경 대리 모델으로부터 해석 가능한 폐쇄형 경험 법칙으로 나아가는 실질적인 경로를 제공한다고 주장한다. 저자들은 **요소 분해 기호 탐색(FSS)**이 진정한 알고리즘적 진보이며, 특히 상수가 깊게 중첩되어 있거나 올바른 내부 좌표가 숨겨져 있는 시나리오에서 매우 중요하다고 강조한다. 그들은 가장 효과적인 기호 회귀 엔진은 **계층적(tiered)**이어야 한다고 주장한다. 즉, 저렴하고 신뢰도 높은 과학적 모티프를 먼저 활용하고, 필요한 경우에만 더 넓은 요소 분해 탐색으로 격상해야 한다는 것이다. 이 연구는 기호 회귀가 단순히 정적인 공식을 복구하는 것을 넘어, 서로 다른 물리적 영역에 걸친 가족 단위의 경험 법칙들을 연결하는 메타 구조를 드러낼 수 있음을 보여준다. SPARC 데이터에 대한 결과는 이 방법이 통계적 엄밀성(예: 홀드아웃 일반화 및 교정된 절제)을 더하면서도 "핸즈오프(hands-off)" 이론 발견을 수행할 수 있음을 입증한다.

유사한 논문