🤖 machine learning

Decomposable Neural Symbolic Regression

이 논문은 멀티셋 트랜스포머(Multi-Set Transformers), 유전 알고리즘, 그리고 유전 프로그래밍을 활용하여 불투명한 회귀 모델을 원래의 수학적 구조를 일관되게 복원하면서도 경쟁력 있는 예측 성능을 유지하는 정확하고 해석 가능한 다변량 수식으로 증류하는 분해 가능한 신경 기호 회귀 방법을 소개한다.

원저자: Giorgio Morales, John W. Sheppard

게시일 2026-08-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Giorgio Morales, John W. Sheppard

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 과학의 세계에서 컴퓨터는 데이터 속에서 패턴을 찾아내는 데 있어 믿기 힘들 정도로 강력한 도구가 되었습니다. 컴퓨터는 자연계로부터 얻은 수천 개의 측정값을 살펴보고, 미래의 결과를 높은 정확도로 예측하는 복잡한 모델을 구축할 수 있습니다. 이러한 모델들은 종-종 "불투명하다(opaque)"라고 불리는데, 그 이유는 모델이 잘 작동함에도 불구하고 내부 로직이 너무 얽히고설켜 있어 인간이 그 결론에 도달하는 과정을 쉽게 이해할 수 없기 때문입니다. 이들은 마치 블랙박스와 같습니다. 데이터를 넣으면 결과가 나오지만, 그 사이의 경로는 숨겨져 있습니다. 물리학, 생물학, 또는 공학을 연구하는 과학자들에게 이러한 투명성의 결여는 커다란 장애물입니다. 우주를 진정으로 이해하기 위해서 연구자들에게는 단순한 예측 그 이상의 것, 즉 자연이 어떻게 작동하는지를 설명하는 명확한 수학적 문장인 지배 방정식이 필요합니다. 이것이 바로 관찰된 데이터를 단순히 암기하는 것이 아니라, 데이터를 설명할 수 있는 단순하고 읽기 쉬운 공식을 찾는 데 전념하는 분야인 기호 회귀(symbolic regression)의 목표입니다.

몬태나 주립 대학교의 한 연구팀은 이 문제를 해결하기 위한 새로운 방법을 개발하여, 이러한 복잡한 컴퓨터 모델의 층을 벗겨내어 그 아래에 숨겨진 단순한 수학적 진실을 드러낼 수 있는 방식을 제시했습니다. SeTGAP라고 부르는 그들의 접근 방식은 먼저 시스템의 거동을 학습하도록 표준적이고 매우 복잡한 컴퓨터 모델을 훈련하는 것으로 시작합니다. 일단 이 "불투명한" 모델이 훈련되어 작동하기 시작하면, 연구진은 모델의 수백만 개 내부 설정을 역공학으로 분석하려 하지 않습니다. 대신, 그들은 모델을 하나의 '진실의 원천'으로 취급하고 모델에게 스스로를 설명하도록 요청합니다. 그들은 온도나 압력과 같은 각 입력 요인을 체계적으로 격리하고, 단 하나의 요인만 움직일 때 모델의 출력이 어떻게 변하는지 묻습니다. 이렇게 함으로써, 시스템은 각 퍼즐 조각의 관계 형태를 설명하는 단순한 단일 변수 스케치(single-variable sketches)의 일련을 생성합니다.

그 후 연구진은 이러한 개별 스케치들을 하나로 엮어내는 정교한 과정을 사용합니다. 복잡한 기계를 이해하기 위해 먼저 각 기어가 단독으로 어떻게 회전하는지 파악한 다음, 그것들이 어떻게 서로 맞물리는지 살펴보는 과정을 상상해 보십시오. 연구팀은 인공지능과 진화 알고리즘을 결합하여 이 단일 변수 스케치들을 완전한 다변수 공식으로 병합합니다. 그들은 모든 조각을 한꺼번에 던져 넣지 않는데, 이는 종종 혼란을 야기하거나 지나치게 복잡한 결과를 초래하기 때문입니다. 대신, 그들은 변수를 하나씩 추가하며 매 단계마다 공식의 구조가 깨끗하고 논리적인 상태를 유지하도록 보장합니다. 이 방법은 초기 단계에서 식별한 원래의 함수 관계를 보존할 수 있게 해주며, 결과적으로 방정식이 데이터를 맞추기는 하지만 의미는 통하지 않는 지저분한 숫자 더미가 되는 것을 방지합니다.

연구팀이 합성 수학 문제부터 실제 물리 방정식에 이르기까지 다양한 문제에 이 방법을 테스트했을 때, 그 결과는 놀라웠습니다. 합성 문제에서 그들의 방법은 실행한 모든 테스트 케이스에서 기저 시스템의 올바른 수학적 구조를 성공적으로 복구해 냈습니다. 반면, 딥러닝이나 전통적인 진화 컴퓨팅에 의존하는 다른 선도적인 방법들은 올-바른 형태를 찾는 데 자주 실패했으며, 숫자는 정확히 예측할지라도 표현식이 너무 복잡하거나 아예 틀린 경우가 많았습니다. 새로운 접근 방식은 데이터에 노이즈나 오류가 포함된 경우, 즉 실제 측정에서 흔히 발생하는 상황에서도 특히 견고함을 입증했습니다. 다른 방법들이 훈련된 데이터 범위를 넘어 일반화하는 데 어려움을 겪는 반면, 이 방법으로 발견된 방정식은 새로운 미지의 값 범위에서도 잘 작동했습니다.

연구진은 또한 이 기술을 중력부터 빛의 거동까지 모든 것을 설명하는 법칙을 담고 있는 유명한 물리 방정식 모음인 파인만 데이터셋(Feynman dataset)에 적용했습니다. 이 벤치마크에서 그들의 방법은 올바른 방정식을 식별하는 데 있어 약 61.2%의 성공적인 복구율을 기록하며 높은 성공률을 보였고, 기존의 확립된 기술들과 비교하여 경쟁력 있는 예측 성능을 입증했습니다. 이 연구는 복잡한 문제를 작고 관리 가능한 부분으로 나누고 이를 신중하게 재조립함으로써 현재 인공지능의 한계를 우회할 수 있음을 시사합니다. 이것은 컴퓨터의 능력이 떨어졌다는 의미가 아닙니다. 오히려 컴퓨터에게 스스로를 설명하도록 요청하는 방식이 더 효과적이라는 것을 의미합니다. 이 작업은 현대 머신러닝의 깊고 숨겨진 층으로부터 명확하고 인간이 읽을 수 있는 자연 법칙을 추출하는 것이 가능하며, 불투명한 예측을 투명한 이해로 바꿀 수 있음을 보여줍니다.

기술 요약: 분해 가능한 신경 기호 회귀 (SeTGAP)

문제 정의

기호 회귀(Symbolic Regression, SR)는 관측된 데이터의 기저에 깔린 관계를 포착하는 해석 가능한 수학적 표현식을 발견하는 것을 목표로 하며, 이는 "불투명한" 딥러닝 모델의 투명한 대안 역할을 합니다. 그러나 기존의 SR 방식은 두 가지 주요 과제에 직면해 있습니다:

구조적 정확성 vs 예측 오차: 대부분의 방법은 예측 오차를 최소화하는 데 우선순위를 두며, 이로 인해 데이터에는 잘 맞지만 실제 지배 방정식을 복구하는 데는 실패하는 지나치게 복잡한 표현식을 생성하는 경우가 많습니다.
변수의 동시 처리: 현재의 신경망 기반 SR 방식과 전통적인 유전 프로그래밍(Genetic Programming, GP)은 종종 모든 변수를 동시에 처리합니다. 이는 탐색 공간의 조합 폭발을 초ق 초래하며, 특히 비분리형(non-separable) 시스템에서 개별 변수와 시스템 응답 사이의 함수적 형태를 올바르게 식별하는 데 자주 실패합니다.

나아가, 고성능의 불투명한 모델(예: 신경망)은 복잡한 시스템을 효과적으로 근사할 수 있지만, 이로부터 해석 가능한 지배 방정식을 추출하는 것은 여전히 어렵습니다.

방법론: SeTGAP

저자들은 분해 가능하고 사후 설명 가능한(post-hoc explainable) SR 프레임워크인 SeTGAP(Transformer, 유전 알고리즘 및 유전 프로그래밍을 이용한 기호 회귀)를 제안합니다. SeTGA는 훈련된 불투명 모델을 하나의 다변수 표현식으로 직접 찾는 대신, 구조화되고 점진적인 파이프라인을 통해 불투명 모델을 다변수 표현식으로 증류(distill)합니다.

1. 단변량 스켈레톤 예측 (Multi-Set Transformer)

이 방법은 각 독립 변수 $x_v$ 가 불투명 모델의 응답에 미치는 영향을 격리하는 것부터 시작합니다.

데이터 생성: 각 변수에 대해, 다른 모든 변수는 무작위 값으로 고정된 상태에서 $x_v$ 만 변화시키는 다수의 입력-응답 쌍 세트를 생성합니다. 이는 다중 집합 기호 스켈레톤 예측(Multi-Set Symbolic Skeleton Prediction, MSSP) 문제를 생성합니다.
모델: Multi-Set Transformer를 사용하여 각 변수에 대한 단변량 기호 스켈레톤을 예측합니다. 이 아키텍처는 합성 데이터로 훈련되어 여러 입력 세트 전반에서 공유되는 함수적 형태를 식별하며, 다른 변수들의 구체적인 값에 관계없이 $x_v$ 가 응답에 어떻게 영향을 미치는지 효과적으로 포착합니다.
후보 생성: 다양한 빔 서치(beam search)를 사용하여 변수당 여러 개의 후보 스켈레톤을 생성합니다. 이들은 중복을 제거하고 수학적으로 동등한 형태(예: 위상 변화를 통한 sine을 cosine으로 변환)를 제거하기 위해 필터링됩니다.

2. 유전 프로그래밍을 통한 점진적 병합

단변량 스켈레톤이 식별되면, 이를 다음과 같은 계층적 접근 방식을 통해 다변수 표현식으로 병합합니다:

재귀적 병합 (알고리즘 2): 이 방법은 원래의 단변량 구조를 엄격히 보존하면서 두 개의 스켈레톤( $e_1$ 과 $e_2$ )을 결합하는 재귀적 절차를 정의합니다. 구조적 분해 명제에 기반하여, 알고리즘은 한 스켈레톤의 상수가 다른 스켈레톤의 서브 트리(sub-tree)로 대체되는 유효한 수학적 조합(예: 곱셈으로 감싸기, 항 더하기)을 탐색합니다.
진화적 선택 (알고리즘 3): 확률적으로 생성된 후보 병합 스켈레톤 집단을 사용합니다. 스켈레톤의 구조는 고정하고 수치 계수만을 최적화하는 제약된 진화 과정(유전 프로그래밍)이 적용됩니다. 이는 구조적 탐색과 파라미터 최적화를 분리합니다.
계층적 전략: 변수들은 초기 단변량 스켈레톤의 품질에 따라 순위가 매겨져 하나씩 순차적으로 병합됩니다. 이 점진적인 접근 방식은 모든 변수를 한꺼번에 병합할 때 발생하는 조합 폭발을 방지하며, 이전 병합된 변수들의 맥락 내에서 각 변수의 기여도를 평가할 수 있게 합니다.

3. 최종 계수 최적화

최상위 성능을 보이는 다변수 스켈레톤들은 수치 계수를 정밀하게 조정하여 평균 제곱 오차(MSE)를 최소화하기 위해 원본 데이터셋에 대한 최종적인 전역 최적화 단계를 거칩니다.

주요 기여

분해 가능한 프레임워크: SeTGAP는 다변수 검색을 단일 단계에서 수행하는 패러다임에서 벗어나, 먼저 단변량 함수 형태를 식별한 후 이를 병합하는 분해 가능한 프로세스로 전환합니다. 이는 탐색 공간의 복잡도를 줄이고 지역 최적점(local minima)에 빠질 위험을 완화합니다.
구조 보존: 표준 GP나 엔드 투 엔드(end-to-end) 신경 SR과 달리, SeTGAP는 병합 과정 중에 구조적 제약을 강제합니다. 이를 통해 최종 다변수 표현식이 Multi-Set Transformer에 의해 식별된 개별 함수 관계와 일치하도록 보장합니다.
사후 설명 가능성: 이 방법은 불투명 모델을 증류하도록 설계되어, 학습된 함수를 설명하는 인간이 읽을 수 있는 수학적 대리 모델(surrogates)을 제공합니다.

실험 결과

저자들은 13개의 합성 비선형 문제와 Feynman 데이터셋을 사용하여 SeTGAP를 두 가지 GP 기반 방법(PySR, TaylorGP), 세 가지 신경 SR 방법(NeSymReS, E2E, TPSR), 그리고 하나의 하이브리드 접근 방식(uDSR)과 비교 평가했습니다.

함수 형태 복구: SeTGAP는 13개 합성 문제 전체와 10번의 실험 반복 모두에서 기저 방정식의 올바른 함수 형태를 일관되게 복구했습니다(성공률 100%). 반면, 경쟁 방법들은 단일 반복에서도 13개 문제 중 7개 이상의 문제에서 올바른 구조를 복구하는 데 실패했습니다. 특히 일부 방법은 적용 제한이 있었습니다. 예를 들어, NeSymReS는 최대 3개의 변수를 가진 시스템으로 제한되어 E4 및 E5 문제에 적용할 수 없었습니다.
외삽 성능: SeTGAP는 벤치마크 모델들과 비교하여 낮거나 대등한 외삽 오차를 보여주었습니다. 저자들은 이를 순수한 오차 최소화보다 구조적 정확성에 집중한 결과로 보고 있으며, 이는 훈련 도메인에 대한 과적합을 방지합니다.
Feynman 데이터셋: Feynman 벤치마크에서 SeTGAP는 약 61.2%의 기호 솔루션 복구율을 달 기록하며 테스트된 방법 중 2위를 차지했습니다. 종합적인 $R^2$ 및 MSE 순위는 일부 집계된 지표에서 낮아 보였으나, 통계적 유의성 검정(Tukey's HSD 및 Kruskal-Wallis) 결과 SeTGAP가 대다수의 개별 문제( $R^2$ 의 경우 73/78, MSE의 경우 46/78)에서 최저 또는 통계적으로 대등한 성능을 달성했음을 나타냈습니다.
노이즈 강건성: 이 방법은 다양한 노이즈 수준에서도 강건함을 보여주었으나, 지수 항을 포함하는 함수의 경우 작은 계수 오차가 큰 편차를 유발하기 때문에 노이즈가 증가함에 따라 성능이 저하되었습니다.
복잡성에 대한 한한계: 합성 및 Feynman 데이터셋에서는 매우 효과적이었으나, 방법의 성능은 처리할 수 있는 스켈레톤의 복잡성에 종속됩니다. 저자들은 Se-TGAP가 SRBench++ 벤치마크의 F4와 같이, 기저 함수가 8개의 연산자와 높은 수준의 단항 연산자 중첩을 요구하는 특정 복잡한 벤치마크 문제에서는 실패한다는 점을 언급했습니다(이는 Multi-Set Transformer가 최대 7개의 연산자를 가진 표현식으로 훈련되었기 때문입니다).

의의 및 주장

이 논문은 SeTGAP를 단순한 예측 정확도 측면에서의 최첨단(SOTA) 방법이라기보다, 해석 가능성과 구조적 복구를 위한 우월한 접근 방식으로 포지셔닝합니다.

지배 방정식에 대한 충실성: 주요 주장은 단순히 오차를 최소화하는 것보다 올바른 함수 형태를 식별하는 데 우선순위를 둠으로써, SeTGAP가 시스템의 물리적 또는 수학적 법칙에 충실한 표현식을 생성한다는 것입니다.
일반화: 저자들은 구조적 정확성이 학습된 데이터의 노이즈가 아닌 실제 관계를 포착하기 때문에, 본질적으로 더 나은 일반화(외삽) 능력을 제공한다고 주장합니다.
한계: 저자들은 다단계 최적화 과정의 계산 비용과 Multi-Set Transformer의 훈련 어휘(vocabulary) 복잡도에 따른 의존성을 포함한 한계를 겸허히 인정합니다. 이 방법이 직접적인 SR 접근 방식보다 효율성은 떨어지지만, 신뢰할 수 있고 해석 가능한 방정식이 목표인 과학적 발견 분야에서는 그 트레이드오프(trade-off)가 정당하다고 주장합니다.

결론적으로, SeTGAP는 고성능의 불투명 모델과 과학 분야에서 필요한 해석 가능한 지배 방정식 사이의 간극을 메우는 새로운 경로를 제시합니다.