Sparse Orthogonal Regression Technique: A Spectral Framework for Equation Discovery, Approximation, and Integration

당신이 미스터리를 풀기 위해 노력하는 탐정이라고 상상해 보십시오. 하지만 당신이 발견한 단서들은 엉망이고, 흩어져 있으며, 때로는 누락되어 있습니다. 과학과 수학의 세계에서도 이것은 흔한 문제입니다. 우리는 데이터 포인트(사물이 어떻게 움직이고, 변화하고, 상호작용하는지를 측정한 값)를 가지고 있지만, 그것들을 설명하는 깔끔하고 완벽한 방정식은 가지고 있지 않습니다. 과학자들은 가능한 수학적 형태(다항식이나 파동 같은)의 '사전'을 구축하고, 그 안에 진정한 답이 숨겨져 있기를 바라며 오랫동안 노력해 왔습니다. 만약 올바른 형태가 그 사전에 들어 있다면, 그들은 그것을 찾아낼 수 있습니다. 하지만 만약 진정한 답이 그 사전에 맞지 않는 기묘한 형태라면, 전체 조사는 실패할 수 있습니다.

이 어지러운 데이터를 이해하기 위해, 과학자들은 종종 '희소 회귀(sparse regression)'라고 불리는 기법을 사용합니다. 이것은 거대한 색채 상자에서 몇 가지 특정한 붓터치만을 사용하여 복잡한 그림을 묘사하려는 것과 같습니다. 당신은 노이즈와 속하지 않는 불필요한 물감을 무시하면서도, 전체 그림을 여전히 포착할 수 있는 가장 작은 붓터치 세트를 찾고자 합니다. 목표는 혼란스러운 숫자의 구름을 미래를 예측하거나, 총합을 계산하거나, 시스템이 어떻게 작동하는지 설명할 수 있는 깨끗하고 이해 가능한 규칙으로 바꾸는 것입니다.

이 지점에서 SORT(Sparse Orthogonal Regression Technique, 희소 직교 회귀 기법)라는 새로운 방법이 등장합니다. SORT는 미리 만들어진 사전에서 적절한 '붓터치'를 고르기를 단순히 기대하는 대신, 먼저 자신만의 맞춤형으로 완벽하게 조직된 일련의 구성 요소들을 구축함으로써 게임의 판도를 바꿉니다. 연구진인 사빈 로만(Sabin Roman), 류프초 토도로프스키(Ljupčo Todorovski), 사소 제로스키(Sašo Džeroski)는 만약 당신의 데이터를 특별하고 질서 정연한 격자(직교 기저, orthonormal basis)로 배열하고, 그 후 스마트한 필터를 사용하여 가장 중요한 조각들만을 골라낸다면, 데이터가 노이즈가 심하거나 샘플링이 희소하더라도 우주의 법칙을 발견할 수 있다고 제안합니다.

메뉴에서 고르는 것의 문제점

당신이 비밀 수프의 레시피를 추측하려고 한다고 상상해 보십시오. 기존 방식(SINDy와 같은 방법들이 사용하는 방식)은 소금, 후추, 당근, 양파와 같은 100가지 표준 재료의 메뉴를 보고, 어떤 조합이 맛에 맞는지 찾아내려고 노력하는 것입니다. 만약 수프에 '용과(dragon fruit)'와 같이 메뉴에 없는 비밀 재료가 들어 있다면, 요리사(컴퓨터)는 고전할 것입니다. 컴퓨터는 당근과 양파를 섞어서 그 맛을 억지로 만들어내려 할 수도 있지만, 그 결과는 틀릴 것이며, 혹은 데이터가 조금이라도 노이즈가 있으면 아예 포기해 버릴 수도 있습니다.

이 논문의 저자들은 이러한 "메뉴 접근 방식"이 너무 취약하다고 주장합니다. 만약 현실 세계가 메뉴와 일치하지 않는다면, 모델은 무너집니다. 그들은 다른 전략을 제안합니다. 고정된 목록에서 추측하는 대신, 어떤 형태든 담을 수 있는 유연한 수학적 비계(scaffold)를 구축하고, 그 후 데이터가 그 비계의 어느 부분을 실제로 사용하고 있는지 말하게 하는 것입니다.

SORT의 작동 원리: 음악적 비유

SORT를 듣도 보도 못한 노래를 연주하기 위해 피아노를 조율하는 것에 비유해 봅시다.

1. 비계 (기저, The Basis): 노래에 어떤 음표가 있는지 추측하는 대신, SORT는 완벽하게 조율된 독립적인 음표들의 전체 세트(직교 기저)로 시작합니다. 이 음표들은 서로 간섭하지 않습니다. 즉, 하나를 연주한다고 해서 다른 음이 의도치 않게 커지거나 작아지지 않습니다. 이것이 "직교(orthogonal)"하는 부분입니다.
2. 필터 (희소성, The Filter): 당신이 찾으려는 노래는 설령 녹음 상태에 잡음이 가득하더라도 아마 단순할 것입니다. SORT는 L1 정규화 회귀(L1-regularized regression)라는 수학적 필터를 사용하여 노이즈가 섞인 녹음본을 듣고 다음과 같이 묻습니다. "이 음표들 중 실제로 연주되고 있는 것은 무엇이고, 무엇이 그저 정전기(static)인가?" SORT는 노이즈의 볼륨을 줄이고 오직 중요한 몇 개의 음표만을 유지합니다.
3. 결과: 당신은 각 음표가 얼마나 크게 연주되어야 하는지를 정확히 알려주는 계수(coefficients)의 목록을 얻게 됩니다. 이 목록이 바로 당신의 노래에 대한 "희소한(sparse)" 표현입니다.

그들이 발견한 것: 강건성과 유연성

연구진은 여러 도전적인 시나리오에서 SORT를 테스트했으며, 그 결과는 매우 흥able했습니다.

1. 데이터가 지저지고 희소할 때
한 실험에서 그들은 유명한 동물 개체군 주기(포식자와 피식자 사이의 관계 등)와 흔들리는 진자의 규칙을 밝히려 했습니다. 그들은 컴퓨터에게 시간이 아주 멀리 떨어져서 샘플링된 데이터를 주었는데, 이는 사물이 얼마나 빨리 변하는지 파악하기 어렵게 만듭니다.

• 기존 방식: 전통적인 "메뉴" 방식(SINDy)은 종종 처참하게 실패했습니다. 데이터가 너무 성기면, 모델은 갑자기 통제 불능 상태가 되어 인구가 무한대로 폭발하거나 순식간에 사라질 것이라고 예측하곤 했습니다.
• SORT 방식: SORT는 훨씬 더 안정적이었습니다. 데이터가 거칠더라도 모델이 붕괴되지 않았습니다. SORT는 우아하게 성능이 저하되었습니다. 즉, 예측이 다소 나빠질 수는 있어도 실현 가능한 범위 내에 머물렀습니다. 이는 마치 서스펜션이 좋은 자동차와 같아서, 길의 굴곡이 심해도 뒤집히지 않고 잘 달릴 수 있었습니다.

2. 레시피를 알 수 없을 때
그들은 또한 "비밀 재료"가 표준 다항식 메뉴에는 없는 베셀 함수(Bessel function, 복잡한 수학적 파동 형태)인 시스템을 테스트했습니다.

• 기존 방식: 메뉴 기반 방식은 실제 형태가 자신의 사전에 없었기 때문에 고전했습니다. 모델은 사각형 못을 둥근 구멍에 억지로 끼워 넣으려 했고, 데이터에 노이즈가 많아질수록 오차는 커졌습니다.
• SORT 방식: SORT는 고정된 재료 목록에 의존하지 않기 때문에, 유연한 비계를 사용하여 베셀 함수를 근사할 수 있었습니다. SORT는 "진정한" 형태가 기존 방식이 예상치 못한 것이었음에도 불구하고 강건함을 유지했습니다.

3. 수학 없이 수학 하기
SORT가 할 수 있는 가장 멋진 기술 중 하나는 적분(곡선 아래의 전체 면적이나 시간 동안의 총량을 찾는 것)을 계산하는 것입니다. 보통 이를 위해서는 복잡한 공식이 필요합니다. 하지만 SORT를 사용하면, 계수 목록을 얻은 후 그냥 "읽어 내려가는 것"만으로 답을 얻을 수 있습니다.

• 비유: 모래 더미의 총 무게를 알고 싶다고 가정해 봅시다. 모든 모래알의 무게를 재는 대신, 몇 가지 핵심적인 측정값을 사용하여 모래 더의 모델을 만드는 것입니다. SORT를 사용하면 총 부피에 대한 "계수"를 보고 즉시 답을 알 수 있습니다. 그들은 이를 진동하는 파동과 매끄러운 곡선에 대해 테스트했으며, 고차원에서도 놀라울 정도로 잘 작동했습니다.

4. 모델을 깨뜨리지 않고 확장하기
마지막으로, 모델을 더 복잡하게 만들 때 어떤 일이 일어나는지 살펴보았습니다. 많은 머신러닝 시스템에서는 복잡성을 추가하면 모든 것이 변합니다. 전체 구조가 바뀌면서 기존의 답들이 틀리게 됩니다.

• SORT 방식: SORT는 안정적이고 질서 정연한 비계를 사용하기 때문에, 노래에 더 많은 "음표"를 추가한다고 해서 이미 찾아낸 음표의 의미가 변하지 않습니다. 만약 고주파 음표를 추가하더라도, 저주파 음표들은 그대로 유지됩니다. 이를 통해 과학자들은 이미 확보한 영역을 잃지 않으면서도, 단계별로 모델을 키워나가며 새로운 복잡성이 실제로 도움이 되는지 확인할 수 있습니다.

핵심 요약

이 논문은 우주의 모든 미스터리를 해결했다고 주장하는 것이 아닙니다. 데이터에 노이즈가 많거나 근본적인 규칙을 알 수 없는 문제, 특히 많은 문제에서 수학적 용어의 고정된 사전에 의존하는 것은 위험하다는 점을 시사합니다.

대신, SORT는 절충안을 제시합니다. 데이터를 담기 위한 유연하고 수학적으로 완벽한 비계를 사용하고, 그 후 희소성을 이용하여 그 안에 숨겨진 단순하고 깨끗한 패턴을 찾아내는 것입니다. 이것은 즉시 완벽한 상징적 방정식을 찾는 것이 아니라, 먼저 안정적이고 재사용 가능한 표현을 찾는 것에 관한 것입니다. 이 표현은 이후에 미래를 예측하거나, 총량을 계산하거나, 혹은 과학자들이 나중에 찾고자 하는 더 단순하고 인간이 읽을 수 있는 공식으로 안내하는 데 사용될 수 있습니다.

요약하자면, SORT는 우주의 시끄러운 음악을 듣고, 정전기를 차단하며, 노래를 미리 알지 못하더라도 멜로디를 찾아내는 새로운 방법입니다. 이는 우리의 수학적 도구를 적응 가능하고 질서 정연하게 설계함으로써, 우리의 발견을 더 강건하게 만들고 모델을 더 신뢰할 수 있게 만들 수 있다는 것을 보여줍니다.