🤖 machine learning

Forecasting Multiple Observables with SCROLL: Score-Trained Uncertainty for Stochastic Dynamics

이 논문은 공유된 백본(backbone) 상의 자유 경로형 마지막 레이어 신념(free-routed last-layer beliefs)을 통해 태스크별 가능도(likelihood)를 결합하여 확률적 동역학계의 다중 관측치를 효율적으로 예측하는 점수 학습 기반 불확실성 프레임워크인 SCROLL을 소개하며, 이는 광범별한 하이퍼파라미터 튜닝의 계산 비용 없이 합성 및 실제 데이터 모두에서 최첨단 수준의 보정 성능과 정확도를 달성한다.

원저자: Pavel Prochazka

게시일 2026-08-27

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Pavel Prochazka

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

폭풍의 소용돌이치는 경로 나 대기 오염 수치의 변동과 같이 혼돈스러운 시스템의 미래를 예측하는 것은 좀처럼 단 하나의 숫자로 귀결되지 않습니다. 예보가는 보통 한 세트의 가능성들을 요구받습니다. 한 시간 뒤에 시스템이 어디에 있을지, 위험한 임계값을 넘을 것인지, 혹은 어떤 광범위한 기상 범주에 진입했는지와 같은 질문들입니다. 이러한 각각의 질문은 저마다의 불확실성을 내포하고 있으며, 이들을 함께 해결하는 것은 머신러닝의 고전적인 과제입니다. 전통적으로 연구자들은 이 질문들을 서로 균형을 맞춰야 하는 별개의 작업으로 취급해 왔으며, 컴퓨터가 만족스러운 결과를 내놓을 때까지 각 질문의 중요도를 수동으로 조정하는 방식을 사용해 왔습니다. 이 균형 잡기 작업은 질문들이 서로 다른 단위를 가지고 있기 때문에 매우 어렵습니다. 온도를 읽는 데 발생하는 작은 오차는 확률을 예측하는 데 발생하는 작은 오차와 같지 않기 때문입니다. 만약 가중치가 완벽하게 설정되지 않는다면, 시스템은 사소한 세부 사항에 집중하기 위해 중요한 경고를 무시하거나, 본질적으로 예측 불가능한 것에 대해 지나치게 정밀해지려고 노력을 낭비할 수도 있습니다.

한 연구자가 이 문제를 처리하는 새로운 방법을 제안했는데, 이는 수동적인 균형 조절의 필요성을 완전히 제거한 것입니다. 컴퓨터에게 상충하는 목표 중 하나를 선택하도록 강요하는 대신, 그는 각 질문이 자신만의 자연스러운 척도와 불확실성을 측정하는 방식 자체를 유지하도록 설계했습니다. 그가 SCROLL이라고 명명한 이 방법은 컴퓨터가 데이터를 통해 패턴을 학습하는 동안 각 작업의 중요도를 자동으로 학습할 수 있게 해줍니다. 연구자는 이 접근법을 혼돈 시스템의 수학적 모델과 실제 대기 질 데이터에 적용하여 테스트했습니다. 그는 이 새로운 방법이 시스템의 미래 상태뿐만 아니라 그 예측이 얼마나 불확실한지까지 예측할 수 있으며, 그 정확도가 이론적으로 가능한 최선의 결과와 일치한다는 것을 발견했습니다. 결정적으로, 이 방법은 일반적으로 이러한 시스템을 괴롭히는 비용이 많이 드는 시행착오식 튜닝 없이도 이를 수행했으며, 데이터의 규모가 급격하게 변할 때도 신뢰성을 유지했습니다.

문제의 핵심은 기계가 어떻게 학습하느냐에 있습니다. 컴퓨터가 확률적(stochastic), 즉 무작위로 변동하는 시스템을 예측하려고 할 때, 컴퓨터는 데이터에 대한 공유된 이해—즉 공통의 백본(backbone)—를 구축한 다음 이를 사용하여 구체적인 질문들에 답합니다. 기존 방식에서는 컴퓨터가 모든 질문에 대한 오차를 하나의 점수로 합산하여 동시에 최소화하려고 노력했습니다. 이를 작동시키기 위해 연구자들은 각 질문에 얼마만큼의 가중치를 줄지 결정해야 했습니다. 온도를 예측하는 오차가 폭풍 경보를 예측하는 오차보다 더 크게 계산되어야 할까요? 그들은 대개 컴퓨터를 수천 번씩 서로 다른 설정으로 실행하는 과정을 통해 그 답을 찾아냈는데, 이는 느리고 비용이 많이 드는 과정이었습니다. 더욱이, 이 방법에는 숨겨진 결함이 있었습니다. 질문들이 서로 다른 단위로 측정될 경우, 인간의 지속적인 개입 없이는 컴퓨터가 그 차이를 쉽게 조정할 수 없다는 점이었습니다.

새로운 접근법은 게임의 규칙을 바꿉니다. 오차를 합치는 대신, 연구자는 각 질문이 자신만의 언어로 말하게 했습니다. 그는 모든 작업에 세상 관찰 방식에 대한 고유한 특정 모델과 내부적인 확신 척도를 부여했습니다. 이 개별 모델들은 공유된 백본에 연결되지만, 서로 타협하도록 강요받지는 않습니다. 시스템은 정보를 자유롭게 전달하도록 학습하며, 이를 통해 각 작업의 불확실성이 데이터의 특정 조건에 따라 스스로 조정될 수 있게 합니다. 이는 컴퓨터가 특정 유형의 날씨가 다른 유형보다 본질적으로 더 예측 불가능하다는 것을 배울 수 있고, 별도로 지시받지 않아도 그에 따라 신뢰 구간을 넓힐 수 있음을 의미합니다. 이 방법은 학습 과정 자체에 규모의 차이를 효과적으로 흡수함으로써, 복잡한 균형 잡기 작업을 단 하나의 매끄러운 계산으로 전환합니다.

이 아이디어가 실제로 작동하는지 확인하기 위해 연구자는 세 가지 서로 다른 시나리오에서 테스트를 진행했습니다. 첫 번째는 잘 알려진 수학적 시스템인 오른슈타인-우울렌벡(Ornstein-Uhlenbeck) 과정이었습니다. 이 경우 시스템의 실제 거동은 정확히 알려져 있었기에, 연구자는 완벽한 정답과 대조하여 결과를 확인할 수 있었습니다. 그는 새로운 방법이 불확실성의 정확한 수학적 패턴을 복구해 낸다는 것을 발견했으며, 이는 정답을 알고 있을 때 올바른 행동을 학습할 수 있음을 입증했습니다. 두 번째 테스트는 유명한 로렌츠 방정식(Lorenz equations)의 변형으로, 불확실성이 시스템의 현재 상태에 따라 변하는 더 혼돈스러운 시스템이었습니다. 여기서 새로운 방법은 불확실성이 커지거나 작아지는 과정을 성공적으로 추적한 반 반면, 유연한 라우팅을 사용하지 않은 기존 방식들은 이러한 변화를 포착하는 데 실패했습니다. 세 번째 테스트는 실제 데이터인 베이징의 시간당 미세먼지 농도 측정을 포함했습니다. 이 실제 데이터에 대해, 새로운 방법은 미세먼지 수치와 위험 임계값 초과 가능성 모두에 대해 가장 정확한 예측을 생성했으며, 광범위한 수동 튜닝이 필요한 다른 방법들보다 뛰어난 성능을 보였습니다.

가장 놀라운 발견 중 하나는 이 방법이 데이터의 규모를 어떻게 다루는지였습니다. 많은 예측 문제에서, 예를 들어 온도를 섭씨 대신 화씨로 측정하거나 오염 물질을 다른 단위로 측정하는 것처럼 측정 단위를 변경하면, 기존 방식들은 제대로 작동하지 않거나 가중치를 처음부터 다시 튜닝해야 했습니다. 그러나 새로운 방법은 안정적으로 유지되었습니다. 이 시스템은 인간의 개입 없이도 새로운 규모에 맞춰 내부 파라미터를 자동으로 조정하며 동일한 수준의 정확도를 유지했습니다. '스케일 등변성(scale equivariance)'이라 불리는 이 속성은 시스템이 데이터가 제시되는 임의의 선택에 대해 견고함을 의미합니다. 연구자는 또한 이 방법이 데이터에 노이즈가 섞여 있을 때도 올-바른 수준의 불확실성을 학습할 수 있으며, 존재하지 않는 가짜 불확실성 패턴을 만들어내지 않는다는 것을 보여주었습니다.

연구는 또한 서로 다른 작업들이 컴퓨터의 주의력을 두고 경쟁할 때 어떤 일이 발생하는지도 탐구했습니다. 어떤 경우에는 작업들이 너무 밀접하게 연관되어 있어 한 작업을 돕는 것이 다른 작업에도 자동으로 도움이 되기도 했습니다. 또 다른 경우에는 작업들이 충돌하였고, 시스템은 타협점을 찾아야 했습니다. 연구자는 새로운 방법이 이러한 갈등을 우아하게 처리하며, 종종 기존의 과도하게 튜닝된 방법들이 찾아낸 최선의 타협점만큼 좋은 해결책을 훨씬 짧은 시간 안에 찾아낸다는 것을 발견했습니다. 또한 시스템이 서로 다른 작업에 대해 서로 다른 수준의 확신을 학습할 수 있는지 테스트하였고, 별도의 튜닝 과정 없이도 이를 자동으로 수행할 수 있음을 확인했습니다.

결과는 더 나은 예측을 위한 열쇠가 단순히 더 많은 데이터나 더 강력한 컴퓨터를 갖는 것이 아니라, 서로 다른 유형의 질문들을 결합하는 더 나은 방법을 갖는 데 있다는 것을 시사합니다. 각 질문이 자신만의 자연스러운 척도와 불확실성 척도를 유지하게 함으로써, 시스템은 미래에 대한 더 완전한 그림을 학습할 수 있습니다. 연구자는 이 접근법이 정답을 알고 있는 단순한 수학적 모델뿐만 아니라, 정답이 불확실한 복잡한 실제 데이터에서도 작동한다는 것을 입증했습니다. 그는 이 방법이 여러 작업을 조절하는 전통적인 방식보다 더 빠르고, 정확하며, 신뢰할 수 있음을 보여주었습니다. 비록 이 연구가 적은 수의 작업과 특정 유형의 데이터로 제한되었지만, 그가 밝혀낸 원칙들은 예측 가능하면서도 자신의 불확실성에 대해 정직한 예측 시스템을 구축하는 유망한 길을 제시합니다. 이 연구는 인간이 저울을 들고 있지 않아도, 기계가 스스로의 의구심을 올바르게 저울질하도록 가르치는 것이 가능하다는 것을 증명합니다.

기술 요약: SCROLL을 이용한 다중 관측 가능량 예측

문제 정의

확률적 동역학계(stochastic dynamical systems)를 예측하는 것은 일반적으로 단일 스칼라 값을 예측하는 것이 아니라, 여러 관측 가능량(예: 미래 상태, 장벽 통과 확률, 레짐 라벨)을 동시에 예측하는 것을 요구한다. 표준 다중 작업 학습(Multi-Task Learning, MTL) 방식은 이러한 문제를 각 작업의 손실 함수에 가중치를 부여하여 합산하는 방식으로 해결한다. 그러나 이 방법론은 두 가지 주요 한계점에 직면한다:

가중치 튜닝: 서로 다른 단위(예: 회귀 vs 분류)를 가진 작업들을 균형 있게 맞추기 위해서는 수동 그리드 탐색이나 학습된 스케일링 파라미터가 필요하며, 이는 계산 비용이 많이 들고 손실 단위의 선택에 민감하다.
우도 불일치(Likelihood Mismatch): 표준 가중 합산 방식은 우도 함수의 선택을 가중치 설정과 별개로 취급한다. 관측 모델(예: 오프셋 경계가 있는 임계값 이벤트에 크로스 엔트로피를 사용하는 경우)의 불일치는 사용된 손실 가중치와 관계없이 실패를 초ك래할 수 있다.

또한, 표준 MTL은 복잡한 외부 루프 최적화를 도입하지 않고도 작업 간의 입력 의존적 예측 분산(이분산성, heteroscedasticity)을 모델링할 수 있는 원칙적인 방법을 결여하고 있다.

방법론: SCROLL-MT

본 논문은 손실의 가중치를 구하는 대신 관측 가능량의 우도를 직접 합성하는 프레임워크인 SCROLL-MT(Shared-Cavity fRee-rOuting Last-Layer Multi-Task)를 제안한다.

핵심 구조

공유 백본 및 자유 라우팅 마지막 레이어: 모델은 특징을 추출하기 위해 공유된 결정론적 백본 $\psi(x)$ 를 사용한다. 각 작업 $k$ 는 자신의 특정 마지막 레이어 가중치 $w_k$ 에 대한 관측 모델 $p_k(y^{(k)} | w_k^\top \psi; \eta_k)$ 와 가우시안 신념(Gaussian belief) $q_k(w_k) = \mathcal{N}(\mu_k, \Sigma_k)$ 를 유지한다.
목적 함수: 훈련 목적 함수 $F_{MT}$ 는 $K$ 개의 개별 SCROLL 목적 함수(공유 캐비티 손실)의 합이다:
$F_{MT} = \sum_{k=1}^K \left[ -\sum_{n=1}^N \log \int p_k(y_n^{(k)} | w_k^\top \psi_n; \eta_k) q_k(w_k) dw_k - \log \int p_{\alpha_k}(w_k) q_k(w_k) dw_k \right]$
이 공식은 각 작업의 데이터 항을 로그 점수(음의 로그 예측 밀도)로 취급하며, 사전 중첩(prior-overlap) 항을 포함한다.
자유 라우팅(Free Routing): 신념이 데이터에 의한 사후 분포(예: 공액성을 통한)로 제한되는 "폐쇄형 라우팅(closed routing)"과 달리, SCROLL-MT는 신념 파라미터 $(\mu_k, \Sigma_k)$ 를 직접적인 최적화 변수로 취급한다. 목적 함수 자체가 신념을 선택하므로, 예측 분산이 잔차 독립적인 레버리지 형태에 묶이지 않고 입력 의존적 확산(이분산성)을 추적할 수 있게 한다.
암시적 가중치 부여: 각 작업은 단위 계수(unit coefficients)와 함께 목적 함수에 들어온다. 작업을 균형 있게 맞추기 위해 통상적으로 필요한 "가중치"는 단일 그래디언트 패스 내에서 학습되는 $O(K)$ 개의 우도 파라미터(예: 노이즈 스케일 $\sigma_{obs}$ , 사전 정밀도 $\alpha_k$ )로 대체된다.

주요 기여

우도의 합성: 본 논문은 개별 작업의 공유 캐비티 손실을 합산하는 것(Lemma 1)이 각 작업이 자신의 전체 신념에 대해 점수를 매기는 유효한 다중 작업 목적 함수를 생성함을 입증한다. 이는 외부 루프 가중치 균형의 필요성을 제거한다.
암시적 작업 가중치 부여 (Corollary 2): 이 프레임워크는 척도 공변성(scale equivariance, Proposition 1)을 달성한다. 작업의 타겟을 재조정(rescaling)하면 백본의 최소화 값을 변경하지 않는 파라미터의 전단사(bijection)가 발생하지만, 원시 손실의 고정된 가중 합산 방식은 동일한 해를 복구하기 위해 가중치를 다시 튜닝해야 한다. 우도 파라미터(노이즈 스케일)가 자연스럽게 가중치 슬롯을 차지하여 단위 의존적 스케일링을 흡수한다.
점수 최적성 (Corollary 1): 고정된 백본에 대해, 예측 가족(predictive family)이 실제 조건 분포를 표현할 수 있다면 모집단 데이터 리스크가 최소화된다. 구체적으로, 가우시안 작업의 경우 총 예측 분산( $\sigma_{obs}^2 + \psi^\top \Sigma \psi$ )은 조건부 잔차 분산 $V^*(x)$ 로 수렴한다.
자유 라우팅 신념: 이 방법은 "고정된(pinned)" 라우팅(여기서 분산은 사후 맵에 의해 제약됨)과 "자유(free)" 라우팅을 구분한다. 자유 라우팅은 모델이 사후 구조에 의해 제약되지 않고 실제 분포의 확산을 일치시키는 입력 의존적 분산을 학습할 수 있게 하며, 이는 고정된 라우팅이 실패하는 지점이다.

실험 결과

이 방법은 세 가지 시스템에 대해 평가되었다:

Ornstein–Uhlenbeck (OU): 해석적인 그라운드 트루스 커널을 가진 동분산(homoscedastic) 시스템.
Stochastic Lorenz-63: 몬테카를로 재시뮬레이션을 통해 계산 가능한 그라운드 트루스 분산을 가진 이분산(heteroscedastic) 시스템.
Beijing PM2.5: 실제 대기 질 데이터셋.

주요 성과:

동분산 (OU): SCROLL-MT는 해석적 커널을 복구하고 이론적 엔트로피 하한에 도달한다. 학습된 예측 분산은 모델이 가질 수 있는 허구적 확산을 만들어내지 않고도 그라운드 트루스에 정확히 수렴한다.
이분산 (Lorenz-63):
- 분산 추적: 자유 라우팅 신념(Diag 및 Full)은 상태 의존적 확산( $V^*(x)$ )을 성공적으로 추적하며, 몬테카를로 그라운드 트루스에 대해 각각 0.61(Diag) 및 0.85(Full)의 피어슨 상관계수를 달성한다. 고정된 라우팅(closed routing)은 이 확산을 추적하는 데 실패하며, 실제 분산의 284배 범위에 걸쳐 평탄하게 유지된다.
- NLL 성능: SCROLL-MT (Full)는 상태 및 레지임 작업에서 튜닝된 그리드 베이스라인 및 학습된 가중치 방식(Kendall et al.)을 능가하는 최고의 단일 실행 음의 로그 가능도(NLL)를 달연한다.
- 보정(Calibration): 이 방법은 NLL에서 능가하는 베이스라인들과 대등하거나 더 나은 보정 성능을 보인다.
실제 데이터 (PM2.5): SCROLL-MT는 단일 실행 베이스라인과 비교하여 모든 작업에서 최고 또는 통계적으로 동등한 결과를 달성한다. 성능 차이는 5개의 롤링 오리진(rolling origins)에 걸쳐 유지되어 견고함을 입증한다.
효율성: SCROLL-MT는 백본 구성당 단 한 번의 훈련만 필요하지만, 그리드 탐색 베이스라인은 49번의 실행이 필요하다. 이는 네트워크 가중치와 함께 사전 정밀도 및 우도 스케일을 단일 패스 내에서 학습한다.

의의 및 주장

본 논문은 SCROLL-MT를 손실 가중치 휴리스틱에 대한 원칙적인 대안으로 위치시킨다. 그 의의는 다음과 같다:

가중치 탐색 제거: 우도를 직접 합성함으로써, 이 방법은 작업 균형을 맞추기 위한 값비싼 그리드 탐색이나 학습된 스칼라 가중치의 필요성을 제거한다.
이론적 근거: 이 접근 방식은 점수 기반 최적성에 근거하며, 모델이 표현 가능한 경우 실제 분포의 조건부 엔트로피를 최소화함을 보장한다.
이분산성 처리: "자유 라우팅" 메커니즘은 모델이 사후 구조에 의해 제약되지 않고 입력 의존적 예측 분산을 학습할 수 있게 하며, 이는 이분산 시스템에서 필수적인 능력임이 입증되었다.
제한된 범위: 저자는 이를 저차원 SDE와 하나의 실제 시계열을 사용한 "의도적으로 범위를 제한한 첫 번째 연구"라고 명시했다. 주장은 합성된 우리가 계산 가능한 곳에서 그라운드 트루스 커널과 분산을 복구하는 능력, 그리고 가중치 튜닝 없이 실제 데이터에서 경쟁력 있게 수행하는 능력에 국한된다. 본 논문은 일반적인 다중 작업 간섭 문제를 해결한다고 주장하는 것이 아니라, 테스트된 환경에서 단일 특징 맵이 관측 모델이 올바르게 지정될 때 여러 작업을 효과적으로 수행할 수 있음을 입증한다.