🤖 machine learning

Probabilistic Circuits for Irregular Multivariate Time Series Forecasting

본 논문은 불규칙한 다변량 시계열 예측에서 우수한 불확실성 정량화를 달성하기 위해 유효한 결합 분포를 위한 구조적 보장과 모델 표현력을 효과적으로 균형시키는 새로운 확률적 회로 기반 아키텍처인 CircuITS를 소개합니다.

원저자: Christian Klötergens, Vijaya Krishna Yalavarthi, Lars Schmidt-Thieme

게시일 2026-05-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Christian Klötergens, Vijaya Krishna Yalavarthi, Lars Schmidt-Thieme

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

여러 친구들이 서로 다른 시간에 각기 다른 일을 하고 있다고 상상해 보세요. 어떤 이는 문자를 보내고, 어떤 이는 잠을 자고, 어떤 이는 용무를 보고 있으며, 그들은 불규칙한 간격으로 안부를 확인합니다. 당신은 그들이 다음에 무엇을 할지 추측하고 싶지만, 그들의 행동이 어떻게 연결될 수 있는지도 이해해야 합니다. 한 친구가 뛰기 시작하면 다른 친구들도 뛰게 될까요? 아니면 그들은 서로 독립적일까요?

이것은 불규칙 다변량 시계열 (IMTS) 예측의 과제입니다. 이는 실제 생활에서 흔히 발생합니다 (예: 서로 다른 시간에 보고하는 기상 관측소나 불규칙한 간격으로 환자를 점검하는 병원 모니터). 하지만 데이터가 불규칙하고 변수 간의 관계가 복잡하기 때문에 컴퓨터가 처리하기 매우 어렵습니다.

이 논문은 CircuITS(Irregular Multivariate Time Series 를 위한 회로) 라는 새로운 도구를 소개하여 이 문제를 해결합니다. 작동 원리를 간단히 설명하면 다음과 같습니다:

문제: "모순된 오라클"

이 작업을 시도했던 이전 AI 모델들은 치명적인 결함이 있었습니다. 기상 오라클에게 *"비가 올 확률은 얼마입니까?"*라고 물었다고 가정해 보세요. 오라클은 30% 라고 답합니다. 그다음 *"비와 눈이 동시에 올 확률은 얼마입니까?"*라고 물으면 40% 라고 답합니다. 마지막으로 *"비, 눈, 그리고 바람이 모두 있을 확률은 얼마입니까?"*라고 물으면 20% 라고 답합니다.

이는 모순입니다! 바람에 대해 함께 물었다고 해서 비가 올 확률이 변해서는 안 됩니다. 비가 올 확률은 그 자체로 물었을 때나 다른 변수와 함께 물었을 때나 동일해야 합니다. 이 성질을 **한계 일관성 (Marginalization Consistency)**이라고 합니다.

구식 모델들은 신뢰할 수 없는 오라클과 같았습니다. 질문하는 방식에 따라 다른 답을 내놓았습니다. 이는 의료나 기후 과학과 같은 고위험 의사결정에서 위험했습니다. 왜냐하면 그들의 예측이 논리적으로 일관되지 않을 수 있기 때문입니다.

해결책: "레고 마스터" (CircuITS)

저자들은 CircuITS를 개발했는데, 이는 **확률적 회로 (Probabilistic Circuits)**라는 개념에 기반합니다. 이를 두 가지 유형의 블록으로 구성된 거대하고 똑똑한 레고 구조로 생각하세요:

합 블록 (The Mixers): "이것일 수도, 저것일 수도 있다"를 나타냅니다. 서로 다른 시나리오들을 섞습니다.
곱 블록 (The Separators): "이것과 저것이 독립적으로 동시에 발생한다"를 나타냅니다. 복잡한 문제를 작고 관리 가능한 조각으로 나눕니다.

CircuITS 가 예측을 구축하는 방법:
100 개의 변수의 미래를 한 번에 추측하는 것 (100 조각 퍼즐을 하나의 거대하고 혼란스러운 더미로 풀려고 시도하는 것과 같음) 대신, CircuITS 는 답을 층층이 쌓아 올립니다.

1 단계: 각 "채널"(각 친구나 센서) 을 개별적으로 살펴보고 그들을 위한 몇 가지 가능한 시나리오를 생성합니다 (예: "친구 A 는 잠을 자고 있다" 또는 "친구 A 는 뛰고 있다").
2 단계: 곱 블록을 사용하여 이러한 시나리오들을 결합합니다. "친구 A 가 뛰고 있다면, 이것이 친구 B 에게 무엇을 의미합니까?"라고 묻습니다.
3 단계: 합 블록을 사용하여 이러한 조합들을 다시 섞어 전체 그룹의 미래를 보여주는 최종적이고 복잡한 그림을 만듭니다.

왜 특별한가

CircuITS 의 마법은 그 구조에 있습니다. 레고 블록들이 어떻게 조립되는지는 고정되어 있고 논리적입니다. 이러한 견고한 구조 덕분에:

절대 스스로 모순하지 않습니다. 한 친구에게만 물어보든, 그 친구와 다른 50 명에게 함께 물어보든, 답은 수학적으로 동일하게 보장됩니다. "레고" 설계는 수학이 매번 올바르게 작동하도록 강제합니다.
혼란을 처리합니다. 실제 세계에서 흔히 발생하는 것처럼, 이상한 시간에 도착하고 건너뛰는 데이터를 처리할 수 있습니다.
균형을 찾습니다. 구식 모델들은 매우 유연하지만 일관성이 없거나 (모순된 답을 내놓음), 일관성은 있지만 너무 단순하여 (복잡한 패턴을 놓침) 두 가지 극단 중 하나였습니다. CircuITS 는 "골디락스" 모델입니다. 복잡한 패턴을 학습할 만큼 유연하지만, 자신의 확률에 대해 거짓말하지 않도록 구조화되어 있습니다.

결과

저자들은 CircuITS 를 네 가지 실제 데이터셋에서 테스트했습니다:

기상 데이터 (기온, 강수량 등).
세 가지 의료 데이터셋 (집중 치료실 환자의 생체 신호).

그들은 기존 최고의 모델들과 비교했습니다. 결과는 CircuITS 가 결합 분포(모든 것이 어떻게 관련되는지에 대한 큰 그림) 와 한계 분포(개별 변수에 대한 특정 예측) 를 예측하는 데 이전 어떤 방법보다 뛰어났음을 보여주었습니다.

특히 "분기"(강이 두 개의 뚜렷한 경로로 갈라지는 것과 같이 경로가 두 개의 뚜렷한 가능성으로 갈라지는 상황) 와 관련된 특정 테스트에서, 이전 모델들은 혼란을 겪어 두 경로를 흐릿한 중간으로 섞어버렸습니다. 반면, CircuITS 는 두 경로를 명확하게 분리하여 미래가 두 개의 뚜렷하고 유효한 가능성을 가지고 있음을 보여주었습니다.

요약

CircuITS는 불규칙하고 messy 한 데이터 스트림의 미래를 예측하는 새로운 AI 아키텍처입니다. 이는 논리적인 레고 세트와 같은 특정 "회로" 설계를 사용하여 예측이 항상 수학적으로 일관되도록 보장합니다. 질문하는 방식이 어떻든 상관없이, 답은 항상 전체 그룹의 맥락에서 타당합니다. 이는 복잡하고 실제적인 시나리오에서 예측을 위한 더 신뢰할 수 있는 도구를 만듭니다.

"Probabilistic Circuits for Irregular Multivariate Time Series Forecasting"(CircuITS) 논문에 대한 상세한 기술적 요약입니다.

1. 문제 정의

본 논문은 불규칙 다변량 시계열 (IMTS) 에 대한 확률적 예측의 과제를 다룹니다. 실제 세계 시나리오 (예: 의료, 기후 과학) 에서 시계열 데이터는 종종 다음과 같은 특성을 가집니다:

불규칙성: 관측치가 비균일한 시간 간격으로 발생합니다.
희소성: 많은 변수 (채널) 가 특정 타임스탬프에서 누락될 수 있습니다.
다변량성: 여러 변수가 복잡한 의존성과 상호작용합니다.

기존 방법의 주요 한계:

점 예측 (Point Forecasting): 많은 모델이 단일 값을 예측하여 불확실성을 정량화하지 못합니다. 이는 확률적 과정에서 매우 중요합니다.
마진화 불일치 (Marginalization Inconsistency): ProFITi와 같은 최신 모델은 복잡한 의존성을 모델링할 수 있지만, 마진화 불일치를 겪습니다. 이는 다른 변수들이 쿼리에 포함되는지 여부에 따라 변수 부분집합의 예측 확률이 임의적으로 변한다는 것을 의미합니다. 이는 모순된 예측 (예: 강수 확률이 습도에 대해 함께 묻는 경우 변경됨) 을 초래하여 고위험 의사결정에 신뢰할 수 없게 만듭니다.
표현력 대 일관성 트레이드오프: MOSES(Mixtures of Separable Flows) 와 같이 일관성을 보장하는 모델들은 혼합 구성요소에 필요한 지수적 확장으로 인해 고차원 공간에서 복잡한 결합 의존성을 포착하는 데 종종 어려움을 겪습니다. 이들은 뚜렷한 모드 (예: 분기점) 를 효과적으로 학습하지 못합니다.

2. 방법론: CircuITS

저자들은 CircuITS(Circuits for Irregular Multivariate Time Series) 를 제안합니다. 이는 **확률적 회로 (Probabilistic Circuits, PCs)**를 기반으로 한 새로운 아키텍처로, 높은 표현력을 유지하면서 마진화 일관성의 구조적 보장을 핵심 혁신으로 합니다.

A. 핵심 아키텍처: 재귀적 합 - 곱 네트워크

CircuITS 는 합 노드(혼합) 와 곱 노드(독립성) 의 계층적 구조를 사용하여 결합 분포 $p(y | Q, X)$ 를 모델링합니다 (여기서 $y$ 는 목표, $Q$ 는 쿼리 포인트, $X$ 는 관측치입니다).

리프 노드: 단변량 또는 채널별 분포를 나타냅니다.
합 노드: 혼합을 모델링하여 (다중 모드 분포를 포착합니다).
곱 노드: 인수분해를 모델링하여 (변수 간 독립성을 포착합니다).

재귀적 집계:
완전한 텐서 곱 (지수적으로 $O(K^C)$ 로 확장됨) 대신 CircuITS 는 재귀적 접근 방식을 사용합니다:

초기화: 첫 번째 채널에 대해 상태는 $K$ 개의 리프 밀도 벡터입니다.
재귀: 채널 $c$ 를 추가하기 위해 모델은 이전 결합 상태와 새 채널의 리프 밀도의 데카르트 곱 ( $K^2$ 항) 을 계산합니다.
투영: 가중 합 (합 레이어) 이 이 $K^2$ 항을 다시 $K$ 개의 구성요소로 투영합니다. 이는 상태 폭발을 방지하면서도 모델이 이전 결합 상태와 새 채널 간의 상관관계를 학습할 수 있게 합니다.
최종 출력: 루트 노드는 $K$ 개 구성요소의 가중 합으로 최종 결합 분포를 생성합니다.

B. 인코더 아키텍처

불규칙한 데이터를 처리하고 회로 매개변수를 동적으로 생성하기 위해:

관측 표현: 관측치 (시간, 채널, 값) 는 사인파 시간 임베딩과 학습 가능한 채널 임베딩을 사용하여 임베딩됩니다.
채널 내 집계: 마스크된 크로스 어텐션 메커니즘이 각 채널의 관측치를 고정 크기 표현으로 집계하여 채널 정체성을 유지합니다.
채널 간 상호작용: 셀프 어텐션 레이어가 채널 간 의존성을 포착합니다.
매개변수 생성: 인코더는 다음을 출력합니다:
- 컨텍스트 임베딩: 리프 분포용 (쿼리별).
- 회로 가중치: 합 노드 ( $W^{(c)}$ ) 와 루트 ( $w_{root}$ ) 의 혼합 가중치입니다. 중요한 점은 이 가중치가 쿼리 집합 $Q$ 가 아닌 관측 이력 $X$ 에만 의존한다는 것입니다. 이 구조적 제약이 마진화 일관성을 보장하는 수학적 핵심입니다.

C. 리프 분포

리프 자체가 일관되고 표현력이 있도록 보장하기 위해:

단변량 마진: **Conditional Deep Sigmoidal Flows (DSF)**를 사용하여 모델링되며, 단조 레이어를 통해 누적 분포 함수 (CDF) 를 근사합니다.
결합 의존성: **가우시안 코풀라 (Gaussian Copula)**가 단변량 마진을 결합합니다. 상관 행렬은 쿼리 임베딩에서 유도되어 의존성 구조가 컨텍스트에 적응하면서도 수학적으로 유효하도록 보장합니다.

D. 이론적 보장

본 논문은 CircuITS 가 마진화 일관성(콜모고로프 확장 정리) 을 만족함을 증명합니다.

증명 논리: 회로 구조가 입력 채널에 기반하여 고정되고 합 노드 가중치가 $Q$ 가 아닌 $X$ 에만 의존하기 때문에, 변수를 적분하여 제거 (마진화) 하는 것은 해당 리프 항을 제거 (1 로 대체) 하는 것일 뿐 나머지 혼합의 가중치를 변경하지 않습니다. 따라서 결합 분포에서 유도된 마진 분포는 부분집합에 대해 직접 예측된 분포와 동일합니다.

3. 주요 기여

CircuITS 아키텍처: IMTS 를 위해 맞춤 설계된 새로운 합 - 곱 네트워크로, 표현력과 신뢰성 간의 트레이드오프를 해결하면서 구조적으로 마진화 일관성을 보장합니다.
일관된 인코더: 관측 이력에서 회로 가중치와 리프 매개변수를 생성하는 인코더로, 쿼리 범위에 관계없이 변수 부분집합에 대한 예측이 일관되도록 보장합니다.
최고 수준의 성능: 네 가지 실제 데이터셋에서 결합 밀도 추정 및 마진 밀도 추정 모두에서 기존 방법보다 우수한 성능을 입증했습니다.
이론적 증명: 제안된 아키텍처가 유효한 확률적 과정의 요구 사항을 충족함을 공식적으로 증명했습니다.

4. 실험 결과

모델은 네 가지 데이터셋에서 평가되었습니다: USHCN(기후), PhysioNet-2012, MIMIC-III, MIMIC-IV(의료).

지표: 정규화된 결합 음의 로그 가능도 (njNLL) 와 마진 NLL(mNLL).
베이스라인: 일관성은 없으나 표현력이 있는 ProFITi, 일관성은 있으나 표현력이 낮은 MOSES, 그리고 독립 마진인 NeuralFlows와 비교했습니다.
성능:
- 결합 밀도: CircuITS 는 대부분의 시나리오에서 가장 낮은 (최고의) njNLL 을 달성하여 ProFITi 와 MOSES 모두를 능가했습니다.
- 마진 밀도: CircuITS 는 mNLL 에서도 베이스라인을 능가했으며, 반면 ProFITi 는 일관성 부족으로 인해 종종 높은 mNLL 오차를 보였습니다.
- 합성 작업: 독립 채널이 두 개의 뚜렷한 모드로 분기하는 합성 "분기 (bifurcation)" 작업에서 MOSES 는 16 개의 구성요소를 사용했음에도 불구하고 뚜렷한 분기를 포착하지 못했지만, CircuITS 는 채널당 2 개의 구성요소만으로 이를 해결했습니다.
효율성: CircuITS 는 채널을 분리함으로써 계산 복잡도를 $O((CN)^3)$ (완전 공분산) 에서 $O(CN^3)$ 으로 줄이지만, 혼합 구성요소 수 $K$ 에 대한 의존성을 도입합니다.

5. 중요성

중요 도메인의 신뢰성: 마진화 일관성을 보장함으로써 CircuITS 는 모순된 예측을 방지합니다. 이는 일관되지 않은 확률이 오류 있는 결정으로 이어질 수 있는 의료 (예: 환자 악화 예측) 및 기후 모델링과 같은 안전-중요 애플리케이션에 매우 중요합니다.
복잡성 처리: 이전의 혼합 기반 일관성 모델이 직면한 최적화 어려움 없이 복잡한 다중 모드 결합 분포를 성공적으로 모델링합니다.
일반화 가능성: 이 아키텍처는 변수 수와 쿼리 포인트 수에 유연하여 데이터 희소성과 불규칙성이 일반적인 다양한 실제 IMTS 애플리케이션에 적합합니다.

결론적으로 CircuITS 는 확률적 회로의 이론적 엄밀함과 불규칙 다변량 데이터에 필요한 실용적 유연성을 통합함으로써 확률적 시계열 예측 분야에서 중요한 진전을 이루었습니다.