📊 statistics

Bayesian local clustering of functional data via semi-Markovian random partitions

이 논문은 B-스플라인의 국소적 지지 특성과 반마코프 의존성을 가진 새로운 종속 무작위 분할 모델을 결합하여 함수형 데이터의 간접적 국소 클러스터링을 수행하는 베이지안 프레임워크를 제안하고, 이를 시뮬레이션 데이터와 베네치아 석호의 조위 측정 데이터 분석을 통해 검증했습니다.

원저자: Giovanni Toto, Antonio Canale

게시일 2026-04-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Giovanni Toto, Antonio Canale

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🌊 핵심 주제: "물결의 패턴을 찾아내는 새로운 지도 만들기"

이 연구는 베네치아 만의 조수 (조수) 데이터를 분석하면서 시작됩니다. 물의 높이는 시간마다 변하는 '곡선'으로 표현됩니다. 연구자들은 이 곡선들을 단순히 "A 그룹, B 그룹"으로 딱 나누는 것이 아니라, 시간에 따라 그룹이 어떻게 변하고 섞이는지를 세밀하게 파악하고 싶어 했습니다.

이를 위해 저자들은 **"반-마코프ian (Semi-Markovian) 무작위 분할 모델 (smRPM)"**이라는 새로운 수학적 도구를 개발했습니다.

🎨 비유 1: 레고 블록과 곡선 (B-스플라인)

먼저, 복잡한 곡선 (예: 물결) 을 어떻게 표현할까요?
저자들은 이를 레고 블록으로 비유할 수 있습니다.

B-스플라인 (B-spline): 곡선을 구성하는 작은 레고 블록들입니다.
국소적 (Local) 특성: 이 레고 블록의 가장 큰 특징은 **"이 블록은 오직 옆에 있는 블록들과만 연결되어 모양을 만든다"**는 점입니다.

기존의 방법들은 "이 곡선 전체가 A 그룹이다"라고 딱 잘라 말했지만, 저자들의 방법은 **"이 구간은 A 그룹의 레고로, 저 구간은 B 그룹의 레고로 만들 수 있다"**는 유연한 접근을 취합니다.

🧩 비유 2: 춤추는 파티 (클러스터링)

이제 이 레고 블록들이 어떻게 그룹을 형성하는지 상상해 보세요.

기존 방법 (마코프 모델):
- 마치 1 초 단위로만 생각하는 사람 같습니다. "지금 이 순간은 A 그룹이야? 아니면 B 그룹?"하고 바로바로 결정합니다.
- 하지만 실제 곡선은 한 번 결정되면 바로 바뀌지 않고, 일정 기간 동안 같은 패턴을 유지하다가 바뀝니다. 기존 방법은 이 '지속성'을 제대로 반영하지 못해 너무 자주 그룹이 바뀌는 오류를 범할 수 있습니다.
새로운 방법 (smRPM, 이 논문의 제안):
- 저자들은 **"이 그룹은 최소 3 초 (또는 4 초) 는 유지되어야 해!"**라고 규칙을 정했습니다.
- 비유: 마치 춤을 추는 파티 같습니다.
  - 기존 방법은 "지금 이 박자에 누구와 춤을 추니?"라고 매 순간 물어봅니다.
  - 새로운 방법은 "한 번 춤을 시작하면, 최소한 3 박자 동안은 같은 파트너와 춤을 춰야 해"라고 규칙을 둡니다.
  - 이렇게 하면, 곡선이 갑자기 뒤죽박죽이 되는 것을 막고, **자연스러운 흐름 (패턴)**을 잡아낼 수 있습니다.

🚀 왜 이 방법이 더 좋은가요? (창의적 비유)

**"지나가는 구름을 관찰하는 것"**이라고 생각해 보세요.

구름의 모양 (곡선): 구름은 한 번에 뚝뚝 끊어지지 않고 부드럽게 변합니다.
기존 방법의 한계: 구름의 가장자리만 보고 "이건 A 구름, 저건 B 구름"이라고 급하게 분류하면, 같은 구름이 여러 조각으로 나뉘는 어색한 결과가 나옵니다.
이 논문의 해결책: **"구름은 최소한 3 초 동안은 같은 형태를 유지한다"**는 가정을 넣었습니다. 그래서 구름이 천천히 변할 때는 같은 그룹으로, 급격히 변할 때만 그룹을 바꿉니다.

이것을 수학적으로 **'B-스플라인의 차수 (레고 블록의 개수)'**와 **'그룹 유지 시간 (반-마코프적 의존성)'**을 딱 맞게 연결한 것입니다.

📊 실제 적용: 베네치아의 조수 (Tide Level)

이론만으로는 부족하죠? 연구자들은 베네치아 만의 조수 데이터에 이 방법을 적용했습니다.

상황: MOSE(이동식 방수벽) 시스템이 작동하면 물의 흐름이 완전히 바뀝니다.
기존 방법: 전체 기간을 통틀어 "물방벽이 작동할 때"와 "작동하지 않을 때"로만 나눴을 것입니다.
이 논문의 방법:
- 시간에 따라 그룹이 변하는 것을 포착했습니다.
- 예를 들어, 물방벽이 작동하는 특정 시간대에는 어떤 관측소들이 서로 다른 패턴을 보이다가, 다른 시간대에는 다시 하나로 합쳐지는 모습을 발견했습니다.
- 마치 하루 종일 변하는 날씨를 "맑음, 비, 흐림"으로만 나누는 게 아니라, "아침엔 맑다가 오후에 비가 오고 저녁엔 다시 맑아지는 세부적인 흐름"까지 파악하는 것과 같습니다.

💡 결론: 이 연구가 우리에게 주는 메시지

이 논문은 **"무언가를 분류할 때, '지금'만 보지 말고 '앞으로 몇 초/몇 분'까지 내다보는 지혜"**가 필요하다고 말합니다.

단순한 분류 (Global Clustering): "이 사람은 A 형이다." (전체적으로)
이 논문의 새로운 분류 (Local Clustering): "이 사람은 아침엔 A 형이지만, 오후에는 B 형이 되고, 저녁엔 다시 A 형이 될 수 있다." (시간과 상황에 따라)

이 새로운 수학적 도구 (smRPM) 는 데이터가 가진 자연스러운 흐름과 지속성을 존중하면서도, 갑작스러운 변화도 정확하게 잡아낼 수 있게 해줍니다. 이는 기후 변화, 주식 시장, 심지어 뇌파 분석 등 시간에 따라 변하는 모든 복잡한 데이터를 분석하는 데 큰 도움이 될 것입니다.

한 줄 요약:

"데이터를 분류할 때, '지금 이 순간'만 보지 말고 **'앞으로 일정 시간 동안은 같은 그룹일 것'**이라는 규칙을 세워, 더 자연스럽고 정확한 패턴을 찾아내는 새로운 지도를 그렸습니다."

1. 연구 배경 및 문제 정의 (Problem)

기능적 데이터 분석 (Functional Data Analysis): 곡선이나 표면과 같이 연속적인 도메인에서 정의된 함수 형태의 데이터를 분석하는 분야입니다.
클러스터링의 복잡성: 기존 기능적 데이터 클러스터링은 주로 '전역적 (Global)' 접근을 취합니다. 즉, 하나의 함수 전체를 하나의 클러스터로 할당합니다. 그러나 실제 데이터는 도메인의 특정 구간에서는 유사한 행동을 보이다가 다른 구간에서는 전혀 다른 행동을 보이는 '국소적 (Local)' 특성을 가질 수 있습니다.
기존 방법론의 한계:
- 히든 마코프 모델 (HMM): 이전 연구들 (Paulon et al., 2024; Fan & Sarkar, 2024) 은 B-스플라인의 국소적 성질을 활용하여 클러스터 할당이 숨겨진 마코프 체인을 따라 진화하도록 모델링했습니다. 그러나 이는 1 차 마코프 의존성 (이전 상태에만 의존) 에 국한되어, B-스플라인의 차수 (degree) 와 일치하는 더 높은 차수의 국소적 의존성을 포착하는 데 한계가 있습니다.
- 시간적 무작위 분할 모델 (tRPM): Page et al. (2022) 이 제안한 모델은 보조 변수를 통해 분할의 진화를 모델링하지만, 여전히 1 차 의존성 구조를 가정합니다.
핵심 문제: B-스플라인의 국소적 지지 (local support) 성질을 완전히 활용하기 위해서는, 인접한 B-스플라인 계수들 간의 클러스터 할당이 단순한 1 차 마코프 과정이 아닌, B-스플라인의 차수 (degree) 에 해당하는 고차 의존성 (higher-order dependence) 을 가진 분할 모델이 필요합니다.

2. 제안된 방법론 (Methodology)

저자들은 B-스플라인 기저 확장 (B-spline basis expansion) 과 새로운 종속 무작위 분할 모델 (Semi-Markovian Random Partition Model, smRPM) 을 결합한 베이지안 계층적 프레임워크를 제안합니다.

A. 기능적 데이터의 표현

관측된 함수 $y_i(x)$ 를 B-스플라인 기저 함수의 선형 결합으로 표현합니다:
$y_i(x) = \sum_{k=1}^K b_k(x) \theta_{ik}$
여기서 $\theta_{ik}$ 는 $i$ 번째 함수의 $k$ 번째 기저 계수입니다.

B. 국소적 클러스터링 전략

전역 클러스터링 (모든 계수가 같은 클러스터) 대신, 각 기저 계수마다 국소 클러스터 라벨 $c_{ik}$ 을 할당합니다.

B-스플라인의 성질 활용: $d$ 차 B-스플라인에서 함수의 국소적 형태는 $d+1$ 개의 인접한 계수 ( $\theta_{i,k}, \dots, \theta_{i,k+d}$ ) 에 의해 결정됩니다.
핵심 아이디어: 두 함수가 특정 구간에서 국소적으로 동일하려면, 해당 구간에 해당하는 $d+1$ 개의 연속된 계수가 같은 클러스터에 속해야 합니다. 이를 위해 클러스터 할당 시퀀스 $(c_{i1}, \dots, c_{iK})$ 간의 의존성을 모델링해야 합니다.

C. Semi-Markovian Random Partition Model (smRPM)

기존 tRPM 을 일반화한 새로운 모델로, 두 가지 의존성 차수를 도입합니다:

분할의 의존성 차수 ( $d_\rho$ ): 인접한 분할 (partition) 간의 의존성. B-스플라인의 차수와 일치하도록 설정하여, $d_\rho$ 개의 연속된 구간 동안 클러스터 할당이 고정되거나 변화할 수 있도록 합니다.
보조 변수의 의존성 차수 ( $d_\gamma$ ): 분할의 진화를 유도하는 이진 보조 변수 $\gamma_{ik}$ $γ_{ik}$ (재할당 가능 여부) 간의 의존성.
- 자기회귀 구조: $\gamma_{ik}$ 은 이전 $d_\gamma$ 개의 보조 변수 값에 의존하는 로지스틱 자기회귀 (Logistic Autoregressive) 모델로 모델링됩니다.
- 반마코프 (Semi-Markovian) 특성: 단순한 1 차 마코프 성질을 넘어, $d_\rho$ 차수의 지속성 (persistence) 을 가지며, 이는 B-스플라인의 국소적 성질과 완벽하게 매칭됩니다.

D. 사후 추론 (Posterior Inference)

Gibbs Sampling: 분할 ( $\rho_k$ ), 보조 변수 ( $\gamma_{ik}$ ), 하이퍼파라미터 ( $\alpha, M$ ) 등을 반복적으로 샘플링하는 깁스 샘플러를 개발했습니다.
효율성: Propostion 1 과 2 를 활용하여 조건부 확률을 효율적으로 계산하며, 특히 $d_\rho$ 가 커질수록 계산 복잡도가 오히려 감소하는 경향을 보입니다 (재할당 가능한 단위 수가 줄어들기 때문).

3. 주요 기여 (Key Contributions)

새로운 베이지안 프레임워크: 기능적 데이터의 국소적 클러스터링을 위해 B-스플라인의 국소적 성질과 고차 의존성을 결합한 최초의 베이지안 계층적 모델 제안.
smRPM 모델 개발: 1 차 마코프 가정을 완화하고, 분할과 보조 변수 모두에 대해 고차 의존성 ( $d_\rho, d_\gamma$ ) 을 허용하는 새로운 무작위 분할 모델 제안. 이는 기능적 데이터뿐만 아니라 시계열, 공간 데이터 등 다양한 종속 분할이 필요한 문제에 적용 가능합니다.
이론적 및 실증적 검증:
- 시뮬레이션을 통해 $d_\rho$ 를 B-스플라인 차수와 일치시키고 $d_\gamma = d_\rho$ 로 설정할 때 최적의 성능을 보임을 입증.
- 기존 방법 (tRPM, HMFLCM) 보다 국소적 패턴을 더 정확하게 포착하고 예측 오차 (RMSE) 를 줄임.
실제 데이터 적용: 베니스 석호 (Venice Lagoon) 의 조수위 데이터를 분석하여, MOSE 방재 시스템 가동 여부에 따른 국소적 행동 변화와 전역적 패턴을 동시에 성공적으로 식별함.

4. 실험 결과 (Results)

시뮬레이션 연구:
- 데이터 생성: 다양한 신호대잡음비 (SNR) 와 관측치 수 ( $n$ ) 하에서 시계열 및 기능적 데이터를 생성.
- 성능 지표: 조정 랜덤 지수 (ARI) 및 기능적 ARI (yARI), RMSE 사용.
- 결과:
  - $d_\rho$ 와 $d_\gamma$ 를 B-스플라인 차수 (예: 3 차) 와 일치시키는 설정이 가장 우수한 성능을 보임.
  - 기존 tRPM ( $d_\rho=1$ ) 은 고차 의존성이 있는 데이터에서 성능이 떨어짐.
  - HMFLCM (Fan & Sarkar, 2024) 은 큰 표본에서는 경쟁력이 있으나, 작은 표본이나 오설정 (misspecification) 상황에서는 smRPM 이 더 강건함.
  - 기저 함수 수 ( $K$ ) 를 과대평가하는 것이 과소평가하는 것보다 성능에 덜 민감함.
실제 데이터 분석 (베니스 조수위):
- 데이터: 11 개 관측소의 시간별 조수위 데이터 (2023 년 8 월 및 10 월).
- 발견: MOSE 시스템이 가동되지 않을 때는 모든 관측소가 유사한 전역적 행동을 보이지만, 가동 시나 폭풍우 발생 시에는 관측소별로 뚜렷한 국소적 차이 (클러스터 분할) 가 발생함.
- 모델 성능: 제안된 모델은 전역적 클러스터 (전체적인 조수 패턴) 와 국소적 클러스터 (특정 날짜/구간의 이상치 또는 시스템 영향) 를 동시에 식별하여, 기존 전역 클러스터링 방법보다 더 세밀한 통찰을 제공함.

5. 의의 및 결론 (Significance)

방법론적 혁신: 기능적 데이터 분석에서 '국소적 클러스터링'을 수행하기 위한 표준적인 접근법으로, B-스플라인의 수학적 성질 (국소 지지) 을 통계적 모델의 의존성 구조와 직접적으로 연결했습니다.
유연성: 마코프 가정의 제한을 넘어, 다양한 의존성 구조를 모델링할 수 있어 복잡한 기능적 데이터의 이질성을 포착하는 데 탁월합니다.
확장성: 제안된 smRPM 은 기능적 데이터 외에도 시계열, 공간 데이터 등 순차적 종속 분할이 필요한 광범위한 베이지안 비모수 통계 문제에 적용 가능한 강력한 도구가 될 것입니다.
실용성: 베니스 석호의 조수위 분석 사례에서 보듯, 환경 모니터링 및 재해 관리와 같은 실제 응용 분야에서 데이터의 미세한 변화를 감지하고 해석하는 데 유용함을 입증했습니다.

이 논문은 베이지안 비모수 통계와 기능적 데이터 분석의 교차점에서, 고차 의존성을 가진 무작위 분할 모델을 통해 국소적 패턴을 효과적으로 학습하는 새로운 패러다임을 제시합니다.