기술 요약: 함수형 데이터의 완전 무작위 결측(MCAR) 가정 검정

문제 정의

함수형 데이터 분석(FDA)은 전통적으로 관측치가 공통된 도메인 상에서 가용하다고 가정한다. 그러나 많은 실제 응용 분야에서 데이터는 "부분적으로 관측"되며, 즉 각 함수는 도메인 $I$의 부분 집합 $O$에서만 관찰되고 $I \setminus O$에서는 값이 누락된다. 이러한 부분 관측 데이터에 대한 기존의 재구성 및 추론 방법론을 사용하기 위한 핵심 전제 조건은 결측 메커니즘이 **완전 무작위 결측(Missing Completely at Random, MCAR)**이라는 가정이다. 이 가정은 관측된 함수 $X$와 관측 집합 $O$가 독립임을 상정한다.

이러한 MCAR 가정하에서 누락된 함수형 데이터를 복구하는 다양한 방법(예: Delaigle and Hall, 2016; Kraus, 2015)이 존재하지만, 이러한 데이터를 위한 일반적인 통계적 검증 절차는 부족한 실정이다. 다변량 설정에서의 MCAR 검정(예: Little, 1988)은 서로 다른 결측 패턴별로 데이터를 그룹화하는 방식에 의존한다. 그러나 함수형 데이터의 경우 서로 다른 관측 집합의 수가 셀 수 없이 무한하며, 실제로는 모든 관측 패턴이 고유할 수 있기 때문에 이러한 접근 방식은 실행 불가능하다. 본 논문은 $X$와 $O$가 독립인지 여부를 판별하기 위한 일반적인 검정 프레임워크를 개발함으로써 이 간극을 해결하고자 한다.

방법론

1. 관측 집합의 분할

제안된 프레임의 핵심은 관측 집합의 공간 $\mathcal{K}$를 두 개의 서로 소인 부분 집합 $\mathcal{A}$와 $\mathcal{B}$로 분할하는 것이다 ($\mathcal{K} = \mathcal{A} \dot{\cup} \mathcal{B}$).

• 임의적(Ad Hoc) 분할: 단순한 접근법으로 데이터를 "완전한" 함수와 "불완전한" 함수로 나눈다.
• 체계적 클러스터링: 저자들은 중심 기반 클러스터링 접근법을 제안한다. 이들은 대칭 차이 측도(symmetric difference measure) $d(S_1, S_2) = \lambda(S_1 \triangle S_2)$를 사용하여 집합 $S_1, S_2$ 사이의 거리를 정의하며, 이는 지시 함수의 $L^1$ 거리와 대응한다.
• 최적 중심점: 분할은 가장 가까운 중심까지의 기대 거리를 최소화하는 두 개의 최적 중심(중앙값) $M_A$와 $M_B$를 찾는 데 의해 결정된다. 집합 $\mathcal{A}$와 $\mathcal{B}$는 이 중심점들과 관련된 보로노이 셀(Voronoi cells)로 정의된다.
• 도메인 제한: 유효한 비교를 보장하기 위해, 분석은 두 그룹 모두 충분한 커버리지를 갖는(즉, $P(t \in O | \mathcal{A}) > 0$ 및 $P(t \in O | \mathcal{B}) > 0$) 부도메인 $I \subset [0, 1]$로 제한된다.

2. 가설 검정

귀무가설 $H_0$ (MCAR)는 $X$와 $O$가 독립임을 의미한다. 검정 프레임워크는 더 강력한 가설 $H_0^F$를 평가한다:
$$H_0^F: P(X(t) \le z | O \in \mathcal{A}) = P(X(t) \le z | O \in \mathcal{B}), \quad \forall z \in \mathbb{R}, t \in [0, 1].$$
$H_0^F$ 하에서, 관측 집합 그룹에 따른 조건부 분포는 동일해야 한다. 저자들은 두 가지 검정 통계량을 제안한다:

• 평균 비교 ($T_\mu$):
  이 통계량은 두 그룹의 경험적 평균 함수인 $\hat{\mu}_{\mathcal{A}}(t)$와 $\hat{\mu}_{\mathcal{B}}(t)$를 비교한다.
  $$T_\mu = \sqrt{n} \| \hat{\mu}_{\mathcal{A}} - \hat{\mu}_{\mathcal{B}} \|_\infty$$
  저자들은 MCAR 하에서 $T_\mu$가 가우시안 프로세스의 상한(supremum)으로 수렴함을 입증한다. 주요 이론적 기여는 부분적으로 관측된 데이터의 경험적 평균 함수가 일반적으로 불연속적(càdlàg)이라는 점을 처리하는 것이며, 이를 위해 $L^2[0, 1]$나 $C[0, 1]$ 대신 스코로코드 공간(Skorokhod space) $D[0, 1]$을 사용해야 한다.

• 분포 비교 ($T_F$):
  이 통계량은 경험적 조건부 분포 함수 $\hat{F}_{\mathcal{A}}(t, z)$와 $\hat{F}_{\mathcal{B}}(t, z)$를 비교한다.
  $$T_F = n \int_{[0,1] \times \Xi} (\hat{F}_{\mathcal{A}}(t, z) - \hat{F}_{\mathcal{B}}(t, z))^2 d(\lambda \otimes \nu)(t, z)$$
  이는 크래머-폰 미제스(Cramér–von Mises) 유형의 통계량이다. $T_F$는 평균뿐만 아니라 전체 분포의 차이를 감지하므로 평균 비교보다 더 넓은 클래스의 대립 가설에 대해 일관성(consistency)이 있는 것으로 나타났다.

3. 점근 이론 및 구현

본 논문은 귀무가설 하에서 두 검정 통계량의 점근적 분포를 도출한다. 극한 분포는 관측 패턴에 따라 공분산 구조가 달라지는 가우시안 프로세스를 포함한다.

• 공분산 추정: 저자들은 귀무 분포를 근사하는 데 필요한 공분산 함수에 대한 추정치를 제공한다.
• 동시 신뢰 밴드(Simultaneous Confidence Bands): 평균 함수의 차이에 대한 동시 신뢰 밴드를 구축하는 방법을 도입하여, MCAR 위반 가능성을 시각화할 수 있는 그래픽 도구를 제공한다.
• 일관성: 이론적 결과(Theorem 3)는 평균 함수나 분포 함수가 그룹 간에 다를 때 이 검정들이 일관성을 가짐을 입증한다.

주요 결과

시뮬레이션 연구

방법론은 브라운 운동(Brownian motion) 시뮬레이션을 통해 평가되었다:

• 제1종 오류: MCAR 상황에서 두 검정($T_\mu$ 및 $T_F$) 모두 다양한 표본 크기($n=100, 250, 500$)에 대해 명목 수준(0.05)에 가까운 오류율을 유지했다.
• 검정력:
  • 센서링으로 인해 MCAR이 위반된 상황(Missing Not At Random - MNAR)에서, 분포 검정 $T_F$는 평균 검정 $T_\mu$보다 높은 검정력을 보였다.
  • 특히, 조건부 평균이 동일한($\|\mu_A - \mu_B\|_\infty = 0$) 대칭적 센서링 시나리오에서 $T_\mu$는 귀무가설을 기각하지 못했으나, $T_F$는 위반을 성공적으로 탐지했다.
  • 체계적 클러스터링 접근법은 결정론적 분할(예: 완전 vs 불완전)과 비슷하거나 더 나은 성능을 보였으며, 특히 작은 표본 크기에서 그러했다.

실제 데이터 적용

프레임워크는 세 가지 데이터셋에 적용되었다:

1. 심박수 데이터 (Swiss Kidney Project): 878개의 심박수 프로필을 분석하였다. 검정 결과 MCAR 가정을 기각하지 않았다 ($T_\mu$의 $p$-값: 0.765, $T_F$의 $p$-값: 0.911). 이는 결측(장치 제거 또는 고장으로 인한)이 무작위라는 역학적 견해를 뒷받침한다.
2. 전력 가격 데이터: 583개의 주간 가격 곡선을 분석하였다. 검정 결과 MCAR을 강력하게 기각하였다 ($p < 0.001$). 평균 차이 그래프는 유의미한 편차를 보였으며, 이는 관측 기간(더 큰 관측 집합이 더 높은 가격에 대응됨)과 가격 수준이 상관관계가 있는 시장 구조와 일치한다.
3. 온도 데이터: 76개의 일일 온도 곡선을 분석하였다. 검정 결과 MCAR을 기각하였다 ($T_\mu$의 $p$-값: 0.036, $T_F$의 $p$-값: 0.054). 이 결과는 무작위 결측보다는 센서의 기술적 결함(예: 고온에 대한 민감도 또는 전원 문제) 가능성을 시사한다.

의의 및 기여

본 논문의 기여는 다음과 같다:

1. 새로운 프레임워크: 다변량 설정에서 사용되는 패턴 기반 그룹화의 불가능성을 극적으로 극복하여, 함수형 데이터에 대한 최초의 일반적인 MCAR 검정 프레임워크를 도입하였다.
2. 체계적 분할: 단순히 임의적인 정의에 의존하는 대신, Fréchet-Nikodym-Aronszajn 거리에 기반한 데이터 적응형 클러스터링 방법을 제안하여 관측 집합을 체계적으로 분할한다.
3. 이론적 발전: 부분적으로 관측된 평균 함수의 불연속성을 수용하기 위해 스코로코드 공간 $D[0, 1]$에서의 점근적 결과를 확립하였다.
4. 분포 검정의 우월성: 평균뿐만 아니라 고차 모멘트나 분포 형태에 영향을 미치는 결측 상황에서도, 전체 분포를 비교하는 것($T_F$)이 평균을 비교하는 것($T_\mu$)보다 더 견고하고 강력함을 입증하였다.
5. 실용적 유용성: 본 방법론은 연구자들이 실제 세계의 예시(센서 결함 및 시장 주도형 결측 탐지)를 통해 자신의 함수형 데이터 재구성 방법론의 가정을 검증할 수 있는 진단 도구를 제공한다.

저자들은 자신들의 접근 방식이 일반적이기는 하나, 검정의 검정력은 분할 방식에 따라 달라질 수 있다고 언급한다. 그들은 표본 크기가 작은 경우 전문가가 유도한 결정론적 분할이 선호될 수 있으며, 향후 연구에서 그룹 분리를 최적화하기 위한 지도 학습 분류 방법을 탐색할 수 있다고 제안한다.