기술적 요약: 다변량 함수형 데이터에 대한 설명 가능한 이상치 탐지

문제 제기

다변량 함수형 데이터 분석 (FDA) 은 여러 변수 (예: 여러 센서의 시계열) 에 걸쳐 연속 함수로 표현된 데이터를 분석하는 것을 포함합니다. 함수형 주성분 분석 (FPCA) 이 주된 도구로 사용되지만, 이상치가 존재할 때 특히 평균 및 공분산 함수의 견고한 추정은 여전히 중요한 과제로 남아 있습니다. 이상치는 비견고한 추정을 심각하게 왜곡시켜 신뢰할 수 없는 결론을 초래할 수 있습니다. 더 나아가, 기존 이상치 탐지 방법들은 대부분 해석 가능성이 부족합니다. 이러한 방법들은 관측치가 비정상적임을 식별할 수는 있지만, 구체적으로 어떤 구성 요소 (변수) 가, 언제, 어디서 편차가 발생했는지에 대한 '왜'라는 질문에 답하지 못합니다.

현재 문헌에는 단변량 함수형 데이터를 위한 견고한 방법과 다변량 설정을 위한 깊이 기반 (depth-based) 접근법이 제시되어 있으나, 특히 분리 가능 공분산 구조 하에서 다변량 함수형 데이터에 대해 견고한 거리 기반 추정과 해석 가능하며 구성 요소 및 시간에 특화된 이상치 설명을 결합한 통합 프레임워크를 제공하는 데에는 격차가 존재합니다.

방법론

제안된 프레임워크는 견고한 공분산 추정, 절단된 다변량 함수형 마할라노비스 거리, 그리고 샤플리 값 기반 분해라는 세 가지 핵심 요소를 통합합니다.

1. 이론적 프레임워크: 분리 가능 공분산 및 기저 표현

본 방법은 다변량 확률 과정 $X(t)$가 분리 가능 공분산 구조를 가진다고 가정합니다. 여기서 공분산 커널 $K(s, t)$는 구성 요소 간의 교차 공분산 행렬 $\Sigma_{row}$와 구성 요소 내의 시간 커널 $\kappa(s, t)$로 분해됩니다:
$$K(s, t) = \Sigma_{row} \kappa(s, t)$$
이산 관측치를 처리하기 위해 데이터는 유한 기저 표현 (예: B-스플라인) 을 사용하여 평활화됩니다. 중요한 이론적 기여는 함수형 과정과 그 계수 행렬 $A$ 간의 직접적인 연결을 확립한 것입니다. $X(t) = A' \phi(t)$일 때, 본 논문은 분리 가능성 하에서 계수 행렬 $A$가 평균 $M_A$와 공분산 $\Sigma_{row}$ 및 $\Sigma_{col}$ ($\Sigma_{col}$은 $\kappa$와 관련됨) 을 갖는 행렬-변량 분포를 따름을 증명합니다. 이를 통해 함수형 마할라노비스 거리를 계수 행렬에 대한 행렬-변량 마할라노비스 거리로 계산할 수 있게 되어 계산 복잡성이 크게 감소합니다.

2. 견고한 추정: MMCD

이상치에 대한 견고성을 보장하기 위해, 본 프레임워크는 계수 행렬의 평균과 공분산을 추정하기 위해 행렬 최소 공분산 결정 (MMCD) 추정량 (Mayrhofer et al., 2025) 을 사용합니다. 이 접근법은 행렬-변량 타원 분포에 대해 매우 견고하고 효율적이며 일관성을 가집니다. MMCD 추정량 ($\hat{M}_A, \hat{\Sigma}_{row}, \hat{\Sigma}_{col}$) 은 견고한 절단된 함수형 마할라노비스 거리를 구성하는 데 사용됩니다.

3. 거리 척도: 절단된 다변량 함수형 마할라노비스 거리 (fMMD)

저자들은 제곱 절단된 함수형 다변량 마할라노비스 준거리 (fMMD) 를 다음과 같이 정의합니다:
$$fMMD^2(X; M) = \sum_{k=1}^{M} \frac{1}{\pi_k} \langle X - \mu, \psi_k \rangle^2$$
여기서 $(\pi_k, \psi_k)$는 공분산 연산자의 고유쌍입니다. 분리 가능성 가정 하에서, 이 거리는 계수 행렬 $A$의 행렬-변량 마할라노비스 거리와 동등함이 입증됩니다. 이 동등성은 견고한 행렬 추정량을 사용하여 효율적인 계산을 가능하게 합니다.

4. 설명 가능성: 샤플리 값 분해

이상치 탐지의 '블랙박스' 성격을 해결하기 위해, 본 논문은 협력 게임 이론에서 유래한 샤플리 값을 일반화하여 전체 이상성 (fMMD) 을 가법적 기여도로 분해합니다.

• 좌표별: 어떤 변수 (구성 요소) 가 이상 현상에 가장 크게 기여하는지 식별합니다.
• 시간별: 어떤 시간 구간이 가장 크게 기여하는지 식별합니다.
• 시간 - 좌표별: 변수와 시간 구간에 따라 기여도를 동시에 분해합니다.

중요하게도, 저자들은 이러한 기여도에 대한 폐형 해 (closed-form solution) 를 유도하여 계산 복잡도를 구성 요소 수에 대해 지수적에서 선형으로 줄이면서도 샤플리 값의 주요 특성 (효율성, 대칭성, 단조성) 을 유지합니다.

주요 기여

1. 다변량 FDA 를 위한 견고한 프레임워크: 본 논문은 분리 가능 공분산 가정 하에서 기저 계수에 적용된 MMCD 추정량을 사용하여 다변량 함수형 데이터의 견고한 평균 및 공분산 추정을 위한 포괄적인 프레임워크를 제시합니다.
2. 함수형과 행렬-변량 분포 간의 이론적 연결: 다변량 함수형 과정에서 공분산 연산자의 분리 가능성이 확률 계수 행렬의 분포에서 특정 분리 가능 구조로 전환됨을 엄밀하게 확립합니다. 이는 함수형 견고성과 행렬-변량 견고성 이론을 연결합니다.
3. 효율적인 설명 가능한 이상치 탐지: 샤플리 값을 함수형 데이터로 일반화하여 다변량 함수형 이상성을 시간별 및 구성 요소별 기여도로 분해하는 원칙적인 방법을 제공합니다. 이러한 분해를 위한 선형 복잡도 알고리즘의 유도는 중요한 계산적 진전입니다.
4. 실증적 검증: 제안된 방법은 광범위한 시뮬레이션과 실제 응용을 통해 검증되었으며, 다양한 이상치 유형 (이동, 형태, 고립, 공분산 유발) 을 탐지하는 효과성과 분리 가능성 가정이 잘못 지정되었을 때에도 견고함을 입증했습니다.

결과

시뮬레이션 연구

제안된 방법 (MMCD 기반 마할라노비스 거리) 을 최첨단 깊이 기반 방법 (예: fSDO, fAO, fDO), 크기 - 형태 플롯, 그리고 함수형 고립 숲과 비교하는 광범위한 시뮬레이션이 수행되었습니다.

• 성능: 제안된 견고한 거리 기반 접근법은 F-점수, AUC, 재현율 측면에서 경쟁 방법들보다 일관되게 우수한 성과를 보였으며, 특히 이동 및 형태 이상치에서 두드러졌습니다.
• 오지정성에 대한 견고성: 데이터가 분리 가능성 가정 (비분리 가능 과정) 을 위반하더라도 제안된 방법은 효과적이었으며, 유리한 편차 - 분산 트레이드오프로 인해 비정규화 표본 공분산 추정량보다 종종 더 나은 성과를 보였습니다.
• 비가우시안 데이터: 두꺼운 꼬리 (t-분포) 환경에서 견고한 방법은 높은 재현율과 AUC 를 유지했으나, 분포의 꼬리와 실제 이상치를 구분하기 어려워 정밀도는 낮았습니다.
• 해석 가능성: 샤플리 값은 이상치를 유발한 특정 좌표와 시간 구간을 성공적으로 식별하여, 지역 오염 시나리오에서 단순 편차 측정법 및 깊이 기반 지역 점수보다 우수한 성과를 보였습니다.

실제 응용 사례

1. 엘니뇨 - 남방 진동 (ENSO): 네 개의 니뇨 지역으로부터의 해수면 온도 (SST) 데이터를 분석했습니다. 다변량 접근법은 단변량 분석보다 더 극단적인 ENSO 사건을 식별했습니다. 샤플리 분해는 엘니뇨 사건이 니뇨 3.4 와 니뇨 3 의 온난화에 의해 주도되었고, 라니냐 사건은 니뇨 4 와 니뇨 3 의 냉각에 의해 주도되었음을 밝혔습니다.
2. 저항 스폿 용접: 자동차 제조의 동적 저항 곡선에 적용되었습니다. 이 방법은 AUC 0.95 를 달성하여 다른 방법들을 능가했으며, 용접 불량 (분출) 사례에서 어떤 용접점과 시간 구간이 비정상적인지 성공적으로 식별했습니다.
3. 출산율: 22 개국의 연령별 출산율 곡선을 분석했습니다. 견고한 방법은 고전적 추정량에 의해 가려진 이상치 (예: 미국, 독일) 를 탐지하고, 다양한 연령대와 수십 년 간의 출산 시기 변화에 대한 해석 가능한 통찰력을 제공했습니다.

중요성과 주장

본 논문은 분리 가능 공분산 구조를 가진 다변량 함수형 데이터를 분석하기 위한 견고하고 해석 가능한 접근법을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 탐지를 넘어 설명으로: 샤플리 값을 통합함으로써, 이 프레임워크는 단순히 이상치를 표시하는 것을 넘어 특정 구성 요소와 시간 기준으로 설명하여 기후학자, 제조 엔지니어 등 도메인 전문가에게 필수적입니다.
• 계산 효율성: 샤플리 값의 복잡도를 지수적에서 선형으로 줄임으로써 고차원 함수형 데이터에 대해 확장 가능한 방법을 제공합니다.
• 견고성: MMCD 추정량의 사용은 탐지 및 해석이 찾으려는 이상치 자체에 의해 왜곡되지 않도록 보장합니다.
• 실용적 유용성: 본 프레임워크는 모델 가정 (분리 가능성, 정규성) 이 완벽하게 충족되지 않더라도 효과적임이 입증되어, 이러한 가정이 종종 근사치인 실제 데이터 분석에 실용적인 도구로 적합합니다.

저자들은 분리 가능성 가정이 모델링을 단순화하지만, 제안된 구조화된 추정량은 중간 크기의 표본에서 제약 없는 추정량보다 더 안정적인 진단을 제공하는 견고한 근사치로 작용한다고 결론지었습니다. 향후 연구는 이러한 견고한 추정 기법을 비분리 가능 공분산 구조로 확장하는 것이 제안됩니다.