funOCLUST: Clustering Functional Data with Outliers

거대한 스파게티 상자를 가지고 있다고 상상해 보세요. 하지만 이것은 단순한 면이 아닙니다. 이들은 하루 동안의 온도 변화, 교통 흐름, 또는 식물의 성장과 같은 것들을 나타내는 구불구불하고 꿈틀거리는 선들입니다. 데이터 과학의 세계에서, 이것들은 **함수형 데이터(functional data)**라고 불립니다. 문제는 무엇일까요? 이 선들은 무한 차원(무한한 점을 가짐)이며, 매우 지저지고 복잡합니다. 때로는 면 하나가 이상하게 꺾이기도 하고, 갑작스러운 폭풍으로 인해 전체 배치가 틀어져 버려 파티를 망치는 "이상치(outliers)"가 생기기도 합니다.

여기에 funOCLUST가 등장합니다. 이는 Katharine M. Clark과 Paul D. McNicholas가 제안한 새로운 방법론입니다. funOCLUST를 완벽한 더미로 스파게티 면을 분류하려고 노력하지만, 그전에 모양이 이상하거나 타버렸거나 부서진 조각들을 솎아내야 하는, 아주 똑똑하면서도 약간 까칠한 셰프라고 생각해보세요.

핵심 아이디어: 꼬불꼬불한 선을 벡터로 바꾸기

무한한 스파게티 면을 일반적인 분류 기계에 그냥 던져 넣을 수는 없습니다. 너무 복잡하기 때문입니다. 저자들은 영리한 기술을 제안합니다: 바로 **곡선을 평탄화하는 것(flatten the curves)**입니다.

그들은 **큐빅 B-스플라인 기저(cubic B-spline basis)**라는 것을 사용합니다. 모든 구불구불한 선을 무한한 점들로 설명하는 대신, 특정 건축 블록을 사용하여 그 선을 어떻게 만들 수 있는지 알려주는 짧은 숫자 리스트(계수)로 설명한다고 상상해 보세요. 이는 복잡한 그림을 간단한 레시피 카드로 바꾸는 것과 같습니다. 곡선이 이러한 짧은 숫자 리스트(벡터)로 변환되면, 문제를 훨씬 다루기 쉬워집니다.

"이상치" 사냥: 로그 가능도 게임

여기서 마법이 일어납니다. 저자들은 일반적인 데이터를 위해 설계된 기존 방법인 OCLUST를 이 새로운 "레시피 카드"에 맞게 변형했습니다.

알고리즘은 "이 하나를 제거한다면 어떨까?"라는 게임을 수행합니다.

1. 전체 곡선 그룹을 살펴봅니다.
2. "만약 내가 이 특정 곡선을 쫓아낸다면, 남은 그룹이 더 완벽하고 깔в듯한 클러스터를 형성할까?"라고 묻습니다.
3. 이를 **부분 집합 로그 가능도(subset log-likelihood)**라는 것으로 측정합니다. 이것을 "깔끔함 점수"라고 생각하세요. 만약 곡 하나를 제거했을 때 점수가 크게 상승한다면, 그 곡은 아마도 문제를 일으킨 범인일 것입니다.
4. 알고리즘은 "문제아"들이 특정 수학적 패턴(이동 및 스케일링된 베타 분포)을 따르는지 확인합니다. 만약 이 이상한 곡들이 이 패턴에 부합한다면, 그들은 공식적으로 이상치로서 퇴출됩니다.

저자들은 만약 곡선들이 표준 가우시안 혼합 모델로부터 생성되었다면, "깔끔함 점수"가 정상적인 곡선을 제거할 때 예측 가능한 방식으로 변한다는 것을 수학적으로 증명했습니다. 만약 점수가 너무 많이 변한다면, 그 곡은 이상치입니다.

논문이 말하는 것 (그리고 말하지 않는 것)

저자들은 셰프의 실력을 테스트하기 위해 100개의 시뮬레이션 데이터셋을 실행했습니다. 그들은 클러스터의 개수, 복잡성, 희소성, 그리고 이상치의 유형을 섞어가며 8가지의 서로 다른 시나리오를 만들었습니다.

• 클러스터: 때로는 2개의 그룹, 때로는 5개의 그룹이 있었습니다.
• 복잡성: 어떤 곡선은 단순했고(직선처럼), 어떤 곡선은 역동적이었습니다(굴곡과 꿈틀거림이 있음).
• 희소성: 데이터가 밀집되어 있기도 했고(많은 점), 희소하기도 했습니다(많은 누락된 점).
• 이상치: 두 가지 유형의 문제아를 만들었습니다. 어떤 것은 "이동-스케일(shift-scale)"형(전체 곡선이 커지거나 이동함)이었고, 다른 것은 "헤비 테일(heavy-tail)"형(무작위의 거친 오류)이었습니다.

결과:

• 헤비 테일 오류: 데이터에 무작위적인 거친 오류가 있을 때, funOCLUST는 funHDDC, T-funHDDC, tkmeans와 같은 경쟁자들을 제치고 명확한 승자가 되었습니다.
• 이동-스케일 오류: 이상치가 정상적인 곡선의 이동 또는 스케일링 버전일 경우, tkmeans(절단된 k-평균 방식)가 실제로 약간 더 나은 성능을 보였지만, funOCLUST 역시 충분히 선방했습니다.
• 실제 테스트 1 (보행자 통행량): 멜버른의 시간당 보행자 통행량 데이터를 테스트했습니다. 알고리즘은 평일과 주말/공휴일을 성공적으로 구분했습니다. 또한 새해 첫날, 크리스마스, 설날 등을 포함한 22개의 "이상치" 날짜를 정확히 식별했습니다. 이 날들은 통상적인 평일이나 주말의 패턴에 맞지 않는 날들이었습니다.
• 실제 테스트 2 (NOx 데이터): 바르셀로나의 대기 오염(NOx 수치) 데이터를 테스트했습니다. 이 방법은 모델 설정에 따라 **0.51에서 0.86 사이의 정확 분류율(CCR)**을 달럽했습니다. 가장 좋은 설정(EEE 공분산 구조)은 0.86에 도달했으며, 이는 다른 상위 방법들과 대등한 수준입니다.

논문이 제외하는 범위

저자들은 자신들의 방법이 무엇이 아닌지 신중하게 밝힙니다.

• 그들은 데이터의 "하위 공간(subspaces)"에서 클러스터링을 시도하는 일부 방법들과 달리, funOCLUST는 **전체 함수 영역(entire functional domain)**을 온전히 유지한다고 명시합니다. 그들은 때때로 단면이 아닌 전체 그림이 필요하다는 점을 주장합니다.
• 그들은 자신들의 방법이 "레시피 카드"(계수)가 다변량 정규 분포를 따른다는 가정에 의존한다는 점을 언급합니다. 만약 데이터가 심하게 왜곡되었거나 이에 부합하지 않는다면 방법이 어려움을 겪을 수 있지만(그럼에도 불구하고 많은 실제 사례에서 충분히 견고하다고 제안합니다), 이 점을 유의해야 합니다.
• 그들은 이것이 모든 함수형 데이터를 위한 "해결된 문제"라고 주장하지 않습니다. 실제로 시뮬레이션에서 5개의 클러스터가 있고 복잡도가 높으며 데이터가 희소한 경우, 이상치를 놓치는 비율(false negative rate)이 **51%**까지 치솟았습니다. 그들은 그러한 특정하고 지저분한 조건에서 이상치를 탐지하는 것이 본질적으로 어렵다는 점을 인정합니다.

결론

이 논문은 funOCLUST가 견고한(robust) 새로운 도구임을 시사합니다. 이것은 모든 것을 즉시 해결하는 마법 지팡이는 아니지만, 특히 데이터에 노이즈가 많거나 헤비 테일 오류가 있을 때 매우 강력한 후보입니다.

저자들은 이것이 OCLUST를 함수형 데이터로 확장한 첫 번째 확장이라고 결론짓습니다. 그들은 이것을 하나의 디딤돌로 봅니다. 향ما 미래에는 왜곡된 데이터를 처리할 수 있도록 확장하거나, 단순히 첫 단계로서가 아니라 클러스터링 알고리즘 내부에서 "레시피"(기저 분해)를 직접 추정할 수도 있다고 제안합니다.

따라서, 만약 당신에게 지저분하고 꿈틀거리는 스파게티 상자가 있고, 타버린 면들을 골라내면서 분류해야 한다면, funOCLUST는 고용할 가치가 있는 셰프입니다. 다만, 스파게티가 너무 이상하거나 주방이 너무 어둡다면 완벽하게 작동할 것이라고 기대하지는 마세요!