Handling Missingness and Censoring in Dirichlet Mixture Models

당신이 스무디를 설명하려고 한다고 상상해 보세요. 하지만 당신은 그 안에 들어있는 과일 중 몇 가지만 맛볼 수 있습니다. 아마 딸기와 바나나가 들어있다는 것은 알지만, 망고와 키위는 블렌더가 숨겨버렸을 수도 있습니다. 데이터 과학의 세계에서 이것을 "구성 데이터(compositional data)"라고 부릅니다. 이는 레시피의 재료나 암석의 화학 성분처럼, 부분이 전체를 어떻게 구성하는지를 설명하는 정보입니다. 까다로운 점은 이 부분들이 서로 묶여 있다는 것입니다. 만약 한 재료가 많아지면, 전체 합이 항상 100%가 되어야 하기 때문에 다른 재료들은 자동으로 줄어들게 됩니다. 과학자들은 산이 어떻게 형성되는지, 혹은 공기가 왜 점점 탁해지는지를 이해하기 위해 이 데이터를 사용합니다. 하지만 큰 문제가 있습니다. 현실 세계의 데이터는 지저집니다. 때로는 센서가 고장 나기도 하고, 때로는 화학 물질이 너무 미세해서 보이지 않기도 하며, 때로는 데이터가 그냥 사라지기도 합니다. 이런 일이 발생하면 일반적인 수학 도구들은 혼란에 빠집니다. 왜냐하면 이 "누락된" 조각들을 처리하지 못하면 스무디 전체를 버리거나, 레시피를 원래와 알아볼 수 없을 정도로 바꿔버려야 하기 때문입니다.

이 논문은 바로 그 골칫거리를 다룹니다. 저자인 제이슨 필리(Jason Pillay)와 그의 팀은 누락된 조각들을 버리지 않는 새로운 방식의 수학을 발명했습니다. 데이터를 억지로 맞는 모양에 끼워 맞추는 대신, 그들은 데이터를 그룹으로 분류하는 동안 누락된 부분이 무엇일지 추측할 수 있는 특별한 "탐정" 알고리즘을 구축했습니다. 이것은 마치 퍼즐 조각 몇 개가 빠진 퍼즐과 같습니다. 포기하는 대신, 탐정은 주변 조각들의 모양을 이용해 빠진 조각이 정확히 어디에 속해야 하는지 알아내며, 그 과정에서 퍼즐의 그림이 원본의 진실을 유지하도록 합니다. 그들은 이 탐정을 사용하여 데이터가 누락된 가짜 데이터와 암석 및 대기 오염에 관한 실제 데이터를 테스트했습니다. 그 결과, 그들의 방식이 누락된 데이터를 그냥 삭제하는 기존 방식보다 올바른 그룹을 찾고 적절한 카테고리 수를 선택하는 데 훨씬 뛰어나다는 것을 발견했습니다. 이는 흐름을 놓치지 않으면서도 불완전한 이야기를 이해하는 방법입니다.

문제: "빠진 조각" 퍼즐

과학에서는 종종 전체를 부분들로 설명하는 데이터를 다룹니다. 다양한 광물로 이루어진 암석이나, 다양한 화학 물질로 가득 찬 공기 한 줌을 상상해 보세요. 규칙은 간단합니다. 모든 부분의 합은 100%가 되어야 합니다. 만약 암석이 50%의 석영이라면, 나머지 모든 것의 합은 50%가 될 수밖에 없습니다. 이것을 "구성 데이터"라고 합니다.

문제는 데이터가 불완전할 때 발생합니다. 특정 광물을 측정하는 기계가 고장 났거나, 화학 물질이 너무 희미해서 보이지 않아 숫자가 숨겨졌을 수 있습니다. 과거에 과학자들에게는 두 가지 나쁜 선택지가 있었습니다:

1. 버리기: 한 조각이 없다는 이유로 샘플 전체를 삭제합니다. 이는 많은 정보를 낭비하게 됩니다.
2. 가짜로 만들기: 수학적 계산을 하기 전에 누락된 숫자를 추측하여 채워 넣습니다. 이는 결과를 속이고 그룹을 잘못 보이게 만들 수 있습니다.

이 논문의 저자들은 세 번째 길을 찾고자 했습니다. 즉, 데이터를 삭제하거나 가짜로 만들지 않고도, "심플렉스(simplex, 100% 규칙을 의미하는 수학적 용어)"에 머물면서 누락된 조각들을 직접적으로 처리하는 방법입니다.

해결책: 스마트한 탐정 알고리즘

저자들은 기댓값 최대화(Expectation-Maximisation, EM) 알고-리즘이라는 유명한 수학 도구의 새로운 버전을 개발했습니다. 이 알고리즘을 지저분한 단서 더미를 서로 다른 그룹으로 분류하려는 아주 똑똑한 탐정이라고 생각하면 됩니다.

이 새로운 방식에서 탐정이 작동하는 방식은 다음과 같습니다:

• 설정: 탐정은 서로 다른 "유형"의 암석이나 공기 샘플(클러스터라고 함)이 존재한다는 것은 알지만, 아직 어떤 샘플이 어떤 유형에 속하는지는 모릅니다.
• 추측 (E-단계): 탐정은 조각이 누락된 샘플을 보더라도 당황하지 않습니다. 보이는 조각들을 보고 이렇게 묻습니다. "만약 이 샘플이 그룹 A에 속한다면, 누락된 조각들은 무엇이 될 가능성이 높을까?" 탐정은 그룹의 규칙을 바탕으로 누락된 부분의 확률을 계산합니다.
• 업데이트 (M-단계): 그 추측들을 사용하여, 탐정은 그룹 A와 그룹 B가 실제로 어떤 모습인지에 대한 이해를 업데이트합니다.
• 반복: 이 과정을 계속 반복합니다. 매 반복마다 추측은 더 정교해지고, 그룹은 더 명확해집니다.

이 과정의 마법은 이 모든 것이 동시에 일어난다는 점입니다. 알고리즘은 누락된 값을 찾아내는 동시에 샘플을 그룹으로 분류하며, 이 모든 과정에서 모든 것이 100%가 되어야 한다는 규칙을 준수합니다.

테스트: 시뮬레이션과 현실 세계의 미스터리

그들의 탐정이 얼마나 유능한지 확인하기 위해, 저자들은 두 가지 유형의 테스트를 실시했습니다.

1. 시뮬레이션 실험실 (가짜 데이터)
그들은 실제 그룹을 알고 있는 상태에서 데이터의 일부를 숨긴(0%에서 90%까지 누락된) 1,000개의 가짜 데이터셋을 만들었습니다.

• 결과: 데이터의 90%가 누락된 상황에서도, 그들의 방식은 놀라운 정확도로 샘플을 분류할 수 있었습니다.
• 비교: 그들은 누락된 샘플을 그냥 삭제하는 기존 방식과 비교했습니다. 데이터가 누락되었을 때, 기존 방식은 올바른 그룹의 수를 찾는 데 실패했습니다. 그러나 새로운 방식은 데이터가 매우 희박한 상황에서도 올-바른 그룹의 수(테스트에서의 4개)를 훨씬 더 자주 찾아냈습니다.
• 검열(Censoring): 그들은 또한 값이 너무 작아서 측정할 수 없는 경우(측정 한계 미만의 화학 물질처럼) 발생하는 "검열된" 데이터도 테스트했습니다. 새로운 방식은 누락된 데이터를 처리하는 것만큼이나 이 방식도 잘 처리했습니다.

2. 현실 세계의 미스터리
그들은 이 방식이 실제 과학적 문제를 해결할 수 있는지 보기 위해 두 가지 실제 데이터셋에 적용했습니다.

• 미스터리 1: 지구의 맨틀 (포획암, Xenoliths)
  그들은 지구 깊은 곳에서 가져온 1,256개의 암석 샘플을 분석했습니다. 이 암석들은 서로 다른 장소에서 서로 다른 도구를 사용하여 수집되었기 때문에 측정값의 33%가 누락되어 있었습니다.

  • 발견: 알고리즘은 암석을 네 개의 뚜렷한 그룹으로 분류했습니다. 이 그룹들은 실제 지질학적 유형과 완벽하게 일치했습니다. 예를 들어, 한 그룹은 마그네슘과 실리콘이 풍부한(지각의 오래된 안정된 부분에서 온 페리도타이트) 형태였고, 다른 그룹은 철과 크로뮴이 더 많았습니다. 이 방식은 지저분한 샘플을 버릴 필요 없이 이러한 암석 유형을 성공적으로 식별해 냈습니다.

• 미스터리 2: 우리가 마시는 공기 (PM2.5)
  그들은 미국의 대기 질 시스템 데이터를 통해 공기 중의 미세 입자를 추적했습니다. 이 데이터에는 누락된 값과 "검열된" 값(측정하기에 너무 작은 화학 물질)이 모두 포함되어 있었습니다.

  • 발견: 알고리즘은 네 가지 명확한 유형의 대기 오염을 찾아냈습니다.
    • 그룹 1: 황산염과 질산염이 많은 차가운 공기 (주로 산업 배출물에서 기인).
    • 그룹 2: 탄소와 질산염이 섞인 형태.
    • 그룹 3: 엄청난 양의 "알 수 없는" 부분(잔여물)이 존재하는 뜨거운 공기 (빛을 잘 흡수하지 않는 보이지 않는 입자들이 존재함을 시사).
    • 그룹 4: 유기 탄소(연기나 배기가스 등)가 지배적인 따뜻한 공기 (도시에서 흔히 나타남).
  • 통찰: 이 방식은 날씨가 따뜻해짐에 따라 오염 구성이 변하며, 상당 부분이 센서가 감지할 수 없는 것들로 이루어져 있다는 것을 보여주었습니다. 이는 과학자들에게 무엇을 주목해야 할지에 대한 새로운 단서를 제공합니다.

이것이 왜 중요한가

이 논문은 우리가 나쁜 데이터를 버리거나 숫자를 가짜로 만드는 것 중 하나를 선택할 필요가 없음을 시사합니다. 게임의 규칙(100% 합계)을 이해하고 누락된 부분을 처리할 수 있는 모델을 구축함으로써, 과학자들은 지저집한 데이터로부터 더 명확한 답을 얻을 수 있습니다.

저자들은 자신들의 방식이 기존의 "나쁜 데이터를 삭제하는" 접근법보다 올바른 그룹의 수를 찾고 샘플을 정확하게 분류하는 데 더 뛰어나다는 것을 발견했습니다. 이 논문이 세상의 모든 문제를 해결한다고 주장하는 것은 아니지만, 암석이나 대기 질 문제에 있어서 이 새로운 탐정이 강력한 도구임을 보여줍니다. 이는 연구자들이 일부 조각이 어둠 속에 숨겨져 있을 때에도 전체 그림을 볼 수 있게 해줍니다.