SSLfmm: An R Package for Semi-Supervised Learning with Mixed Missingness

SSLfmm: 혼합 결측(Mixed Missingness)을 고려한 준지도 학습을 위한 R 패키지 기술 요약

문제 정의
본 논문은 모든 훈련 데이터에 대해 특징 벡터(feature vectors)는 완전히 관찰되지만, 클래스 레이블은 일부 데이터에 대해서만 가용할 때 발생하는 준지도 학습(semi-supervised learning, SSL) 시나리오를 다룹니다. 이는 흔히 모델링되지 않는 중요한 측면으로, 레이블 가용성을 결정하는 메커니즘입니다. 표준적인 SSL 절차들은 일반적으로 레이블의 누락을 왜 누락되었는지에 대한 모델링 없이 단순히 미관찰된 잠재 클래스로 취급합니다. 그러나 저자들은 결측 과정 자체가 분류에 유용한 정보를 포함할 수 있다고 주장합니다. 구체적으로, 본 논문은 다음을 구분합니다:

• 완전 무작위 결측 (Missing Completely at Random, MCAR): 레이블 가용성이 관찰된 특징이나 클래스와 관련이 없는 경우.
• 무작위 결측 (Missing at Random, MAR): 결측된 레이블의 확률이 관찰된 특징(구체적으로 분류 불확실성/엔트로피)에는 의존하지만, 결측된 레이블 자체에는 의존하지 않는 경우.
• 혼합 결측 (Mixed Missingness): 결측된 레이블이 MCAR 메커니즘 또는 MAR 메커니즘으로부터 발생하며, 이 두 가지가 혼합된 시나리오입니다. 결정적으로, 결측의 원인(MCAR 대 MAR)은 관찰 가능하거나(데이터에 기록됨) 잠재적(관찰되지 않으며 총체적인 결측 지표만 가용함)일 수 있습니다.

방법론
저자들은 가우시안 유한 혼합 모델(Gaussian finite mixture models)을 사용하는 우도 기반 프레임워크를 제안하며, 여기서 클래스 분포와 레이블 결측 과정이 결합되어 모델링됩니다. 핵심 통계 공식은 다음과 같습니다:

1. 클래스 모델: 각 클래스 $i$는 사전 확률 $\pi_i$를 갖는 다변량 가우시안 밀도 $f_i(y; \omega_i)$와 연관됩니다.
2. 결측 모델:
   • 엔트로피 기반 MAR 메커니즘의 경우, 결측 레이블의 확률은 관찰값의 샤논 엔트로피 $e(y; \theta)$에 대한 로지스틱 함수를 통해 모델링됩니다: $q_j = \text{logit}^{-1}(\xi_0 + \xi_1 \log e(y_j; \theta))$, 여기서 $\xi_1 > 0$입니다.
   • 혼합 메커니즘의 경우, 결측 확률은 MCAR 확률 $\alpha$와 MAR 확률 $(1-\alpha)q_j$의 혼합으로 모델링됩니다.
3. 추정 (ECM 알고리즘): 파라미터는 기대-조건부 최대화(Expectation-Conditional Maximisation, ECM) 알고리즘을 사용하여 추정됩니다.
   • E-step: 사후 클래스 확률을 계산하고, 결측된 클래스 지표를 조건부 기댓값으로 대체합니다.
   • C-steps:
     • 결측 원인이 관찰된 경우, 알고리즘은 알려진 원인 지표를 바탕으로 MCAR 확률 $\alpha$와 MAR 파라미터 $\xi$를 각각 별도로 업데이트한 후 클래스 파라미터 $\theta$를 업데이트합니다.
     • 결측 원인이 잠재적인 경우, 알고리즘은 각 결측 레이블이 MCAR 채널에서 왔는지 또는 MAR 채널에서 왔는지에 대한 특정 메커니즘을 잠재 변수로 취급합니다. 그 후, 결측 레이블이 MCAR 채널과 MAR 채널 중 어느 것에서 발생했는지에 대한 사후 확률을 계산하고, $\alpha$, $\xi$, $\theta$를 반복적으로 업데이트합니다.

SSLfmm R 패키지
본 논문은 이러한 방법들을 구현한 SSLfmm R 패키지를 소개합니다. 주요 기능은 다음과 같습니다:

• 통합 인터페이스: 단일 함수 fit_sslfmm()이 완전 사례(complete-case), MCAR, 엔트로피 기반 MAR, 그리고 혼합 MCAR/MAR 분석을 모두 처리합니다.
• 원인 처리: indicator = "observed"(사용자가 결측 원인을 제공하는 경우)와 indicator = "latent"(원인이 추론되는 경우)를 모두 지원합니다.
• 기능성: 모델 피팅, 예측(클래스, 사후 확률, 엔트로피), 성능 평가(정확도, F1, 로그 손실, Brier 점수), 혼합 결측 데이터 시뮬레이션, 엔트로피 기반 진단 도구를 포함합니다.
• 강건성: 특히 잠재적 원인 모델의 경우 비볼록성(non-convexity)을 처리하기 위해 다중 시작값(multiple starting values)과 유계 수치 최적화(bounded numerical optimisation)를 사용합니다.

결과 및 예시
논문은 두 가지 주요 예시를 통해 패키지를 검증합니다:

1. 재현 가능한 시뮬레이션: 1,000개의 관측치와 31.9%의 결측 레이블(혼합 MCAR/MAR로 생성됨)을 가진 시뮬레이션을 통해 관찰된 원인 적합 모델과 잠재적 원인 적합 모델을 비교합니다.
   • 두 공식 모두 결측 레이블 부분집합에 대해 유사한 분류 성능(정확도 $\approx$ 0.806–0.809)을 달성했습니다.
   • 잠재적 원인 모델은 생성 파라미터($\alpha$, $\xi_0$, $\xi_1$)를 합리적인 정확도로 성공적으로 회복했으나, 추정치는 관찰된 원인 적합 모델보다 약간 더 높은 변동성을 보였습니다.
   • 엔트로피 진단은 MAR 메커니즘 하에서 생성된 관측치가 모델 설계와 일치하게 더 높은 분류 엔트로피를 나타냄을 확인했습니다.
2. 준합성 적용 (혈액 수혈 데이터): MCAR 및 MAR 부분집합을 만들기 위해 레이블을 인위적으로 제거한 실제 데이터셋을 사용하여, 동일 공분산 및 불일치 공분산 가정 하에서 MCAR, MAR, 혼합 모델을 비교했습니다.
   • 혼합 모델은 결측 레이브 부분집합에 대해 하드 분류 정확도(hard classification accuracy), 균형 정확도(balanced accuracy), 매크로 F1 점수 측면에서 순수 MCAR 및 순수 MAR 모델보다 일관되게 우수한 성능을 보였습니다.
   • 혼합 모델은 실제 구축 값(0.10)에 근접한 MCAR 확률($\alpha$)을 추정했습니다.
   • 엔트로피 진단 결과, "MAR" 부분집합(분류하기 어려운 지점들로 구성됨)이 "MCAR" 및 "관찰된" 부분집합보다 실제로 더 높은 엔트로피를 가짐을 보여주어, 피팅된 모델의 해석 가능성을 검증했습니다.

의의 및 주장
저자들은 SSLfmm을 일반적인 클러스터링 엔진이 아니라, 모델 기반 준지도 학습과 우도 기반 결측 데이터 모델링 사이를 잇는 특화된 도구로 포지셔닝합니다.

• 차별적 기여: 기존 패키지들(예: mclust, Rmixmod)이 구성 분포에 집중하거나 결측된 *특징(features)*을 다루는 것과 달리, SSLf받은 결측된 *레이블(labels)*의 확률적 과정을 명시적으로 모델링합니다.
• 참신함: 결측 원인이 관찰되거나 잠재적일 수 있는 혼합 MCAR/MAR 메커니즘을 지원하며, 각 경우에 대해 별도의 ECM 알고리즘을 활용하는 최초의 구현체입니다.
• 실용적 유용성: 이 패키지를 통해 연구자들은 공통된 프레임워크 내에서 레이블 결측에 대한 가정을 피팅, 비교 및 진단할 수 있습니다.
• 제한적 범위: 저자들은 한계점도 인정합니다: 현재 구현은 완전히 관찰된 특징과 가우시안 클래스 조건부 분포를 가정합니다. 또한 결측 원인이 잠재적인 경우, 데이터가 MCAR과 MAR의 기여도를 분리할 수 있는 제한된 정보를 담고 있을 수 있으므로, 진단 결과와 함께 피팅된 파라미터를 신중하게 해석해야 한다고 주의를 줍니다. 저자들은 혼합 모델이 항상 우세할 것이라고 주장하는 것이 아니라, 레이블 가용성에 대한 가정이 추정과 예측에 어떻게 영향을 미치는지 연구할 수 있는 유연한 프레임워크를 제공하는 것을 목표로 합니다.