기술 요약: 불확실성 의존적 결측 레이블로부터의 학습: 준지도 분류를 중심으로

1. 문제 정의

준지도 분류(semi-supervised classification)에서 결측된 레이블은 전통적으로 정보 손실의 원인으로 간주되어, 효율성을 저하시키고 추론을 복잡하게 만드는 요소로 여겨져 왔다. 그러나 의료 영상, 능동 학습(active learning), 온라인 모더레이션과 같은 많은 실제 시나리오에서 레이블의 결측은 단순히 무작위로 발생하는(MAR) 수동적인 현상이 아니다. 대신, 레이블이 누락될 확률은 관찰된 특징($Y$)뿐만 아니라, 결정적으로 레이블 모델 자체에서 도출된 사후 분류 불확실성(posterior classification-uncertainty)에 의존하는 경우가 많다.

본 논문이 다루는 핵심 문제는 이러한 **불확실성 의존적 결측 레이블(uncertainty-dependent missing labels)**의 정보 함유량을 어떻게 특징지을 것인가이다. 고전적인 정보 이론은 전체 실험의 축소된 버전을 관찰하는 것이 증강된 전체 데이터 실험보다 정보를 증가시킬 수 없다고 규정하지만, 본 논문은 불확실성에 의해 생성된 결측 지표($M$)가 고정된 예산 하에서 표준적인 완전 레이블링 또는 비정보적 부분 레이블링 베이스라인에 비해 추정과 분류 성능을 개선할 수 있는 관측 가능한 신호로서 작-용할 수 있는지 조사한다.

2. 방법론

2.1. 통계적 프레임워크

저자들은 $g$개의 클래스, 특징 $Y$, 레이블 $Z$를 갖는 분류 설정을 고려한다. 결측 지표 $M \in \{0, 1\}$는 레이블이 관찰되었는지($M=0$) 또는 결측되었는지($M=1$)를 나타낸다. 결측 메커니즘은 다음과 같이 모델링된다:
$$r_{\theta,\xi}(Y) = \Pr(M=1 \mid Y; \theta, \xi) = h\{\eta_{\theta,\xi}(Y)\}$$
여기서 $h$는 역 링크 함수(inverse link function)이며, $\eta_{\theta,\xi}(Y)$는 레이블 모델 파라미터 $\theta$, 메커니즘 파라미터 $\xi$, 그리고 사후 분류 불확실성 요약 $u(Y; \theta)$에 의존하는 예측 변수이다. $u(Y; \theta)$의 예로는 사후 섀넌 엔트로피(Shannon entropy), 음의 로그 엔트로피(negative log-entropy), 또는 사후 분산(posterior variance) 등이 있다.

관측 데이터 가능도(observed-data likelihood)는 다음과 같이 구성된다:
$$L(\theta, \xi) = \prod_{j=1}^n \{p_\theta(Y_j, Z_j)[1 - r_{\theta,\xi}(Y_j)\}^{1-M_j} \{p_\theta(Y_j)r_{\theta,\xi}(Y_j)\}^{M_j}$$
여기서 첫 번째 항은 레이블이 관찰되었을 때 적용되며, 두 번째 항은 레이블이 결측되었을 때(주변 특징 밀도) 적용된다.

2.2. 정보 분해 (Information Decomposition)

본 논문의 핵심 방법론적 기여는 관측된 피셔 정보(observed Fisher information) $I_{obs}(\theta)$를 분해하는 것이다.

정확히 명시된 경우 (Correctly Specified Case):
저자들은 루이스(Louis)의 관측 정보 항등식을 사용하여, 정보를 부분 레이블링 성분과 메커니즘 곡률(mechanism-curvature) 항으로 분리하는 분해식을 유도한다:
$$I_{obs}(\theta) = \underbrace{I_{CC}(\theta) - I_{CC}^{(miss,r)}(\theta, \xi)}_{\text{부분 레이블링 성분}} + \underbrace{I_{mech}(\theta, \xi)}_{\text{메커니즘 곡률}}$$

• $I_{CC}(\theta)$: 완전 데이터 피셔 정보(Complete-data Fisher information).
• $I_{CC}^{(miss,r)}(\theta, \xi)$: 가중 결측 정보 손실.
• $I_{mech}(\theta, \xi)$: 관측된 결측 지표 $M_j$에 의해 기여되는 곡률을 정량화하는 양의 준정부호(positive semidefinite) 항이다. 로지스틱 링크의 경우, 이 항은 결측 확률의 분산과 불확실성 요약의 그래디언트에 의존한다.

오설정된 경우 (Misspecified Case):
실제 상황에서는 레이블 모델과 메커니즘 모두 오설정될 수 있음을 인지하여, 저자들은 Godambe–Eicker–Huber–White (샌드위치) 공분산 프레임워크로 확장한다. 그들은 $(\theta, \xi)$의 공동 추정을 위한 민감도 및 샌드위치 공분산 분할을 유도하며, 구조적 분해(부분 레이블링 + 메커니즘 곡률)가 오설정 하에서도 유지되지만, 불확실성 정량화가 역 피셔 정보에서 샌드위치 공분산으로 전환됨을 보여준다.

2.3. 이론적 경계 (Theoretical Bounds)

본 논문은 부분적으로 레이블링된 실험과 레이블 및 메커니즘 지표가 모두 관찰된 "증강된(augmented)" 실험 사이의 관계를 명확히 한다. 연구 결과, 불확실성 의존적 결측은 유리한 결측(favorable missingness)(예산이 일치하는 비정보적 베이스라인보다 더 높은 정보를 제공함)을 제공할 수 있지만, 증강된 전체 데이터 $(Y, Z, M)$의 정보 경계를 초과할 수는 없음을 증명한다. 관측된 데이터 $(Y, M, Z_{obs})$는 증강된 데이터의 조립(coarsening)이며, 표준 정보 부등식을 만족한다.

2.4. 리스크 분석 (Risk Analysis)

플러그인 분류기(plug-in classifiers)에 대해, 저자들은 정보 분해를 **마진 기반 초과 리스크 경계(margin-based excess-risk bounds)**와 연결한다. 정규적인 2성분 혼합 설정(two-component mixture settings)에서, 그들은 초과 리스크가 파라메트릭 속도 $O_p(n^{-1})$로 수렴함을 입증한다. 이 속도의 상수는 판별 방향에서의 넌서스(nuisance) 조정된 정보에 의해 결정되며, 이는 유리한 메커니즘 곡률이 결정 경계(decision boundary)의 점근적 분산을 줄일 수 있음을 시사한다.

3. 주요 기여

1. 정보 분해: 비음의 "메커니즘 곡률" 항을 명시적으로 분리하는 피셔 정보 분해를 유도하였다. 이 항은 불확실성에 의존하는 결측 지표가 분류기에 대한 추가적인 정보를 어떻게 전달하는지를 설명한다.
2. 오설정 하의 강건성: 레이블 분포와 결측 메커니즘의 공동 오설정 하에서도 유효한 샌드위치 공분산 프레임워크로의 확장을 통해, 실제 환경에서 작업 모델(working models)을 사용할 때의 엄밀한 추론 근거를 제공한다.
3. 초과 리스크 속도: 불확실성 의존적 결측 하에서의 플러그인 분류기에 대한 마진 기반 초과 리스크 경계를 확립하여, 유리한 결측이 고정된 레이블링 예산 하에서 분류 성능(낮은 점근적 분산)을 개선할 수 있음을 입증하였다.
4. "유리한 결측"의 명확화: 유리한 결측이 클래식한 정보 이론의 증강된 전체 데이터 실험에 대한 위반이 아니라, 일반적인 완전 레이블링 또는 예산이 일치하는 비정보적 베이스라인에 대한 상대적 이득임을 엄밀하게 정의하고 증명하였다.

4. 결과

4.1. 수치적 예시 (가우시안 혼합 모델)

• 정보 이득: 2성분 가우시안 혼합 설정에서, 몬테카를로 시뮬레이션은 엔트로피 의존적 결측 메커니즘이 동일한 결측률을 가진 비정보적(MCAR) 베이스라인에 비해 판별 방향을 따라 피셔 정보를 3배 증가시킬 수 있음을 보여준다.
• 레짐 의존성: 정보 이득은 결측률 및 설계 민감도에 대해 비단조적(non-monotonic)이다. 정보 이득은 클래스 중첩이 적당하고, 결측률이 과도하지 않으며, 결측을 고불확실성 관측치에 집중시키면서도 포화되지 않는 충분한 민감도를 가진 메커니즘을 가질 때 극대화된다.
• 비용-편익 분석: 고정된 총 예산(특징 수집 비용과 레이블링 비용의 균형) 하에서, 최적의 결측률은 상대적인 레이블링 비용에 따라 증가한다. 불확실성 의존적 설계는 완전 감독 설계와 비교하여 추정 효율성을 유지하거나 개선하면서도 더 큰 특징 샘플 크기를 확보할 수 있게 한다.

4.2. 사례 연구 (의료 진단)

본 프레임워크는 내시경 전문의의 합의(consensus)로부터 레이블이 도출된 위장관 데이터셋(결장경 비디오)에 적용되었다.

• 메커니즘 검증: 데이터 분석 결과, 레이블 결측(합의 부재)은 높은 사후 엔트로피(불확실성)와 강한 상관관계가 있음이 확인되었다.
• 성능: 엔트로피 기반 준지도 학습(SSL) 모델은 사용 가능한 35개의 레이블된 사례만으로 훈련된 지도 학습 벤치마크보다 우수한 성능을 보였다.
  • SSLlogit 모델은 지도 학습 벤치마크의 예측 오차율(0.1775)보다 낮은 예측 오차율(0.1325)을 달 기록하였다.
  • SSL 모델들은 더 큰 적합 피셔 정보 행렬을 나타냈으며, 이는 메커니즘 곡률 항에 의해 구동되는 높은 추정 효율성을 시사한다.

5. 의의 및 주장

본 논문은 불확실성 의존적 결측이 준지도 학습의 정보 기하학을 어떻게 재구성하는지를 이해하기 위한 **가능도 기반 프레임워크(likelihood-based framework)**를 제공한다고 주장한다. 그 의의는 다음과 같다:

• 결측의 재정의: 결측된 레이블을 단순히 임퓨테이션(imputation)하거나 무시해야 할 방해 요소가 아니라, 추론을 개선하기 위해 명시적으로 모델링할 수 있는 구조화된 신호로 관점을 전환하였다.
• 역설의 해결: "유리한 결측"이 고전적 정보 이론을 위반하는 것이 아니라, 결측 지표 $M$이 분류기의 불확실성과 연결된 메커니즘에 의해 생성되는 관측 가능한 변수라는 점을 이용하는 것임을 명확히 하였다.
• 실용적 유용성: 결측 메커니즘(예: 엔트로피 기반 마스킹)을 명시적으로 모델링하는 것이 고정된 자원 제약 하에서 매개변수 추정(피셔 정보 증가를 통해)과 분류 정확도(초과 리스크 감소를 통해) 모두를 개선할 수 있음을 입증하였다.
• 강건성: 레이블 분포나 결측 메커니즘을 위한 작업 모델이 불완전한 경우가 일반적인 실제 환경에서도 유효한 (샌드위치 추정량을 통한) 이론적 토대를 제공한다.

저자들은 유리한 결측의 이득이 국소적이고 레짐에 따라 달라질 수 있지만, 본 프레임워크가 더 효율적인 준지도 학습을 위해 선택 효과(selection effects)를 활용하는 원칙적인 방법을 제시한다고 결론짓는다.