Informative Label Missingness in Multiclass Classification: Information Geometry and Excess Risk

기술 요약: 다중 클래스 분류에서의 정보성 레이블 결측: 정보 기하학 및 초과 위험

문제 정의
다중 클래스 분류에서, 일부 관측치에 대한 클래스 멤버십이 누락된 부분적 레이블 데이터가 발생한다. 표준적인 준지도 학습은 레이블이 무작위로 누락되는 것으로 가정하는 경우가 많으나(MCAR), 많은 실제 시나리오에서는 관측된 특징 벡터와 분류 모델 파라미터에 따라 레이블이 누락될 확률이 결정되는 정보성(informative) 결측 현상이 나타난다. 이전에 이진 가우시안 등분산 설정에서 확인된 바 있는 역설적인 현상은, 특정 정보성 결측 메커니즘 하에서 부분적으로 레이블링된 샘플이 완전하게 레이블링된 샘플보다 더 낮은 점근적 분류 위험(asymptotic classification risk)을 제공할 수 있음을 시사한다. 그러나 이러한 현상에 대한 이론적 이해는 일반적인 다중 클래스 문제에 있어서 여전히 제한적이다. 기존의 결과들은 이진 구조에 크게 의존하고 있어, 활성 쌍별 면(active pairwise faces)과 고차 접점(higher-order junctions)을 포함하는 다중 클래스 베이즈 경계의 복잡한 기하학적 구조를 설명하지 못한다. 또한, 피셔 정보량(Fisher information)의 전역적인 개선이 반드시 분류 성능의 향상으로 이어지는 것은 아닌데, 그 이유는 위험(risk)이 추정 오차가 결정 경계를 어떻게 교란하는지에 달려 있기 때문이다.

방법론
저자들은 정보 기하학을 분류 위험과 연결하여, 정보성 레이블 결측에 대한 일반적인 가능도 기반 이론을 전개한다.

1. 효율적 정보 분해:
   본 논문은 결측 메커니즘에 특화된 넌스 파라미터($\xi$)를 제거한 후, 분류 파라미터($\theta$)에 대한 효율적 피셔 정보량을 도출한다. 부분 분류 하에서의 유효 정보($I_{PC}^{eff}$)는 다음과 같이 표현된다:
   $$I_{PC}^{eff} = I_{CC} - E[q(Y)I_{Z|Y}(Y)] + I_{M}^{eff}$$
   여기서 $I_{CC}$는 완전한 샘플로부터 얻은 정보이며, 두 번째 항은 누락된 레이블로 인해 손실된 정보를 나타내고(결측 확률 $q(Y)$에 의해 가중치 부여), $I_{M}^{eff}$는 결측 지표 자체로부터 기여하는 효율적 정보이다. 이 분해는 결측된 레이블의 비용이 단순히 전체적인 비율뿐만 아니라, 특징 공간의 어디에서 발생하는지에 따라 달라짐을 강조한다.

2. 초과 위험 기하학:
   저자들은 플러그인 베이즈 분류기(plug-in Bayes classifier)의 초과 분류 위험에 대한 국소 이차 전개를 유도한다. 이들은 위험의 주항(leading term)이 활성 쌍별 베이즈 면(두 클래스의 사후 확률이 동일하면서 다른 모든 클래스보다 높은 상태인 표면)의 곡률에 의해 결정됨을 보여준다. 3차 이상의 접점은 정칙성(regularity) 및 횡단성(transversality) 조건 하에서 고차 항에 기여할 뿐이다. 초과 위험은 다음과 같다:
   $$E[R(\hat{\theta})] - R^* = \frac{1}{2n} \text{tr}(H_R V) + o(n^{-1})$$
   여기서 $V$는 추정량의 점근 공분산 행렬이고, $H_R$은 활성 면에 의해 유도된 곡률 행렬이다.

3. 분류 가중 비교:
   정보 확장을 결합함으로써, 본 논문은 완전 분류와 부분 분류를 비교하기 위한 기준을 수립한다. 초과 위험 차이는 곡률 행렬과 역 정보 행렬의 차이의 곱의 트레이스(trace)에 의존한다:
   $$\Delta R = \text{tr}[H_R (A^{-1} - J^{-1})]$$
   여기서 $A$와 $J$는 각각 완전 분류와 부분 분류에 대한 정보 행렬이다. 일반화된 고유값 분해를 사용하여, 저자들은 정보 이득이 결정 경계를 유의미하게 교란하는 방향에 집중될 때 $\Delta R > 0$(부분 분류가 유리함)이 발생함을 보여준다. 이는 부분 분류가 전역적으로 완전 분류보다 피셔 정보량이 우월하지 않더라도($J \not\succeq A$), 해당 현상이 일어날 수 있음을 의미한다.

4. MCAR 근처에서의 국소 분석:
   논문은 MCAR에서 정보성 결측으로의 전이를 분석한다. 분류 불확실성에 따라 누락된 레이블을 재배치하는 것이 1차 항에서 클래스-레이블 정보의 손실을 변화시키는 반면, 결측 패턴으로부터의 정보 이득은 2차 항에서만 나타난다는 것을 입증한다. 결과적으로, 약한 정보성 결측은 초기에는 분류 성능을 악화시킨 후, 의존성이 강해짐에 따라 유익하게 변할 수 있다.

주요 결과

• 방향성 정렬: 유리한 정보성 결측은 방향성 정렬 현상이다. 부분적으로 분류된 샘플은, 비록 결측 패턴으로부터 얻은 정보가 다른 방향에서는 손실되더라도, 그 정보가 결정 경계에 중요한 파라미터 방향과 정렬될 경우 완전한 샘플보다 더 나은 성능을 낼 수 있다.
• 상전이(Phase Transitions): 불균등한 공분산을 가진 3클래스 가우시안 이차 판별 분석(QDA) 모델에서, 저자들은 "상전이"를 식별한다. 결측률을 고정한 채 분류 불확실성과 결측 간의 의존성 강도가 증가함에 따라, 시스템은 불리한 영역(부분 분류가 더 나쁜 경우)에서 유리한 영역으로 이동한다.
• 기하학 의존성: 분류 이득의 크기와 부호는 기하학적 구조에 민데이션된다. 심각한 클래스 중첩은 이점을 상쇄할 수 있으며, 강한 사전 확률 불균형은 이를 역전시킬 수 있다. 그러나 이러한 이점은 다양한 공분산 이질성 범위 전반에서 지속된다.
• 유한 샘플 검증: 몬테카를로 실험은 점근적 예측이 유한 샘플에서도 유효함을 확인한다. 경험적 초과 위험과 공분산 행렬은 이론적 한계와 일치하며, 성능 순위(정보성 부분 분류 < 완전 분류 < MCAR)가 재현된다.
• 실제 데이터 적용: 척추 질환 데이터셋(세 가지 클래스: 디스크 탈출, 척추 전방 전위증, 정상)에 대한 준-합성 적용을 통해, 정보성 결측 메커니즘을 명시적으로 모델링하는 것이 메커니즘을 무시하는 것보다 확률적 예측(로그 손실, 브라이어 점수)을 개선함을 보여준다. 다만, 0-1 오차의 개선은 미미하며 레지임(regime)에 따라 달라진다.

의의 및 주장
본 논문은 정보성 레이블 결측이 어떻게 그리고 언제 분류 위험 개선으로 이어지는지를 설명하는 일반적인 프레임워크를 제공한다고 주장한다. 이 논문의 주요 기여는 정보성 결측이 유익할 수 있다는 현상 자체의 발견이 아니라, 다음을 수행하는 다중 클래스 이론을 개발한 데 있다:

1. 레이블로부터의 정보 손실과 결측 패턴으로부터의 정보 이득을 분리한다.
2. 이러한 정보 변화를 활성 베이즈 결정 경계의 특정 기하학적 구조와 연결한다.
3. 전역적인 피셔 정보량의 우위가 분류 개선의 필수 조건이 아님을 입증한다. 즉, 정보 이득과 경계 관련 방향 간의 정렬이 핵심 요소임을 보여준다.
4. 이 이득이 보편적인 것이 아니라, 레지임(의존성 강도, 클래스 분리도, 사전 확률 불균형)에 따라 달라짐을 명확히 한다.

저자들은 결론적으로, 부분적으로 레이블링된 샘플의 통계적 가치는 관찰된 레이블의 비율이나 가중치 없는 피셔 정보량 비교만으로는 결정될 수 없다고 밝힌다. 대신, 정보의 획득과 손실이 분류 문제의 기하학적 구조와 어떻게 정렬되는지에 대한 분석이 필요하다.