When to Trust Confidence Thresholding: Calibration Diagnostics for Pseudo-Labelled Regression

기술적 요약: 의사표지 회귀를 위한 보정 진단

1. 문제 제기

현대 기계 학습 파이프라인은 increasingly 소규모 레이블이 지정된 부분집합 ($L$) 으로 훈련된 분류기에서 도출된 보정된 확률 점수를 활용하여, 대규모 레이블이 지정되지 않은 집단 ($U$) 에 대한 하위 회귀 작업을 안내합니다. 일반적인 응용 사례로는 잠재 그룹 (예: 공정성 감사에서의 보호 속성 또는 의료 영상에서의 질병 위험) 에 대한 인구 수준의 효과, 유병률, 또는 불평등을 추정하는 것이 포함됩니다.

이 반-지도 학습 설정에서 지배적인 관행은 **의사표지 (pseudo-labelling)**입니다: 이는 신뢰도 임계값 $\tau_{thr}$ (예: 0.9) 을 적용하여 보정된 확률 $p$를 하드 이진 레이블 $\hat{G}$로 변환합니다. 분류 작업에서는 경험적으로 성공적이었으나, 본 논문은 다음과 같은 중요한 격차를 다룹니다: 이 임계값 처리가 하위 회귀 계수에 어떤 편향을 유발하는가? 기존 문헌은 특히 잠재 그룹 지표 $G$와 결과 $Y$ 간의 연관성을 공변량 $X$를 통제하며 추정하는 부분 선형 회귀 모델의 맥락에서, 신뢰도 임계값 처리가 관심 추정량을 어떻게 감쇠시키거나 왜곡하는지에 대한 정량적 설명이 부족합니다.

2. 방법론 및 설정

본 논문은 다음과 같은 프레임워크 내에서 작동합니다:

• 데이터: 두 개의 독립 동일 분포 (i.i.d.) 표본이 관찰됩니다: 레이블이 지정된 집합 $L = \{(W_i, X_i, G_i, Y_i)\}$와 더 큰 레이블이 지정되지 않은 집합 $U = \{(W_i, X_i, Y_i)\}$.
• 특징: 분류기는 특징 집합 $W$로 훈련되며, 하위 회귀는 부분집합 $X \subseteq W$를 통제합니다. 핵심적으로, 식별 가능성을 보장하기 위해 $W$가 $X$보다 엄격하게 풍부해야 한다는 구조적 분리 ($X \subsetneq W$) 를 강제합니다.
• 모델: 목표 매개변수 $\tau$는 부분 선형 회귀를 통해 정의됩니다: $E[Y | G, X] = \mu(X) + \tau G$.
• 가정: 분류기 출력 $p = f(W)$는 조건부 보정되어 $E[G | p, X] = p$를 만족합니다.

동반 식별 결과 [8] 에 기반하여, 저자들은 보정된 점수 $p$를 직접 사용하여 ( "soft" 추정기) $\tau$를 식별하기 위한 모멘트 방정식을 활용합니다. 그런 다음 $p$를 임계값이 적용된 이진 레이블 $\hat{G} = \mathbb{1}\{p > \tau_{thr}\}$로 대체하는 "hard" 추정기의 특성을 분석합니다.

3. 주요 기여 및 이론적 결과

본 논문은 다음과 같이 공식화된 다섯 가지 구체적인 예측과 진단 절차를 도출합니다:

I. 폐형식 감쇠 편향 (예측 1)
본 논문은 하드 의사표지로 인해 유발되는 감쇠 편향에 대한 폐형식 (closed-form) 표현식을 유도합니다. 하드 추정기 $\hat{\tau}_{hard}$의 확률 극한은 다음과 같습니다:
$$\text{plim } \hat{\tau}_{hard} = \kappa(\tau_{thr}) \cdot \tau$$
여기서 감쇠 인자 $\kappa(\tau_{thr})$는 잔차화된 하드 레이블에 대한 잔차화된 소프트 점수의 인구 OLS 기울기입니다.

• 의의: 이 인자는 레이블이 지정되지 않은 집합의 $(p, X)$ 결합 분포로부터만, 어떤 추론을 수행하기 전에 계산 가능합니다. 이는 특정 임계값에서 확률을 이진화할 때 얼마나 많은 신호가 손실되는지를 정량화합니다.

II. 소프트 추정기를 위한 샌드위치 분산 (예측 2)
소프트 추정기 (p 를 직접 사용) 의 점근적 분산은 잔차 점수 분산 $V^* = E[\text{Var}(p|X)]$의 제곱에 반비례하여 스케일링됩니다.

• 함의: 점수의 정보성 (낮은 $V^*$) 이 약간만 감소하더라도 정밀도 손실이 막대하게 발생합니다. 본 논문은 유효한 Wald 구간을 산출하는 샌드위치 분산 플러그인을 제공합니다.

III. 신뢰도 임계값의 편향 - 분산 후회 (예측 3)
의사표지를 신뢰할 수 있는 부분집합으로 제한하는 방법 (예: FixMatch 스타일) 의 경우, 평균 제곱 오차 (MSE) 는 편향 제곱 항 ($\kappa_{FM}$에 의해 주도됨) 과 분산 항 (감소된 표본 크기 $|C|$에 의해 팽창됨) 으로 분해됩니다.

• 발견: 임계값이 더 선택적이 될수록 분산은 단조 증가하는 반면 편향은 변동할 수 있습니다. 전체 MSE 는 종종 분산에 의해 주도되어, "하드" 레이블이 부재함에도 불구하고 많은 영역에서 소프트 추정기가 우월하게 됩니다.

IV. 보정 드리프트 하의 민감도 상한 (예측 4)
보정 조건이 오차 $\eta(p, X)$로 성립하고 이 오차가 $\delta$로 제한되는 유계 분포 이동 하에서, 점근적 편향은 다음과 같이 제한됩니다:
$$|\text{plim } \hat{\tau} - \tau| \leq |\tau| \frac{\delta E|2p-1|}{2V^*}$$

• 함의: 더 높은 잔차 분산 $V^*$ (더 많은 정보를 가진 점수) 은 주어진 수준의 보정 드리프트에 대해 최악의 경우 편향을 비례적으로 감소시킵니다.

V. $V^*$-붕괴 경계 (예측 5)
본 논문은 날카로운 경계를 식별합니다: $V^* = 0$일 필요충분조건은 $p$가 $X$의 결정론적 함수인 경우입니다.

• 구조적 요구사항: 분류기 특징 $W$가 하위 통제 $X$와 동일하다면, $p = f(X)$가 되고 $V^*=0$이 되며 모멘트 방정식은 정보성이 없어집니다 (식별 실패). 해결책은 하위 회귀에서 통제되지 않는 특징을 포함하도록 $W$를 보장하는 것입니다.

4. 진단 절차

저자들은 실무자가 신뢰도 임계값 처리가 안전한지 결정하기 위한 실용적인 한 페이지 진단 알고리즘 (알고리즘 1) 을 제안합니다:

1. $V^*$ 계산: 레이블이 지정되지 않은 집합에서 $X$를 회귀한 후 보정된 점수의 잔차 분산을 추정합니다.
2. $\hat{\kappa}$ 계산: 임계값의 그리드에 대해 감쇠 인자를 추정합니다.
3. 결정 규칙:
   • 소프트 추정기의 암시적 표준 오차가 너무 높다면 (낮은 $V^*$로 인해), 지도 학습 기준선 (L 만 사용) 을 선호합니다.
   • 모든 임계값에 대해 $\hat{\kappa}$가 1 에서 멀다면, 하드 임계값 처리는 상당한 감쇠를 유발하므로 소프트 추정기를 선호합니다.
   • 그 외의 경우 둘 다 허용되지만, 임계값 선택에 대한 강건성 때문에 소프트 추정기를 권장합니다.

5. 실험 결과

본 논문은 다섯 가지 통제 시뮬레이션과 UCI 성인 소득 데이터셋에 대한 실제 데이터 예시를 통해 이러한 예측을 검증합니다:

• 감쇠: $\hat{\tau}_{hard}$의 경험적 추정치는 여섯 가지 다른 임계값에 걸쳐 폐형식 $\kappa(\tau_{thr})$ 예측과 높은 통계적 유의성으로 일치했습니다.
• 분산: 샌드위치 분산 공식은 몬테카를로 분산을 정확하게 예측하고 명목상 95% 커버리지를 달성했습니다.
• 후회: 실험은 높은 신뢰도 임계값이 종종 분산 팽창으로 인해 높은 MSE 로 이어진다는 것을 확인하여 편향 - 분산 트레이드오프 분석을 검증했습니다.
• 민감도: 유도된 민감도 상한은 다양한 보정 드리프트 시나리오 하에서 유지되었으며, 경험적 편향은 이론적 최악의 경우 봉투보다 훨씬 낮게 유지되었습니다.
• 실제 사례: UCI 성인 실험에서 진단은 레이블이 지정된 집합이 충분히 정보성이 있고 조건부 확률이 통제에 의해 잘 설명되었기 때문에 (낮은 $V^*$ 대비 노이즈), 지도 학습 기준선 (L 에 대한 OLS) 이 의사표지 추정기보다 우수하다는 것을 올바르게 식별했습니다. 반면, 진단은 이 데이터셋의 하드 레이블이 분류기 특징의 풍부함으로 인해 최소한의 감쇠 ($\hat{\kappa} \approx 0.92$) 를 초래했음을 보여주었습니다.

6. 의의 및 주장

본 논문은 새로운 알고리즘 아키텍처가 아닌 운영적 기여를 주장합니다. 새로운 의사표지 알고리즘을 제안하거나 FixMatch 와 같은 최첨단 분류 손실과 경쟁하지 않습니다. 대신 다음과 같은 것을 제공합니다:

1. 신뢰도 임계값 처리가 하위 회귀 계수에 편향을 유발하는 이유에 대한 정량적 정당화.
2. 실무자가 사전에 하드 레이블 사용이 안전한지, 아니면 소프트 점수나 순수 지도 접근법을 고수해야 하는지 계산할 수 있게 하는 진단 도구 ($(V^*, \kappa)$ 결정 규칙).
3. 분류기 특징 ($W$) 과 하위 통제 ($X$) 간의 분리가 단순한 설계 선택이 아니라 이 설정에서 식별을 위한 수학적 필수조건이라는 구조적 통찰.

저자들은 그들의 프레임워크가 "보정 인식 (calibration-aware)"이라고 강조하며, 분류기의 보정이라는 추상적 품질을 하위 추정 편향에 대한 구체적인 상한으로 변환하여 분류 성능과 인과/연관 추론 간의 격차를 해소합니다.