기술적 요약: 언제 가지치기가 컨포멀 예측에 도움이 되는가?

문제 제기

컨포멀 예측은 보정 및 테스트 점수의 교환성 (exchangeability) 에 의존하여 유한 표본 커버리지 보장을 제공합니다. 그러나 보정 오염 (calibration contamination) 하에서는 이 교환성이 무효화됩니다. 여기서 보정 샘플은 $P^\star = (1-\epsilon)P + \epsilon Q$ 형태의 혼합 분포에서 추출되는데 ($P$는 깨끗한 목표 법칙, $Q$는 알려지지 않은 오염 법칙), 테스트 점은 여전히 $P$에서 추출됩니다.

일반적인 실무자의 대응은 컨포멀 분위수를 계산하기 전에 이상 점수가 높은 보정 점들을 가지치기 (trim) 하는 것입니다. 직관적이지만, 본 논문은 이 절차가 단순히 데이터를 "정화"하는 것이 아니라고 주장합니다. 대신, 이는 보정 법칙을 유지된 법칙 (retained law) $R$로 변환합니다. 깨끗한 목표 $P$에 대한 결과 예측 집합의 유효성은 $R$에서 $P$로의 이전 (transfer) 문제가 됩니다. 핵심 질문은 다음과 같습니다: 어떤 조건에서 가지치기가 실제로 깨끗한 목표 커버리지를 개선하며, 언제는 실패하거나 오히려 성능을 저하시키는가?

방법론

유지된 법칙 프레임워크

저자들은 고정 임계값 가지치기를 데이터 정화가 아닌 조건부 (conditioning) 로 재해석합니다. 이상 점수 $S$와 임계값 $t^\star$가 주어졌을 때, 보정 점들은 $S(Z) \le t^\star$일 때 유지됩니다. 결과적으로 생성된 유지된 보정 집합은 유지된 법칙 $R$에서 독립 동일 분포 (i.i.d.) 를 따릅니다:
$$R = P^\star(\cdot \mid S \le t^\star)$$
이 법칙은 일반적으로 원래 오염된 법칙 $P^\star$도, 깨끗한 법칙 $P$도 아닙니다.

이론적 진단

논문은 유지된 점수의 분포와 유지된 법칙 $R$ 및 깨끗한 법칙 $P$ 간의 관계에 의존하는 정확한 유한 표본 항등식을 유도하여 한계 깨끗한 커버리지를 도출합니다.

이를 실용적으로 만들기 위해 저자들은 스칼라 이전 격차 (scalar transfer gap) $d_{R \to P, +} = \sup_t (F^A_R(t) - F^A_P(t))_+$를 도입합니다. 여기서 $F^A$는 비동일성 점수 $A$의 누적 분포 함수 (CDF) 를 나타냅니다. 커버리지 보장은 다음과 같이 상한이 설정됩니다:
$$\text{Coverage} \ge [1 - \alpha - d_{R \to P, +}]_+$$

$R$의 혼합 분해를 사용하여, 저자들은 이 격차에 대한 성분별 상한을 유도합니다:
$$d_{R \to P, +} \le (1 - \tilde{\epsilon}^\star) \Delta^A_{\text{trim}, +} + \tilde{\epsilon}^\star D_{Q, +}$$
여기서:

1. $\Delta^A_{\text{trim}, +}$ (깨끗한 측 비용): 유지 조건부 조건에 의해 유발된 깨끗한 비동일성 점수 분포의 왜곡입니다. 논문은 이것이 깨끗한 법칙 $P$ 하에서 유지 지표와 비동일성 점수 간의 일측 공분산 (one-sided covariance) 임을 증명합니다.
2. $\tilde{\epsilon}^\star$ (유지된 혼합 계수): 유지된 집합 내의 유효 오염 수준으로, $\tilde{\epsilon}^\star = \frac{\epsilon p_d}{(1-\epsilon)p_c + \epsilon p_d}$로 주어집니다. 여기서 $p_c$와 $p_d$는 각각 깨끗한 점과 더러운 점에 대한 유지 확률입니다.
3. $D_{Q, +}$ (유지된 더러운 불일치): 유지된 더러운 성분과 깨끗한 목표 간의 불일치입니다.

주요 이론적 통찰

• 공분산 항등식: 깨끗한 데이터 가지치기의 비용은 $P$ 하에서 이상 점수 $S$와 비동일성 점수 $A$ 간의 의존성에 의해 결정됩니다. $P$ 하에서 $S$와 $A$가 독립인 경우 (예: 등분산 회귀에서의 공변량 전용 점수), 깨끗한 측 비용은 0 이 됩니다.
• 계수 수준 분리 이분법: 가지치기는 이상 점수가 깨끗한 점과 더러운 점을 분리할 때 ($p_d \ll p_c$) 만 오염을 감소시킵니다. $p_d \approx p_c$인 경우, $\tilde{\epsilon}^\star \approx \epsilon$이 되어 가지치기는 혼합 계수를 감소시킬 수 없습니다. 이러한 "비분리" 영역에서는 가지치기가 오염을 감소시키지 않고 깨끗한 측 왜곡을 도입함으로써 커버리지를 엄격하게 악화시킬 수 있습니다.
• 유한 표본 날카로움: 스칼라 하한은 스칼라 불일치 제약으로만 정의된 문제 클래스 내에서 최소최대 최적 (minimax optimal) 임이 입증되었습니다. 스칼라 격차만 사용하는 균일 하한은 이 값을 초과할 수 없습니다.

인증서 템플릿

실제에서는 모수적 양이 알려져 있지 않으므로, 논문은 수치적 보장을 위한 인증서 템플릿을 제공합니다:

1. 성분별 감사: 독립 정보 (예: 깨끗한 감사 샘플 또는 도메인 지식) 를 사용하여 구성 요소 ($p_c, p_d, \Delta^A_{\text{trim}, +}, D_{Q, +}$) 를 상한합니다.
2. 직접 감사: 독립적인 깨끗한 감사 샘플을 사용하여 최종 선택된 집합을 정확한 이항 역변환 또는 콜모고로프 - 스미르노프 상한을 통해 인증합니다.
3. 동일 샘플 선택: 임계값이 동일한 보정 샘플에서 선택되는 경우를 위해 유한 그리드 경험적 CDF 상한이 제공되며, 이는 $\sqrt{\log K / N}$의 패널티를 수반합니다.

실험 결과

저자들은 공변량 - 기하학적 오염이 있는 이분산 회귀 작업에서 이론을 평가했습니다.

• 점수 가시 영역: 이상 점수 (Stein 점수 - 노름) 가 깨끗한 데이터와 더러운 데이터의 공변량 분포를 효과적으로 분리할 때, 가지치기는 커버리지를 크게 개선합니다. 이 개선은 유지된 혼합 계수 $\tilde{\epsilon}^\star$의 감소 (거의 0 까지 떨어짐) 와 관리 가능한 깨끗한 측 비용에 기인합니다.
• 비분리 영역: 깨끗한 점과 더러운 점이 유사한 유지 확률을 가질 때, 가지치기는 $\tilde{\epsilon}^\star$를 감소시키지 못합니다. 커버리지는 낮게 유지되며, 가지치기가 분리가 없으면 도움이 될 수 없음을 확인합니다.
• 레이블 전용 오염: 응답 $Y$만 오염되고 $X$는 깨끗한 경우, 공변량 기반 가지치기는 영향력을 발휘하지 못합니다. 이 방법은 가지치기가 이러한 설정에서 커버리지를 개선할 수 없음을 올바르게 식별합니다.
• 대규모 표본 크기: 보정 크기 $m$을 증가시키면 유한 표본 여유분은 감소하지만, 유지된 법칙 이전 격차로 인한 모수 수준 커버리지 부족은 제거되지 않습니다. 한계 커버리지는 표본 크기가 아닌 모수 진단에 의해 지배됩니다.

중요성과 주장

본 논문은 "이상치를 제거하면 항상 도움이 된다"는 휴리스틱적 신념을 넘어, 가지치기가 언제 그리고 왜 도움이 되는지 설명하는 모수 수준 진단을 제공한다고 주장합니다.

1. 가지치기 재해석: 가지치기는 원래 법칙의 복원이 아닌 보정 법칙의 변환임을 확립합니다. 유효성은 유지된 법칙에 대해서만 정확하며, 깨끗한 목표로의 이전이 필요합니다.
2. 설계 원칙: 가지치기에 적합한 이상 점수는 깨끗한 집단에서 점수 중립적 (score-neutral) 이어야 (비동일성 점수와의 공분산 최소화) 하며, 깨끗한 집단과 더러운 집단 사이에서는 분리적 (separative) 여야 함을 형식화합니다.
3. 한계: 점수가 유지 확률을 분리하지 못하면 가지치기는 혼합 계수를 통해 오염을 감소시킬 수 없음을 보여줍니다. 이러한 경우 가지치기는 성능을 엄격하게 저하시킬 수 있습니다.
4. 운영적 안전성: 논문은 모수 진단 (알려진 시뮬레이션 법칙을 사용한 기계적 설명) 과 수치 인증서 (독립 감사 데이터가 필요한 보장) 를 구분하여, 실무자가 적절한 감사 없이 이론적 상한을 데이터 기반 인증서로 오인하지 않도록 합니다.

이 연구는 가지치기가 오염에 대한 만능 해결책이 아니며, 그 효과는 이상 점수의 오염 분리 능력과 깨끗한 목표 분포에 대한 중립성 간의 상호작용에 의해 엄격하게 지배된다고 결론지었습니다.