Conformal Prediction with Corrupted Labels: Uncertain Imputation and Robust Re-weighting

이 논문은 라벨이 노이즈가 있거나 누락된 데이터에서도 유효한 불확실성 정량을 위해, 부정확한 가중치 추정에도 견고한 '권위적 컨포멀 예측 (PCP)'의 특성을 분석하고, 가중치 추정에 의존하지 않는 새로운 '불확실성 기반 대체 (UI)' 방법론을 제안하며, 이를 통합하여 최소 한 가지 방법만 유효하면 통계적으로 타당한 예측을 보장하는 삼중 강건 프레임워크를 제시합니다.

핵심

🎬 비유: "실수투성이의 요리 교실"

상상해 보세요. 여러분이 새로운 요리를 배울 수 있는 요리 교실에 들어갔습니다. 하지만 이 교실에는 두 가지 큰 문제가 있습니다.

1. 잘못된 레시피 (Corrupted Labels): 어떤 학생들은 레시피를 잘못 적어왔습니다. "소금 1 큰술"을 "설탕 1 컵"이라고 적어온 거죠.
2. 비밀 재료 (Privileged Information): 요리사 (AI) 는 학생들에게 레시피를 가르칠 때, "이 요리는 비밀 재료 Z를 넣으면 훨씬 맛있다"라고 알려줍니다. 하지만 시험을 볼 때는 그 비밀 재료가 무엇인지 알려주지 않습니다. (예: 학생은 요리사에게 "이 재료는 비싸서 못 사요"라고 말하지만, 요리사는 그걸로 맛을 예측해야 합니다.)

이런 상황에서 요리사 (AI) 가 "이 요리는 90% 확률로 맛있습니다"라고 말하려면 어떻게 해야 할까요?

---

🔍 기존 방법들의 한계

1. naive 한 방법 (Naive CP): "눈 감고 믿기"

• 상황: 잘못된 레시피를 가진 학생들의 데이터는 그냥 무시하고, 남은 학생들만 보고 배웁니다.
• 문제: 잘못된 레시피를 가진 학생들은 특정 조건 (예: 비싼 재료를 못 사는 학생) 에서 더 많이 빠졌을 수 있습니다. 그래서 남은 학생들만 보면 "요리 실력이 좋은 학생들만 남았네?"라고 착각하게 됩니다.
• 결과: AI 는 자신만만하게 "90% 확률로 맛있다"고 하지만, 실제로는 실패할 확률이 훨씬 높습니다. (과신)

2. 가중치 방법 (PCP/WCP): "비밀 재료로 점수 조정하기"

• 상황: "비밀 재료 Z"가 왜 레시피가 잘못되었는지 설명해 준다면, 그 정보를 이용해 학생들의 점수를 조정할 수 있습니다. (예: "비밀 재료가 없는 학생들은 레시피 실수가 많으니, 그들의 점수를 더 중요하게 쳐줘!")
• 문제: 이 방법은 **정확한 조정 비율 (가중치)**을 알아야 합니다. 하지만 현실에서는 그 비율을 100% 정확히 알 수 없습니다. "아마 1.5 배 정도일 거야"라고 추정해서 쓰면, AI 가 다시 실수할 수 있습니다.

---

💡 이 논문이 제안한 두 가지 새로운 해결책

이 연구는 위 방법들의 문제점을 해결하기 위해 두 가지 창의적인 방법을 제시합니다.

1. "불확실한 채우기" (Uncertain Imputation - UI)

• 핵심 아이디어: "잘못된 레시피를 완벽하게 고칠 수는 없지만, 그 불확실성까지 레시피에 포함시켜 보자!"
• 비유:
  • 학생이 "소금 1 큰술"이라고 잘못 적어왔다고 가정해 봅시다.
  • 기존 방법은 "아마 소금 1 큰술일 거야"라고 딱 정해서 고칩니다.
  • UI 방법은 "아마 소금 1 큰술일 수도 있고, 1.5 큰술일 수도 있고, 0.5 큰술일 수도 있어. 이 모든 가능성을 다 포함해서 요리해 보자!"라고 접근합니다.
  • 즉, 잘못된 정보를 고칠 때 "정확한 값"을 넣는 대신, "이 값이 얼마나 불확실한지"를 함께 섞어서 AI 가 학습하게 합니다.
• 효과: AI 는 "이 요리는 불확실성이 크니까, 실패할 수도 있겠구나"라고 더 넓은 범위로 예측하게 되어, 실제 실패율을 정확히 90% 수준으로 맞춥니다.

2. "세 가지 안전장치" (Triply Robust)

• 핵심 아이디어: "어떤 방법이든 하나만 제대로 작동하면, 우리는 안전해!"
• 비유: 비행기가 추락하지 않으려면 엔진 3 개 중 하나만이라도 정상 작동하면 됩니다.
  • 방법 A: 레시피가 원래부터 완벽했다면? (가장 이상적인 경우)
  • 방법 B: 비밀 재료로 점수 조정을 완벽하게 할 수 있다면? (PCP)
  • 방법 C: 불확실성을 섞어서 채우기를 잘했다면? (UI)
• 결과: 이 세 가지 방법 중 하나라도 제대로 작동하면, AI 의 예측은 90% 확률로 맞다는 보장을 받습니다. 하나만 실패해도 다른 두 개가 버텨주는 것입니다.

---

📊 실험 결과: 실제로 효과가 있을까?

연구진은 가상의 데이터와 실제 의료 데이터 (MEPS) 를 가지고 실험을 했습니다.

• 결과: 기존 방법 (눈 감고 믿기) 은 실패율이 90% 를 훨씬 넘겼습니다.
• PCP: 비밀 재료의 비율을 정확히 알면 좋지만, 추정치만 있어도 어느 정도는 작동했습니다. 하지만 추정치가 너무 틀리면 실패했습니다.
• UI (이 논문의 주인공): 비밀 재료의 비율을 몰라도, 불확실성을 섞는 방식으로만으로도 90% 보장을 완벽하게 달성했습니다.
• Triply Robust: 세 가지를 다 합치니, 어떤 상황에서도 실패하지 않았습니다.

---

🏁 결론: 왜 이 연구가 중요할까?

우리가 AI 를 의료, 금융, 자율주행 같은 위험한 상황에 쓸 때, "AI 가 틀릴 확률이 얼마나 될지"를 정확히 아는 게 생명을 구할 수 있습니다.

이 논문은 **"데이터가 더럽고, 정보가 부족해도, AI 가 자신의 실수를 솔직하게 인정하고 (불확실성을 포함), 그 범위를 정확히 잡아낼 수 있는 방법"**을 찾아냈습니다. 마치 비가 오는 날, 우산을 하나만 들고 가도 비를 피할 수 있는 가장 확실한 방법을 찾아낸 것과 같습니다.

한 줄 요약:

"데이터가 엉망이어도, AI 가 '내가 얼마나 모를지'를 정확히 계산하게 해서, 중요한 결정을 내릴 때 실수하지 않도록 지켜주는 새로운 안전장치를 만들었습니다."

기술 요약

1. 문제 정의 (Problem Setup)

• 배경: 현대 머신러닝 모델은 고위험 분야에서 배포되며, 예측의 불확실성을 정량화하는 것이 필수적입니다. 합의 예측 (CP) 은 이론적으로 보장된 커버리지 (Coverage) 를 가진 예측 집합을 생성하는 강력한 도구이지만, 이는 **학습 데이터와 테스트 데이터가 교환 가능 (Exchangeable, i.i.d.)**하다는 가정을 전제로 합니다.
• 도전 과제: 실제 환경에서는 라벨이 노이즈가 있거나 (Noisy) 누락된 (Missing) 경우가 많습니다. 이러한 라벨의 결함은 데이터 분포의 시프트 (Distribution Shift) 를 유발하여, 기존 CP 를 적용하면 원하는 커버리지 (예: 90%) 를 달성하지 못하거나 과도하게 보수적인 결과를 초래합니다.
• 특권 정보 (Privileged Information, PI): 훈련 시에만 사용 가능하고 테스트 시에는 사용 불가능한 추가 정보 $Z$를 가정합니다. 예를 들어, 의료 데이터에서 의사의 진단 보고서 (PI) 는 훈련 시 라벨의 신뢰도를 설명하거나 라벨을 추정하는 데 사용될 수 있지만, 테스트 시에는 환자가 이를 제공하지 않을 수 있습니다.
• 목표: 라벨이 손상된 상태 ($\tilde{Y}$) 이고, 테스트 시 PI($Z$) 가 unavailable 일 때, $P(Y_{test} \in C(X_{test})) \ge 1-\alpha$를 만족하는 예측 집합 $C(X_{test})$를 구성하는 것입니다.

2. 기존 방법 및 한계

• 가중치 합의 예측 (WCP): 라벨 누락 메커니즘을 설명하는 PI 를 사용하여 가중치 (Likelihood Ratio) 를 계산하고 데이터 분포를 보정합니다. 하지만 테스트 시 PI 가 없으면 가중치를 계산할 수 없어 적용이 불가능합니다.
• 특권 합의 예측 (PCP): 훈련 시 PI 를 사용하여 가중치를 추정하고, 이를 기반으로 유효한 예측 집합을 생성합니다.
  • 한계: PCP 는 **정확한 가중치 (True Weights)**를 가정합니다. 실제 응용에서는 가중치를 추정해야 하므로 추정 오차가 발생하며, 이 경우 PCP 가 명목상의 커버리지 (Nominal Coverage) 를 달성하지 못할 수 있습니다.

3. 주요 기여 및 방법론 (Methodology)

이 논문은 두 가지 핵심 기여를 통해 위 문제를 해결합니다.

3.1. PCP 의 가중치 추정 오차에 대한 강건성 분석 (Robustness Analysis of PCP)

• 내용: PCP 와 WCP 가 가중치에 오차 ($\delta$) 가 있을 때에도 유효한 커버리지를 유지할 수 있는 조건을 이론적으로 분석했습니다.
• 발견:
  • 기존 연구들은 최악의 경우 (Worst-case) 를 가정했으나, 본 연구는 Naive CP(단순 CP) 가 오버커버 (Over-coverage) 를 보이는 경우에는 가중치 오차가 크더라도 PCP 가 여전히 유효한 커버리지를 달성할 수 있음을 보였습니다.
  • 반대로 Naive CP 가 언더커버 (Under-coverage) 를 보이는 경우, 가중치 오차는 매우 좁은 구간 내에 있어야 유효성이 보장됩니다.
  • 이는 실제 실험에서 Naive CP 가 오버커버하는 상황에서 PCP 가 가중치 추정 오차에 강건하게 작동함을 입증했습니다.

3.2. 불확실성 보존 임피테이션 (Uncertain Imputation, UI)

• 개념: 가중치 추정에 의존하지 않는 새로운 방법론입니다. 대신 PI 를 사용하여 손상된 라벨을 불확실성을 보존하는 방식으로 임피테이션 (Imputation) 합니다.
• 작동 원리:
  1. PI($Z$) 와 특징($X$) 을 사용하여 라벨을 예측하는 모델 $\hat{g}(X, Z)$를 학습합니다.
  2. 참조 세트 (Reference Set) 에서 $\hat{g}$의 잔차 (Residual Error) 를 계산합니다.
  3. 손상된 라벨이 있는 경우, $\hat{g}$의 예측값에 잔차 분포에서 샘플링된 오차를 더하여 라벨을 임의적으로 복원합니다 ($\bar{Y}_i = \hat{g}(X_i, Z_i) + E(Z_i)$).
  4. 이렇게 생성된 불확실한 라벨을 사용하여 CP 를 수행합니다.
• 이론적 보장: $\hat{g}$가 충분히 정확하고, 임피테이션된 라벨의 분포가 실제 라벨 분포의 피크를 포함하며, 잔차 오차가 PI 조건 하에서 독립적이라는 가정 하에, UI 는 이론적으로 유효한 마진 커버리지를 보장합니다.
• 장점: 가중치 추정이 어렵거나 부정확한 경우에도 (예: 복잡한 누락 메커니즘), PI 가 라벨을 잘 설명할 수 있다면 유효한 예측 집합을 생성합니다.

3.3. 트리플리 로버스트 (Triply Robust) 프레임워크

• 통합: Naive CP, PCP, UI 세 가지 방법의 유효성 조건은 서로 다릅니다.
  • Naive CP: 모델 $\hat{f}$가 이상적일 때 유효.
  • PCP: 라벨 손상 확률 $M|Z$를 정확히 추정할 때 유효.
  • UI: 라벨 $Y|Z$를 정확히 추정할 때 유효.
• 방식: 세 가지 방법에서 생성된 예측 집합의 **합집합 (Union)**을 최종 예측 집합으로 정의합니다.
• 보장: 세 가지 가정 중 적어도 하나가 성립하기만 하면, 트리플리 로버스트 방법은 명목상의 커버리지를 달성합니다.

4. 실험 결과 (Results)

• 합성 데이터 실험:
  • 가중치 오차 분석: Naive CP 가 오버커버하는 시나리오에서 PCP 는 가중치에 큰 오차가 있더라도 유효한 커버리지를 유지했습니다. 반면, Naive CP 가 언더커버하는 경우 가중치 오차는 엄격하게 제어되어야 했습니다.
  • UI vs PCP: 가중치 추정이 매우 어려운 (복잡한 누락 메커니즘) 환경에서는 PCP 가 실패했으나, UI 는 일관되게 90% 커버리지를 달성했습니다.
  • 트리플리 로버스트: 세 구성 요소 중 하나라도 '오라클 (Oracle)' 수준이면 트리플리 로버스트가 유효한 커버리지를 제공함을 확인했습니다.
• 실제 데이터 실험 (MEPS, Facebook, Bio, House 등):
  • 라벨이 20% 누락된 상황에서 Naive CP 와 단순 임피테이션 (Mean Imputation) 은 커버리지를 달성하지 못했습니다.
  • PCP(추정 가중치 사용) 와 제안된 UI 는 모두 목표인 90% 커버리지를 달성했습니다.
  • UI 는 통계적으로 효율적이며 (너무 넓은 구간을 생성하지 않음) 신뢰할 수 있는 불확실성 구간을 제공했습니다.
• 인과 추론 (NSLM 데이터): 개별 치료 효과 (ITE) 의 불확실성 추정에서도 제안된 방법들이 유효함을 입증했습니다.

5. 의의 및 결론 (Significance)

• 이론적 기여: 가중치 기반 CP 방법론 (WCP, PCP) 에 대한 새로운 강건성 이론을 제시하여, 실제 응용에서 가중치 추정이 완벽하지 않아도 될 수 있음을 보였습니다.
• 방법론적 혁신: 가중치 추정에 의존하지 않고 라벨의 불확실성을 직접 모델링하는 'Uncertain Imputation (UI)'을 제안하여, 라벨 손상 문제에 대한 새로운 해결책을 제시했습니다.
• 실용성: 트리플리 로버스트 접근법을 통해, 어떤 특정 가정 (모델 정확도, 가중치 추정, 라벨 추정) 이 성립하는지 알 수 없는 불확실한 환경에서도 신뢰할 수 있는 예측을 보장할 수 있습니다.
• 사회적 영향: 의료, 금융 등 고위험 분야에서 데이터 품질이 낮거나 라벨이 누락된 상황에서도 신뢰할 수 있는 AI 의사결정을 지원할 수 있는 기반을 마련했습니다.

이 논문은 결손된 라벨 데이터를 다루는 CP 의 한계를 극복하고, 이론적 보장을 갖춘 실용적인 불확실성 정량화 프레임워크를 제공한다는 점에서 중요한 의의를 가집니다.