Conformal Prediction for Long-Tailed Classification

이 논문은 긴 꼬리 분포를 가진 분류 문제에서 기존 방법의 한계를 극복하고, 예측 집단의 크기와 클래스별 커버리지 간의 균형을 이루는 새로운 컨포멀 예측 기법을 제안하고 실증합니다.

핵심

🌿 배경: "식물 찾기 앱"과 AI 의 딜레마

상상해 보세요. 여러분이 산책하다가 이상한 식물을 발견하고, 스마트폰 앱에 사진을 찍어 올렸다고 가정해 봅시다.

• 기존 AI 의 방식: "이건 장미입니다!"라고 단정적으로 말합니다. 하지만 만약 그 식물이 아주 드문 희귀 식물이라면, AI 는 "장미"라고 잘못 추측할 확률이 높습니다.
• 이론적 이상향: AI 가 "이건 장미일 수도 있고, 국화일 수도 있고, 희귀한 야생화일 수도 있어요"라고 **후보 목록 (Prediction Set)**을 줍니다. 사용자가 목록을 보고 직접 확인하면 되죠.

하지만 여기서 큰 문제가 생깁니다.
세상에는 흔한 식물 (장미, 국화) 은 수천 장의 사진이 있지만, 희귀한 식물 (멸종 위기종) 은 사진이 몇 장뿐입니다.

• 방법 A (소량 목록): 목록을 짧게 줄이면 (예: 1~2 개), 흔한 식물은 잘 맞지만, 희귀 식물은 절대 목록에 들어오지 않습니다. (사용자가 "아, 이 희귀한 식물도 있구나!"라고 발견할 기회를 놓침)
• 방법 B (대량 목록): 희귀 식물도 목록에 넣으려면, 목록을 수천 개로 늘려야 합니다. (사용자가 "장미, 국화, ... (중략) ... 희귀식물"이라는 1,000 개 목록을 보고 "아, 이거구나!"라고 찾기엔 너무 귀찮고 비현실적임)

이 논문은 "희귀한 것도 놓치지 않으면서, 목록도 너무 길지 않게" 만드는 두 가지 지혜로운 방법을 제안합니다.

---

💡 해결책 1: "인기 점수"를 보정하다 (PAS 방법)

비유: "인기 있는 식당 vs 숨은 보석"

기존 AI 는 "장미"처럼 인기 있는 식물을 많이 봤기 때문에, 어떤 식물이든 "아마 장미겠지?"라고 쉽게 추측합니다. 반면, "멸종 위기 식물"은 본 적이 거의 없어서 "이건 장미가 아닐 거야"라고 아예 제외해 버립니다.

이 논문은 "인기 점수 (Prevalence)"를 보정하는 새로운 점수 계산법을 만들었습니다.

• 기존 방식: "장미"가 10,000 번 나왔으니 점수 100 점, "희귀식물"이 10 번 나왔으니 점수 10 점. -> AI 는 무조건 100 점인 장미를 선택합니다.
• 새로운 방식 (PAS): "장미는 이미 너무 많으니 점수를 깎아주고, 희귀식물은 본 적이 적으니 점수를 보너스로 올려줘라!"라고 조정합니다.
  • 결과: AI 가 "아, 이건 흔한 장미보다는 희귀한 식물일 확률이 더 높아!"라고 생각하게 됩니다.
  • 효과: 목록은 짧게 유지하되, 희귀한 식물들이 목록에 포함될 확률이 높아집니다. 마치 식당 추천 앱에서 "인기 맛집"만 나열하지 않고, "작지만 보석 같은 숨은 맛집"도 골라주는 것과 같습니다.

💡 해결책 2: "완벽주의"와 "현실주의" 사이에서 타협하기 (INTERP-Q 방법)

비유: "완벽한 검사관"과 "대충 보는 사람" 사이의 중간 지점

• 완벽주의 (CLASSWISE): "모든 식물, 특히 희귀한 식물도 100% 놓치지 않게 하라!" -> 목록이 수천 개로 폭주합니다. (사용자가 지쳐버림)
• 현실주의 (STANDARD): "목록은 짧게 하되, 전체적인 정확도만 챙기자." -> 희귀 식물은 목록에서 사라집니다.

이 논문은 이 두 극단 사이를 **선형적으로 연결 (Interpolate)**하는 방법을 제안합니다.

• 사용자가 "나는 목록이 10 개 정도면 좋지만, 희귀 식물도 좀 들어갔으면 좋겠다"라고 말하면, AI 는 완벽주의와 현실주의의 중간 지점을 찾아줍니다.
• 마치 볼륨 조절처럼, "목록 크기"와 "희귀 식물 포함 여부" 사이의 균형을 사용자가 직접 조절할 수 있게 해줍니다.

---

🌟 왜 이것이 중요한가요? (실제 효과)

이 연구는 **식물 분류 (Pl@ntNet)**나 동물 분류 (iNaturalist) 같은 실제 데이터에서 테스트되었습니다.

1. 멸종 위기 종 보호: 희귀한 식물이 AI 의 목록에 포함될 확률이 크게 높아졌습니다. 이는 과학자들이 멸종 위기 종을 발견하고 보호하는 데 큰 도움이 됩니다.
2. 사용자 경험 개선: 사용자가 "수천 개의 목록"을 볼 필요 없이, **적당한 크기 (예: 5~10 개)**의 목록에서도 중요한 희귀 종을 찾을 수 있게 되었습니다.
3. AI 의 붕괴 방지: 만약 AI 가 희귀한 것만 계속 무시하고 흔한 것만 추천하면, 사람들은 그 흔한 것만 찍어 올립니다. 그러면 AI 는 더 이상 희귀한 것을 배우지 못하고 점점 멍청해집니다 (모델 붕괴). 이 방법은 AI 가 다양한 것을 배우도록 돕습니다.

📝 한 줄 요약

"AI 가 무언가를 추측할 때, 흔한 것만 쏙쏙 골라내지 말고, 드문 보석도 놓치지 않으면서 목록도 너무 길지 않게 만들어주는 '지혜로운 필터'를 개발했습니다."

이 기술은 우리가 AI 와 함께 세상을 더 잘 이해하고, 소중한 자연을 지키는 데 큰 역할을 할 것입니다.

기술 요약

ICLR 2026 논문 요약: 긴 꼬리 분포를 가진 분류를 위한 컨포멀 예측 (Conformal Prediction for Long-Tailed Classification)

이 논문은 식물 식별, 질병 진단 등 실제 세계의 많은 분류 문제에서 발생하는 긴 꼬리 (Long-Tailed) 클래스 분포 환경에서 효과적인 예측 집합 (Prediction Sets) 을 생성하는 방법을 제안합니다. 기존 컨포멀 예측 (Conformal Prediction, CP) 방법론이 이러한 환경에서 겪는 한계를 극복하고, 소수 클래스 (희귀 클래스) 의 커버리지를 보장하면서도 예측 집합의 크기를 합리적인 수준으로 유지하는 새로운 접근법을 제시합니다.

---

1. 문제 정의 (Problem Statement)

• 긴 꼬리 분포의 도전: 많은 실제 데이터셋 (예: Pl@ntNet-300K, iNaturalist-2018) 은 몇몇 일반적인 클래스에 비해 희귀한 클래스의 데이터가 극도로 적은 불균형 분포를 보입니다.
• 예측 집합의 요구사항:
  1. 클래스 조건부 커버리지 (Class-Conditional Coverage): 모든 클래스, 특히 희귀한 클래스가 예측 집합에 포함될 확률이 높아야 합니다. (소수 클래스가 체계적으로 누락되지 않아야 함)
  2. 적절한 집합 크기 (Set Size): 사용자가 후보 라벨을 검증할 수 있도록 예측 집합의 크기는 작아야 합니다.
• 기존 방법의 딜레마:
  • STANDARD CP: 전체적인 (마진) 커버리지는 보장하지만, 희귀 클래스의 커버리지는 매우 낮습니다.
  • CLASSWISE CP: 모든 클래스에 대해 조건부 커버리지를 보장하지만, 데이터가 부족한 희귀 클래스의 경우 예측 집합이 비현실적으로 커집니다 (예: 수천 개의 클래스 포함).
  • 결론: 기존 방법들은 '작은 집합'과 '우수한 클래스별 커버리지' 사이에서 이분법적인 선택을 강요합니다.

2. 제안 방법론 (Methodology)

저자들은 집합 크기와 클래스 조건부 커버리지 사이의 균형을 부드럽게 조절할 수 있는 두 가지 접근법을 제안합니다.

접근법 I: 마크로 커버리지 (Macro-Coverage) 타겟팅을 위한 새로운 점수 함수

• 목표: 모든 클래스의 평균 조건부 커버리지인 '마크로 커버리지'를 최적화합니다.
• 핵심 아이디어: 오라클 (Oracle) 최적 해를 분석한 결과, $p(y|x)/p(y)$ (조건부 확률 / 클래스 사전 확률) 를 임계값으로 설정하는 것이 집합 크기와 마크로 커버리지 간의 최적 균형을 이룬다는 것을 발견했습니다.
• PAS (Prevalence-Adjusted Softmax):
  • 실제 분포를 알 수 없으므로, 분류기에서 얻은 예측 확률 $\hat{p}(y|x)$ 와 훈련 데이터의 클래스 분포 $\hat{p}(y)$ 를 사용하여 점수 함수를 정의합니다.
  • 점수 함수: $s_{PAS}(x, y) = -\frac{\hat{p}(y|x)}{\hat{p}(y)}$
  • 이 점수를 사용하여 표준 CP 와 동일한 임계값 설정 방식을 적용하면, 마진 커버리지는 보장되면서도 마크로 커버리지가 최적화되는 예측 집합을 생성합니다.
• WPAS (Weighted PAS): 특정 클래스 (예: 멸종 위기 종) 에 더 높은 가중치를 부여하여 해당 클래스의 커버리지를 우선시할 수 있도록 확장된 버전입니다.

접근법 II: INTERP-Q (Interpolated Quantile)

• 목표: CLASSWISE CP 와 STANDARD CP 사이의 행동을 선형적으로 보간 (Interpolate) 합니다.
• 핵심 아이디어: 각 클래스별 임계값을 두 방법의 임계값의 가중 평균으로 설정합니다.
  • $\hat{q}_{y}^{IQ} = \tau \cdot \hat{q}_{y}^{CW} + (1 - \tau) \cdot \hat{q}^{STAND}$
  • 여기서 $\tau \in [0, 1]$은 사용자가 조절하는 하이퍼파라미터입니다.
• 특징:
  • $\tau=0$이면 STANDARD CP, $\tau=1$이면 CLASSWISE CP 가 됩니다.
  • $\tau$를 약간만 줄여도 (예: 0.99) CLASSWISE 의 거대한 집합 크기를 획기적으로 줄이면서 커버리지는 유지할 수 있습니다.
  • 이론적으로 $1-2\alpha$의 마진 커버리지를 보장하지만, 실험적으로는 $1-\alpha$에 근접한 성능을 보입니다.

3. 주요 기여 (Key Contributions)

1. 새로운 점수 함수 (PAS/WPAS): 긴 꼬리 분포 환경에서 마크로 커버리지와 집합 크기 간의 최적 균형을 이루도록 설계된 'Prevalence-Adjusted Softmax'를 제안했습니다.
2. 간단한 보간 절차 (INTERP-Q): 기존 방법들 사이의 트레이드오프 곡선을 사용자가 자유롭게 탐색할 수 있도록 하는 직관적이고 단순한 절차를 제안했습니다.
3. 이론적 및 실증적 검증:
   • 오라클 최적 해에 기반한 이론적 근거를 제시했습니다.
   • Pl@ntNet-300K (1,081 개 클래스) 와 iNaturalist-2018 (8,142 개 클래스) 과 같은 대규모 긴 꼬리 데이터셋에서 기존 방법 (STANDARD, CLASSWISE, CLUSTERED CP 등) 보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: Pl@ntNet-300K (식물), iNaturalist-2018 (동물).
• 성능 비교:
  • STANDARD with PAS: STANDARD CP 에 비해 평균 집합 크기는 약간 증가했지만 (예: 1.57 → 2.57), 50% 미만의 커버리지를 가진 클래스 비율을 절반 이상 감소시켰습니다. 모든 지표에서 Pareto 최적 (Pareto optimal) 에 가까운 성능을 보였습니다.
  • INTERP-Q: $\tau$ 파라미터를 조절하여 집합 크기와 커버리지 사이의 균형을 정밀하게 조절할 수 있었습니다. $\tau=0.99$일 때 CLASSWISE 의 거대한 집합 크기 (780 개 이상) 를 7.6 개 수준으로 줄이면서도 높은 커버리지를 유지했습니다.
  • 희귀 클래스 보호: WPAS 를 사용하여 '멸종 위기' 식물 종에 가중치를 두었을 때, 해당 종들의 커버리지가 크게 향상되었고, 다른 종들의 성능에는 큰 영향을 주지 않았습니다.
  • 인간 의사결정 시뮬레이션: 예측 집합의 크기와 커버리지가 인간 (전문가 또는 무작위 추측자) 의 정확도에 미치는 영향을 분석한 결과, 제안된 방법들이 다양한 의사결정 시나리오에서 더 균형 잡힌 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 시민 과학 (Citizen Science) 플랫폼 (예: Pl@ntNet 앱) 에서 사용자가 희귀하거나 위험에 처한 종을 식별할 때, AI 가 제공하는 후보 목록이 너무 크지 않으면서도 정답을 포함할 확률이 높도록 보장합니다.
• 모델 붕괴 (Model Collapse) 방지: 희귀 클래스의 데이터가 지속적으로 수집되고 모델 재학습에 사용되도록 하여, 시간이 지남에 따라 모델의 유효 라벨 공간이 축소되는 것을 방지하는 선순환 구조를 만듭니다.
• 유연성: 연구자나 실무자가 자신의 목적 (집합 크기 최소화 vs 모든 클래스 커버리지 보장) 에 따라 PAS 나 INTERP-Q 의 파라미터를 선택하여 유연하게 적용할 수 있습니다.

이 논문은 긴 꼬리 분포를 가진 분류 문제에서 불확실성 정량화 (Uncertainty Quantification) 를 위한 새로운 표준을 제시하며, 특히 소수 클래스에 대한 공정한 예측을 가능하게 함으로써 생물 다양성 모니터링 및 의료 진단 등 중요한 응용 분야에 기여할 것으로 기대됩니다.