Are foundation models for computer vision good conformal predictors?

본 논문은 비전 및 비전 - 언어 기반 모델이 컨포멀 예측 (Conformal Prediction) 프레임워크와 잘 호환되며, 특히 비전 트랜스포머 기반 모델과 APS 방법이 신뢰성 있는 불확실성 추정과 효율적인 예측 집합을 제공함을 실험을 통해 입증합니다.

핵심

🎯 핵심 비유: "날씨 예보와 우산"

상상해 보세요. AI 는 날씨 예보관이고, 우리가 내리는 결정은 우산을 챙길지 여부입니다.

1. 기존 방식 (Calibration):

   • 예보관이 "비 올 확률 80%"라고 했을 때, 실제로 비가 80% 의 날에 내리는지 확인하는 것입니다.
   • 하지만 이 방식은 "비 올 확률 80%"라는 숫자 자체만 믿을 뿐, 실제로 비가 올지 아닐지 100% 보장을 해주지는 못합니다.

2. 이 논문이 제안하는 방식 (Conformal Prediction, CP):

   • 예보관이 "비 올 확률 80%"라고 말하지 않고, **"우산, 방수 코트, 장화"**처럼 **여러 가지 대비책 (예측 집합)**을 제시하는 것입니다.
   • 중요한 건, 이 방법에는 **"100 번 중 90 번은 진짜 비 (정답) 가 이 목록 안에 들어갈 거야"**라는 **수학적 보증 (Theoretical Guarantee)**이 붙어 있다는 점입니다.
   • 즉, "정답이 이 목록에 있을 확률을 90% 로 보장해 줄게"라고 약속하는 것입니다.

---

🔍 이 논문이 무엇을 발견했나요?

연구진은 최신 AI 모델 (DINO, CLIP 등) 에 이 '보증된 예측' 기술을 적용해 보았습니다. 그 결과는 다음과 같습니다.

1. 최신 AI 모델은 '보증'을 받기 좋습니다. (Vision Transformers)

• 비유: 예전 방식의 AI(전통적인 CNN) 는 비가 올지 말지 예측할 때 '우산'만 챙겨주다가, 갑자기 폭우가 내리면 당황해서 "아, 우산만으로는 부족했네요!"라고 합니다.
• 발견: 하지만 최신 AI(비전 트랜스포머, Vision Transformer) 는 폭우가 오더라도 **"우산, 방수 코트, 장화"**를 모두 챙겨주는 식으로 대응합니다. 즉, 정답을 포함하는 목록 (예측 집합) 을 더 효율적으로 만들어내며, **보증 (Coverage)**을 잘 지켜냅니다.

2. "자신감"을 조절하면 오히려 효율이 떨어집니다. (Calibration Paradox)

• 비유: 예보관이 "비 올 확률 99%!"라고 너무 자신 있게 말하면, 사람들은 우산 하나만 챙깁니다. 하지만 AI 모델의 '자신감 (Confidence)'을 인위적으로 조절 (Calibration) 해서 더 정확하게 만들려고 하면, AI 는 **"아, 내가 99% 라기엔 조금 위험할 수도 있겠네"**라고 생각하게 됩니다.
• 발견: 이렇게 AI 가 겸손해지면, **보증된 목록 (예: 우산 + 방수 코트 + 장화)**이 너무 커져버립니다. 즉, "정답을 포함할 확률은 90% 로 보장하지만, 목록이 너무 길어서 (효율 저하) 실제로 쓸모가 떨어질 수 있다"는 뜻입니다.

3. 적응형 방법 (APS) 이 가장 안전합니다.

• 비유: 비가 오면 우산만 챙기는 게 아니라, 상황 (폭우, 소나기, 안개) 에 따라 적응적으로 준비물을 늘리는 방법입니다.
• 발견: 연구진은 **APS(Adaptive Prediction Sets)**라는 방법이 가장 강력하다고 결론 내렸습니다. 이 방법은 예측 목록의 크기가 커지더라도, **"정답이 목록 안에 있을 것"**이라는 보증을 절대 깨뜨리지 않습니다. 특히 AI 가 낯선 상황 (도메인 시프트, 예전에는 보지 못한 날씨) 에 처했을 때 가장 든든한 친구입니다.

4. 적은 데이터로도 잘 적응합니다. (Few-shot Adaptation)

• 비유: 새로운 도시로 이사 가서 날씨를 예측할 때, 과거 데이터만 믿는 것보다 **새로 온 사람 10 명에게 물어보는 것 (Few-shot)**이 더 정확한 예측 목록을 만들어냅니다.
• 발견: 최신 AI 모델이 새로운 작업에 아주 적은 데이터로 적응하면, 예측 목록이 더 작아지고 정확도도 좋아진다는 것을 발견했습니다.

---

💡 결론: 무엇을 선택해야 할까요?

이 논문은 **"안전한 AI 배포를 위해 무엇을 선택할까?"**에 대한 답을 줍니다.

• 의료나 보안처럼 실수가 치명적인 분야:
  • APS 방법을 사용하세요. 예측 목록이 조금 크더라도 (예: "암일 가능성 A, B, C 모두 확인 필요"), 정답이 빠지지 않도록 보장받아야 하기 때문입니다.
• 일반적인 분야 (효율이 중요한 곳):
  • RAPS 방법을 고려하세요. 목록을 더 작게 유지하면서도 어느 정도 보장을 받을 수 있습니다.

한 줄 요약:

"최신 AI 모델은 '정답이 이 목록 안에 있을 거야'라고 수학적으로 보증하는 시스템을 받으면 아주 잘 작동합니다. 특히 APS라는 방법이 낯선 상황에서도 가장 안전하며, AI 의 '자신감'을 인위적으로 조절하는 건 오히려 예측 목록을 불필요하게 키울 수 있으니 주의하세요."

이 연구는 AI 가 우리 삶에 더 깊게 들어가기 전에, **"이 AI 가 틀렸을 때 얼마나 안전하게 대처할 수 있는가?"**를 검증하는 중요한 기준을 제시했습니다.

기술 요약

1. 문제 제기 (Problem)

• 배경: 최근 자기지도 학습 (Self-supervision) 과 대비 학습 (Contrastive Learning) 의 발전으로 DINOv2, CLIP 과 같은 기반 모델들이 다양한 비전 작업에서 뛰어난 성능을 보이고 있습니다.
• 위험: 의료, 보안 등 고위험 (High-stakes) 분야에서 이러한 모델의 배포를 위해서는 예측의 불확실성을 신뢰할 수 있게 정량화하는 것이 필수적입니다.
• 한계: 기존 연구는 주로 모델의 '보정 (Calibration)'에 집중했으나, 보정 방법만으로는 이론적 보장이 부족합니다. 반면, **적합성 예측 (CP)**은 예측 집합이 참 레이블을 포함할 확률 (마진 커버리지) 에 대한 이론적 보장을 제공합니다.
• 연구 질문: 기존에 잘 알려진 CP 방법론 (LAC, APS, RAPS) 이 최신 기반 모델 (특히 Vision Transformer 기반) 에 적용될 때 어떤 성능을 보이는가? 또한, 분포 이동 (Distribution Shift), 보정 (Calibration), 퓨샷 적응 (Few-shot adaptation) 과 같은 실제 시나리오에서 CP 는 어떻게 작동하는가?

2. 방법론 (Methodology)

• 실험 설정:

  • 모델: 17 개의 다양한 기반 모델 사용 (DINO, DINOv2, VICReg, CLIP, MetaCLIP, LLaVA, Phi 등). 아키텍처는 Vision Transformer (ViT) 와 CNN (ResNet, ConvNeXt) 을 모두 포함.
  • 데이터셋: CIFAR-10, CIFAR-100, ImageNet 및 도메인 이동이 있는 변형 데이터셋 (ImageNet-A, R, Sketch, V2). 또한 10 개의 세부 분류 벤치마크 (SUN397, Cars 등) 를 퓨샷 (Few-shot) 적응 실험에 사용.
  • CP 방법론: 세 가지 주요 적합성 예측 방법 비교:
    1. LAC (Least Ambiguous Classifier): 단순한 확률 임계값 기반.
    2. APS (Adaptive Prediction Sets): 정렬된 확률을 누적하여 적응형으로 예측 집합을 구성.
    3. RAPS (Regularized APS): 예측 집합 크기를 줄이기 위해 정규화 항을 추가.
  • 평가 지표: 예측 집합 크기 (Set Size, 효율성), 마진 커버리지 (Marginal Coverage), 클래스 조건부 커버리지 (Class-conditional Coverage), 커버리지 갭 (Coverage Gap).

• 주요 실험 시나리오:

  1. 일반 설정: 다양한 모델과 데이터셋에서의 기본 CP 성능 평가.
  2. 분포 이동 (Distribution Shift): 훈련 데이터와 테스트 데이터의 분포가 다를 때 (OOD) CP 의 강건성 분석.
  3. 신뢰도 보정 (Confidence Calibration): Temperature Scaling (TS) 을 적용하여 모델의 확률 분포를 보정한 후 CP 성능 변화 분석.
  4. 퓨샷 적응 (Few-shot Adaptation): CLIP 모델을 퓨샷 학습 (Prompt Learning, Adapters) 후 CP 성능 평가.

3. 주요 기여 및 결과 (Key Contributions & Results)

(1) 기반 모델의 적합성 예측 적합성

• 결론: 기반 모델, 특히 Vision Transformer (ViT) 아키텍처를 통합한 모델들은 전통적인 CNN 기반 모델보다 더 나은 CP 성능을 보입니다.
• 세부 사항: ViT 기반 모델은 더 작은 예측 집합 크기 (Set Size) 와 더 높은 클래스 조건부 커버리지를 달성했습니다. 이는 ViT 가 학습된 방식 (자기지도/대비 학습) 이 CP 에 유리한 특징을 가진다는 것을 시사합니다.

(2) CP 방법론 비교 (APS vs RAPS)

• APS (Adaptive Prediction Sets):
  • 장점: 모든 실험에서 가장 높은 마진 커버리지 보장과 강건성을 보였습니다. 특히 분포 이동 (Domain Shift) 상황에서 다른 방법들보다 커버리지 보장을 잘 유지했습니다.
  • 단점: 효율성 (Set Size) 이 다소 큽니다.
• RAPS (Regularized APS):
  • 장점: APS 대비 더 작은 예측 집합 크기를 제공합니다.
  • 단점: 정규화 항으로 인해 클래스 조건부 커버리지가 불균형해지고, 분포 이동 상황에서 커버리지 보장이 깨질 수 있습니다. 특히 정확도가 낮은 모델에서 특정 클래스의 커버리지가 목표치보다 크게 떨어질 수 있습니다.
• LAC: 가장 작은 집합 크기를 보이지만, 클래스 간 커버리지 편차가 큽니다.

(3) 신뢰도 보정 (Calibration) 의 역설적 영향

• 발견: 모델의 신뢰도를 보정하기 위해 **Temperature Scaling (TS)**을 적용하면, CP 의 효율성 (Set Size) 이 저하됩니다.
• 이유: 보정은 softmax 확률 분포를 더 평탄하게 만들어 예측 확신을 낮추게 합니다. CP 는 목표 커버리지를 달성하기 위해 더 많은 클래스를 예측 집합에 포함해야 하므로 집합 크기가 커집니다.
• 예외: APS 의 경우, 보정 후 **커버리지 갭 (Coverage Gap)**이 최적화되는 경향이 있어, 안전이 최우선인 환경에서는 효율성 저하를 감수하고 보정을 적용하는 것이 유리할 수 있습니다.

(4) 퓨샷 적응 (Few-shot Adaptation)

• 결론: CLIP 과 같은 비전 - 언어 모델 (VLM) 을 퓨샷 (Few-shot) 으로 적응시키면, 제로샷 (Zero-shot) 예측에 비해 더 작은 예측 집합 크기와 더 낮은 커버리지 갭을 보입니다.
• 의미: 퓨샷 적응은 모델이 타겟 도메인에 더 잘 맞도록 조정되어 CP 의 효율성을 높이는 것으로 나타났습니다.

(5) 도메인 이동 (Domain Shift) 에 대한 강건성

• APS 의 우위: ImageNet-A, Sketch 등 극단적인 도메인 이동이 발생했을 때, APS 는 커버리지 보장을 유지하기 위해 집합 크기를 크게 늘리는 대신 **예측의 신뢰성 (Coverage Guarantee)**을 지켰습니다. 반면 RAPS 는 집합 크기를 줄이려다 커버리지 보장을 위반하는 경향을 보였습니다.

4. 의의 및 결론 (Significance & Conclusion)

• 실용적 가이드: 이 연구는 안전이 중요한 응용 분야 (의료, 자율주행 등) 에서 기반 모델을 사용할 때, APS 를 CP 방법론으로 선택하는 것이 가장 안전하고 신뢰할 수 있음을 보여줍니다. 효율성 (작은 집합 크기) 이 더 중요하다면 RAPS 를 고려할 수 있으나, 커버리지 보장이 깨질 위험이 있음을 인지해야 합니다.
• 모델 아키텍처의 중요성: CNN 기반 모델보다 Vision Transformer 기반 기반 모델이 적합성 예측과 불확실성 정량화에 더 적합함을 입증했습니다.
• 보정의 재해석: 모델 보정이 항상 CP 성능을 향상시키는 것은 아니며, 오히려 효율성을 떨어뜨릴 수 있음을 지적했습니다. 따라서 목적 (정확한 불확실성 vs 효율적인 예측) 에 따라 보정 전략을 신중하게 선택해야 합니다.
• 미래 방향: 기반 모델의 배포 시, CP 를 통해 "어떤 예측을 신뢰할지"를 결정하는 메커니즘이 필수적이며, APS 가 이를 위한 강력한 도구임을 제시했습니다.

요약하자면, 이 논문은 Vision Transformer 기반의 기반 모델이 적합성 예측 (CP) 을 통해 신뢰할 수 있는 불확실성 정량화를 제공할 수 있으며, 특히 APS 방법이 분포 이동과 같은 어려운 환경에서도 가장 강력한 커버리지 보장을 제공함을 실증적으로 입증했습니다.