High Performance, Low Reliability: Uncertainty Benchmarking for Tabular Foundation Models

기술 요약: 고성능, 낮은 신뢰성: 표본 기반 기초 모델의 불확실성 벤치마킹

문제 제기
최근 TabPFN 및 TabICL과 같은 표본 기반 기초 모델 (TFMs) 은 소규모 및 중규모 표본 데이터셋에서 기존 경향성 부스팅 결정 트리 (GBDTs) 를 종종 능가하는 최첨단 예측 성능을 입증해 왔습니다. 그러나 이러한 모델의 신뢰성, 특히 불확실성 정량화와 관련하여서는 아직 크게 탐구되지 않았습니다. 현재 벤치마크의 주요 지표는 예측 정확도 (AUC) 이지만, 금융 및 의료와 같은 안전-중요 애플리케이션에서는 모델 신뢰도의 신뢰성이 중요합니다. 기존 문헌은 거의 독점적으로 정확도에 초점을 맞추고 있어, TFMs 이 잘 보정된 불확실성 추정을 제공하는지 아니면 특히 노이즈가 많거나 복잡한 조건에서 과도한 확신을 보이는지에 대한 이해의 공백이 존재합니다.

방법론
저자들은 표준 정확도 지표를 넘어 **정합성 예측 (Conformal Prediction, CP)**을 통한 불확실성 정량화를 포함하는 포괄적인 평가 프로토콜을 제안합니다. 본 연구는 TALENT 벤치마크의 112 개 소규모 및 중규모 표본 데이터셋과 고노이즈 및 저분리성 체제를 분리하도록 설계된 20 개의 합성 데이터셋을 보완하여 4 가지 모델 계열을 평가합니다.

• 평가된 모델:
  • TFMs: TabPFN, TabICL, PFN-v2, Mitra.
  • GBDTs: XGBoost, LightGBM, CatBoost.
  • 기준선: 고전적 방법 (k-NN, 로지스틱 회귀) 및 딥러닝 (MLP, TabM).
• 정합성 예측 프레임워크:
  • 본 연구는 점 예측을 예측 집합으로 변환하기 위해 최소 모호성 클래스 (Least Ambiguous Class, LAC) 점수 $s(x, y) = 1 - \hat{p}(y|x)$를 활용합니다.
  • 훈련 데이터와 분리된 보정 집합을 사용하여 비정합성 점수를 계산하고, 목표 커버리지 $1-\alpha = 0.90$에 대한 분위수 임계값 $q_\alpha$를 결정합니다.
  • 이는 실제 레이블이 확률 $\geq 1-\alpha$로 예측 집합 내에 존재한다는 분포-자유 보장을 제공합니다.
• 평가 지표:
  • AUC: 표준 예측 성능.
  • 커버리지율 (CR): 예측 집합 내에 실제 레이블이 포함된 테스트 샘플의 비율.
  • 평균 집합 크기 (SS): 예측 집합의 정보성을 측정 (작은 집합은 높은 확신을 의미).
  • 크기 계층화 커버리지 점수 (SSCS): 조건부 커버리지를 평가하기 위해 도입된 핵심 지표입니다. 유사한 집합 크기를 가진 샘플 그룹 간의 경험적 커버리지를 측정합니다. 낮은 SSCS 는 모델이 실제로 틀렸을 때 (실제 레이블을 포함하지 않는 좁은 집합을 생성할 때) 과도한 확신을 보인다는 것을 나타내며, 이는 한계 커버리지 (marginal coverage) 가 놓칠 수 있는 보정 실패입니다.

주요 결과
15 개의 시드에서 평균된 경험적 결과는 뚜렷한 성능–불확실성 트레이드오프를 드러냅니다:

1. 예측 성능 vs. 신뢰성: TFMs 은 GBDTs(예: LightGBM 0.864) 에 비해 가장 높은 AUC 점수 (예: TabICL 0.890, PFN-v2 0.889) 를 달성합니다. 그러나 TFMs 은 GBDTs(0.5320.544 범위) 에 비해 현저히 낮은 SSCS 점수 (0.4940.517 범위) 를 보입니다.
2. 트레이드오프: 정확도와 불확실성 품질 사이에는 역방향 경향이 존재합니다. TFMs 이 더 정확하지만, 그 확신은 예측 불확실성을 충실히 반영하지 못합니다. 이들은 실제 레이블을 포함하지 못하는 좁은 예측 집합을 생성하는 "과도한 확신의 오류"를 경향합니다.
3. 합성 데이터 발견: 고노이즈 및 약한 클래스 분리성을 가진 합성 데이터셋에서 격차는 더욱 커집니다. TFMs 은 고분산 및 과도한 확신의 예측을 생성하는 반면, 트리 기반 모델 (GBDTs) 은 견고성을 유지하며 더 높은 조건부 커버리지를 유지합니다 (합성 테스트에서 GBDTs 의 SSCS 0.840 대 TFMs 의 0.614).
4. 기준선 행동: 고전적 로지스틱 회귀는 좋은 한계 보정을 보였으나 비선형 경계 근처의 조건부 커버리지에서는 어려움을 겪었습니다. 딥러닝 기준선 (MLP, TabM) 은 일반적으로 정확도와 보정 모두에서 TFMs 보다 낮은 성능을 보였습니다.

의의 및 주장
본 논문은 TFMs 이 예측 정확도의 최전선을 발전시키고 있지만, 현재 불확실성 정량화와 관련하여 심각한 신뢰성 결핍을 겪고 있다고 결론지었습니다. 저자들은 다음과 같이 주장합니다:

• TFMs 은 아직 calibrated 불확실성이 요구되는 고위험 배포에 적합하지 않습니다. 이는 기존 모델보다 체계적으로 낮은 크기 계층화 커버리지 점수를 산출하기 때문입니다.
• GBDTs 는 소규모에서 중규모 데이터셋, 특히 고노이즈, 이질성, 또는 복잡한 특징 분포를 가진 데이터셋에 대해 가장 신뢰할 수 있는 선택지입니다. 이는 약간 낮은 AUC 에도 불구하고 더 나은 보정과 견고성을 제공합니다.
• 향후 연구: 저자들은 잘 보정된 불확실성 달성이 주요 미해결 과제임을 지적합니다. 향후 연구는 분포 변화, 모델별 불확실성 메커니즘 (예: 앙상블, 베이지안 헤드), 그리고 과도한 확신을 줄이기 위한 대체 사전 훈련 분포를 탐구해야 한다고 제안합니다.

본 연구는 표본 학습에서 높은 성능이 본질적으로 높은 신뢰성을 보장하지 않음을 입증하는 TFM 불확실성에 대한 최초의 체계적 평가를 제공합니다.