기술 요약: 표 형식 파운데이션 모델의 불확inc성 정량화 능력에 대하여

문제 정의

대리 모델링(Surrogate modeling)은 역학 및 계산 과학 분야에서 비용이 많이 드는 시뮬레이션을 대체하거나 보완하는 데 필수적이다. 그러나 적절한 확률적 대리 모델(예: 가우시안 프로세스 또는 신경망)을 선택하고 학습시키는 것은 데이터가 노이즈가 많거나, 부족하거나, 고차원인 경우 특히 까다로운 과제이다. 가우시안 프로세스(GP)와 같은 "전통적인" 방식은 불확실성 정량화(UQ)를 제공하기 위해 명시적인 학습 및 샘PLING 단계를 거쳐야 하는 반면, 파운데이션 모델(FM)은 최소한의 튜닝만으로 다양한 작업에 전이할 수 있는 대안으로 부상했다. 특히, Tabular Prior-Data Fitted Networks (TabPFN)는 작업별 재학습 없이 베이지안 사후 예측 분포를 근사할 수 있다고 약속한다. 본 연구에서 다루는 핵심 문제는 TabPFN이 클래식한 방법인 GP만큼 신뢰할 수 있는 불확실성 추정치를 제공하는지, 그리고 명시적 사전 분포(GP)와 학습된 사전 분포(TabPFN) 사이의 트레이드오프가 다양한 데이터 체계에서 어떻게 나타나는지 여부이다.

방법론

저자들은 다양한 회귀 문제에 대해 TabPFN v2.5와 **가우시안 프로세스(GP)**를 비교하는 포괄적인 경험적 연구를 수행하였다.

• 벤치마크: 연구에는 입력 차원($D_x$)이 4에서 40까지인 6가지 합성 벤치마크(Wing Weight, Ackley, Dixon-Price, Griewank, Rosenbrock, Buckling)와 2개의 실세계 데이터셋(Elevators, Pumadyn)이 사용되었다.
• 실험 설계: 실험은 훈련 데이터셋 크기($N = 10D_x$ 및 $N = 40D_x$)와 노이즈 수준(저노이즈: $\epsilon \sim \mathcal{N}(0, (0.005 \times c)^2)$, 고노이즈: $\epsilon \sim \mathcal{N}(0, (0.05 \times c)^2)$)을 변화시키며 진행되었다. 비가우시안 노이즈(Student's t-distribution) 또한 강건성을 평가하기 위해 테스트되었다.
• 구현 세부 사항:
  • GP: TabPFN의 "즉시 사용 가능한(out-of-the-box)" 특성과 공정한 비교를 위해, GP는 GP+ 패키지 [8]의 기본 설정을 사용하여 학습되었다. 여기에는 기본 초기화, 상수 평균, 가우시안 커널이 포함된다(특정 하위 분석에서는 Power Exponential 커널이 테스트됨). 주요 비교를 위한 하이퍼파라미터나 커널의 수동 미세 조정은 수행되지 않았다.
  • TabPFN: 모델은 GPU 상에서 미세 조정 없이 실행되었다.
• 지표:
  • 예측 정확도: 상대적 평균 제곱근 오차(RRMSE)로 측정되었다.
  • UQ 품질: 구간 폭과 커버리지 오류를 모두 페널티를 부여하는 상대적 평균 음의 방향 구간 점수(Relative Mean Negatively Oriented Interval Score, NIS)로 측정되었다.
  • 계산 비용: 훈련 시간(GP) 및 엔드 투 엔드 추론 시간(TabPFN)에 대한 벽시계 시간(Wall-clock time).

주요 기여

1. GP를 위한 원칙적 기본 설정: 저자들은 다양한 응용 분야에서 수동 튜닝 없이 성능을 극대화하기 위해 GP를 구축하는 데 사용할 수 있는 특정 기본 설정 세트를 제안하고 활용한다.
2. 오픈 소스 벤치마킹: 본 연구는 세 가지 핵심 지표인 점 예측 정확도(RRMSE), 예측 분포 품질(NIS), 계산 비용을 사용하여 (GP+ 대 TabPFN v2.5)의 오픈 소스 비교를 제공한다.
3. 실무 가이드라인: 이 연구는 어떤 체계에서 TabPFN이 탁월한지, 혹은 전통적인 GP가 여전히 우수한지를 강조하며 에뮬레이터 선택을 안내하는 경험적 증거를 제공한다.

결과 및 분석

정확도 및 불확실성 정량화

연구 결과, 두 방법 중 어느 하나가 일관되게 우위를 점하지 못했다. 성능은 데이터 가용성, 차원, 그리고 사전 분포의 적합성에 따라 크게 달라졌다.

• 데이터 부족 체계 ($N = 10D_x$): 선택된 커널(예: 가우시안)이 기저 함수에 대한 좋은 사전 분포를 구성할 때, GP가 종종 더 우수한 예측 정확도와 UQ를 제공했다. 저노이즈 설정에서 GP는 노이즈 플로어를 안정적으로 추적한 반면, TabPFN은 잔여 오차를 유지했다.
• 데이터 풍부 체계 ($N = 40D_x$): TabPFN은 특히 복잡하고 고차원적인 문제에서 매우 경쟁력 있는 성능을 달성했다. 그러나 Griewank과 같은 특정 벤치마크에서는 데이터가 증가했음에도 불구하고 GP가 계속해서 TabPFN보다 우수한 성능을 보였는데, 이는 특정 구조적 체계에서 TabPFN이 경쟁력을 갖추기 위해 실질적으로 더 많은 데이터를 필요로 함을 시사한다.
• 커널 민감도: 중요한 발견은 GP의 성능이 커널 선택에 민감하다는 점이다. Dixon-Price 및 Rosenbrock과 같은 벤치마크에서 GP 커널을 가우시안에서 Power Exponential(PE)로 변경했을 때 성능이 크게 향상되었으며, 종종 TabPFN을 능가했다. 이는 "바닐라" GP가 고정된 기본 설정으로 인해 사전 분포가 잘못 지정될 경우 성능이 저하될 수 있는 반면, TabPFN의 학습된 사전 분포는 이러한 오지정(misspecification)에 강건하지만 잘 튜닝된 GP의 정밀함은 부족할 수 있음을 강조한다.
• 불확실성 캘리브레이션: TabPFN은 평균 예측(RRMSE)이 나쁘거나 실행마다 변동이 심할 때도 잘 캘리브레이션된 구간(좁은 NIS 분포)을 생성했다. 반대로, GP는 Buckling 예제에서 높은 RRMSE 변동성을 보였으나 데이터가 많아짐에 따라 극적으로 개선되었다.

계산 비용

• GP: 공분산 행렬 역행렬 계산으로 인해 훈련 비용이 $O(N^3)$로 스케일링된다. 고차원, 대규모 데이터(예: $N=40D_x$인 Griewank)의 경우 GP 훈련 시간이 매우 길어져(수백 초) 부담이 되었으나, 예측은 빨랐다.
• TabPFN: 추론 비용은 $O(N_c(N_c + N_q))$로 스케일링된다. TabPFN은 GPU에서 계산 효율적이지만(엔드 투 엔드 추론에 약 1~5초 소요), CPU에서는 현저히 느리다. 연구는 TabPFN이 GP에 필요한 데이터셋별 하이퍼파라미터 최적화를 피할 수 있어, 예측 횟수는 적지만 데이터셋 업데이트가 빈번한 시나리오에서 매력적이라고 언급한다.

실세계 데이터셋

Elevators 및 Pumadyn 데이터셋에서도 합성 데이터에서 관찰된 경향이 유지되었다. Tab-PFN은 Elevators에서 GP+를 능가한 반면, GP+는 Pumadyn에서 TabPFN을 앞질렀다. 두 경우 모두 데이터셋 크기가 증가함에 따라 성능 격차가 비교적 안정적으로 유지되었는데, 이는 이러한 특정 실세계 문제들에 대해 단순히 데이터를 추가하는 것만으로는 두 방법 모두의 근본적인 모델 불일치 문제를 해결할 수 없음을 시사한다.

의의 및 주장

본 논문은 TabPFN이 정확한 점 추정치를 얻기 위한 비용 효율적인 방법이며, 특히 수동 전처리 및 모델 튜닝의 필요성을 제거함으로써 고차원 및 대규모 데이터 체계에서 전통적인 에뮬레이터를 대체할 수 있는 계산적으로 저렴한 대안이라고 주장한다.

그러나 저자들은 TabPFN의 능력이 적절한 커널을 갖춘 GP에는 미치지 못한다고 겸허하게 결론짓는다. 연구는 다음과 같은 근본적인 트레이드오프를 강조한다:

• GP는 데이터가 부족한 환경과 사용자가 적절한 커널 및 평균 함수를 선택하는 데 시간을 투자할 수 있는 환경에서 탁월하다. 또한 불확실성(aleatoric vs epistemic)의 명시적 해석력을 제공한다.
• TabPFN은 빠른 배포가 필요하거나, 기저 함수 클래스가 알려지지 않아 고정된 커널로 모델링하기 어려운 "즉시 사용 가능한" 시나리오에서 탁월하다.

저자들은 TabPFN이 강력한 파운데이션 모델이지만, 전통적인 방법들을 구식으로 만드는 것은 아니라고 강조한다. 대신, 실무자들은 GP의 기본 설정을 강력한 베이스라인으로 간주하고, 성능이 포화 상태에 도달했을 때 더 무거운 튜닝이나 파운데이션 모델로 전환하기 전에 약간의 조정(커널/평균 선택)을 적용해야 한다고 조언한다. 본 연구는 최근의 확장 가능한 GP 및 복잡한 커널 구축 기술을 제외하고, 대신 "바닐라" 구현에 집중하여 신흥 표 형식 파운데이션 모델 클래스에 대한 명확한 기준점을 제공하고자 하였다.