기술 요약: 표 형식 파운데이션 모델을 위한 데이터 사전 확률(Data Priors) 평가를 향하여

문제 정의

TabPFN과 같은 표 형식 파운데이션 모델(Tabular Foundation Models, TFMs)은 사전 학습 시 태스크 분포를 정의하기 위해 **데이터 생성 사전 확률(data-generating priors)**에 크게 의존합니다. 이러한 사전 확률은 다운스트림 예측 동작을 형성하는 데 핵심적인 역할을 하지만, 독립적인 구성 요소로서 평가되는 경우는 드뭅로습니다. 일반적으로 사전 확률은 특정 아키텍처, 최적화 전략 및 훈련 프로토콜과 함께 도입되므로, 사전 확률 자체의 순수한 영향을 격리하여 파악하기 어렵습니다. 이러한 격리의 부재는 서로 다른 모델의 사전 확률을 비교하거나, 데이터 수준의 특성이 어떻게 다운스트림 성능으로 전이되는지 이해하는 것을 방해합니다. 본 논문은 다음과 같은 방법론적 질문을 다룹니다: 서로 다른 표 형식 파운데이션 모델의 사전 확률을 그들이 원래 도입되었던 아키텍처 및 훈련 프로토콜과 독립적으로 어떻게 비교할 수 있는가?

방법론

이를 해결하기 위해 저자들은 데이터 생성, 모델 훈련 및 다운스트림 평가를 표준화하는 통합 평가 파이프라인을 제안합니다. 이 프레임워크는 TFM-Playground의 확장판으로 구축되었습니다.

1. 통합 사전 확률 인터페이스 (Unified Prior Interface)

저자들은 다섯 가지 서로 다른 사전 확률 패밀리로부터 훈련 태스크를 생성하기 위한 통합 인터페이스를 구현했습니다:

• TabPFNv1: 함수 기반 사전 확률(MLP, 가우시안 프로세스, 혼합 모델)을 사용하여 무작위 입력에 대한 타겟 함수를 샘플링합니다.
• TabICL: 잠재 가우시안 변수를 샘플링하고 이를 계층적 구조적 인과 모델(SCM) 변환을 통해 전파하여 태스크를 생성합니다. 변형 모델로는 MLP 매핑, 트리 기반 매핑 또는 혼합 모델이 있습니다.
• TICL: TabPFNv1과 유사하지만, MLP 및 가우시안 프로세스 생성기를 기반으로 하는 대안적인 전처리 및 타겟 변환 루틴을 사용합니다.
• TabForestPFN: 무작위로 샘플링된 데이터에 표준 ML 모델(결정 트리, 최근접 이웃, 랜덤 투영 분류기)을 적합시키고, 미학습 입력에 대한 해당 모델의 예측값을 타겟으로 사용합니다.
• Real Data (실제 데이터): 큐레이션된 OpenML 데이터셋을 사용하는 통제된 파이프라인입니다. 데이터셋 큐레이션, 누수 감소(통계적 지문을 통한 중복 제거)를 포함하며, 데이터셋을 분류/회귀 풀로 나누어 태스크를 구성합니다. 태스크는 데이터셋을 샘플링하고 타겟(원래 타겟 또는 호환 가능한 무작위 컬럼)을 선택함으로써 생성됩니다.

2. 통제된 실험 설정

• 태스크 생성: 각 사전 확률은 고정된 예산인 250,000개의 태스크를 생성합니다. 계산 가능성을 보장하기 위해 태스크는 최대 512개의 샘플과 16개의 피처로 제한됩니다.
• 모델 아키텍처: 모든 사전 확률은 동일한 nanoTabPFN 모델을 훈련하는 데 사용됩니다. 이 경량 아키텍처는 저데이터 환경에서도 경쟁력 있는 성능을 유지하면서, 고정된 자원 하에서 통제되고 반복 가능한 실험을 수행하기 위해 선택되었습니다.
• 훈련 프로토콜: 모든 사전 확률에 대해 패딩 없이 다양한 시퀀스 길이를 처리할 수 있도록 배치 크기가 1인 고정 프로토콜이 적용됩니다.
• 다운스트림 평가: 모델은 TabArena v0.1의 고정된 분류 태스크 서브셋(16개 태스크, 피처 ≤500, 인스턴스 ≤5000)에서 평가됩니다. 성능은 세 번의 폴드(fold)에 걸친 ROC-AUC를 통해 측정됩니다.

3. 평가 지표

본 연구는 두 가지 차원에서 사전 확률을 비교합니다:

1. 데이터 수준 특성화 (Data-Level Characterization): 생성된 태스크는 데이터 공간에서의 쌍별 유사도를 계산하기 위해 공유된 벡터인 데이터셋 통계량(메타 피처)으로 요약됩니다.
2. 다운스트럼 성능 (Downstream Performance): 사전 확률은 절대적 성능(Raw Avg. ROC-AUC)과 상대적 일관성(Norm. Avg. min-max 정규화된 ROC-AUC 및 평균 순위)을 기준으로 순위가 매겨집니다.

주요 결과

성능 변동성

서로 다른 사전 확률은 서로 다른 다운스트림 동작을 선호하며, 모든 지표에서 압도하는 단일 사전 확률은 존재하지 않았습니다:

• 절대적 성능: TICL 사전 확률이 가장 높은 원 평균 ROC-AUC(0.866)와 가장 많은 데이터셋 승리(5회)를 달성했습니다.
• 상대적 일관성: TabICL Mix SCM 사전 확률이 가장 좋은 평균 순위(2.69)와 가장 높은 정규화 평균(0.937)을 기록하여, 다른 모델들에 비해 다양한 태스크에서 더 일관된 경쟁력을 보여주었습니다.
• 실제 데이터 성능: 놀랍게롭게도, Real Random Targets(실제 데이터셋에서 타겟 컬럼을 무작위로 선택)가 Real Default Targets(원래 타겟 사용)보다 유의미하게 높은 성능을 보였습니다 (정규화 평균 기준 0.675 vs 0.123). 저자들은 이를 태스크 다양성 때문이라고 설명합니다. 무작위 선택은 단일 데이터셋이 여러 개의 구별된 예측 문제를 생성할 수 있게 하는 반면, 고정된 타겟은 반복적이고 유사한 문제로 이어질 수 있기 때문입니다.

데이터 유사도 vs. 성능

• 데이터 공간: 동일한 라이브러리 출신의 사전 확률(예: TabICL 변형들)은 다른 라이브러리의 사전 확률보다 일반적으로 서로 더 유사합니다. 이는 생성 프레임워크가 구체적인 기저 메커니즘보다 데이터 분포에 더 큰 영향을 미친다는 것을 시사합니다.
• 성능 공간: 일부 데이터 공간의 유사성이 성능의 유사성과 상관관계가 있지만(예: TabPFN 변형들), 그 상관관계가 완벽하지는 않습니다.
  • 데이터는 다르지만 성능은 유사함: TabForest Neighbor 사전 확률는 실제 데이터와 통계적으로 매우 다르지만 경쟁력 있는 다운스트림 성능을 달성합니다.
  • 데이터는 유사하지만 성능은 다름: Real Random Targets와 Real Default Targets는 데이터 공간에서 통계적으로 유사하지만, 다운스트림 성능은 극명하게 다릅니다.
• 결론: 데이터 수준의 통계적 유사성은 정보가 될 수는 있으나, 다운스트림 예측 동작을 설명하는 데에는 **불완전한 대리 지표(proxy)**입니다. 태스크 다양성이나 학습 신호와 같은 요소들은 요약 통계량에 완전히 포착되지 않습니다.

절제 연구 (Ablation Study)

데이터 차원에 대한 절제 연구 결과, 샘플 수를 고정한 채 피처 수를 늘리면 일반적으로 다운스트림 성능이 저하되는 것으로 나타났습니다. 저자들은 이것이 평가 태스크와 비교했을 때 비현실적인 피처 대 샘플 비율을 만든다고 제안합니다.

의의 및 주장

본 논문은 통제된 환경에서 데이터 생성 사전 확률이 다운스트림 동작에 어떻게 영향을 미치는지 탐구하는 "첫걸음"을 떼었다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 사전 확률의 격리: 아키텍처와 훈련 프로토콜을 고정함으로써 사전 확률을 독립적인 구성 요소로 성공적으로 격리하였으며, 이는 기존 TFM 문헌에서 거의 시도되지 않은 작업입니다.
2. 통합 인터페이스 제공: 여러 기존 프레임워크(TabPFN, TabICL, TabForest 등)에 걸쳐 합성 및 실제 데이터 사전 확률을 비교할 수 있는 표준화된 인터페이스를 제공합니다.
3. 경험적 통찰: 데이터 수준의 유사성이 통찰을 제공하기는 하지만, 다운스트림 동작을 완전히 설명하지는 못한다는 점을 입증했습니다. 본 연구는 실제 데이터 사전 확률의 성공에 있어 (소스 데이터의 통계적 유사성과는 별개로) 태스크 다양성(예: 무작위 타겟 선택을 통해)이 결정적인 요소가 될 수 있음을 강조합니다.

저자들은 관찰된 성능 차이가 종종 작은 규모이며, 주의 깊게 해석되어야 한다고 언급하며 겸허한 태도를 유지했습니다. 그들은 향-후 연구에서 사전 확률별 하이퍼파라미터 튜닝이 이러한 상대적 순위를 바꿀 수 있는지 조사할 수 있다고 제안합니다.