Shaping the Prior: How Synthetic Task Distributions Determine Tabular Foundation Model Quality

기술 요약: 사전분포 형성 – 합성 작업 분포가 표본 기반 모델의 품질을 어떻게 결정하는가

1. 문제 제기

표본 기반 모델 (Tabular Foundation Models, TFMs) 은 지도식 표본 학습을 암모타이즈드 추론 (amortized inference) 으로 재해석하는 방법론의 한 클래스로 등장하여, 모델이 데이터셋별 학습 없이 레이블이 지정된 서포트 세트 (support set) 에서 쿼리 레이블을 예측할 수 있게 합니다. 언어 또는 비전 기반 모델이 자연 발생 데이터에서 유도적 편향 (inductive biases) 을 습득하는 것과 달리, TFMs 은 거의 전적으로 합성 사전 학습 분포에서 유도적 편향을 도출합니다.

본 논문은 중요한 간극을 지적합니다: 이러한 합성 사전분포의 설계는 제대로 이해되지 않았습니다. 기존 합성 사전분포는 종종 "너무 잘 정돈된" 데이터를 생성하여, 매끄러운 특성 주변분포, 결측치 부재, 그리고 교환 가능한 서포트/쿼리 행을 생성합니다. 이는 실제 세계의 표본 데이터에 내재된 불규칙성, 교란, 선택 효과, 그리고 분포 변화를 포착하지 못합니다. 결과적으로, 이상화된 합성 작업으로 사전 학습된 모델은 배포에 필요한 견고함을 결여할 수 있습니다. 다루는 핵심 과학적 질문은 다음과 같습니다: 표본 기반 모델의 품질을 결정하는 요소는 무엇이며, 구체적으로 합성 사전분포의 설계가 하류 성능에 어떻게 영향을 미치는가?

2. 방법론: O'PRIOR

이를 해결하기 위해 저자들은 실제 세계의 표본 데이터 복잡성을 더 잘 모방하는 합성 사전 학습 작업을 생성하도록 설계된 구성적 현실성 사전분포인 O'PRIOR을 소개합니다. 방법론은 네 가지 결합된 구성 요소로 이루어진 순차적이고 누출 방지 (leakage-safe) 생성 파이프라인으로 구조화되어 있습니다:

1. 계층적 SCM 메타 생성기:

   • 단일 함수 계열 (예: MLP 만) 에 의존하는 대신, O'PRIOR 은 **하이브리드 구조적 인과 모델 (Structural Causal Model, SCM)**에서 샘플링합니다.
   • 다층 퍼셉트론 (MLP), 의사결정나무 (XGBoost, 랜덤 포레스트, 엑스트라 트리를 포함), 1D 합성곱 레이어, 가우시안 프로세스 (RBF 커널), 그리고 시간 지연 벡터 자기회귀 (VAR) 등 다섯 가지 다양한 계열의 기본 메커니즘을 구성합니다.
   • 이러한 메커니즘은 평균, 가중 소프트맥스, 또는 최대값과 같은 연산자를 통해 노드 값을 집계하는 무작위 방향 비순환 그래프 (DAG) 로 배열됩니다. 특성과 목표 변수는 표현 공간의 다양한 영역을 포괄하도록 보장하기 위해 다양성 인식 전략 (예: k-평균, 가장 먼 지점 선택) 을 사용하여 선택됩니다.

2. 모듈식 현실성 엔진:

   • 이 구성 요소는 현실적인 아티팩트를 도입하여 원시 SCM 출력을 관측 표로 변환합니다.
   • 서포트 전용 전처리: 쿼리 행으로의 정보 누출을 방지하기 위해 통계량 (평균, 분산) 은 오직 서포트 세트에서만 계산됩니다.
   • 특성 증강 및 주변분포 변형: 공학된 특성 (다항식 상호작용, 저랭크 투영) 을 포함하고, 두꺼운 꼬리 (Student-t, Pareto), 경계 변수, 계수형 분포, 그리고 이분산 잡음을 포함하도록 주변분포를 변환합니다.
   • 구조화된 결측치: 완전 무작위 결측 (MCAR), 무작위 결측 (MAR), 그리고 비무작위 결측 (MNAR) 메커니즘을 도입하며, 보간 전략은 메타데이터로 저장됩니다.
   • 목표 변수 변환: 회귀 목표 변수에 왜도 변환, 두꺼운 꼬리 잡음, 그리고 검열식 변환을 적용하고, 분류를 위해 레이블 잡음이 있는 이산화 처리를 적용합니다.
   • 하위 그룹 구조: 선택적으로 그룹별 절편 또는 상호작용을 가진 범주형 하위 그룹을 추가합니다.

3. 분포 이동 및 단축 (Shortcut) 스트레스 모듈:

   • 이 모듈은 실제 세계 배포에서 실패 모드를 유발하는 조건을 명시적으로 주입합니다.
   • 잠재적 교란: 특성과 목표 변수에 공유 잠재 벡터를 추가하여 허위 상관관계를 생성합니다.
   • 허위 서포트 예측자: 서포트 세트에서는 매우 예측력이 높지만 쿼리 세트에서는 신뢰할 수 없거나 반전된 특성을 생성합니다.
   • 공변량 이동: 쿼리 행에 아핀 변형을 적용하여 주변분포를 이동시킵니다.
   • 시간적/계절적 드리프트: 주기적 신호와 체제 변화를 통해 비정상성을 도입합니다.

4. 커리큘럼 지배적, 누출 방지 프로토콜:

   • 파이프라인은 누출 방지 계약을 강제합니다: 모든 적합된 통계량은 서포트 세트에서 측정 가능 ($F_n$-측정 가능) 해야 합니다. 쿼리 행은 오직 서포트의 함수에 의해서만 변환됩니다.
   • 커리큘럼은 사전 학습 동안 사전분포의 난이도를 조절하며, "낮은" 현실성 (단순 메커니즘, 경미한 아티팩트) 에서 시작하여 "높은" 현실성 (복잡한 메커니즘, 심각한 이동) 으로 전환되어 안정적인 수렴을 용이하게 합니다.

3. 실험 프로토콜

저자들은 사전분포를 유일한 독립 변수로 격리하기 위해 통제된 평가 프로토콜을 수립했습니다.

• 고정 제약 조건: 모델 아키텍처 (TABPFN V2 의 경량 재구현인 NANOTABPFN), 옵티마이저, 그리고 컴퓨팅 예산 (40,000 개의 합성 데이터셋, 10 에포크) 은 모든 실험에서 일정하게 유지됩니다.
• 베이스라인: TabPFN v1 (MLP 기반 SCM), TabICL-v1 (MLP + XGBoost), 그리고 TabICL-v2 (확장된 SCM 다양성) 와 비교합니다.
• 절제 (Ablation) 그룹: SCM 다양성, 하이브리드 SCM, 현실성 (중간/강함), 이동 스트레스, 그리고 커리큘럼의 기여도를 격리하기 위해 O'PRIOR 의 아홉 가지 변형을 테스트합니다.
• 벤치마크: TabArena v0.1(21 개 데이터셋) 과 OpenML-CC18(31 개 필터링된 데이터셋) 에서 평가가 수행되며, 작은 규모에서 중간 규모의 샘플 regimes 에 초점을 맞춥니다.

4. 주요 결과

• 하류 성능: O'PRIOR 은 베이스라인보다 일관되고 상당한 개선을 보여줍니다. 전체 O'PRIOR 구성 (G4) 은 TabICL-v2 대비 TabArena ROC-AUC 를 2.8 포인트, OpenML-CC18 ROC-AUC 를 10.1 포인트 향상시킵니다.
• 구성 요소 기여도:
  • 메커니즘 다양성: 하이브리드 SCM(G1b) 은 가장 영향력 있는 단일 구성 요소로 식별되었으며, 가장 약한 베이스라인과 최상위 O'PRIOR 구성 간의 성능 차이의 대부분을 설명합니다.
  • 현실성: 강한 현실성 (G2b) 은 중간 현실성보다 단조롭게 우세하여, 불규칙성 (두꺼운 꼬리, 결측치) 에 노출되는 것이 유익함을 나타냅니다.
  • 이동 스트레스: 견고성을 향상시키지만, 이동 모듈의 평균 i.i.d. 정확도 기여도는 현실성보다 작습니다. 이는 주로 분포적 견고성을 위해 설계되었기 때문입니다.
  • 커리큘럼: 고정된 짧은 예산 하에서, 워밍업 단계가 가장 어려운 분포에 대한 노출을 줄이기 때문에 정적 강한 사전분포가 때때로 커리큘럼 구성보다 우세할 수 있습니다. 커리큘럼은 스케줄 의존적 선택이며 보편적으로 우월한 것은 아닙니다.
• 구조적 정렬: 적응된 TabStruct 지표를 사용하여 O'PRIOR 은 TabICL-v2 보다 실제 세계 데이터셋 (예: Churn, Home Credit) 과 더 밀접하게 일치하는 상관 스펙트럼과 고유값 감소를 가진 표를 생성하며, 특히 특성 간 종속성을 포착하는 데 뛰어납니다.
• 내부 표현: 프로빙 실험은 O'PRIOR 으로 사전 학습된 모델이 구조적으로 까다로운 데이터셋 (예: Vehicle, Ionosphere) 에서 특히 트랜스포머 레이어를 거치며 점진적으로 더 차별화된 내부 표현을 개발함을 보여줍니다. 반면, 베이스라인은 종종 레이어 전반에 걸쳐 평탄하거나 저하되는 성능을 보입니다.

5. 의의 및 주장

본 논문은 합성 사전분포 구성이 표본 기반 모델 품질의 1 차적이며 크게 간과된 결정 요인이라고 주장합니다.

• 과학적 기여: 사전분포를 변수로 격리함으로써, 이 연구는 아키텍처 변경이 TFM 성능의 유일한 동인이 아님을 입증합니다. 합성 작업 분포의 설계가 동등하게 중요합니다.
• 기작적 통찰: 이 연구는 구조적 메커니즘 다양성(하이브리드 SCM 을 통해) 이 전이 개선의 주요 동인임을 확립하며, 관측 현실성과 이동 인식 스트레스가 상호 보완적이고 독립적인 이점을 제공함을 보여줍니다.
• 실용적 프레임워크: O'PRIOR 은 실제 세계 표본 데이터의 "지저분함"을 더 잘 반영하는 합성 사전 학습 데이터를 생성하기 위한 원칙적이고 모듈식 프레임워크를 제공하여, 더 정확할 뿐만 아니라 더 깊고 견고한 내부 표현을 가진 모델을 이끕니다.

저자들은 향후 작업이 이 프레임워크를 더 큰 예산으로 확장하고 도메인 특화 현실성 모듈을 탐구하는 데 초점을 맞춰야 한다고 결론지으며, 현재의 결과는 데이터 생성 및 표현 학습 수준 모두에서 더 나은 사전분포가 더 나은 표본 기반 모델을 산출함을 확고히 입증합니다.