기술 요약: TabPFN을 위한 텍스트 인코더 사전 학습을 향하여

문제 정의

TabPFN으로 대표되는 테이블 기반 파운데이션 모델은 수치형 및 범주형 데이터를 포함하는 데이터셋에서 강력한 예측 능력을 입증해 왔습니다. 그러나 이 모델들은 고차원 카디널리티(high-cardinality)를 가진 텍스트 피처에 대한 네이티브 지원이 부족합니다. 현재의 표준 파이프라인은 텍스트를 언어 모델(LM)을 통해 임베딩한 후, PCA(주성분 분석)를 사용하여 결과물인 고차원 벡터를 소수의 스칼라 피처로 압축하여 TabPFN에 입력하는 방식으로 이를 해결합니다.

이러한 접근 방식은 두 가지 결정적인 한계를 초래합니다:

1. 정보 병목 현상(Information Bottleneck): PCA 단계는 임베딩 차원의 대부분을 버림으로써, 데이터가 테이블 모델에 도달하기 전에 의미론적 풍부함을 박탈합니다.
2. 비미분성(Non-Differentiability): 압축 과정은 파이프라인을 완전한 미분 가능 상태로 만드는 것을 방해하며, TabPFN의 예측 신호에 따라 언어 모델을 미세 조정(fine-tuning)할 수 있는 능력을 제거합니다.

PCA를 피하기 위해 종단간(end-to-end) 접근 방식(예: ConTextTab, TabSTAR)을 사용하는 대안들은 실제 데이터 컬렉션(예: T4)에 대한 광범리한 사전 학습을 요구하는 경우가 많은데, 이러한 데이터는 종종 품질이 낮은 웹 스크레이핑 데이터입니다. 이러한 방법들은 합성 데이터에 대해 대량으로 사전 학습된 모델에 비해 순수 수치 및 범주형 작업에서의 성능을 저하시킬 수 있으며, 모델을 특정 LM이나 언화(verbalization) 전략에 종속시킬 위험이 있습니다.

방법론

저자들은 LLaVA, TableGPT와 같은 대규모 언어 모델(LLM)의 멀티모달 정렬 기법에서 영감을 얻은 경량화된 사후 학습 정렬 전략인 **TabPFN 텍스트 어댑터(TabPFN Text Adapter)**를 제안합니다. 핵심 목표는 파운데이션 모델이나 문장 인코더의 가중치를 업데이트하지 않고, LM 텍스트 임베딩을 TabPFN의 내부 임베딩 공간으로 직접 투영하는 것입니다.

아키텍처 및 파이프라인

1. 피처 분리: 텍스트 컬럼을 수치형 및 범주형 컬럼으로부터 분리합니다. TabPFN은 견고한 성능을 유지하기 위해 후자를 표준 인코더를 사용하여 처리합니다.
2. 텍스트 언화(Verbalization): 자유 텍스트 컬럼의 경우, 각 셀에 컬럼 이름을 접두사로 붙여 언화합니다(예: column_name: text). 이러한 맥락화는 언어 모델이 서로 다른 의미를 가진 동일한 텍스트 값을 구별하는 데 도움을 줍니다.
3. 임베딩 생성: 언화된 텍스트는 문장 트랜스포머(all-MiniLM-L6-v2)를 사용하여 인코딩되어 고차원 임베딩을 생성합니다.
4. 어댑터 투영(Adapter Projection): 경량 어댑터는 이 임베딩들을 TabPFN의 192차원 임베딩 공간 내의 짧은 토큰 시퀀스(1~10개)로 매핑합니다.
   • 구조: 어댑터는 TabPFN의 피처 인코더를 모방합니다: 분류 작업을 위해서는 선형 레이어를, 회귀 작업을 위해서는 2층 MLP를 사용합니다.
   • 토큰 수: 절제 연구(Ablation studies) 결과, 분류 작업에는 5개의 토큰을(성능과 연산량의 균형), 회귀 작업에는 1개의 토큰을(최적의 결과 도출) 사용하는 것이 적절한 것으로 나타났습니다.
5. 융합(Fusion): 적응된 텍스트 토큰은 표준 테이블 임베딩과 결합되어 TabPFN의 트랜스포머 블록으로 전달됩니다.

학습 절차

• 동결(Freezing): 문장 트랜스포머와 TabPFN 아키텍처는 모두 동결됩니다. 오직 어댑터 가중치만 업데이트됩니다.
• 초기화: 어댑터는 TabPFN이 기대하는 임베딩 분포와 정렬된 강력한 시작점을 제공하기 위해 원래의 TabPFN 인코더 가중치로부터 초기화됩니다.
• 데이터: 사전 학습에는 STRABLE 벤치마크의 하위 집합을 활용하며, 특히 의미 있는 자유 텍스트 컬럼을 가진 데이터셋(범주형 텍스트와 구분하기 위해 고유 값이 20개 초과)을 선택합니다.
• 순열 불변성(Permutation Invariance): 어댑터가 임베딩 차원 순서에 불변한 매핑을 학습하도록, 학습 중 어댑터 전 단계에서 LM 임베딩 차원에 무작위 순열을 적용합니다. 추론 앙상블 시에는 각 앙상블 멤버마다 서로 다른 순열을 사용하고 예측값을 평균냅니다.

주요 기여

1. PCA 병목 현상 제거: 어댑터는 텍스트를 모델의 토큰 공간으로 직접 투영함으로써 PCA 압축과 관련된 정보 손실을 제거합니다.
2. 수치적 강점 보존: TabPFN의 핵심 가중치를 동결하고 경량 어댑터만을 학습시킴으로써, 종단간 텍스트-테이블 파이프라인에서 흔히 발생하는 수치 및 범주형 신호의 성능 저하를 방지하고 우수한 성능을 유지합니다.
3. 효율성: 이 방식은 종단간 사전 학습보다 계산 효율성이 높으며, 작업 유형별로 투영되는 토큰 수를 최적화함으로써 과도한 토큰 수로 인한 이차 복잡도(quadratic complexity) 페널티를 피합니다.
4. 모달리티 정렬: 시각적 지시 튜닝(LLaVA) 및 테이블-투-LLM 시스템(TableGPT)의 정렬 원리를 테이블 예측 도메인으로 성공적으로 전이했습니다.

결과

본 방법론은 자유로운 긴 텍스트 컬럼을 포함하는 13개 데이터셋(분류 6개, 회귀 7개)으로 구성된 TextTabBench에서 평가되었습니다.

• 회귀(Regression): TabPFN 텍스트 어댑터는 ConTextTab 및 PCA-30 베이스라인을 포함한 모든 베이스라인을 능가했습니다. 이는 PCA-30 방식보다 훨씬 적은 수의 토큰을 사용하면서도 달성한 결과로, 어텐션 메커니즘의 이차 복잡도 측면에서 계산적 이점을 제공합니다.
• 분류(Classification): 어댑터는 PCA-30 베이스라인과 매우 유사한 성능(정규화된 ROC-AUC 기준 84.5% 대 86.4%)을 보였으나, 이를 넘어서지는 못했습니다. 특히 ConTextTab(97.65%)에 뒤처졌는데, 이는 분류 작업의 경우 텍스트가 풍부한 실제 데이터에 대한 ConTextTab의 특정 사전 학습이 여전히 우위에 있거나, 토큰 압축 전략의 추가적인 정교화가 필요함을 시사합니다.

절제 연구 통찰:

• 토큰 수: 최적의 토큰 수는 작업에 따라 다릅니다(분류 10개, 회귀 1개). 이는 아마도 TabPFN의 피처 인코더(선형 vs MLP)의 구조적 차이와 사전 학습된 프라이어(prior) 때문일 것입니다.
• 융합 깊이(Fusion Depth): 초기 융합(첫 번째 트랜스포머 레이어 이전)이 후기 융합보다 일관되게 우수한 성능을 보였으며, 이는 TabPFN이 처음부터 텍스트 토큰을 수치적 피처와 함께 처리할 때 이득을 얻음을 나타냅니다.
• 초기화: 어댑터를 TabPFN 가중치로 초기화하는 것은 회귀 작업에서 명확한 이점을 제공했으나, 분류 작업에서의 효과는 미미했습니다.

의의 및 한계

본 논문은 TabPFN 텍스트 어댑터를 TabPFN을 위한 전체 텍스트-인코더 파이프라인을 최적화하기 위한 중요한 첫 단계로 자리매김합니다. 이 방식은 종단간 사전 학습보다 더 단순하고, 저렴하며, 유연한 대안을 제공하며, 수치적 역량을 희생하지 않으면서도 최고의 테이블 기반 파운데이션 모델이 텍스트 피처를 활용할 수 있도록 성공적으로 지원합니다.

한계:
저자들은 현재의 어댑터가 모든 작업에 대해 동일한 사전 학습된 선형 레이어 또는 MLP를 적용한다는 점을 인정하며, 특정 임베딩 차원의 중요도가 작업마다 다를 수 있다고 언급했습니다. 또한 고차원 LM 임베딩을 단일 TabPFN 토큰으로 매핑하는 과정에서 상당한 정보 손실이 발생한다고 가설을 세웠습니다. 향후 연구로는 특정 텍스트 컬럼이나 다른 테이블 컬럼(타겟 포함)에 따라 조건을 부여하여 차원을 동적으로 축소함으로써, TabPFN의 통계적 추론 능력을 더욱 효과적으로 활용할 수 있는 어댑터를 개발하는 것을 목표로 하고 있습니다.