기술 요약: LimiX-2M

1. 문제 정의

표 형식 파운데이션 모델(Tabular Foundation Models, TFMs)은 최근 전통적인 트리 앙상블(예: XGBoost, CatBoost)과 대등하거나 이를 능가하는 능력을 입증해 왔습니다. 그러나 저자들은 현재의 TFM 아키텍처에서 정확도-효율성 트레이드오프를 제한하는 두 가지 결정적인 비효로를 식별했습니다.

1. 임베딩에서의 저계수 붕괴(Low-Rank Collapse): 표준 TFM(예: TabPFN-v2)은 일반적으로 단일 선형 투영과 피처 ID 또는 위치 임베딩을 통해 스칼라 수치 셀을 고차원 은닉 공간으로 매핑합니다. 저자들은 이러한 "아핀 스칼라 토큰화(affine scalar tokenization)"가 본질적으로 1차원 채널을 통해 값의 변동성을 주입한다고 주장합니다. 결과적으로, 얕은 층의 피처 행렬은 매우 낮은 유효 계수(때로는 한 자릿수 계수로 붕괴됨)를 보이며, 이는 상당한 파라미터 중복성과 약한 값 민감도로 이어집니다. 이론적 분석(Proposition 3.1 및 Theorem B.1)에 따르면, 추가적인 비선형성이 없다면 임베딩된 입력과 초기 은닉 상태의 계수는 은닉 차원 크기와 상관없이 작은 상수(예: 싱글 헤드 어텐션의 경우 2, 멀티 헤드의 경우 $H+1$)에 의해 제한됩니다.
2. 어텐션 병목 현상 및 불일치(Attention Bottlenecks and Misalignment): 기존의 양방향 어텐션 스택은 종종 피처 어텐션 $\to$ 샘플 어텐션 $\to$ FFN (F$\to$S$\to$N) 순서를 따릅니다. 이 순서는 컬럼 수준의 통계가 확립되기 전에 피처 수준의 어텐션이 오직 원시적이고 약하게 조건화된 값들에만 기반하여 컬럼 간의 정보를 통합하도록 강제합니다. 또한, 최종 예측이 타겟 토큰만을 소비하는 경우가 많기 때문에, 피처 상에서 수행된 샘플 수준의 어텐션 계산은 효과적으로 무시되며, 이는 리드아웃(readout)에 직접적인 영향을 미치지 않는 네트워크 부분에 대해 약한 학습 신호를 초래합니다.

2. 방법론

본 논문은 두 가지 주요 구성 요소를 통해 이러한 문제를 해결하는 통합 프레임워크인 LimiX-2M을 제안합니다.

A. RaBEL (Radial-Basis Embedding Layer)

저계수 붕괴를 완화하기 위해, 저자들은 표준 선형 투영을 대신하여 컴팩트하고 국소적인 Radial Basis Function(RBF) 확장 방식인 RaBEL을 도입합니다.

• 메커니즘: 직접적인 선형 투영 대신, 각 스칼라 입력 $x_{i,j}$는 가우시안 커널을 사용하여 국소적인 비선형 특징 뱅크 $\phi_j(x_{i,j})$로 확장됩니다. 그 후 이 특징들은 모델 차원으로 투영됩니다.
• 지수 게이팅(Exponent Gating): 여러 차수에 걸쳐 걸쳐 있고 이분산성(heteroskedasticity)을 보이는 실제 표 형식 데이터를 처리하기 위해, RaBEL은 입력 값의 로그 크기에 따라 RBF 중심과 대역폭을 조절하는 "지수 게이트"를 도입합니다. 이를 통해 모델은 취약한 하드 빈닝(hard binning) 없이도 다양한 값 범위에 대해 스케일 불변성과 국소성을 유지할 수 있습니다.
• 효과: 이 설계는 토크나이저 단계에서 비선형성을 주입하여, 깊은 층을 쌓아 곡률을 발견하지 않고도 얕은 표현의 유효 계수를 높이고 첫 번째 학습 층의 컨디셔닝을 개선합니다.

B. 재정렬된 양방향 어텐션 (S$\to$N$\to$F)

저자들은 어텐션 스택의 순서를 표준적인 F$\to$S$\to$N에서 샘플 어텐션 $\to$ FFN $\to$ 피처 어텐션 (S$\to$N$\to$F)으로 재정렬할 것을 제안합니다.

• 샘플 어텐션 우선: 모델은 먼저 샘플 전체에 걸쳐 컬럼 수준의 상관관계와 분포 통계(예: 모멘트, 출현 빈도)를 집계합니다.
• 중간 조건화: 경량 FFN이 이러한 신호들을 압축하고 조건화합니다.
• 피처 어텐션 후속: 그 다음 피처 어텐션 층은 더 풍부하고 잘 조건화된 입력을 사용하여 피처 간의 관계를 모델링합니다.
• 리드아웃 정렬: 최종 예측은 모든 피처 토큰에 대한 어텐션 풀링을 통해 얻어지며, 이를 통해 모든 어텐션 계산(샘플 및 피처 수준 모두)이 출력에 직접 기여하도록 보장하여 학습 신호를 강화합니다.

3. 주요 기여

1. 저계수 붕괴 진단: 본 논문은 표준 선형+ID 임베딩이 초기 층에서 심각한 저계수 붕패를 유도하며, 이로 인해 거대한 은닉 차원이 비효율적이 된다는 것을 특이값 분해(SVD)를 통한 경험적 증거와 이론적 증명을 통해 제시합니다.
2. RaBEL 아키텍처: 스칼라 입력을 국소적 비선형 특징으로 확장하여 얕은 표현의 유효 계수를 크게 높이고 컨디셔닝을 개선하는 컴팩트한 RBF 기반 셀 인코더를 도입했습니다.
3. 재정렬된 어텐션 스택: 표준 양방향 어텐션의 "순열 순서 병리 현상(permutation-order pathology)"을 식별하고, 피처 집계 전에 컬럼 수준의 통계를 확립하고 모든 어텐션 신호를 리드아웃으로 전달하는 S$\to$N$\to$F 스택을 제안했습니다.
4. LimiX-2M 모델: 이러한 구성 요소들을 통합한 2M 파라미터 모델을 구현하여, 원칙적인 비선형 임베딩과 어텐션 순서 재설계가 더 나은 정확도-효율성 트레이드오프를 실현할 수 있음을 입증했습니다.

4. 실험 결과

저자들은 XGBoost, LightGBM, CatBoost와 같은 트리 앙상블, 특화된 딥러닝 아키텍처(TabNet, SAINT, FT-Transformer), 그리고 다른 파운데이션 모델(TabPFN-v2, TabICL, Mitra)을 포함한 광범위한 베이스라인과 LimiX-2M을 비교 평가했습니다.

• 성능: 단 1.92M 파라미터만 보유했음에도 불구하고, LimiX-2M은 대부분의 널리 사용되는 표 형식 벤치마크(OpenML-CC18, TabZilla, TabArena, TALENT, BCCO 스위트의 분류 및 회귀 작업 포함)에서 7.24M 파라미터의 TabPFN-v2와 27M 파라미터의 TabICL을 능가했습니다.
• 효율성: 모델은 현저히 낮은 훈련 및 추론 비용을 달성했습니다. GPU 상에서 LimiX-2M은 TabPFN-v2보다 약 2배 빠르며, TabICL보다는 10배 이상 빠릅니다.
• 절제 연구(Ablation Studies):
  • 선형 임베딩을 RaBEL로 교체했을 때, 동일한 아키텍처의 베이스라인과 비교하여 처음 세 개 층의 수치적 계수(numerical rank)와 Rank@99%가 크게 증가했습니다.
  • S$\to$N$\to$F 순서(재정렬된 양방향 어텐션)는 표준 F$\to$S$\to$N 순서보다 일관되게 우수한 성능을 보였습니다.
  • 합성 DAG(Directed Acyclic Graphs)에 대한 토이 실험 결과, S$\to$N$\to$F 아키텍처는 표준 순서에 비해 타겟 변수의 직접적인 원인에 더 높은 어텐션 점수를 할당함을 보여주었습니다.

5. 의의 및 주장

본 논문은 현재 TFM의 주요 한계가 단순히 용량(capacity)의 부족이 아니라, 값이 토큰화되는 방식과 어텐션이 라우팅되는 방식의 구조적 비효율성에 있다고 주장합니다. RaBEL을 통해 "값의 병목(value bottleneck)"을 해결하고 재정렬된 어텐션을 통해 "리드아웃 불일치(readout misalignment)"를 해결함으로써, LimiX-2M은 다음을 입증했습니다.

• **값 인식 토큰화(Value-aware tokenization)**는 정확도-효율성 트레이드오프를 개선하는 핵심 레버입니다.
• **리드아웃 정렬된 라우팅(Readout-aligned routing)**은 모든 계산 자원이 최종 예측에 기여하도록 보장합니다.
• 표 형식 데이터에서의 높은 성능은 반드시 거대한 파라미터 수를 필요로 하지 않습니다. 아키텍처를 표 형식 데이터의 고유한 통계적 특성(예: 구간별 추세, 헤비 테일, 혼합 유형)에 맞게 최적화한다면, 2M 파라미터 모델이 더 큰 파운데이션 모델을 능가할 수 있습니다.

저자들은 이러한 결과가 단순한 파라미터 확장을 넘어, 데이터의 내재적 구조와 더 잘 부합하는 아키텍처 원칙을 향한, 보다 신뢰할 수 있는 표 형식 파운데이션 모델의 스케일링 경로를 제시한다고 결론지었습니다.