기술 요약: 표 형식 파운데이션 모델의 교차 모달리티 전이 (When Tabular Foundation Models Transfer Across Modalities)

문제 정의

현재의 분류 파이프라인은 모달리티별로 파편화되어 있으며, 표 형식 데이터(그래디언트 부스팅 트리), 비전/텍스트(튜닝된 선형 프로브), 분자(ChemBERTa), 오디오(AST), 그래프(GIN) 각각에 대해 서로 다른 도구와 튜닝 레시피를 사용한다. 이러한 파편화는 "교차 모달리티 전이(cross-modality transfer)"에 대한 주장을 평가하기 어렵게 만드는데, 그 이유는 비교 기준(예: 튜닝되지 않은 프로브 또는 오라클 선택과 비교하는 것)이 일관되지 않은 경우가 많기 때문이다. 본 논문은 데이터를 고정된 벡터 표현으로 매핑하고 나면, 다운스트림 분류 단계가 반드시 모달리티 특화적일 필요는 없다고 가정한다. 핵심 과제는 단일한 통일 파이프라인이 데이터셋별 하이퍼파라미터 튜닝 없이도 다양한 모달리티에 걸쳐 가장 강력한 경량 튜닝 베이스라인과 경쟁할 수 있는지 여부를 결정하는 것이다.

방법론

저자들은 7가지 모달리티(비전, 오디오, 음성, 텍스트, 분자, 시계열, 표 형식)에 걸친 95개 데이터셋에 동일하게 적용되는 통합 3단계 분류 파이프라인을 제안한다. 이 파이프라인은 동결된(frozen) 특징 표현 위에서 작동하며 다음 단계로 구성된다:

1. 적응형 ETF 전처리 (Adaptive ETF Preprocessing):

   • ETF(Equiangular Tight Frame) 전처리 단계는 특징 기하학을 재구성하여 클래스 평균이 뉴럴 콜랩스(neural collapse)와 관련된 등각 타이트 프레임 기하학에 접근하도록 유도한다.
   • 깊이 4의 MLP는 입력 특징을 256차원 단위 구체(unit sphere)로 매핑하며, 고정된 심플렉스 ETF 타겟에 대해 최적화한다.
   • 적응형 스킵 (Adaptive Skip): 입력 차원 $d \le 30$인 경우, 기하학적 이득보다 오버헤드가 더 크기 때문에 이 단계를 건너뛴다.
   • 학습 중단 (Training Stop): 검증 세트를 사용하지 않음으로써 비교 편향을 방지하기 위해, 기하학적 기준(클래스 내/간 산포 비율 $R$) 또는 하드 캡(200 에포크)에 따라 학습을 중단한다.

2. TabICL 추론 (TabICL Inference):

   • 파이프라인은 인컨텍스트 추론을 위해 표 형식 파운데이션 모델인 TabICL을 사용한다.
   • 앙상블 전략: 로우(raw) 특징의 경우, 8개의 컨텍스트 순열 앙상블을 사용한다. ETF 전처리된 특징의 경우, 기하학적 변환이 앙상블이 일반적으로 포착하는 분산을 감소시키므로 앙상블을 생략하고 단일 순열만 사용한다.

3. 사후 온도 스케일링 (Post-hoc Temperature Scaling):

   • ETF 전처리는 과잉 확신(overconfidence)을 유발한다. 신뢰도 기반 배포(confidence-gated deployment)를 가능하게 하기 위해, 훈련 세트의 20% 홀드아웃을 사용하여 확률 보정(calibration)을 수행하는 온도 스케일링 단계가 적용된다.

평가 프로토콜:
본 논문은 엄격한 "동일 특징(same-features)" 비교 프로토콜을 채택한다. 성능은 동일한 동결된 특징(예: 튜닝된 선형 프로브 또는 Optuna 탐색을 거친 XGBoost)에 대해 가장 강력한 경량 튜닝 베이스라인과 비교하여 판단된다. 전문화된 풀 백본 미세 조정(full-backbone fine-tuning) 및 오라클 셀 선택은 맥락 제공을 위해 별도로 보고되지만, 주요 비교 대상은 아니다.

주요 기여

1. 체계적인 교차 모달리티 평가: 10개 이상의 인코더 패밀리와 7가지 모달리티에 걸친 광범위한 동결 인코더 임베딩(frozen encoder embeddings)에 대해 제로 튜닝 프로토콜을 적용하여 표 형식 파운데이션 모델을 평가한 첫 사례이다.
2. 모듈형 ETF 전처리: 인코더 사전 학습과는 별개로, 기하학적 조기 종료 기준($R < 0.05$)을 사용하는 인코더 불가지론적(encoder-agnostic) 단계로서 ETF 전처리를 도입하였다.
3. 보정 및 신뢰 신호: TabICL은 구조적으로 잘 보정되어 있으나 ETF 전처리가 이를 방해함을 입증하였다. 제안된 사후 재스케일링은 보정을 복구하여, "신뢰도 게이트형(confidence-gated)" 배포(고신뢰도 예측 자동 수용)를 위한 신뢰할 수 있는 예측당 신뢰 신호를 제공한다.
4. 레짐(Regime) 특성화: 두 가지 뚜렷한 운영 레짐을 식별하였다:
   • 동등 레짐 (Equivalent Regime): 파이프라인이 가장 강력한 튜닝된 베이스라인과 대등한 성능을 보이지만(통계적으로 구별 불가능), 상당한 속도 이점을 제공한다.
   • 개선 레짐 (Improving Regime): 파이프라인이 표현 활용성을 유의미하게 향상시킨다(평균 이득 +12.6pp). 이는 주로 저차원 엔지니어링 오디오 특징 및 특징-태스크 간 불일치(misalignment)가 발생하는 경우에 관찰된다.
5. 배포 가이드라인: 배포를 위한 실질적인 프레임워크(동등 레짐과 개선 레짐을 구분하는 91.4% LOO 정확도의 패널 A 기반 사전 배포 레짐 예측기 포함)와 ETF 전처리를 건너뛰어야 할 때에 대한 구체적인 규칙을 제공한다.

결과

• 성능: 95개 데이터셋에 대해, 파이프라인은 배포 프로토콜(패널 A, 교차 모달리티)에서 가장 강력한 경량 튜닝 베이스라인에 대해 77.1%의 승리 또는 무승부 비율을 기록했으며, 홀드아웃 표 형식 데이터(패널 B)에서는 **91.5%**를 기록했다.
• 레짐 분할:
  • 동등 (30/35 데이터셋): 파이프라인이 베이스라인과 대등하다. 여기서의 가치는 운영적 측면에 있다: 단일 스택이 모든 모달리티를 처리하며 별도의 태스크별 튜닝이 필요 없다.
  • 개선 (5/35 데이터셋): 파이프라인이 베이스라인보다 성능이 월등히 높으며, 특히 저차원 오디오 특징(MFCC, mel-stats) 및 불일치된 임베딩(예: UrbanSound8K에 대한 Wav2Vec2)에서 그러하다.
• 속도: 파이프라인은 풀 백본 미세 조정(AST, ChemBERTa, GIN)보다 4배에서 200배 빠르며, 튜닝된 선형 프로브와 유사한 속도를 보이면서도 후자의 태스크별 튜닝 오버헤드를 피할 수 있다.
• 보정: 온도 스케일링 후, 파이프라인은 잘 보정된 확률을 생성한다. 임계값 $\tau=0.9$에서, 파이프라인은 79.5%의 예측을 자동 확인하며 93.6%의 조건부 정확도를 보여 인간의 검토 부하를 4.9배 줄인다.
• 한계점: 파이나인은 튜닝된 선형 프로브가 이미 천장에 도달한 현대적 파운데이션 임베딩(예: 텍스트 파운데이션, 오디오 파운데이션)에서는 도움이 되지 않으며, 현재 벤치마크에서 음성(speech) 태스크를 구제하는 데 실패한다.

의의 및 주장

본 논문은 교차 모달리티 전이가 단순한 성공/실패의 이분법이 아니라, 두 가지 구조적으로 다른 레짐으로 나뉜다고 주장한다. 주요 기여는 정직한 고정 특징 비교를 통해 다음을 밝혀낸 것이다:

1. 동등함이 일반적이다: 대부분의 데이터셋에서 단일 통일 파이프라인은 전문화되고 튜닝된 베이스라인과 대등한 성능을 보인다.
2. 속도가 차별점이다: 파이프라인은 전문적인 미세 조정에 비해 적응 시간과 계산 비용을 대폭 줄여주며, 대부분의 경우 품질 저하 없이 이를 달성한다.
3. 개선 효과는 존재하지만 드물다: 저차원 특징이나 불일치 상황처럼 파이프라인이 진정한 품질 향상을 제공하는 특정 사례가 존재하지만, 이를 사전에 예측하기는 어렵다.

저자들은 이 연구를 파편화된 분류 환경을 단순화하는 단계로 위치시키며, 광범위하게 경쟁력이 있고, 전문적인 미세 조정보다 훨씬 빠르며, 신뢰할 수 있는 신뢰 신호를 생성할 수 있는 "제로 터치(zero-touch)" 레시피를 제공한다. 저자들은 이 파이프라인이 항상 최고의 전문 모델이나 헤비하게 튜닝된 파이프라인을 이기는 것은 아니지만, 속도와 운영의 단순성이 우선시될 때 충분히 실행 가능한 기본 옵션(default)이 될 수 있음을 명시적으로 밝히고 있다.