기술 요약: MulTaBench

문제 제기

표 기반 기초 모델 (Tabular Foundation Models, TFMs) 은 구조화된 수치 및 범주형 데이터에 대한 사전 학습을 활용하여 지도식 표 학습에서 최첨단 성능을 달성했습니다. 그러나 이러한 모델은 본질적으로 단일 모달 (unimodal) 이며, 텍스트나 이미지와 같은 비구조화된 모달을 네이티브로 지원하지 못합니다. 현재 다중 모달 표 학습 (Multimodal Tabular Learning, MMTL) 에 대한 접근 방식은 일반적으로 비구조화된 입력을 처리한 후 표 학습기에 입력하기 위해 동결된 사전 학습 임베딩(예: LLM 또는 VLM 에서 추출) 에 의존합니다.

이 논문은 이러한 접근 방식이 두 가지 주요 이유로 최적이지 않다고 주장합니다:

1. 정보 손실: 사전 학습된 임베딩은 광범위한 전역적 의미 내용 (예: X 선과 유방촬영술을 구분하는 것) 을 최적화하도록 설계되었으며 손실적인 요약본 역할을 합니다. 이들은 종종 특정 하류 예측 작업에 결정적인 미세한 세부 사항 (예: 정밀한 크기 추정, 국소화된 이상 징후, 또는 특정 텍스트 뉘앙스) 을 폐기합니다.
2. 작업 무관한 한계: 기존 벤치마크는 종종 모달의 공존에 초점을 맞추기만 할 뿐, **작업 인식 표현 (Target-Aware Representations, TAR)**의 필요성을 간과합니다. 많은 MMTL 작업에서 비구조화된 모달의 최적 표현은 특정 예측 대상과 다른 모달이 제공하는 맥락에 크게 의존합니다. 현재 벤치마크는 작업 무관한 임베딩이 필요한 예측 신호를 포착하지 못하는 데이터셋을 분리해 내는 데 실패합니다.

방법론

큐레이션 파이프라인

벤치마킹의 격차를 해소하기 위해 저자들은 두 가지 특정 속성을 만족하는 데이터셋을 큐레이션하기 위한 알고리즘적 파이프라인을 개발했습니다:

1. 결합 신호 (Joint Signal): 비구조화된 모달 (텍스트 또는 이미지) 은 구조화된 표 데이터와 결합되었을 때 각 모달이 단독으로 달성하는 것을 넘어 예측 성능을 향상시키는 보완적 정보를 제공해야 합니다.
2. 작업 인식성 (Task-Awareness): 데이터셋은 특정 예측 대상에 맞게 조정된 임베딩인 **작업 인식 표현 (TAR)**이 동결된 오프더셸 (off-the-shelf) 임베딩보다 우수함을 입증해야 합니다.

실험 조건:
파이프라인은 네 가지 조건 하에서 다섯 가지 다양한 표 학습기 (LightGBM, CatBoost, TabM, TabPFNv2, TabPFN-2.5) 를 사용하여 후보 데이터셋을 평가합니다:

• 단일 모달 구조화: 표 특징만 사용.
• 단일 모달 비구조화: 임베딩을 통한 비구조화된 특징만 사용.
• 결합 동결: 표 + 비구조화 (동결된 임베딩 사용).
• 결합 TAR: 표 + 비구조화 (대상에 맞게 미세 조정된 임베딩 사용).

TAR 구현:
TAR 을 생성하기 위해 저자들은 전처리 단계로 예측 대상에 대해 인코더의 마지막 세 층을 (LoRA 를 사용하여) 미세 조정합니다. 이 적응은 구조화된 특징 및 하류 표 학습기와 독립적으로 수행됩니다. 회귀 작업의 경우, 학습을 안정화하기 위해 연속 레이블을 빈 (bins) 으로 이산화합니다.

수용 기준:
데이터셋이 벤치마크에 포함되려면 최소 5 개 학습기 중 3 개 이상에서 다음 조건을 충족해야 합니다:

• 결합 동결 조건이 두 가지 단일 모달 기준선보다 우수해야 함 (결합 신호 검증).
• 결합 TAR 조건이 결합 동결 조건보다 우수해야 함 (작업 인식성 검증).

MulTaBench 데이터셋

이 파이프라인을 사용하여 저자들은 40 개 데이터셋으로 구성된 벤치마크인 MulTaBench를 구축했습니다:

• 20 개 이미지 - 표 데이터셋: 공개 소스와 문헌에서 큐레이션되었으며, 의료 (예: CheXpert, CBIS-DDSM), 전자상거래, 생물학 등의 분야를 포괄합니다. 이는 현재까지 가장 큰 이미지 - 표 벤치마크입니다.
• 20 개 텍스트 - 표 데이터셋: 기존 벤치마크 (예: CARTE, TextTabBench, AutoML Multimodal) 에서 파생되었으며 엄격한 큐레이션 기준을 충족하도록 필터링되었습니다.
• 다양성: 벤치마크는 분류 및 회귀 작업을 균형 있게 구성하며, 샘플 크기 (400 에서 114,000 행까지) 와 특징 수를 다양화합니다.

주요 결과

1. 작업 인식 표현의 우위

핵심 발견은 MulTaBench 데이터셋 전반에 걸쳐 TAR 이 동결된 임베딩보다 일관되게 우수하다는 것입니다.

• 일반화: 임베딩 튜닝으로 인한 성능 향상은 다양한 표 학습기 (GBDT 에서 TFMs 까지), 인코더 규모 (소형 대 대형 모델), 그리고 임베딩 차원 (15, 30, 60 또는 원본 384 차원) 에 걸쳐 일반화됩니다.
• 향상 폭: 개선 폭은 데이터셋에 따라 다르지만 경향성은 강력합니다. 예를 들어, 텍스트 - 표 하위 집합에서 TAR 은 테스트된 모든 학습기에 대해 동결된 임베딩보다 성능을 향상시켰습니다.
• 정성적 증거: 이미지 데이터셋 (예: CheXpert, PetFinder) 에 대한 DINO-v3 를 활용한 어텐션 맵 분석은 TAR 이 인코더의 초점을 관련 없는 전역 특징에서 특정 작업 관련 영역 (예: 폐렴 감지를 위한 폐 조직, 나이 예측을 위한 동물 귀) 으로 이동시키는 반면, 동결된 임베딩은 산재하거나 작업과 무관한 세부 사항에 집중하는 것을 보여줍니다.

2. 기존 벤치마크의 한계

저자들이 기존 텍스트 - 표 벤치마크 (CARTE 및 TextTabBench 등의 소스에서 56 개 고유 데이터셋) 에 큐레이션 파이프라인을 적용했을 때, 다음과 같은 결과가 나왔습니다:

• 약 23% 가 결합 신호 기준을 통과하지 못했습니다(비구조화된 모달이 가치를 추가하지 않음).
• 나머지 중 36% 가 작업 인식성 기준을 통과하지 못했습니다(동결된 임베딩으로 충분함).
• 원래 풀의 41% 만 두 기준을 모두 통과했습니다.
  이는 많은 기존 벤치마크가 새로운 다중 모달 아키텍처가 필요로 하는 특정 과제를 효과적으로 분리해 내지 못하여 TAR 의 이점을 가릴 수 있음을 시사합니다.

3. 견고성 및 계산 비용

• 인코더 규모: 임베딩 모델 크기를 증가시켜도 (소형에서 대형으로) 하류 성능이 향상되었지만, TAR 은 더 큰 규모에서도 동결된 임베딩보다 현저히 우수했습니다. 특히, 튜닝된 소형 모델이 종종 동결된 대형 모델보다 우수한 성능을 보였습니다.
• 차원성: TAR 의 이점은 PCA 압축의 인공물이 아니었습니다. 원본 384 차원 임베딩을 사용할 때도 지속되었습니다.
• 비용: TAR 은 주로 미세 조정 단계로 인해 상당한 계산 오버헤드를 초래합니다. 텍스트 TAR 은 더 큰 유효 데이터셋 크기 (여러 텍스트 열) 로 인해 이미지 TAR 보다 훨씬 비용이 많이 듭니다.

중요성 및 주장

이 논문은 MulTaBench 를 차세대 다중 모달 표 기초 모델 개발에 필요한 도구로 위치시킵니다.

• 격차 해소: 저자들은 현재 아키텍처 (PFNs 및 TabSTAR 나 AutoGluon-Multimodal 과 같은 결합 모델링 접근법을 포함) 가 텍스트와 이미지에 대한 TAR 을 학습하면서도 최첨단 표 성능을 유지하는 데 성공하지 못했다고 주장합니다. MulTaBench 는 이러한 능력이 요구되는 데이터셋을 명시적으로 대상으로 합니다.
• 향후 방향: 벤치마크는 TAR 의 맥락화 이점과 맥락 학습 (In-Context Learning, ICL) 의 견고성 및 효율성을 결합하는 아키텍처 연구를 촉진하도록 설계되었습니다. 저자들은 향후 모델이 TFMs 와 LLM/VLM 을 결합하거나 합성 사전 지식을 다중 모달 특징으로 확장함으로써 양쪽 세계의 장점을 활용해야 한다고 제안합니다.
• 겸손한 주장: 저자들은 큐레이션 파이프라인이 계산 문제를 알고리즘적 해결책 (선택 편향) 과 얽히게 하여 새로운 데이터셋이 통과할지 사전에 예측하기 어렵다고 인정합니다. 그러나 그들은 파이프라인이 정적 표현이 실패하는 MMTL 작업의 고유한 클래스를 성공적으로 분리하여 진정한 다중 모달 기초 모델을 평가하기 위한 엄격한 테스트베드를 제공한다고 주장합니다.

요약하자면, MulTaBench 는 고위험 다중 모달 표 작업에서 비구조화된 표현의 작업별 적응이 단순히 유익한 것이 아니라 종종 필수적임을 보여주며, 이러한 방향으로의 연구를 추진하기 위한 첫 번째 대규모이고 엄격하게 큐레이션된 벤치마크를 제공합니다.