기술 요약: TFM-Retouche

문제 정의

TabPFN-2.6 및 TabICLv2 와 같은 Tabular Foundation Models(TFM) 은 합성 사전 학습을 통해 학습된 전이 가능한 귀납적 편향을 활용하여 인-컨텍스트 학습 (ICL) 을 통해 강력한 제로샷 성능을 입증해 왔습니다. 그러나 이러한 모델들은 추론 시 고정된 귀납적 편향을 갖습니다. 이를 특정 하위 작업 데이터셋에 적응시키는 것은 일반적으로 전체 파인튜닝 (계산 비용이 과도하게 많이 소요됨) 이나 LoRA 와 같은 파라미터 효율적 파인튜닝 (PEFT) 방법을 필요로 합니다. PEFT 접근법은 종종 아키텍처에 특화되어 있어 백본에 학습 가능한 모듈을 수동으로 삽입해야 하며, 최근의 경험적 증거는 가중치 공간 적응이 사전 학습된 가중치에 인코딩된 취약한 합성 사전 지식을 훼손함으로써 정확도나 보정 능력을 저하시킬 수 있음을 시사합니다. 또한, 기존 입력 공간 적응 방법 (예: BETA) 은 종종 초기의 용량 제약이 있던 모델을 위해 설계된 고정 폭 병목 구조에 의존하는데, 이는 현대의 고용량 TFM 의 정렬 필요성과 일치하지 않을 수 있습니다.

방법론

저자들은 사전 학습된 가중치를 수정하지 않고 고정된 TFM 백본을 특정 하위 작업에 정렬하기 위해 설계된 경량 아키텍처 중립적 입력 공간 잔차 어댑터인 TFM-Retouche를 제안합니다.

핵심 아키텍처

이 프레임워크는 고정된 TFM $f_\theta$에 입력되기 전 입력 특징 $x$에 적용되는 게이트형 잔차 어댑터 $g_\phi(x)$를 도입합니다:
$$g_\phi(x) = (1 - \alpha) \odot x + \alpha \odot \delta(x)$$
여기서:

• $\alpha$: 개입의 강도를 조절하는 학습 가능한 게이트 매개변수 (스칼라 또는 채널별 벡터) 입니다. 어댑터가 항등 함수 근처에서 시작하도록 0.02 의 작은 값으로 초기화됩니다.
• $\delta(x)$: $R^d \to R^d$를 매핑하는 학습 가능한 내부 블록 변환입니다. 저자들은 두 가지 변형을 구현했습니다:
  1. 크로스 블록 (DCNv2): 원래 입력에 고정된 곱셈적 특징 상호작용을 명시적으로 모델링하는 크로스 네트워크입니다.
  2. 잔차 MLP 블록: 표준 잔차 병목 MLP 입니다.
• 차원 보존: 이전 인코더들이 입력을 압축하는 것과 달리, TFM-Retouche 는 입력 차원을 보존하며 대체가 아닌 "부드러운 조정 (nudge)"으로 작용합니다.

학습 및 안전 메커니즘

• 엔드투엔드 학습: 어댑터 매개변수는 고정된 TFM 백본을 통한 역전파를 통해 학습됩니다. 백본 가중치는 완전히 변경되지 않습니다.
• 항등 가드 (Identity Guard): 적응이 성능을 저하시킬 위험을 완화하기 위해 학습 후 항등 가드가 사용됩니다. 추론 시 시스템은 홀드아웃 검증 데이터셋에서 어댑터의 성능을 평가합니다. 어댑터가 기본 성능을 작은 허용 오차 (기본값 0.5%) 이상으로 개선하지 못하면, 시스템은 어댑터를 완전히 우회하여 수정되지 않은 TFM 으로 되돌아갑니다. 이를 통해 적응은 데이터셋별로 엄격히 옵트인 (opt-in) 방식으로 이루어집니다.

주요 기여

1. TFM-Retouche 프레임워크: TFM 백본 아키텍처에 중립적인 차원 보존 입력 공간 어댑터입니다. 분류 및 회귀를 모두 지원하며 모듈형 내부 블록 (DCNv2 또는 MLP) 으로 인스턴스화될 수 있습니다.
2. 항등 가드를 갖춘 학습 전략: 고정된 TFM 을 통한 엔드투엔드 어댑터 학습 방법과, 적응이 도움이 되지 않을 때 제로샷 베이스라인으로 복귀하여 성능 저하를 방지하는 안전 메커니즘을 결합한 방법입니다.
3. 종합 평가: 이 프레임워크는 TabICLv2(TabICLv2-Retouche 로 표기) 에 인스턴스화되었으며, 이진 분류, 다중 클래스 분류, 회귀에 걸친 51 개 데이터셋으로 구성된 벤치마크인 TabArena-Lite에서 평가되었습니다.
4. 오픈소스 공개: 저자들은 이 프레임워크를 오픈소스 라이브러리로 공개할 것을 약속합니다.

실험 결과

평가 TabArena-Lite 리더보드 (51 개 데이터셋) 에서 수행되었습니다. 주요 발견 사항은 다음과 같습니다:

• 성능: TabICLv2-Retouche(T+E 변형, 튜닝 및 앙상블) 는 리더보드에서 **최상위 순위 (Elo 1651)**를 기록하여 고정된 TabICLv2 베이스 (+56 Elo) 와 TabPFN-2.6, RealTabPFN-2.5 와 같은 다른 최첨단 방법들을 능가했습니다.
• 효율성: 이 방법은 다른 튜닝된 동료들이 사용하는 표준 200 개에 비해 훨씬 적은 하이퍼파라미터 최적화 (HPO) 예산 (10 개 무작위 구성) 으로 이러한 성능을 달성했습니다.
• 컴퓨팅 트레이드오프:
  • 학습 시간: TabICLv2-Retouche(T+E) 는 학습 시간과 품질 간의 파레토 프론티어에 위치하며, 훨씬 더 많은 학습 시간이 필요한 다른 튜닝 및 앙상블 방법 (예: RealMLP, RealTabPFN-2.5) 을 압도합니다.
  • 추론 시간: 가장 빠른 제로샷 모델에 비해 중간 수준의 추론 지연으로 고품질 예측을 제공하며 추론 시간 파레토 프론티어에 머뭅니다.
• 애블레이션 연구:
  • 항등 가드가 가장 중요한 구성 요소로 확인되었습니다; 이를 제거하면 학습된 어댑터가 평균적으로 수정되지 않은 베이스보다 더 나쁜 성능을 보였습니다.
  • 고정된 TabICLv2 백본에 적용된 가중치 공간 적응(LoRA 및 전체 SFT) 은 이 설정에서 제로샷 베이스라인보다 성능을 개선하지 못했으나, 입력 공간 잔차 조정 (nudge) 은 성공적이었습니다.
  • BETA 스타일 인코더(고정 폭 병목) 는 TabICLv2 에서 낮은 성능을 보였는데, 이는 현대 TFM 의 병목이 용량이 아닌 정렬에 있음을 확인시켜 줍니다.

중요성 및 주장

이 논문은 TFM-Retouche 를 제로샷 TFM 워크플로우의 대체제가 아닌 저위험 후기 단계 정제 메커니즘으로 위치시킵니다.

• 용량보다 정렬: 이 연구는 현대의 고용량 TFM 에 있어 주요 과제는 입력 용량을 압축하는 것이 아니라, 일반적인 합성 사전 지식을 특정 작업 구조에 정렬하는 것이라고 주장합니다.
• 안전성과 모듈성: 백본을 고정하고 항등 가드를 사용함으로써, 이 프레임워크는 실무자들이 모델을 불안정하게 하거나 특정 백본 아키텍처에 종속될 위험 없이 예측 성능의 마진적 개선을 얻을 수 있게 합니다.
• 실용성: 이 방법은 데이터셋당 102~105 개의 파라미터만 학습하는 최소한의 컴퓨팅 자원을 필요로 하며 기존 제로샷 파이프라인과 호환되어, 상류 데이터 결정이 안정화된 후 성능을 개선하기 위한 실용적인 도구가 됩니다.

저자들은 적응이 경량화되고 항등에 가깝며 성능 저하에 대비하여 보호된다면, 입력 공간 적응이 효율성을 희생하지 않고도 최첨단 품질을 제공할 수 있다고 결론지었습니다.