기술 요약: 표형 기초 모델의 기작 연구

문제 제기

TabPFNv2, TabICLv2, Mitra 와 같은 표형 기초 모델 (TFM) 은 작업별 학습 없이 컨텍스트 내 학습 (ICL) 에만 의존하여 분류 및 회귀 작업에서 최첨단 성능을 입증해 왔습니다. 동등한 벤치마크 정확도를 달성함에도 불구하고, 이러한 모델들은 완전히 다른 아키텍처 (예: 셀 단위 어텐션 대 행 토큰 어텐션 대 분해된 레이블 슬롯) 를 사용합니다. 성능의 이러한 수렴은 표준 리더보드가 답변할 수 없는 중요한 기작적 질문들을 제기합니다:

1. 이러한 모델들이 동일한 기본 컨텍스트 내 알고리즘을 실행하는가?
2. 행, 열, 클래스 순열 불변성은 어디에서 기원하며, 이는 설계에 의해 강제되는 것인가요 아니면 학습된 것인가요?
3. 추론된 기작에 대항하도록 특별히 고안된 교란에 대해 얼마나 견고한가?

이전 연구는 일부 불변성을 분류하거나 작업 관련 논리를 중간 계층까지 추적했지만, 아키텍처의 하중을 지는 구성 요소인 읽기출력 (readout) 메커니즘이나 기작적 취약성으로 인한 특정 실패 모드를 체계적으로 특징짓지는 못했습니다.

방법론

저자들은 인과적 개입, 계층별 프로빙 (probing), 적대적 테스트를 결합하여 세 가지 TFM 계열 (TabPFNv2, TabICLv2, Mitra) 에 대해 포괄적인 기작 감사를 수행했습니다. 이 연구는 49 개의 분류 및 10 개의 회귀 데이터셋에 걸쳐 진행되었습니다.

주요 방법론적 구성 요소는 다음과 같습니다:

• 계층별 프로빙: 각 계층의 고정된 활성화 (frozen activations) 에 간단한 선형 분류기 (프로브) 를 훈련시켜 클래스 판독 가능 표현이 언제 형성되는지 결정합니다.
• 인과적 개입:
  • 블록 녹아웃 (Block Knockouts): 특정 트랜스포머 블록이나 MLP 를 0 으로 만들어 하중을 지는 구성 요소를 식별합니다.
  • 읽기출력 이식 (Readout Transplantation): 한 모델의 읽기출력 규칙을 다른 모델의 고정된 표현에 적용하여 아키텍처 결합 여부를 테스트합니다.
  • 어텐션 조작: 균일한 어텐션을 강제하거나 어텐션 패턴을 대체하여 필요성을 테스트합니다.
• 불변성 공학: 재학습이나 정확도 손실 없이 정확한 순열 불변성을 복원할 수 있는지 테스트하기 위해 위치 인코딩을 체계적으로 제거합니다 (예: 가중치 행렬 $W$를 0 으로 설정, RoPE 제거).
• 기작 기반 공격: 유사도 기반 투표 대 최근접 원형과 같은 가설적 읽기출력 메커니즘을 대상으로 하는 8 가지 특정 교란 (예: 허브 중독, 순위 왜곡, SVD 매몰) 을 설계하여 고유한 실패 모드를 노출시킵니다.
• 스트레스 테스트: 표현 붕괴 가설을 테스트하기 위해 "붕괴되기 쉬운" 데이터 (예: 동일한 열 주변값을 가진 밸런스 스케일 데이터셋) 에서 모델을 평가합니다.

주요 기여 및 결과

1. 고유한 읽기출력 메커니즘

이 연구는 벤치마크 점수가 유사함에도 불구하고 모델들이 예측을 생성하기 위해 질적으로 다른 알고리즘을 사용함을 확립합니다:

• TabPFNv2 및 Mitra: 두 모델 모두 후기 계층 (9 층) 에서 어텐션 가중 투표에 의존합니다. 모델은 어텐션 분포를 선명하게 하여 소수의 컨텍스트 행에 집중함으로써, 컨텍스트 레이블에 대한 학습된 유사도 투표를 효과적으로 수행합니다. 이 읽기출력은 후기 계층의 특정 어텐션 패턴에 매우 의존적입니다.
• TabICLv2: 최종 표현 (11 층) 을 기반으로 한 최근접 원형 읽기출력을 사용합니다. 클래스 구조는 열 임베딩 네트워크에 의해 초기에 대부분 확립되며, 모델은 클래스 중심점 (centroids) 으로의 유클리드 거리 또는 코사인 거리를 기반으로 쿼리를 분류합니다.
• 증거: 한 백본의 읽기출력을 다른 백본에 이식하면 치명적인 정확도 하락 (33~40 퍼센트 포인트) 을 초래하여, 읽기출력과 백본이 공동으로 설계되었음을 확인시켜 줍니다.

2. 아키텍처 하중 구성 요소

감사는 모델의 작동에 필수적인 특정 "중요" 블록을 식별하는 반면, 네트워크의 상당 부분은 중복적임을 발견했습니다:

• TabPFNv2/Mitra: 중요한 계산은 좌표계를 설정하는 한 개의 초기 블록 (블록 0) 과 읽기출력을 위해 표현을 조직화하는 한 개의 후기 블록 (블록 9) 에 집중됩니다. 중간 블록은 대체로 상호 교환 가능합니다.
• TabICLv2: 열 임베딩 네트워크 (특히 최종 블록인 ColEmb-2) 가 좌표계를 설정하는 데 중요합니다. 후속 12 블록 ICL 트랜스포머는 대체로 중복적입니다; 개별 블록 녹아웃은 미미한 영향을 미치며, 클래스 신호는 이미 ICL 스택의 입력에 존재합니다.

3. 순열 불변성 및 표현 붕괴

• 불변성: 모델들은 (Mitra 의 열 제외) 구성에 의해 불변성을 강제하지 않습니다. 그러나 저자들은 TabPFNv2 의 위치 가중치 행렬을 0 으로 설정하거나 TabICLv2 에서 RoPE 를 제거하는 것과 같은 간단한 "외과적 편집"을 통해 정확도 비용 0으로 정확한 불변성을 복원할 수 있음을 입증했습니다.
• 표현 붕괴: 이 논문은 열이 주변값을 공유할 때 열 불변 아키텍처가 서로 다른 행을 동일한 표현으로 붕괴시킨다는 우려를 재검토합니다. 연구 결과는 다음과 같습니다:
  • TabICLv2 와 TabPFNv2 는 실제로 붕괴를 방지하는 행 내 중복 방어 메커니즘 (예: 특징 그룹화, 목표 인식 임베딩) 을 보유하고 있습니다.
  • 이러한 모델에서 단일 방어 메커니즘을 제거하는 것은 종종 "무료" (정확도 하락 없음) 이지만, 모든 방어를 제거하면 붕괴가 노출됩니다.
  • Mitra는 설계상 행 내 대칭 깨뜨리기 요소가 없음에도 붕괴를 피한다는 점에서 독특합니다. 이는 초기 레이블 주입과 행 압축 부재라는 아키텍처가 실패 모드를 본질적으로 우회함을 시사합니다.

4. 기작 기반 적대적 취약성

이 연구는 식별된 읽기출력을 표적으로 하는 공격을 설계하여 기작 가설을 검증합니다:

• 허브 중독: 가장 많이 주시받는 "허브" 컨텍스트 포인트의 레이블을 뒤집으면 TabPFNv2 와 TabICLv2 가 크게 저하되어, 특정 컨텍스트 포인트에 대한 의존성을 확인시켜 줍니다.
• 순위 왜곡: 값을 열별 순위로 대체하면 TabICLv2 의 원형 읽기출력에 필요한 절대 거리와 TabPFNv2 의 유사도 지표를 파괴하여 큰 정확도 하락을 초래합니다.
• 차별적 견고성: 기초 모델들은 ICL 사전 지식으로 인해 새로 적합된 MLP 보다 단조 왜곡 (큐브, 소프트-지수) 에 일반적으로 더 견고하지만, 재적합된 기준선과 비교하여 순위 기반 및 허브 기반 공격에는 독특하게 취약합니다.

중요성 및 주장

이 논문은 현대 표형 기초 모델에 대한 최초의 기작적 설명을 제공하며, 블랙박스 벤치마킹을 넘어 이러한 모델이 어떻게 작동하고 왜 실패하는지 설명합니다.

• 설계 지침: 결과는 향후 모델 설계에 대한 구체적인 지침을 제공합니다. 저자들은 차세대 TFM 은 Mitra 의 열 불변 아키텍처, 어텐션에 보이는 슬롯으로서의 초기 레이블 주입, 클래스 불변성을 위한 One-vs-All 출력 헤드를 결합해야 한다고 제안합니다. 이 조합은 순열 앙상블의 필요성을 제거하고 공격 표면을 줄이면서도 정확도에는 영향을 주지 않거나 더 나은 것으로 주장됩니다.
• 해석 가능성: 특정 계층 (예: TabPFN 의 L9, TabICL 의 L11) 과 구성 요소 (예: ColEmb-2) 가 하중을 지고 있음을 식별함으로써, 표적 가지치기, 디버깅 및 효율성 개선을 가능하게 합니다.
• 견고성: 이 연구는 이러한 모델들이 강력하지만, 특정 학습된 유사성에 의존하기 때문에 표준 기준선보다 덜 심각하게 나타날 수 있는 특정 기작 인식 교란에 취약함을 강조합니다.

저자들은 자신의 findings 가 현재 세대 모델과 사전 학습에 사용된 합성 사전 지식에 국한됨을 지적하며 겸손한 입장을 유지합니다. 그들은 모든 견고성 문제를 해결했다고 주장하기보다는 현재 성공과 실패를 지배하는 특정 귀납적 편향을 식별했다고 주장합니다.