ExplainerPFN: Towards tabular foundation models for model-free zero-shot feature importance estimations

기술 요약: ExplainerPFN

문제 제기
고위험 의사결정 시나리오 (예: 대출, 채용, 의료 진단) 에서 머신러닝 모델은 종종 폐쇄형 API 뒤에 있는 독점적 블랙박스로서 작동하여 사용자와 규제 기관이 기본 모델 $f$에 접근하는 것을 차단합니다. SHAP(Shapley values) 와 같은 특성 기여도 (feature attribution) 방법은 해석 가능성의 표준이지만, 그 계산은 일반적으로 특성 연합을 평가하기 위해 모델에 직접 접근할 수 있어야 합니다. furthermore, 기존 사후 (post-hoc) 설명 기법은 모델 접근이 제한되거나 쿼리 예산이 부족할 경우 실패하는 경우가 많습니다. 중요한 이론적 과제는 데이터와 예측에서 기여도로의 매핑이 고유하게 식별 가능하지 않다는 점입니다. 서로 다른 모델이 동일한 예측을 산출하더라도 동일한 특성에 대해 서로 다른 Shapley 값을 할당할 수 있기 때문입니다. 결과적으로 모델 접근 없이 모델에 "정확한 (true to the model)" 설명을 복구하는 것은 불가능합니다. 이 논문은 제로 접근 (zero-access) 환경에서 유일한 일관된 목표는 데이터와 예측을 기반으로 가장 확률적인 기여도 구조를 추론하는, 즉 특정 모델의 내부 논리가 아닌 데이터에 "정확한 (true to the data)" 기여도라는 주장을 펼칩니다.

방법론: ExplainerPFN
저자들은 제로 샷 (zero-shot) 및 모델 프리 (model-free) 특성 중요도 추정을 위해 설계된 최초의 표본형 (tabular) 파운데이션 모델인 ExplainerPFN을 소개합니다. 이 접근법은 입력 데이터 분포 ($X$) 와 모델 예측 ($\hat{Y}$) 만을 사용하여 $f$, 기울기, 또는 참조 설명에 접근하지 않고도 컨텍스트 학습 (in-context learning) 을 활용하여 Shapley 값 스타일의 기여도를 예측합니다.

1. 아키텍처: ExplainerPFN 은 표본형 데이터에 적응된 트랜스포머 인코더를 활용하는 TabPFN 프레임워크를 기반으로 구축되었습니다. 각 인스턴스 $(x_i, \hat{y}_i)$는 특성 값, 예측 출력, 그리고 위치 정보를 통합한 토큰으로 인코딩됩니다. 이 모델은 특성 기여도와 관련된 인스턴스 내 및 인스턴스 간 의존성을 포착하기 위해 양방향 자기 어텐션 (bidirectional self-attention) 을 사용합니다.
2. 학습 패러다임: 이 모델은 대규모 메타 분포인 합성 구조적 인과 데이터셋에서 학습됩니다.
   • 데이터 생성: 파이프라인은 구조적 인과 모델 (SCM) 을 나타내는 무작위 방향 비순환 그래프 (DAG) 를 샘플링합니다. 특성은 이러한 그래프를 통해 노이즈를 전파하여 생성됩니다. 이진 타겟이 선택되고, 기본 모델 (단순 피드포워드 신경망) 이 합성 데이터로 학습됩니다.
   • 정답 (Ground Truth): 합성 작업에 대한 정확한 또는 거의 정확한 Shapley 값이 계산되어 감독 레이블로 사용됩니다.
   • 목적: 모델은 메타 학습 사전 하에서 사후 평균 기여도를 학습합니다. 스칼라를 예측하는 대신, 표준화된 기여도 값을 나타내는 이산화된 버킷에 대한 확률 분포를 출력합니다. 학습 목적은 부정적 로그 예측 밀도 (NLPD) 를 최소화하는 것입니다.
3. 추론 및 후처리: 추론 시, ExplainerPFN 은 조건부 생성기 $F_{zs}: (X, \hat{Y}) \to \hat{\Phi}$로 작동합니다. 모델 접근 없이 Shapley 공리 (효율성과 대칭성) 를 준수하도록 보장하기 위해 3 단계 후처리 파이프라인이 적용됩니다.
   • 평균 제로 재중앙화: 데이터셋 전체에서 기대치로서의 효율성을 강제합니다.
   • 분산 재조정: Linear-SHAP 의 독립성 가정을 기반으로 특성별 기여도 분산을 정규화합니다.
   • 인스턴스 수준 효율성 보정: 각 인스턴스에 대한 기여도가 모델 출력에서 기준선을 뺀 값과 합해지도록 보장합니다.

주요 기여

1. 퓨 샷 (Few-Shot) 대리 모델 효율성: 저자들은 퓨 샷 대리 설명 기법이 단 두 개의 참조 관측치로도 높은 SHAP 충실도를 달성할 수 있음을 입증하여, 자원 제약 환경에 대한 강력한 기준선을 확립했습니다.
2. 제로 샷 기여도 추정: ExplainerPFN 은 기본 모델이나 사전 계산된 설명에 대한 접근이 전혀 필요 없는 완전한 제로 샷 환경에서 Shapley 값 스타일 기여도를 추정하는 최초의 방법으로 제안되었습니다. 이는 기존 사후 기법을 적용할 수 없는 상황에서 "데이터에 정확한" 기여도를 목표로 하여 원칙적인 해결책을 제공합니다.
3. 오픈소스 공개: 저자들은 전체 학습 파이프라인, 사전 학습된 가중치, 그리고 TabPFN 사전 적합 절차에서 파생되었으나 특성 기여도 학습을 위해 재설계된 합성 데이터 생성기를 공개했습니다.
4. 실증적 검증: 11 개의 실제 UCI 데이터셋과 합성 벤치마크에 대한 광범위한 실험을 통해 ExplainerPFN 이 2~10 개의 SHAP 예시에 의존하는 퓨 샷 대리 설명 기법과 경쟁력 있는 성능을 달성함을 보여주었습니다.

결과

• 성능: 실제 데이터셋에서 ExplainerPFN(제로 샷) 은 정답 SHAP 값과 경쟁력 있는 피어슨 상관관계를 달성하며, 종종 2~10 개의 예시로 학습된 MLP 기반 대리 모델보다 우수한 성능을 보였고, Random Forest 및 TabPFN 대리 모델과 일치하거나 이를 초과했습니다. 예를 들어, 지폐 인증 (Banknote Authentication) 데이터셋에서 ExplainerPFN 은 MLP 기반에서 0.880, RF 기반에서 0.897 의 상관관계를 달성하여 10 개의 샘플을 가진 퓨 샷 방법과 비교 가능한 결과를 보였습니다.
• 강건성: 이 모델은 서로 다른 기본 예측기 (MLP 대 Random Forest) 에서 일관된 성능을 유지하여 특정 모델 클래스에 과적합되지 않음을 나타냅니다.
• 관찰된 한계:
  • 차원성: 특성 차원이 증가함에 따라 성능이 저하됩니다. 차원성은 성능 저하의 지배적인 예측 변수로 식별되었으며, 8 개 이상의 특성을 가진 데이터셋에서는 상관관계가 크게 감소했습니다.
  • 크기 대 순서: ExplainerPFN 은 상대적 순서와 방향성 효과를 잘 복구하지만, 특성 간 절대 크기를 체계적으로 과소 또는 과대 평가하여 특성 간 정밀한 규모 비교에 대한 유용성을 제한합니다.
  • 합성 - 실제 간극: 합성 학습 데이터는 실제 UCI 데이터셋에 비해 더 낮은 쌍별 상관관계와 왜도를 보여, 전이 성능에 영향을 미치는 분포 간극이 있음을 시사합니다.

의의 및 주장
이 논문은 모델 접근이 불가능한 환경에서 제로 샷 설명 가능성을 실현 가능한 연구 방향으로 확립한다고 주장합니다. "모델에 정확한" 목표에서 "데이터에 정확한" 목표로 전환함으로써, ExplainerPFN 은 독점 API 시나리오에서 의사결정 감사, 잠재적 편향 식별, 투명성 향상을 위한 실용적이고 데이터 기반의 기여도 도구를 제공합니다. 저자들은 이 방법을 사용 가능한 경우 모델 접근 설명을 대체하는 것이 아니라, 접근 제한으로 인해 전통적인 SHAP 계산이 계산적으로 불가능하거나 기술적으로 불가능한 고위험 환경에서 필수적인 트라이아지 (triage) 도구로 위치시킵니다. 이 연구는 의미 있는 기여도 구조를 데이터 분포에서 직접 복구할 수 있음을 강조하여, 폐쇄형 파운데이션 모델 시대에서 해석 가능성에 대한 새로운 길을 열고 있습니다.