💻 컴퓨터 과학

Estimand-Relative Validity and Context-Driven Instability of Shapley Explanations for Tabular Foundation Models

이 논문은 표 형식 파운데이션 모델에 대한 샤플리(Shapley) 설명의 타당성과 안정성이 의도된 추정량과 관련하여 선택된 제거 연산자에 결정적으로 의존하며, 인컨텍스트 예시(in-context examples)에 의해 크게 영향을 받으므로 신뢰할 수 있는 해석을 위해 이러한 요소들을 명시적으로 지정해야 함을 입증한다.

원저자: Emin Talip Demirkiran

게시일 2026-11-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Emin Talip Demirkiran

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에는 고정된 규칙을 암기하는 대신 예시로부터 학습하도록 설계된 모델 계층이 점차 늘어나고 있습니다. 수년간 교과서를 공부하는 대신, 단 한 페이지의 노트와 새로운 질문을 건네받은 뒤, 오직 그 페이지만을 사용하여 즉시 문제를 해결해야 하는 학생을 상상해 보십시오. 이것이 현대의 표 형식 데이터(tabular data)를 위한 "파운데이션 모델(foundation models)"이 작동하는 방식입니다. 이 모델들은 '컨텍스트(context)'라고 불리는 소수의 레이블이 지정된 예시들과 새로운 쿼리를 전달받아, 내부 코드를 전혀 변경하지 않고도 예측을 수행합니다. 이러한 시스템은 매우 유연하기 때문에, 연구자들은 이들이 왜 그러한 선택을 내리는지에 대한 이유를 이해하기 위해 오랫동안 노력해 왔습니다. 그들은 '샤플리 값(Shapley values)'이라 불리는 방법을 사용하는데, 이는 공정한 기여도 배분처럼 작동합니다. 만약 예측이 팀의 협력 결과라면, 이 방법은 각 정보 조각이 최종 결과에 얼마나 기여했는지를 계산합니다. 하지만 특정 정보 조각이 얼마나 중요한지를 파악하기 위해서, 이 방법은 먼저 그 조각이 없을 때 어떤 일이 벌어질지를 상상해야 합니다. 여기서 퍼즐이 발생합니다. 데이터를 제거했을 때 그 빈 공간을 어떻게 채울 것인가의 문제입니다. 평균값으로 채울 것인가, 빈칸으로 둘 것인가, 아니면 패턴에 부합하는 새로운 예시로 대체할 것인가? 이 질문에 대한 답은 모델이 생각하는 방식에 대한 전체적인 이야기를 바꿔 놓습니다.

에스키셰히르 기술 대학교(Eskisehir Technical University)의 에민 탈립 데미키란(Emin Talip Demirkiran)이 진행한 최근 연구는 이 퍼즐을 정면으로 다루며, TabPFN과 TabICL로 알려진 이 유형의 가장 진보된 모델 두 가지에 집중했습니다. 연구자는 결측 데이터를 처리하는 방식의 선택이 모델의 결정에 대한 설명을 변화시키는지, 그리고 그 설명이 주변의 세부 사항이 약간 변하더라도 안정적으로 유지되는지를 알고 싶었습니다. 이를 알아내기 위해 연구팀은 정답이 설계 단계부터 알려져 있는 합성 데이터와 실제 데이터셋을 모두 사용하여 방대하고 정교하게 계획된 일련의 테스트를 실행했습니다. 그들은 단순한 평균값부터 누락된 조각이 제거된 상태에서 모델이 상황을 재평가하도록 요청하는 더 복적인 방법까지, 다섯 가지의 서로 다른 결측 정보 처리 방식을 테스트했습니다. 결과는 놀라운 진실을 드러냈습니다. 이 모델들을 설명하는 데 있어 단 하나의 "최선의" 방법이란 존재하지 않는다는 것입니다. 한 유형의 질문에 대해 가장 정확한 설명을 만들어내는 방법이 다른 유형의 질문에는 최악의 방법이 되기도 합니다.

연구 결과, 방법의 선택은 당신이 어떤 질문에 답하려 하는지에 전적으로 달려 있다는 사실이 밝혀졌습니다. 만약 당신이 특정 값을 변경하는 개입을 했을 때 모델이 어떻게 행동할지를 알고 싶다면, 누락된 데이터를 평균값이나 표준 플레이스홀더(placeholder)로 단순히 대체하는 방법이 가장 정확한 설명을 제공했습니다. 그러나 모델이 보여준 데이터 내의 구체적인 관계를 바탕으로 모델이 어떻게 추론하는지를 알고 싶다면, 누락된 조각을 제거한 채 스스로를 재맥락화하도록 요청하는 방법이 가장 좋은 설명을 제공했습니다. 실제로 연구진은 한 가지 목표에 가장 잘 수행되었던 방법이 다른 목표에서는 가장 낮은 성능을 보이는 경우가 많다는 것을 관찰했습니다. 이는 설명이란 모델의 고정된 속성이 아니라, 던져지는 구체적인 질문에 상대적이라는 것을 의미합니다. 누락된 데이터를 어떻게 처리했는지, 그리고 어떤 종류의 답변을 원하는지를 정확히 명시하지 않는다면, 그 설명은 신뢰할 수 없습니다.

질문이 무엇을 사용할 것인가라는 문제를 넘어, 이 연구는 환경이 변할 때 이러한 설명들이 얼마나 안정적인지도 조사했습니다. 이 모델들에서 예측은 컨텍스트를 구성하는 특정 예시들에 크게 의존합니다. 연구진은 열(column)의 순서를 바꾸거나, 레이블을 코딩하는 방식, 또는 모델을 시작할 때 사용하는 랜덤 시드(random seed)를 변경하는 것이 설명을 변화시키는지 테스트했습니다. 그들은 이러한 요인들이 설명에 거의 영향을 미치지 않는다는 것을 발견했습니다. 대신, 설명은 어떤 특정 예시들이 컨텍스트로 끌어들여졌는지에 의해 압도적으로 좌우되었습니다. 즉, 설명은 모델 자체보다는 모델이 보고 있는 특정 예시 집합에 매우 민다는 것을 시사합니다. 이는 설명의 신뢰성이 모델뿐만 아니라 제공된 특정 컨텍스트와 연결되어 있음을 보여줍니다.

연구진은 또한 아무런 유용한 정보가 포함되지 않은 특징, 즉 본질적으로 "더미(dummy)" 변수를 데이터에 추가하여 안전 점검을 실시했습니다. 그들은 모델이 이 특징을 무시하고 중요도를 0으로 할당할 것이라 예상했습니다. 그러나 두 모델 모두 이 쓸모없는 특징에 반응하여 예측을 빈번하게 변경하며 상당한 가중치를 부여했습니다. 이는 이 강력한 모델들이 노이즈에 쉽게 휘둘릴 수 있으며, 그들의 설명 또한 이러한 민감성을 반영할 수 있음을 나타냅니다. 연구는 결론적으로, 이러한 유형의 AI 시스템에 있어 설명은 독립적인 사실이 아니라고 말합니다. 설명은 누락된 정보를 처리하는 특정 방법, 던져지는 구체적인 질문, 그리고 모델이 현재 고려하고 있는 특정 예시에 따라 달라지는 취약한 구조물입니다. 이 모델들을 이해하기 위해서, 우리는 단 하나의 보편적인 설명을 찾는 것을 멈추고, 우리가 정확히 어떤 종류의 설명이 필요한지, 그리고 그 설명이 어떤 조건 하에서 유효한지를 묻기 시작해야 합니다.

기술 요약: 표 형식 파운데이션 모델에 대한 샤플리 설명의 추정량 관련 타당성 및 맥락 의존적 불안정성

문제 정의
TabPFN 및 TabICL과 같은 표 형식 파운데이션 모델(TFM)은 매개변수 업데이트 없이 인컨텍스트 학습(in-context learning)을 활용하여 예측을 생성한다. 샤플리 값(Shapley values)은 이러한 모델에서 사후 해석(post-hoc feature attribution)을 위한 표준적인 방법이지만, 그 타당성은 "제거 연산자(removal operator)"—즉, 특징이 부재할 때 예측을 평가하는 메커니즘—의 선택에 달려 있다. 기존 모델에서도 이 선택은 논쟁의 원인으로 알려져 있으나, TFM의 경우 그 함의가 더 복잡하다. TFM은 추론 시 전체 맥락(context)을 소비하기 때문에, 특징을 제거하는 것은 쿼리(query)를 변경하거나, 맥락을 변경하거나, 혹은 둘 다를 변경하는 과정을 포함할 수 있기 때문이다. 또한, 특정 "추정량(estimand)"(예: 개입적(interventional) 또는 조건부(conditional)와 같은 목표량)에 따라 이론적으로 적절한 제거 연산자가 달라진다. 저자는 인컨텍스트 모델에서 이러한 연산자가 속성 타당성과 안정성에 미치는 영향이 아직 충분히 이해되지 않았음을 지적한다.

방법론
본 연구는 두 가지 TFM 아키텍처(TabPFN v2 및 TabICL v2)에 대해 다섯 가지 서로 다른 제거 연산자를 평가하기 위해 사전 등록된 요인 설계(factorial experimental design)를 채택하였다. 연구 방법론은 두 가지 주요 가설을 중심으로 구조화된다:

H1 (연산자 정확성): 본 연구는 기지의 타겟 함수를 가진 가우시안 코풀라(Gaussian copula)를 통해 생성된 합성 데이터로부터 도출된 정답 참조 속성과 연산자들을 비교한다. 평가된 연산자는 다음과 같다:
- O1: 주변부 임퓨테이션(Marginal imputation, 컨텍스트 행들에 대한 평균화).
- O2: 베이스라인 임퓨테이션(Baseline imputation, 컨텍스트 평균으로 대체).
- O3: 결측치 인코딩(Missing-value encoding, NaN으로 대체).
- O4: 재맥락화(Recontextualisation, 컨텍스트와 쿼리를 해당 특징 부분 집합으로 제한).
- O5: 인컨텍스트 학습을 통한 조건부 추정(Conditional estimation via in-context learning, 분리된 풀(pool)에서 회귀 모델 적합).
저자는 12개의 의존성 레짐(dependence regimes)에 대해 정확한 샤플리 값을 계산하며, 이를 두 가지 참조 게임인 개입적 게임( $v_{int}$ )과 조건부 게임( $v_{cond}$ )에 대조한다.
H2 (안정성): 본 연구는 인컨텍스트 학습에서 흔히 발생하는 "노이즈(nuisance)" 변동 하에서의 속성 불안정성을 조사한다. 완전 교차 설계(fully crossed design, 48개 구성)를 통해 네 가지 요인의 분산 기여도를 테스트한다:
- 컨텍스트 드로우(Context draw, 샘플링된 인컨텍스트 예시들).
- 열 순서(Column order).
- 레이블 코딩(Label coding).
- 모델 시드(Model seed).
속성 벡터는 표준화되며, 분산 공유량( $\pi_F$ )을 분해하기 위해 교차 랜덤 효과 ANOVA(crossed random-effects ANOVA)가 사용된다.

주요 기여

정답과의 비교: 정확한 샤플리 열거법(exact Shapley enumeration)과 기지의 타겟 함수를 가진 합성 데이터를 사용하여, 검증을 위해 다른 설명 모델에 의존하지 않고 두 가지 TFM에 걸쳐 다섯 가지 제거 연산자를 사전 등록된 방식으로 비교하였다.
추정량 관련 타당성: 연산자의 정확성이 선택된 추정량에 엄격하게 의존한다는 증거를 제시하였다. 특정 연산자가 개입적 게임을 가장 잘 근사할 경우 조건부 게임에서는 성능이 저하되며, 그 반대도 마찬가지이다.
분산 분해: 속성 불안정성이 샘플링된 인컨텍스트 예시에 의해 압도적으로 지배된다는 것을 보여주는 정량적 분석을 수행하였다. 반면 열 순서, 레이블 코딩, 모델 시드는 무시할 만한 수준의 분산을 기여한다.
부정 대조군 결과(Negative Control Results): 두 모델 모두 "식재된-널(planted-null)" 특징(레이블 정보를 포함하지 않도록 설계된 특징)에 반응하여 예측을 빈번하게 변경함을 발견하였으며, 이는 표준적인 불변성 가정에 도전하는 결과이다.

결과

연산자 성능: 제거 연산자의 선택은 속성 정확도를 실질적으로 변화시킨다.
- 개입적 추정량의 경우, 주변부 임퓨테이션(O1)과 평균 임퓨테이션(O2)이 가장 낮은 오차를 보였다.
- 조건부 추정량의 경우, 재맥락화(O4)와 인컨텍스트 학습을 통한 조건부 추정(O5)이 가장 낮은 오차를 보였다.
- 연산자의 순위는 두 추정량 사이에서 역전된다. 예를 들어, 조건부 게임 하의 TabICL v2에서 O4와 O5가 우수했던 반면, O1과 O2는 열등했다.
- 특징 의존성( $\rho$ )은 이러한 순위를 더욱 조절한다. 의존성이 증가함에 따라 연산자 간의 성능 격차가 변화한다.
안정성: 분산 분해 결과, 컨텍스트 드로우가 속성 분산의 대부분(모델 전반에 걸쳐 약 91–98%)을 차지하는 것으로 나타났다. 반면, 열 순서, 레이블 코딩, 모델 시드는 무시할 만한 분산(모두 < 0.3%)만을 기여했다.
널 특징 민감도: 두 모델 모두 레이블 정보가 없는 특징에 민감성을 보였으며, 이러한 널 특징에 반응하여 예측을 변경하는 경우가 잦았다. 이는 표준적인 제어 방식에서의 불변성 결여를 나타낸다.

의의 및 주장
본 논문은 제거 연산자와 의도된 추정량을 모두 명시적으로 지정하지 않는 한, 표 형식 파운데이션 모델에 대한 샤플리 설명은 해석 가능하거나 타당하다고 간주될 수 없다고 결론짓는다. 연구는 단일한 "최적의" 연산자는 존재하지 않으며, 최적의 선택은 목표가 개입적 양을 근사하는 것인지 또는 조건부 양을 근사하는 것인지에 따라 달라진다는 점을 입증한다.

나아가, 저자는 **맥락 민감성(context sensitivity)**이 설명 신뢰성의 핵심 요소로서 반드시 보고되어야 한다고 주장한다. 인컨텍스트 예시의 특정 드로우가 속성 분산을 지배한다는 발견은, TFM에 의해 생성된 설명이 맥락에 대해 본질적으로 불안정하다는 것을 시사하며, 이는 실무자들이 반드시 고려해야 할 요소이다. 본 연구의 주장은 테스트된 두 가지 이진 분류 파운데이션 모델과 정확한 열거법을 사용한 저차원 설정으로 제한되며, 추가적인 검증 없이 이러한 구체적인 순위를 더 큰 특징 공간이나 다른 모델 군으로 일반화하는 것에 대해 주의를 요한다.

유사한 논문