Actionable Interpretability Must Be Defined in Terms of Symmetries

기술 요약: 실행 가능한 해석 가능성은 대칭성을 통해 정의되어야 한다

1. 문제 제기

본 논문은 현재의 설명 가능한 인공지능(XAI) 연구가 근본적으로 **부적절하게 설정(ill-posed)**되어 있다고 주장한다. 해석 가능성에 대한 수많은 정의(예: Kim et al., 2016; Miller, 2019; Doshi-Velez & Kim, 2017)가 존재하지만, 이들은 대부분 비형식적이고 기술적(descriptive)이다. 결과적으로 이 분야는 다음과 같은 결핍을 겪고 있다:

1. 모델이 해석 가능한지를 검증할 수 있는 형식적 프레임워크의 부재.
2. 해석 가능한 모델을 구축하기 위한 설계 원칙의 부재.

기존의 정의들은 해석 가능성을 어떻게 형식적으로 테스트하거나 설계할 수 있는지 명시하지 못한다. 저자들은 엄밀한 토대가 없다면 핵심적인 한계점들을 간과하게 되며, 이 분야가 통일된 원칙이 아닌 바람직한 속성들(예: 희소성, 모듈성)의 목록으로 파편화된 상태로 남게 될 것이라고 단언한다.

2. 방법론: 대칭성 기반 프레임워크

에를랑겐 프로그램(Erlangen Program, Klein, 1893)에서 영감을 받아, 저자들은 **실행 가능한 해석 가능성(actionable definition of interpretability)**의 정의가 대칭성(구조 보존 변환)의 관점에서 공식화되어야 한다고 제안한다. 저자들은 인간 사용자와 모델을 공식화하기 위해 마르코프 범주(Markov categories, 구체적으로는 BorelStoch 범주)를 사용하는 구성적 확률론적 관점을 채택한다.

이 방법론은 특정 인간 사용자 $h$에게 해석 가능한 모델의 클래스를 특징짓는 네 가지 구체적인 대칭성을 도입한다:

• 대칭 I: 추론 등변성 (Inference Equivariance)

  • 정의: 모델 $P_{Y|X}$는 사용자가 모델의 결정 과정을 "시뮬레이션"할 수 있을 때 해석 가능하다. 형식적으로, 사용자의 가설 공간 $H_m$ 내에 "정신 모델(mental model)" $P^{[h]}_{Y|X}$가 존재해야 하며, 입력을 사용자의 공간으로 번역하여 예측하는 것이 원래의 공간에서 예측한 후 출력을 번역하는 것과 동일한 결과를 산출해야 한다.
  • 메커니즘: 이는 번역 후 예측의 경로와 예측 후 번환의 경로가 일치함을 나타내는 가환 도식(commutative diagram)으로 표현된다.
  • 한계: 이를 나이브하게 검증하는 것은 거대한 입력 공간에 대해 계산적으로 불가능하다(도전 과제 C1).

• 대칭 II: 정보 불변성 (Information Invariance)

  • 정의: 계산 불가능성 문제를 해결하기 위해, 모델은 과업에 충분한 입력 정보만을 유지하고 불필요한 세부 사항은 폐기해야 한다.
  • 메커니즘: 전사 함수(surjective map) $P_{Z|X}$가 입력 $X$를 잠재 변수 $Z$로 압축하며, 이때 상호 정보량 $I(Y; X)$는 주변화(marginalization)에 대해 불변한다($I(Y; X|Z) = 0$).
  • 결과: 이는 추론 등변성의 검증 범위를 $X$의 지수적 공간에서 다룰 수 있는 $Z$의 공간으로 축소시킨다.

• 대칭 III: 개념 폐쇄 불변성 (Concept-Closure Invariance)

  • 정의: 모델의 출력과 인간의 이해 사이의 번역이 "타당(sound)"함을 보장하기 위해(즉, 의미를 보존하기 위해), 모델은 인간의 의미론과 일치하는 개념 위에서 작동해야 한다.
  • 메커니즘: 형식 개념 분석(Formal Concept Analysis)을 사용하여, "개념"을 대상과 문장 사이의 관계의 고정점으로 정의한다. 번역 $\tau_C$는 개념 폐쇄를 보존할 때(대상, 문장, 그리고 그 매핑들의 도식이 가환할 때) 타당하다.
  • 결과: 이는 모델이 사용하는 잠재 변수가 인간이 이해할 수 있는 개념에 대응하도록 보장하며, 상충하는 해석을 방지한다.

• 대칭 IV: 구조 불변성 (Structural Invariance)

  • 정의: 모델의 내부 구조는 사용자의 인지 능력(사용자의 "정신 모델" 가설 공간 $H_m$)과 호환되어야 한다.
  • 메커니즘: 만약 사용자가 선형적으로 추론할 수만 있다면, 모델도 선형적이어야 한다. 형식적으로, 구조적 속성은 해석 가능한 모델의 범주를 인간의 정신 모델의 범주로 매핑하는 함자(functor) $F$에 의해 보존된다.
  • 결과: 이는 해석 가능성을 명시적으로 사용자 중심적으로 만든다. 즉, 모델의 구조적 복잡성이 사용자의 추론 능력과 일치할 때만 해석 가능하다고 간주된다.

3. 주요 기여

A. 해석 가능한 모델의 형식적 정의
저자들은 네 가지 대칭성을 모두 만족하는 모델을 해석 가능한 모델로 정의한다. 이들은 BorelStoch의 부분 범주로서 해석 가능한 모델의 범주($I_m$)를 구축한다.

• 대상(Objects): 개념 공간 ($C_1, \dots, C_k$).
• 프로세스(Processes): 개념 기반 조건부 확률, 복사 맵(copy maps), 폐기 맵(discard maps).
• 합성(Composition): 순차적 및 병렬적 합성 규칙.
  이 범주는 모든 해석 가능한 모델을 구축하기 위한 "레시피"(스트링 다이어그램을 통해) 역할을 한다.

B. 베이지안 역전(Bayesian Inversion)으로서의 추론 유형 통합
본 논문은 이 프레임워크 하에서 해석 가능성에 사용되는 세 가지 핵심 추론 유형이 베이지안 역전의 형태로 통합됨을 보여준다:

1. 개념 정렬 (Concept Alignment): 참값(ground-truth) 개념 증거에 대한 파라미터의 사후 분포를 계산함으로써 인간의 개념을 학습함.
2. 개입 (Interventions): 외부 개입(예: $do$-calculus 또는 참값 오버라이드)을 통해 모델의 상태를 업데이트함.
3. 반사실 (Counterfactuals): 외생 변수를 격리하기 위해 모델을 재작성(abduction)하고, 개입하며, 수정된 모델에서 결과를 예측함.

C. 기존 속성의 유도
이 프레임워크는 문헌에서 바람직하다고 자주 언급되는 속성들(희소성, 압축성, 충실성, 모듈성)이 원시적인 공리가 아니라, 제안된 대칭성을 만족함으로써 발생하는 결과임을 보여준다. 예를 들어:

• 희소성과 압축성은 정보 불변성에서 기인한다.
• 충실성과 정렬은 개념 폐쇄 불변성에서 기인한다.
• 선형성 또는 단조성 요구사항은 구조 불변성에서 기인한다.

4. 결과 및 주장

본 논문은 새로운 실험적 벤치마크나 경험적 결과를 제시하지 않는다. 대신, 그 "결과"는 이론적이고 구조적이다:

• 계산 가능성(Tractability): 정보 불변성을 강제함으로써, 고차원 공간에서 추론 등변성을 검증하는 데 따르는 계산 불가능성 문제를 해결한다고 주장한다.
• 타당성(Soundness): 개념 폐쇄 불변성을 강제함으로써, 타당한 번역(예: "black" $\to$ "noir")과 타당하지 않은 번역을 구분하는 형식적 기준을 제공한다.
• 사용자 중심성(User-Centricity): 구조 불변성을 강제함으로써, 해석 가능성이 모델의 고유한 속성이 아니라 특정 사용자의 가설 공간과 모델 사이의 관계임을 공식화한다.
• 통합(Unification): 이질적인 추론 작업들(정렬, 개입, 반사실)을 단일 수학적 연산(마르코프 범주 내의 베이지안 역전) 아래로 통합한다.

5. 의의 및 행동 촉구

본 논문의 의의는 분야의 초점을 비형식적인 속성의 열거에서 대칭성을 통한 형식적 검증으로 전환하는 데 있다고 주장한다.

• 회의론에 대한 반박: 저자들은 "보편적인 수학적 정의는 존재할 수 없다"는 견해에 대해, 대칭성이 수학적 엄밀성을 희생하지 않으면서도 사용자 중심성(via $H_m$)을 포함하는 보편적 프레임워크를 제공한다고 반박한다.
• 접근성 우려에 대한 반박: 저자들은 비록 형식주의(범주론)가 엄밀하지만, 대칭성은 광범위한 독자들이 접근할 수 있는 직관적이고 예시적인 해석을 허용한다고 주장한다.
• 향후 방향: 저자들은 커뮤니티에 다음과 같이 요청한다:
  1. 기존의 해석 가능성 방법론들을 이 네 가지 대칭성에 매핑할 것.
  2. 현재의 연구들이 어떤 대칭성을 암묵적으로 가정하거나 위반하고 있는지 식별할 것 (예: Concept Bottleneck Model이 Concept-Closure는 만족하지만, 제약 없는 DNN을 사용한다면 Structural Invariance를 위반할 수 있음을 지적하는 것).
  3. 의도된 과업과 사용자에 대해 명시적으로 "대칭 완전성(symmetry-complete)"을 갖춘 새로운 방법론을 개발할 것.

요약하자면, 본 논문은 실행 가능한 해석 가능성이 모호한 품질이 아니라, 모델이 인간 사용자와의 관계 속에서 정보, 개념, 구조를 어떻게 보존하는지에 의해 정의되는 특정한 구조적 속성이며, 이 모든 것은 제안된 대칭성 프레임워크를 통해 형식적으로 검증하고 설계할 수 있다고 단언한다.