🔢 mathematics

When Are AI Explanations Recoverable? Identifiability, Stability, and Transfer from an Inverse-Problem Perspective

본 논문은 AI 설명(explanation)을 역문제(inverse problems)로 정식화함으로써 이를 결정하는 수학적 프레임워크를 구축하고, 선형 및 비선형 시스템에 대한 식별 가능성(identifiability)과 안정성(stability) 조건의 완전한 삼분법(trichotomy)을 도출하며, 내재적 미결정성(underdetermination)과 알고리즘적 가변성을 구분하는 명시적 경계치를 제공한다.

원저자: Chibuike Chiedozie Ibebuchi

게시일 2026-08-24

📖 4 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Chibuike Chiedozie Ibebuchi

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에서 모델은 종종 미래를 얼마나 잘 예측하느냐에 따라 평가받습니다. 만약 어떤 시스템이 환자의 건강 상태나 주가를 정확하게 예측할 수 있다면, 우리는 그 판단을 신뢰하게 됩니다. 하지만 예측에 대한 신뢰는 설명에 대한 신뢰와는 다릅니다. 모델이 결정을 내릴 때, 우리는 종로는 왜 그런 결정을 내렸는지 알고 싶어 합니다. 특정 증상에 의존했습니까? 어떤 요인을 다른 요인보다 더 비중 있게 다루었습니까? 이러한 설명은 기계의 추론 과정으로 향하는 창 역할을 하며, 그 내부 논리를 드러내기 위해 존재합니다. 그러나 한 가지 우려스러운 현실이 존재합니다. 두 개의 서로 다른 모델이 모든 사례에 대해 정확히 동일한 예측을 내놓으면서도, 그 이유에 대해서는 완전히 다른 설명을 제시할 수 있다는 점입니다. 하나는 특정 특징을 원인으로 지목하는 반면, 다른 하나는 그 특징을 완전히 무시할 수도 있습니다. 두 모델 모두 동일하고 정답인 결과에 도착했음에도 말입니다. 이는 근본적인 수수께끼를 만들어냅니다. 만약 관찰 가능한 행동이 동일하다면, 우리는 어떤 설명이 진실인지 결코 확신할 수 있을까요?

이 질문은 AI의 설명을 찾는 과정을 더 나은 소프트웨어의 문제가 아니라, 물리학과 기하학의 문제로 다루는 새로운 연구의 핵심에 자리 잡고 있습니다. 모건 주립 대학교(Morgan State University)의 연구자 치부이케 치에도지 이베부치(Chibuike Chiedozie Ibebuchi)는 이 문제를 역문제(inverse problem)로 프레임화하여 접근했습니다. 과학에서 순문제(forward problem)가 버튼을 눌렀을 때 어떤 일이 일어나는지를 묻는다면, 역문제는 눈에 보이는 결과를 만들어내기 위해 기계 내부에서 어떤 일이 일어났어야 했는지를 묻습니다. 이 연구는 예측의 '무엇(what)'으로부터 예측의 '왜(why)'를 유일하고 안정적으로 복구할 수 있는지를 묻습니다. 저자는 그 답이 단순한 예 혹은 아니오가 아니라는 것을 발견했습니다. 대신, 설명의 복구 가능성은 모델이 훈련된 데이터의 수학적 형태에 전적으로 달려 있습니다. 이 연구는 어떤 유형의 질문에 대해서는 답이 눈앞에 명백히 드러나 있는 반면, 다른 질문들에 대해서는 아무리 많은 컴퓨팅 파워를 투입하더라도 수학적으로 찾아내는 것이 불가능하다는 것을 증명합니다.

연구자는 설명의 한계를 측정하는 정밀한 방법을 개발했습니다. 그들은 두 AI 시스템이 너무나 유사하여 그들의 예측이 아주 미세하고 거의 보이지 않을 정도의 차이만을 보이는 시나리오를 상상했습니다. 그러고 나서 그들에게 물었습니다. 이 두 시스템의 설명은 얼마나 달라질 수 있는가? 만약 예측이 거의 동일함에도 불구하고 설명이 급격하게 변한다면, 그 설명은 불안정한 것입니다. 만약 예측이 정확히 같음에도 불구하고 설명이 완전히 달라질 수 있다면, 그 설명은 식별 불가능한 것입니다. 이 연구는 이러한 상태들 사이에 명확한 경계를 설정합니다. 설명은 모델이 실제로 '볼 수 있는' 데이터의 방향과 일치할 때만 복구 가능합니다. 만약 설명이 모델이 볼 수 없는 방향에 의존한다면, 그 설명은 영원히 사라집니다. 만약 설명이 모델이 볼 수는 있지만 희미하게만 볼 수 있는 방향에 의존한다면, 그 설명은 이론적으로는 존재하지만 노이즈에 너무 민감하여 실제로는 쓸모가 없게 됩니다.

많은 통계적 응용 분야에서 흔히 쓰이는 선형 모델의 경우, 저자는 이 불확실성을 측정하는 자 역할을 하는 정확한 공식을 도출했습니다. 이 공식은 데이터의 관계가 가진 기하학적 구조와 설명의 안정성을 직접 연결합니다. 데이터의 특징들이 고도로 상관되어 있는 상황, 즉 다중공선성(collinearity)이 나타날 때, 이 자는 설명이 점점 더 불안정해진다는 것을 보여줍니다. 연구는 데이터 포인트 간의 상관관계가 커질수록 설명의 불확실성도 함께 커지며, 상관관계가 완벽해지면 결국 무한대로 발산한다는 것을 보여줍니다. 연구자는 컴퓨터 시뮬레이션을 통해 이 이론을 테스트했습니다. 그들은 데이터 관계를 명확한 상태에서 거의 구별할 수 없는 상태까지 미세하게 조정하며 시나리오를 만들었습니다. 모든 경우에서 컴퓨터의 동작은 수학적 예측과 정확히 일치했습니다. 데이터가 양호할 때는 설명이 안정적이었습니다. 데이터가 서로 다른 방식으로 거의 동일해졌을 때는 설명이 격렬하게 발산했으며, 이는 이러한 불안정성이 소프트웨어의 버그가 아니라 가용한 정보 자체의 근본적인 특성임을 확인시켜 주었습니다.

또한 이 연구는 AI가 결정을 내리기 위해 더 복 phức한 비선형 규칙을 사용할 때 어떤 일이 발생하는지도 탐구했습니다. 사람들은 더 복잡한 모델이 지저üst한 데이터로 인한 혼란을 해결할 수 있기를 기대할지도 모릅니다. 그러나 연구자는 복잡성이 잃어버린 설명을 구원할 수는 없다는 것을 발견했습니다. 만약 정보가 애초에 데이터에서 누락되었다면, 아무리 복잡한 비선형적 뒤틀림을 가해도 그것을 되찾아올 수 없습니다. 이 연구는 만약 설명이 모델이 관찰할 수 없는 숨겨진 변수에 의존한다면, 비선선형 모델 역시 이를 식별하는 데 실패할 것임을 증명합니다. 설명은 단순한 선형 모델의 경우와 마찬가지로 여전히 보이지 않는 상태로 남습니다. 이 발견은 데이터에 의해 근본적으로 결정되지 않은 문제를 더 복잡한 알고리즘이 해결할 수 있다는 생각을 불식시킨다는 점에서 매우 중요합니다.

나아가, 본 연구는 설명이 한 상황에서 작동하는 방식이 데이터가 약간 변했을 때도 유지될 수 있는지, 즉 '전이(transfer)'의 문제를 다룹니다. 저자는 데이터 분포가 아주 미세하게 변하더라도 설명의 안정성이 보장되지 않는다는 것을 발견했습니다. 데이터 분포가 아주 조금만 이동하더라도, 한때 안정적이었던 설명이 갑자기 복구 불가능한 상태가 될 수 있습니다. 이는 데이터의 변화가 정보를 잃게 되는 경계면으로 문제를 밀어넣을 때 발생합니다. 연구는 데이터를 다른 데이터셋으로 옮길 때 설명이 신뢰성을 유지하기 위해 반드시 유지되어야 하는 조건인 '스펙트럼 마진(spectral margin)'을 제시합니다. 이 마진이 없다면, 데이터의 아주 작은 변화조차 모델의 행동을 설명하는 능력을 파괴할 수 있습니다.

결론적으로, 이 연구는 우리가 설명 가능한 인공지능(XAI)에 어떻게 접근해야 하는지를 재정의합니다. 단순히 최선의 설명을 생성하는 알고리즘을 찾는 대신, 우리는 먼저 설명이 발견되는 것이 가능한지부터 물어야 한다고 제안합니다. 특징 기여도나 민감도 점수를 신뢰하기 전에, 우리는 그것을 생성하는 데 필요한 정보가 관측 가능한 예측 속에 실제로 존재하는지를 판단해야 합니다. 이 연구는 알고리즘의 선택으로 인한 변동성과 데이터 자체에 의한 본질적인 불확실성을 구분합니다. 이는 어떤 설명적 주장이 증거에 의해 뒷받침되는지, 그리고 언제 그것이 근본적으로 결정되지 않은 상태인지를 알 수 있는 수학적 토대를 제공합니다. 무엇을 알 수 있는지에 대한 한계를 정의함으로써, 이 연구는 우리가 안정적인 알고리즘을 안정적인 진실로 오해하지 않도록 함으로써 인공지능에 대한 신뢰를 구축하기 위한 필수적인 토대를 마련합니다.

기술적 요약: AI 설명은 언제 복구 가능한가?

문제 정식화
본 논문은 설명 가능한 인공지능(XAI)의 근본적인 간극, 즉 예측적 유사성이 설명적 일치성을 함의한다는 가정에 대해 다룬다. 저자는 서로 다른 모델들이 관측상으로는 구별 불가능한 예측을 생성하면서도, 실질적으로는 서로 다른 특징 기여도(feature attributions), 민감도 또는 순위를 지지할 수 있다고 주장한다. 핵심 질문은 역문제(inverse problem)로 정식화된다: 관측 연산자 $\mathcal{A}$ (관측 가능한 모델 행동을 나타냄)와 설명 범함수 $\Psi$ (복구하고자 하는 양)가 주어졌을 때, 어떤 조건 하에서 $\Psi(\theta)$ 가 $\mathcal{A}(\theta)$ 로부터 유일하고 안정적으로 복구될 수 있는가?

본 연구는 흔히 혼동되는 세 가지 현상을 구분한다:

비식별성(Non-identifiability): 동일한 관측치를 가진 시스템들 사이에서 설명이 달라지는 현상.
불량 조건성(Ill-conditioning): 설명이 유일하지만, 작은 관측 섭동(perturbation)에 대해 무한히 민감한 현상.
안정적 복구(Stable recovery): 설명이 유일하게 결정되며 관측치와 연속적으로(리프시츠-안정적으로) 변화하는 현상.

방법론
본 프레임워크는 설명 특화 식별성 계수(explanation-specific identifiability modulus), $\omega_{\Psi, \mathcal{A}}(\delta)$ 를 정의하며, 이는 관측치의 차이가 최대 허용 오차 $\delta$ 이내인 두 시스템 사이의 설명 범함수 $\Psi$ 의 최대 불일치량을 정량화한다.

분석은 네 단계의 이론적 과정을 거친다:

선형 힐베르트 공간 이론: 문제를 유계 선형 관측 연산자 $A: \mathcal{H} \to \mathcal{Y}$ 와 선형 설명 범함수 $\Psi_a(\theta) = \langle a, \theta \rangle$ 를 사용하는 모델로 정의한다. 분석은 영공간(null space) $\ker(A)$ 와 수반 연산자의 치역(range of the adjoint operator) $\text{Range}(A^*)$ 의 기하학적 구조에 의존한다.
유한 차원 특수화: 공분산 기하 구조 $\Sigma$ 를 가진 선형 예측 모델의 경우, 모어-펜로즈 유사 역행렬(Moore-Penrose pseudoinverse) $\Sigma^\dagger$ 를 사용하여 계수를 도출한다.
비선형 확장: 비선형 관측 연산자 $F$ 가 선형 연산자 $A$ 와 국소적으로 비-리프시츠 비교 가능(locally bi-Lipschitz comparable)한 경우로 이론을 확장한다. 이를 통해 비선형 계수를 선형 대응 항에 비선형의 리프시츠 상수를 곱하여 경계 지을 수 있다.
섭동 분석: 공분산 행렬의 상대적 섭동을 분석함으로써, 설명 복구 가능성이 분포 변화(소스 $P$ 에서 타겟 $Q$ 로)에 따라 어떻게 전이되는지 조사한다.

주요 결과

복구 가능성의 삼분법 (선형 사례):
선형 설명 방향 $a$ 에 대해, 다음 세 가지 범주 중 정확히 하나가 성립한다:
1. 비식별적(Non-identifiable): 만약 $a \notin (\ker A)^\perp$ 라면, 임의의 $\delta \geq 0$ 에 대해 계수는 무한하다. 이 경우 설명은 복구될 수 없다.
2. 식별 가능하나 무한히 불안정함(Identifiable but Infinitely Unstable): 만약 $a \in (\ker A)^\perp$ 이지만 $a \notin \text{Range}(A^*)$ 라면, $\delta=0$ 에서 계수는 $0 $이지만$ \delta > 0$인 모든 경우에 무한하다. 이는 노이즈가 없는 극한에서는 유일하지만, 섭동 하에서는 복구가 불가능함을 의미한다.
3. 리프시츠-안정적(Lipschitz-Stable): 만약 $a \in \text{Range}(A^*)$ 라면, 계수는 $\omega_a(\delta) = \delta \|y_a^\dagger\|$ 이며, 여기서 $y_a^\dagger$ 는 $A^*y = a$ 를 만족하는 최소 노름 해(minimum-norm solution)이다. 이는 최적의 안정성 상수를 제공한다.
유한 차원 유사 역행렬 공식:
$\text{Range}(A^*)$ 가 닫혀 있는 유한 차원에서는 중간 단계인 불안정한 범주가 붕괴된다. 설명 방향이 관측 가능한 범위 내에 있다면, 계수는 다음과 같이 주어진다:
$\omega_a(\delta) = \delta \sqrt{a^\top \Sigma^\dagger a}$
이는 설명의 복구 가능성을 공분산 기하 구조와 명시적으로 연결한다. 근접한 선형 종속성(작은 고윳값)은 불량 조건성(큰 계수)을 초래하며, $a$ 방향의 계수 부족(rank deficiency)은 비식별성을 초래한다.
비선형 경계:
도함수 경계 $m \leq g' \leq M$ 를 갖는 연결 함수(link function) $g$ 를 가진 일반화 선형 모델(예: 로지스틱 회귀)의 경우, 비선형 계수는 선형 계수에 $1/M$ 과 $1/m$ 을 곱한 값으로 경계 지어진다. 결정적으로, 비선형성은 관측 가능한 영공간에서 상실된 식별성을 복구할 수 없다. 즉, 선형 예측기에서 관측 불가능한 방향은 단조 변환 후에도 여전히 관측 불가능하다.
전이 인증서(Transfer Certificates):
본 논문은 공분산 기하 구조의 상대적 섭동이 스펙트럼 붕괴로부터 멀리 떨어져 있을 때만 설명 안정성이 분포 변화(소스에서 타겟으로) 하에서 전이됨을 입증한다. 구체적으로, $\|E\|_{op} \leq \rho < 1$ (여기서 $E$ 는 상대적 섭동)인 경우, 타겟 계수는 소스 계수의 $1/\sqrt{1 \pm \rho}$ 인자 내로 제한된다. 반대로, 아주 작은 절대적 섭동이라도 소스 시스템이 계수 부족 경계 근처에 있다면 식별성을 파괴할 수 있다.

수치적 검증
네 가지 통제된 실험을 통해 이론적 예측을 검증하였다:

스펙트럼 조건성: 공분산 조건수가 $1 $에서$ 1-10^6$까지 변하는 환경에서 정확한 선형 계수가 부동 소수점 정밀도로 재현되었다.
영공간 실패: 영공간 방향으로의 변위는 예측 불일치는 제로였으나 설명 불일치는 발산하였으며, 이는 정확한 비식별성을 확인시켜 준다.
비선형 경계: 로지스istic 모델의 수치적 계수는 선형 사례에서 도출된 이론적 양방향 경계 내에 엄격히 머물렀다.
전이 포락선(Transfer Envelope): 무작위 공분산 섭동 하에서 샘플링된 타겟 대 소스 계수 비율은 상대적 섭동 정리에 의해 예측된 이론적 포락선 내에 유지되었다.

의의 및 주장
본 논문은 특정 설명 범함수와 특정 관측 연산자에 대한 정량적 역문제 이론을 제공한다고 주장한다. 본 연구의 주요 기여는 새로운 속성 알고리즘을 제시하는 것이 아니라, 주어진 데이터와 모델 구조로부터 설명적 대상이 식별 및 안정적인지를 사전적으로(a priori) 판단할 수 있는 수학적 프레임워크를 제공하는 것이다.

저자는 이 프레임워크가 알고리즘적 가변성(설명 방법의 선택에서 기인하는 차이)과 본질적인 불량 조건성 및 비식별성(데이터와 모델 구조에 의해 부과되는 근본적 한계)을 분리한다고 주장한다. 본 연구는 설명 알고리즘을 선택하거나 비교하기 전에, 연구자들이 해당 설명 대상이 주어진 정보 구조로부터 식별 가능하고 안정적인지를 먼저 결정해야 한다고 제언한다. 만약 대상이 관측 가능한 범위 밖에 있거나 불안정한 범주에 있다면, 알고리즘의 설계와 상관없이 어떤 알고리즘도 이를 신뢰성 있게 복구할 수 없다.

결론적으로, 본 연구는 설명의 신뢰성이 단순히 사용된 알고리즘의 속성이 아니라, 역문제 자체의 속성임을 시사한다. 이는 XAI의 신뢰성 주장을 재정의한다. 즉, 설명적 양이 관측 가능한 예측 행동으로부터 안정적으로 복구 가능할 때에만 그 주장이 뒷받침될 수 있다는 것이다.

기술적 요약: AI 설명은 언제 복구 가능한가?

유사한 논문