기술 요약: 예측 설명을 넘어: 머신러닝 모델의 신뢰도를 위한 논리 기반 설명

문제 정의

의료나 금융과 같은 중요한 도메인에서 머신러uning 모델은 단순히 정확한 예측을 제공하는 것을 넘어, 불확실성에 대한 신뢰할 수 있는 지표를 제공할 것이라는 기대를 점점 더 많이 받고 있습니다. 논리 기반의 귀납적 설명(abductive explanations, AXps)은 정당성(correctness)과 최소성(minimality)에 대한 형식적 보증을 제공하며 해석 가능성을 위한 엄격한 방법으로 부상했지만, 결정적인 한계점을 가지고 있습니다. 바로 예측된 클래스를 보존하는 데에만 집중한다는 점입니다.

전통적인 AXps는 원래의 인스턴스와 동일한 분류를 받도록 보장하는 데 충분한 특징(feature)들의 최소 부분 집합을 식별합니다. 그러나 이들은 모델의 **예측 신뢰도(predictive confidence)**를 고려하지 않습니다. 결과적으로, 단일 귀납적 설명은 높은 신뢰도의 예측과 결정 경계에 매우 근접한 예측(높은 불확실성)을 모두 포함하는 인스턴스 집합을 포괄할 수 있습니다. 고위험 애플리케이션에서 이는 과잉 신뢰(overconfidence)로 이어질 수 있습니다. 사용자가 정당화된 모든 예측이 동일하게 신뢰할 수 있다고 가정함으로써, 모델의 실제 한계를 가릴 수 있기 때문입니다.

기존의 불확실성 인식 설명 방법들은 속성(attribution)이나 섭동(perturbation) 기법에 의존하여 불확실성을 추정하지만, 설명이 포괄하는 인스별 집합에 대한 형식적 보증은 결여되어 있습니다. 이들은 설명의 불확실성을 추정할 뿐, 설명에 포함된 모든 인스턴스에 대해 최소 신뢰 수준을 보장하도록 설명을 제약하지는 못합니다.

방법론

1. 최소 신뢰 임계값 (Minimum Confidence Threshold, MCT)

저자들은 귀납적 설명이 제공하는 가장 약한 신뢰 보증을 정량화하기 위해 **최소 신뢰 임계값(MCT)**이라는 개념을 도입합니다.

• 정의: 주어진 설명 $\mathcal{E}$에 대하여, MCT는 $\mathcal{E}$를 만족하는 모든 인스턴스 중 결정 경계에 가장 가까운 예측 점수입니다.
  • 클래스 $+1$의 경우, $MCT(\mathcal{E}) = \min_{\mathcal{E} \subseteq \mathbf{x}'} S(\mathbf{x}')$.
  • 클래스 $-1$의 경우,$MCT(\mathcal{E}) = \max_{\mathcal{E} \subseteq \mathbf{x}'} S(\mathbf{x}')$.
• 의미: MCT는 설명에 의해 포괄되는 인스턴스 집합에 대한 최악의 경우(worst-case) 예측 신뢰도를 나타냅니다. 이는 모델의 기호적 예측 점수 표현에 대한 최적화 문제를 모델 인코딩 및 설명의 특징 할당 제약 조건 하에서 해결함으로써 계산됩니다.

2. 신뢰 인식 귀납적 설명 (Confidence-Aware Abductive Explanations)

MCT를 바탕으로, 논문은 신뢰 인식 귀납적 설명을 제안합니다. 이는 예측된 클래스를 보존할 뿐만 아니라, 해당 설명을 만족하는 모든 인스턴스의 예측 점수가 사용자가 지정한 임계값 $\tau$를 충족하도록 보장하는 특징들의 최소 부분 집합입니다.

• 정식화: 설명 $\mathcal{E}$가 $\tau$에 대해 신뢰 인식을 갖는다는 것은 $\mathcal{E}$가 귀납적 설명이면서 다음을 만족함을 의미합니다:
  • $MCT(\mathcal{E}) \geq \tau$ (클래스 $+1$의 경우)
  • $MCT(\mathcal{E}) \leq \tau$ (클래스 $-1$의 경우)
• 임계값 제약: 임계값 $\tau$는 설명 대상이 되는 원래 인스턴스의 예측 점수에 의해 제약됩니다. 왜냐하면 원래 인스턴스는 반드시 설명을 만족해야 하기 때문입니다. 따라서 $\tau$는 인스턴스 자체의 점수보다 높은 신뢰 수준을 요구할 수 없습니다.

3. 알고리즘 접근 방식

저자들은 전통적인 AXps를 계산하는 데 사용되는 표준 특징 제거 절차(Algorithm 1)를 신뢰 제약을 포함하도록 변형한 알고리즘(Algorithm 2)을 제안합니다.

• 과정: 전체 인스턴스에서 시작하여 특징을 반복적으로 제거합니다. 특징은 사용자 정의 신뢰 임계값 $\tau$를 여전히 만족하는 경우에만 제거됩니다.
• 최적화: 각 단계에서 알고리즘은 SMT 솔버(특히 Z3)를 사용하여 후보 설명의 MCT를 계산합니다.
• 단조성(Monotonicity): 이 접근 방식은 신뢰 인식 조건의 단조성에 의존합니다. 즉, 어떤 특징 부분 집합이 신뢰 임계값을 충족하지 못하면, 그 부분 집합의 모든 하위 집합 또한 충족하지 못합니다. 이는 알고리즘이 최소 설명을 찾아 종료됨을 보장합니다.
• 정교화(Refinement): 논문은 기존 설명을 단순히 확장하는 대신, 더 엄격한 신뢰 제약 조건 하에서 처음부터 설명을 재계산하는 전략에 대해서도 논의합니다. 이를 통해 반드시 설명의 크기를 키우지 않고도 더 나은 신뢰 보증을 제공하는 대안적인 최소 부분 집합을 찾을 수 있습니다.

주요 기여

1. 공백 식별: 본 논문은 전통적인 귀납적 설명이 원래 인스턴스의 신뢰도보다 실질적으로 더 낮은 신뢰 보증을 제공할 수 있음을 입증하며, 이는 고위험 시나리오에서 사용자를 오도할 수 있음을 보여줍니다.
2. MCT 개념: 설명의 가장 약한 신뢰 보증을 정량화하기 위한 공식적 지표로서 최소 신뢰 임계값(MCT)을 도입했습니다.
3. 신뢰 인식 프레임워크: 예측의 정당성과 최소성을 유지하면서 사용자 정의 신뢰 임계값을 강제하는 새로운 클래스의 설명을 제안했습니다.
4. 알고리즘 구현: 그래디언트 부스팅 트리(GBT)의 논리 기반 표현에 대한 최적화 문제로 정식화된 MCT 계산을 통합한 알고리즘(Algorithm 2)을 개발했습니다.
5. 실증적 검증: 실험적 평가를 통해 신뢰 인식 설명이 설명 길이를 약간 증가시키면서도 일관되게 최소 신뢰 보증을 개선하며, 많은 경우 설명의 카디널리티(cardinality)를 늘리지 않고도 더 강력한 보증을 달려할 수 있음을 보여주었습니다.

실험 결과

프레임워크는 네 가지 벤치마크 데이터셋(MAGIC, Adult, Mushroom, Spambase)에 대해 그래디언트 부스팅 트리(XGBoost)를 사용한 이진 분류 작업에서 평가되었습니다.

• 베이스라인의 취약성: 전통적인 귀납적 설명은 원래 인스턴스의 신뢰도보다 훨씬 낮은 신뢰 보증(MCT)을 빈번하게 제공했습니다. 많은 경우, 변환된 MCT 값은 매우 높은 신뢰도의 예측에 대해서도 결정 경계인 0.5에 근접했습니다.
• 제약을 통한 개선: 신뢰 인식 제약(예: 원래 예측 점수의 50% 또는 75% 요구)을 적용하면 MCT 값이 결정 경계에서 일관되게 멀어지며, 이는 더 강력한 신뢰 보증을 나타냅니다.
• 트레이드오프 분석:
  • 설명 크기: 더 엄격한 신뢰 요구 사항은 일반적으로 더 긴 설명(더 많은 특징)으로 이어집니다. 그러나 전체 특징 수에 비해 그 증가 폭은 대개 완만했습니다. 예를 들어, Spambase 데이터셋(57개 특징)에서 75% 임계값을 적용했을 때 평균 설명 길이는 13.25에서 19.12개로 증가하여 약 10%의 상대적 성장을 보였으나, 신뢰도는 크게 향상되었습니다.
  • 카디널리티 보존: 중요한 발견(RQ3)은 더 강력한 신뢰 보증이 반드시 더 큰 설명을 요구하는 것은 아니라는 점입니다. 연구 결과, 상당한 비율의 인스턴스(데이터셋과 클래스에 따라 1%에서 34% 사이)에 대해 기존 AXp와 동일한 카디널리티를 가지면서도 엄격하게 더 나은 신뢰 보증을 제공하는 대안적 설명을 찾을 수 있었습니다. 이는 기존 설명을 단순히 확장하는 것보다 처음부터 다시 계산하는 전략이 유효함을 입증합니다.

의의 및 주장

본 논문은 제안된 접근 방식이 예측의 정확성과 신뢰도가 모두 필수적인 애플리케이션에 특히 적합하다고 주장합니다. 논리 기반 설명 생성 과정에 신뢰 보증을 직접 통합함으로써, 이 프레임워크는 사용자가 설명의 간결함과 더 강력한 신뢰 보증 사이에서 명시적으로 트레이드오프를 할 수 있게 해줍니다.

저자들은 본 연구가 현재 XAI의 특정 한계점, 즉 설명이 포괄하는 인스턴스 집합의 신뢰도에 대한 형식적 보증이 부족하다는 점을 다루고 있음을 강조합니다. 단순히 불확실성을 추정하는 방법과 달리, 이 접근 방식은 모든 인스턴스가 최소 신뢰 기준을 충족하도록 설명을 제약합니다.

논문은 범위의 한계를 인정하며, 본 방법이 그래디언트 부스팅 트리에 대해 시연되었지만, 신뢰 점수를 제공하는 모든 모델에 적용 가능하다는 점을 언급합니다. 또한 향후 연구를 통해 이러한 개념을 다중 클래스 분류 및 다른 논리 기반 설명 형식으로 확장할 수 있음을 시사하지만, 추가 연구 없이 즉각적으로 해당 도메인에 적용 가능하다고 주장하지는 않습니다.