기술 요약: tSeTlin 머신을 이용한 타겟-신뢰도 구제 (TRUST)

문제 정의

반사실적 설명(Counterfactual Explanations, CEs)은 고위험 의사결정 시스템(예: 신용 승인, 임상 위험 계층화)에서 알고리즘적 구제(Algorithmic Recourse)를 제공하기 위한 표준 메커니즘이다. 기존의 구제 방식은 입력 $x$를 부정적 결정에서 긍정적 결정으로 뒤집기 위해 필요한 최소한의 변화를 찾는 최적화 문제에 집중한다. 형식적으로 이는 $M(x') \geq 0.5$라는 제약 조건 하에서 거리 $d(x, x')$를 최소화하는 최적화 문제이다.

본 논문은 이러한 이진 프레임링(binary framing)의 두 가지 결정적인 한계를 지적한다:

1. 취약성(Fragility): 결정 경계 근처($M(x') \approx 0.5$)에서 생성된 반사실적 사례들은 노이즈, 모델 업데이트 또는 섭동(perturbation)에 매우 불안정할 수 있다. 이들은 기술적으로는 라벨 전환 조건을 만족할지라도, 낮은 신뢰도 마진으로 인해 실제 적용 시에는 실패할 수 있다.
2. 의사결정과의 불일치: 현실 세계의 의사결정 시스템은 종종 명시적인 신뢰도 임계값(예: 승인을 위해 80%의 신뢰도 요구)을 사용한다. 기존 방법론은 "최소한 80%의 신뢰도를 달一个 성하기 위해 필요한 최소한의 변화는 무엇인가?"와 같은 질문에 직접적으로 답할 수 없다. 기존 방식은 신뢰도를 최적화의 직접적인 대상이 아닌 사후적인 속성으로 취급한다.

기존 연구들이 마진 제약이나 이웃 유효성(neighborhood validity)을 통해 간접적으로 강건성(robustness)을 다루거나, CLUE와 같은 확률적 인증 방식을 사용하기도 했으나, 사용자가 원하는 신뢰도 수준을 생성 과정에서의 직접적인 제약 조건으로 지정할 수 있게 해주는 방법은 존재하지 않았다.

방법론: TRUST 프레임워크

저자들은 TRUST(Target-confidence Recourse Using tSeTlin machines)를 제안하며, 구제를 타겟-신뢰도 문제로 재정의한다.

1. 문제 공식화

기존의 $M(x') \geq 0.5$를 제약 조건으로 하는 $d(x, x')$ 최소화 대신, TRUST는 사용자 정의 타겟 신뢰도 $\tau \in (0.5, 1)$와 허용 오차 $\epsilon$을 만족하는 반사실적 사례 $x'$를 찾는다:
$$\min_{x'} d(x, x') \quad \text{s.t.} \quad |M(x') - \tau| \leq \epsilon$$
이 공식화는 표준 CE( $\tau = 0.5$일 때 회복됨)를 일반화하며, 다양한 신뢰도 수준에서 구제 옵션을 명시적으로 생성할 수 있게 하여 비용과 강건성 사이의 원칙적인 트레이드오프 분석을 가능하게 한다.

2. 모델 인스턴스화: 확률적 Tsetlin 머신 (PTM)

이 프레임워크를 구현하기 위해 저자들은 **확률적 Tsetlin 머신(Probabilistic Tsetlin Machine, PTM)**과 **베이지안 최적화(Bayesian Optimization, BO)**를 결합하여 사용한다.

• 왜 PTM인가? 신뢰도 점수가 직접적인 해석력을 갖지 못하는 블랙박스 확률 분류기(예: 보정된 신경망)와 달리, PTM은 예측을 확률적 활성화를 가진 인간이 해석 가능한 논리적 절(logical clauses)로 분해한다. 이러한 구조 덕분에 모델은 특징 변화를 예측 신뢰도의 변화와 직접적으로 연결할 수 있다.
• 왜 베이지안 최적화인가? 반사실적 사례의 탐색 공간은 비볼록(non-convex)하며, 특히 확률적 모델의 경우 평가 비용이 높을 수 있다. BO는 타겟 신뢰도 $\tau$에 부합하는 후보를 찾는 동시에 거리를 최소화하기 위해 탐색(exploration)과 이용(exploitation)의 균형을 맞추며 입력 공간을 효율적으로 탐색한다. 정칙성 조건(regularity conditions) 하에서의 이론적 보장은 점근적 최적성(asymptotic optimality)을 보장한다.

3. 절 단위의 반사실적 속성 (Clause-Level Counterfactual Attribution)

TRUST 프레임워크의 독특한 기여는 **절 단위 속성(clause-level attribution)**을 수행할 수 있다는 점이다. 동일한 타겟 신뢰도를 달성하지만 비용이나 안정성이 서로 다른 여러 반사실적 사례가 존재할 때, PTM 구조를 통해 이러한 차이를 특정 논리 규칙으로 추적할 수 있다.

• 프레임워크는 개별 절의 "발화 확률(firing probabilities)"을 분석한다.
• 특정 사례가 규칙을 견고하게 만족하는지(규칙의 확률적 경계 깊숙이 있는지), 아니면 취약하게 만족하는지(규칙 조건의 가장자리 근처에 있는지)를 식별한다.
• 이는 왜 하나의 구제 옵션이 다른 옵션보다 더 신뢰할 수 있는지에 대한 기계적인 설명을 제공하며, 이는 블랙박스 모델의 특징 수준 설명에는 없는 능력이다.

주요 기여

1. 타겟-신뢰도 공식화: 본 논문은 예측 신뢰도가 사후적 속성이 아닌 사용자 지정 제약 조건인 최초의 CE 목적 함수로서 식 (2)를 도입했다. 이는 패러다임을 "최소한의 라벨 뒤집기"에서 "특정 리스크 임계값을 충족하기 위한 최소한의 변화"로 전환한다.
2. 절 단위 속성: PTM을 활용함으로써, 저자들은 특징 수준의 변화를 해석 가능한 논리적 절을 통해 신뢰도 변화와 연결하는 새로운 설명 계층을 구현했다. 이는 경쟁하는 구제 옵션들을 그 밑바탕이 되는 결정 규칙의 안정성을 바탕으로 비교할 수 있게 한다.
3. 설계에 의한 강건성 (Robustness by Design): 이 프레임워크는 신뢰도 인지형 반사실적 사례와 강건성 사이의 실질적인 연결 고리를 구축한다. 높은 신뢰도 수준을 직접 타겟팅함으로써, 사후 필터링이 아닌 설계 단계에서부터 강건성을 확보한다.

실험 결과

저자들은 두 개의 합성 데이터셋(2D 및 5D)과 두 개의 실제 데이터셋(Iris 이진 분류 및 Haberman 생존 데이터)에서 TRUST를 평가했다. TRUST(PTM + BO)를 CARLA 라이브러리의 표준 경사 하강법 기반(Wachter) 및 샘플링 기반(GrowingSpheres) 베이스라인과 비교했다.

주요 결과:

• 강건성 vs. 비용 트레이드오프: TRUST는 명시적인 제어를 허용한다. 낮은 타겟 신뢰도($\tau=0.50$)에서 TRUST는 베이스라인과 비슷하거나 더 나은 최소 거리를 생성한다. 높은 타겟 신뢰도($\tau=0.85$)에서 TRUST는 낮은 구제 비용을 유지하면서도 노이즈에 훨씬 더 강건한(여러 벤치마크에서 100% 강건성 달성) 반사실적 사례를 생성한다.
• 성능 지표: Haberman 데이터셋에서 TRUST는 0.92 신뢰도에서 0.10의 L2 거리를 달성하며 완벽한 강건성을 보였으며, 이는 강건성을 유지하기 위해 신뢰도를 희생해야 했던 베이스라인들을 능가한 결과이다.
• 해석 가능성: Haberman 데이터셋에 대한 질적 분석 결과, 동일한 논리 규칙(예: "양성 림프절 $\leq 4$")을 만족하는 두 반사실적 사례가 매우 다른 신뢰도를 가질 수 있음을 보여주었다. TRUST의 절 단위 분석은 림프절 수가 4인 사례는 경계 근처에 있어 취약한 반면, 림프절 수가 2인 사례는 견고하다는 것을 밝혀냈으며, 이를 통해 신뢰도 안정성의 차이를 기계적으로 설명했다.

의의 및 주장

본 논문은 TRUST가 고위험 환경에서 신뢰도 인지적이고 해석 가능한 알고리즘적 구제의 토대를 제공한다고 주장한다. 그 의의는 다음과 같다:

• 최적화 목표의 전환: 이진 라벨 뒤집기에서 사용자 정의 리스크 임계값 충족으로 이동함으로써, 규제 및 실무적 의사결정 요구사항(예: EU AI Act, GDPR)에 더 잘 부합한다.
• 기계적 설명: 특징 수준의 변화만을 제공하는 기존 방법과 달리, TRUST는 하부의 논리적 절(clause)의 안정성을 드러냄으로써 왜 특정 구제 옵션이 강건하거나 취약한지를 설명한다.
• 실용적 유용성: 의사결정자가 단순히 "가장 저렴한" 옵션을 수용하도록 강요받는 대신, 투명한 비용-신뢰도-강건성 스펙트럼을 바탕으로 구제 옵션을 선택할 수 있게 한다.

저자들은 현재 구현(PTM)이 경사 하강법 기반 방법보다 계산 오버헤드가 크다는 점과 더 넓은 범위의 검증이 향후 과제라는 점을 언급하며 한계점에 대해 겸허한 태도를 유지하고 있다. 그러나 제안된 프레임워크가 이론적 구제와 안정적이고 실행 가능한 의사결정 지원 사이의 간극을 성공적으로 해결했다고 주장한다.