기술 요약: RECAST

문제 정의

본 논문은 데이터 접근이 매우 제한적이고 쿼리 예산(query budget)이 엄격히 제한된 상황에서의 모델 재구성(블랙박스 분류기를 모사하는 대리 모델 생성) 문제를 다룹니다. 이러한 시나리오는 MLaaS(Machine Learning-as-a-Service) 플랫폼을 감사하는 제3자가 타겟 모델과 대화형으로 상호작용하며 쿼리를 보낼 수 없고, 고정된 오프라인 데이터셋에만 의존해야 하는 상황에서 흔히 발생합니다.

구체적으로, 저자들은 **단방향 반사실적 설명(one-sided counterfactual explanations, CFs)**만을 사용할 수 있는 설정에 집중합니다. 많은 실제 응용 사례(예: 대출 거절)에서 사용자들은 부정적인 결과(negative outcome)를 긍정적인 결과(positive outcome)로 바꾸는 방법(반사실적 설명)은 제공받지만, 그 반대의 경우에 대한 설명은 받지 못합니다. 기존의 CF 기반 재구성 방식들은 이 환경에서 세 가지 결정적인 한계에 직면합니다:

1. 결정 경계 이동(Decision Boundary Shifts): CF를 타겟 클래스의 하드 레이블(hard-labeled) 샘플로 취급하면, 대리 모델이 경계 근처 영역에서 과도하게 확신(overconfident)하게 되어 결정 표면을 잘못 이동시킵니다(그림 1 참조).
2. 과적합(Overfitting): 신경망 기반 접근 방식은 학습 데이터가 부족하고 쿼리 예산이 적을 때 과적합 문제로 어려움을 겪습니다.
3. 비식별성(Non-Identifiability): 단방향 CF 접근과 제한된 쿼리 조건 하에서는 진정한 결정 경계를 통계적으로 식별할 수 없습니다. 즉, 동일한 입출력 동작을 생성하는 서로 다른 다수의 분류기가 존재할 수 있습니다. 따라서 고유한 기하학적 경계를 복구하려는 시도는 부적절(ill-posed)합니다.

방법론: RECAST

저자들은 명시적인 결정 경계가 아닌 클래스 수준의 분포를 재구성하는 행동 중심적 접근 방식인 RECAST(REconstruction via Counterfactual-Aware waSserstein opTimization)를 제안합니다.

1. CF-일관적 불확실성 집합 (CF-Consistent Uncertainty Sets)

RECAST는 CF가 결정 경계에 정확히 위치한다고 가정하는 대신, 이를 **소프트한 교차 클래스 제약 조건(soft, cross-class constraints)**으로 취급합니다. 이는 각 클래스 $c \in \{0, 1\}$에 대해 CF-일관적 가용 집합(CF-consistent feasible set) $\mathcal{C}_c$를 정의합니다. 이 집합은 두 개의 와서스타인 볼(Wasserstein balls)의 교집합입니다:

• 경험적 클래스 조건 분포 $P_c$를 중심으로 하는 볼.
• 단방향 반사실적 분포 $P_{cf}$를 중심으로 하는 볼.

이는 와서스타인 공간 내에서 "렌즈 모양"의 모호성 집합(ambiguity set)을 형성하며, 샘플링 불확실성과 반사실적 데이터에 의해 부과되는 기하학적 제약을 모두 인코딩합니다.

2. 강건한 와서스타인 바리센터 (Robust Wasserstein Barycenters)

이 불확실성 집합 내에서 각 클래스를 대표하는 안정적인 표본을 찾기 위해, RECAST는 **와서스타인 바리센터(Wasserstein barycenters)**를 계산합니다. 정리 3.2는 가용 집합에 대한 최악의 경우 분포 재구성 리스크(worst-case distributional reconstruction risk)를 최소화하는 것이 제곱 와서스타인 거리의 가중 합을 최소화하는 프로토타입 $Q_c^*$를 찾는 것과 동일함을 입증합니다:
$$Q_c^* = \arg\min_{\mu} \left( (1-\lambda_c)W_2^2(\mu, P_c) + \lambda_c W_2^2(\mu, P_{cf}) \right)$$
여기서 $Q_c^*$는 원래의 클래스 데이터와 반사실적 데이터의 2-와서스타인 바리센터입니다. 혼합 가중치 $\lambda_c$는 분포들($P_c, P_{cf}, P_{1-c}$)의 상대적 기하 구조로부터 정전적으로(canonically) 유도되며, 이를 통해 불확실성 반경을 명시적으로 튜닝할 필요 없이 작동합니다.

3. 바리센트릭 프로토타입 분류기 (Barycentric Prototype Classifier)

최종 대리 모델 $\hat{m}$은 입력 $x$를 학습된 클래스 프로토타입과의 와서스타인 거리를 비교하여 분류합니다:
$$\hat{m}(x) := \arg\min_{c \in \{0, 1\}} W_2(\delta_x, Q_c^*)$$
여기서 $\delta_x$는 $x$에서의 디락 측도(Dirac measure)입니다. 이 분류기는 **CF-식별 가능(CF-identifiable)**하며, 이는 결정 동작이 불확실성 집합 내의 하부 분포의 특정 실현(realization)에 관계없이 불변함을 의미합니다.

4. 공정성 진단 (Fairness Diagnostics)

본 프레임워크는 임계값 불변 인구통계적 패리티(Threshold-Invariant Demographic Parity, TIDP) 및 **임계값 불변 등가 오차(Threshold-Invariant Equalized Odds, TIEO)**를 와서스타인 기하 구조에 맞게 변형합니다. 민감한 그룹 간의 와서스타인 기반 점수 분포를 비교함으로써, 이 방법은 특정 컷오프(cutoff)와 무관하게 모든 결정 임계값에서 지속되는 공정성 격차에 대한 체계적인 진단을 제공합니다.

주요 기여

• RECAST 프레임워크: 특히 오프라인, 단방향 CF 접근을 위해 설계된, 반사실적 인지 와서스타인 바리센트 프로토타입을 사용하는 행동 중심적 모델 재구성 솔루션입니다.
• 이론적 근거: CF-일관적 불확실성 하에서 강건한 리스크 경계를 최소화하는 것이 와서스타인 바리센터로 이어진다는 것을 증명하여, 경계가 식별 불가능한 상황에서도 클래스 분포의 안정적인 기하학적 표현을 제공합니다.
• 공정성 감사 도구: 재구성된 결정 기하 구조와 관련하여 민감한 그룹 간의 분포적 격차를 정량화하는 기하학 기반 진단 도구를 제공합니다.
• 실험적 검증: 네 가지 실제 데이터셋(Adult, COMPAS, HELOC, California Housing)에 대한 광범한 실험을 통해, RECAST가 낮은 쿼리 환경 및 노이즈 조건에서도 SAMPLES, CCA, TRA와 같은 베이스라인보다 높은 충실도(fidelity)와 쿼리 효율성을 달성함을 입증했습니다.

실험 결과

• 충실도(Fidelity): RECAST는 다양한 타겟 모델(MLP, Logistic Regression, Decision Trees)과 데이터셋에 대해 베이스라인보다 일관되게 높은 충실도를 보였습니다. 특히 다른 방법들이 과적합이나 경계 이동을 겪는 낮은 쿼리 환경(예: 100개 샘플)에서 뚜렷한 우위를 보였습니다.
• 강건성(Robustness): 이 방법은 가법 노이즈(additive noise)와 분포 변화(예: California에서 Michigan 데이터로의 교차 도메인 평가) 하에서 탁월한 안정성을 보여줍니다. 베이스라인들이 결정 임계 근처에서 크게 성능이 저하되는 반면, RECAST는 완만하게 성능이 저하됩니다.
• CF 생성기(CF Generators): RECAST는 CF 생성 방식(MCCF, DiCE, ROAR 등)에 관계없이 높은 충실도를 유지하지만, 베이스라인들은 CF의 특정 특성 및 "오버슈팅(overshooting)" 동작에 매우 민감하게 반응합니다.
• 공정성: 제안된 진단 도구는 RECAST가 섭동(perturbation) 하에서도 경쟁 방법들보다 타겟 모델의 공정성 특성을 더 충실하게 보존함을 보여줍니다.

의의 및 주장

본 논문은 RECAST를 데이터 접근이 제한되고 쿼리 예산이 한정된 고위험 도메인(금융, 형사 사법, 의료)에서 불투명한 결정 시스템을 감사하기 위한 실용적인 도구로 포지셔 Ler 합니다.

• 행동 중심적 접근: 저자들은 단방향 CF 접근 하에서는 고유한 지면 진실(ground-truth) 결정 경계를 복구하는 것이 불가능하다고 강조합니다. 대신, RECAST는 통계적으로 식별 가능한 입출력 관계를 재구성하는 **행동적 동등성(behavioral equivalence)**에 집중합니다.
• 규제 관련성: 이 연구는 모델의 내부 파라미터나 학습 데이터에 대한 접근 없이도 모델 동작, 투명성 및 공정성에 대한 독립적인 조사를 가능하게 함으로써 EU AI Act 및 유사한 규제의 목표를 지원합니다.
• 한계점: 저자들은 현재 접근 방식이 **이진 분류(binary classification)**에 국한되어 있으며, 수동적 관찰(플랫폼과의 전략적 적대적 상호작용이 없는 상태)을 전제로 한다는 점을 언급했습니다. 또한 와서스타인 거리가 계산 집약적이지만, 이 방법이 설계된 저데이터 환경에서는 여서히 다룰 수 있는 수준임을 인정했습니다.

요약하자면, RECAST는 제한된 단방향 반사실적 피드백만을 사용할 수 있을 때 블랙박스 모델을 재구성하기 위한 수학적으로 엄밀하고 경험적으로 검증된 접근 방식을 제공하며, 불가능한 경계 복구 작업 대신 안정성과 행동적 충실도를 우선시합니다.