A Geometric View of Counterfactual Behavior: Interaction of Boundary Proximity and Local Support

기술 요약: 반사실적 행동에 대한 기하학적 관점

문제 정의
반사실적 설명(Counterfactual explanations)은 모델의 예측을 변화시키는 작고 의미 있는 입력 변화를 식별하는 것을 목표로 한다. 이는 머신러닝 시스템을 감사하기 위해 널리 사용되지만, 현재의 방법론들은 반사실적 생성(counterfactual generation)을 작업별 타당성 제약이 있는 국소 최적화 문제로 취급하는 경우가 많다. 그러나 예측을 변화시키는 섭동(perturbation)이 로컬리티 예산(locality budget) 내에 존재하더라도, 데이터 지지(data support)가 약한 영역에 위치하게 되면 현실적인 대안에 부합하지 못할 수 있다. 또한, 예측 성능이 거의 동일한 모델들도 매우 상이한 반사실적 행동을 보일 수 있다. 본 연구는 이러한 불일치가 왜 발생하는지를 조사하며, 반사실적 행동이 단순히 예측 정확도만의 함수가 아니라 표현 공간(representation space) 내에서의 **결정 경계 근접성(decision-boundary proximity)**과 국소 데이터 지지(local data support) 사이의 기하학적 상호작용에 의해 결정된다는 가설을 세운다.

방법론
저자들은 다양한 도메인(시각, 언어, 의료 영상, 멀티모달)에 걸쳐 반사실적 행동을 평가하기 위한 기하학적 프레임워크와 표준화된 국소 탐색 프로브(local search probe)를 제안한다.

1. 기하학적 프레임워크:

   • 결정 경계 근접성 ($dbd(z)$): 상위 두 예측 클래스 간의 로짓 차이(logit gap)에 대한 1차 선형화를 통해 근사된, 가장 가까운 결정 경계까지의 거리로 정의된다.
   • 국소 타겟 클래스 지지 ($r_k(z)$): 임베딩 공간 내 타겟 클래스의 참조 세트 내에서 $k$-번째 최근 이웃으로부터 임베딩 $z$까지의 유클리드 거리로 정의된다. 이는 타겟 영역이 데이터로 얼마나 밀집되어 있는지를 측정한다.
   • 가설: 본 연구는 세 가지 가설을 검증한다: (H1) 정확도가 일치하는 모델들도 반사실적 행동은 다르다; (H2) 고정된 임베딩 하에서 분류기 헤드(classifier head)를 변경하면 반사실적 행동이 변한다; (H3) 경계 근접성과 국소 지지의 상호작용이 반사실적 결과를 예측한다.

2. 실험 설정:

   • 인코더(Encoders): Shapes, MNIST, Chest X-ray, IMDb, MM-IMDb와 같은 데이터셋에 대해 여러 사전 학습된 인코더(예: ResNet-50, ViT, BERT, CLIP, SigLIP2)를 평가한다.
   • 분류기 헤드(Classifier Heads): 고정된 임베딩에 대해 선형 분류기를 학습시킨다. 경계 배치(boundary placement)의 효과를 격리하기 위해, 저자들은 서로 다른 초기화 및 규제 강도(가중치 감쇠, weight decay)를 사용하여 동일한 임베딩에 대해 여러 개의 헤드를 학습시킨다.
   • 탐색 프로토콜(Search Protocol): 고정된 신뢰 영역($\tau$) 및 반복 횟수 예산 내에서 예측 변화를 찾기 위해 임베딩 공간에서 표준화된 투영 경사 하강법(projected gradient descent)을 사용한다.
   • 지표: 반사실적 성공(CF-Suc), 반사실적 거리(CF-Dist), 최적화 노력(OptEff).

주요 기여

1. 기하학적 프레임워크 및 프로브: 단순한 예측 지표를 넘어, 결정 경계 근접성과 국소 데이터 지지의 상호작용에 기반하여 반사실적 행동을 평가하는 표준화된 방법을 도입하였다.
2. 경계 효과의 격리: 고정된 표현(representation) 하에서 분류기 헤드만을 변경(초기화 또는 규제를 통해)하는 것이 예측 정확도를 거의 변화시키지 않으면서도 반사실적 성공 및 거리를 실질적으로 변화시킬 수 있음을 입증하였다.
3. 결합 예측력: 결정 경계 근접성만으로는 불충분하며, 반사실적 결과의 변동을 설명하기 위해서는 결정 경계 근접성과 국소 지지의 결합이 필요함을 입증하였다.

결과

• 정확도가 일치하는 모델 간의 괴리: 최소한의 정확도 차이(예: <0.02)를 보이는 모델들 사이에서도 반사실적 행동의 큰 불일치가 나타났다. 예를 들어, MNIST에서 정확도 차이가 0.01인 두 모델은 반사실적 성공률에서 65%포인트의 차이를 보였다.
• 분류기 민감도: 인코더를 고정하고 선형 분류기 헤드만을 변화시켰을 때, 안정적인 정확도에도 불구하고 반사실적 성공률은 크게 변동하였다(예: CF-Suc 격차 0.12 ~ 0.32). 규제를 높이면 평균 경계 거리가 이동하며, 이는 반사실적 성공률의 감소와 단조 상관관계를 보였다.
• 행동의 예측 모델링: 정확도나 교차 엔트로피 손실만을 사용한 회귀 모델은 반사실적 결과의 분산을 거의 설명하지 못했다. 그러나 $dbd(z)$와$r_k(z)$를 포함한 모델은 유의미하게 높은$R^2$ 점수를 달이트했다. 특히, 국소 데이터 지지를 결정 경계 근접성에 추가하는 것이 모든 데이터셋에서 일관되게 예측력을 향상시켰다.
• 지지된 전환 vs 지지되지 않은 전환: 본 연구는 "지지된 전환(supported flips, 강력한 국소 데이터 지지가 있는 타겟 영역에 도달)"과 "지지되지 않은 전환(unsupported flips, 데이터가 희소한 영역으로 경계를 넘는 것)"을 구분한다. 효과적인 반사실적 행동은 단순히 경계를 넘는 것이 아니라, 지지된 영역에 도달하는 것에 크게 의존한다는 것이 밝혀졌다.
• 기하학을 통한 탐색 개선: MNIST에 대한 사례 연구에서, 기하학적 사전 지식(타겟 클래스 이웃까지의 거리를 페널티로 부여)을 반사실적 탐색 목적 함수에 추가함으로써 표준 베이스라인이 실패한 지점에서 탐색 결과를 성공적으로 개선하였으며, 이는 기하학적 신호의 실용적 유용성을 입증한다.

의의 및 주장
본 논문은 반사실적 행동이 예측 성능 및 마진 기반 강건성(margin-based robustness)과는 별개의 독립적인 차원을 구성한다고 주장한다. 저자들의 주장은 다음과 같다:

• 반사실적 타당성은 기능적으로 유사한 모델들 사이에서 불변하는 것이 아니며, 분류기가 국소 데이터 구조에 대해 경계를 어떻게 배치하느냐에 결정적으로 의존한다.
• 표준적인 예측 지표(정확도, 손실)는 반사실적 설명이나 구제(recourse) 시스템을 감사하는 데 불충분하다.
• 결정 경계 근접성과 국소 지지 사이의 상호작용을 이해하는 것은 모델 선택, 강건성 분석, 그리고 더 신뢰할 수 있는 반사실적 방법 설계에 필수적이다.
• 본 연구의 결과는 향후 반사실적 방법론이 생성된 설명이 데이터 분포에 의해 지지되는 영역에 위치하도록 하기 위해 국소 데이터 지지를 명시적으로 고려해야 함을 시사한다.

본 연구는 이러한 기하학적 요인들이 현재의 선형 헤드 설정에서의 변동을 설명하지만, 이 관점을 엔드투엔드 비선형 모델로 확장하고 기하학을 인식하는 반사실적 목적 함수를 개발하는 것이 향후 연구 과제로 남아 있다고 결론짓는다.