기술 요약: RecourseBench

문제 정의

알고리즘적 구제(algorithmic recourse) 분야는 의료나 금융과 같은 고위험 영역에서 개인이 불리한 모델 결정에 대응할 수 있도록 돕는 반사실적 설명(counterfactual explanations)을 제공하며 방법론적으로 급격한 성장을 이루었습니다. 그러나 학계에는 이러한 방법들을 비교하기 위한 원칙적인 메커니즘이 부족합니다. 기존의 평가 프레임워크는 다음과 같은 세 가지 주요 결함을 가지고 있습니다:

1. 모듈성 및 상호운용성 부족: 기존 도구들(예: Alibi, RobustX)은 구제를 하위 기능으로 취급하거나 밀접하게 결합된 아키텍처(예: CARLA) 또는 특정 하드웨어 생태계(예: ReLax/JAX)에 의존하는 경우가 많아, 기존 코드를 대폭 수정하지 않고는 새로운 방법, 데이터셋 또는 평가 지표를 통합하기 어렵습니다.
2. 재현성 격차: 많은 방법론이 발표되고 있음에도 불구하고, 그 구현체가 원래 보고된 결과를 충실히 재현하는지에 대한 체계적인 검증이 없습니다. 누락된 하이퍼파라미터, 문서화되지 않은 설정, 계산적 제약 등의 요인으로 인해 독립적인 검증이 불가능한 경우가 빈번합니다.
3. 맥락 의존적 평가: 구제 방법은 상충하는 목표들(근접성, 희소성, 강건성, 실행 가능성)을 최적화하며, 평가 기준은 맥락(예: 데이터 변화 vs 모델 다중성)에 따라 달라집니다. 현재의 벤치마크는 일관된 실험 조건을 유지하면서도 진화하는 지표들을 수용할 수 있는 유연성이 부족합니다.

방법론 및 프레임워크 설계

저자들은 모듈성, 재현성, 상호작용성이라는 세 가지 핵심 약속을 기반으로 구축된 통합 평가 프레임워크인 RecourseBench를 소개합니다.

1. 모듈형 아키텍처

이 프레임워크는 추상 인터페이스와 동적 레지스트리에 의해 제어되는 5개의 완전히 분리된 계층으로 벤치마킹 파이프라인을 분해합니다:

• 데이터(Data): 원시 데이터셋, 훈련/테스트 분할 및 사실적 집합(factual sets)을 처리합니다.
• 전처리(Preprocessing): 특성 변환 및 정규화를 관리합니다.
• 모델(Model): 대상 예측 모델(예: PyTorch, Scikit-learn)을 지원합니다.
• 구제 방법(Recourse Method): 특정 알고리즘이 구현되는 핵심 모듈입니다.
• 평가(Evaluation): 성능 지표를 계산합니다.

데이터는 DatasetObject 컨테이너를 통해 계층 간에 흐르며, 이를 통해 자립적인 데이터 전송을 보장하고 추상화 누출(abstraction leaks)을 방nf합니다. 시스템은 엄격한 권한 제어(예: 모델에 대한 읽기 전용 액세스)를 강제하여 의도하지 않은 부작용을 방지하고, 중앙 집중식 YAML 기반 워크플로를 통해 실험의 무결성을 보장합니다.

2. 재현성 프로토콜

기존 벤치마크의 검증 부족 문제를 해결하기 위해, RecourseBench는 정량적 테스트에 기반한 4단계 분류 시스템을 도입합니다:

• 지표 정의: 결과는 (데이터셋, 모델, 지표)의 튜플로 정의됩니다. 프레임워크는 논문의 보고된 값($m$)과 프레임워크의 구현값($\hat{m}$) 사이의 대칭 상대 오차($\Delta$)를 계산합니다.
• 임계값: 결과가 원래 보고된 값과 $\Delta \leq 0.35$ (35% 상대 편차) 이내일 경우 재현된 것으로 간주합니다.
• 분류 수준:
  • Level 0: 결과가 재현되지 않음.
  • Level 1: 최소한의 재현 (1개의 결과).
  • Level 2: 부분적 재현 (일부 결과는 재현되나 전부는 아님).
  • Level 3: 완전한 재현 (보고된 모든 결과 재현).
• 자동화: 자동화된 테스트 스위트가 모든 통합된 방법을 원래의 사양에 따라 검증합니다. Level 1 이상을 달성한 방법만이 메인 벤치마크 평가에 포함됩니다.

3. 평가 지표

프레임워크는 불리한 사례들의 홀드아웃 테스트 세트를 사용하여 다섯 가지 차원에서 방법을 평가합니다:

• 유효성(Validity): 원하는 클래스를 달성하는 성공률.
• 근접성(Proximity): 사실적 사례와 반사실적 사례 사이의 평균 유클리드 거리($\ell_2$).
• 희소성(Sparsity): 수정된 특성의 평균 개수($\ell_0$).
• 타당성(Plausibility): 훈련 세트의 $Y$-최근접 이웃들과의 평균 거리($Y$-NN).
• 실행 시간(Runtime): 총 생성 시간.

점수는 [0, 1] 척도로 정규화되며("낮을수록 좋은" 지표의 경우 음의 지수 변환 사용), 사용자가 정의한 가중 평균을 통해 집계됩니다. 이를 통해 실무자는 특정 차원(예: 속도 vs 품질)을 우선순위에 둘 수 있습니다.

4. 인터랙티브 인터페이스

웹 기반 인터페이스를 통해 사용자는 데이터셋, 모델 아키텍처 및 특정 구제 방법을 선택하여 실험을 구성할 수 있습니다. 시스템은 호환되지 않는 조합을 자동으로 필터링하고, 선택된 지표 집계 전략에 따른 순위 리더보드를 제시합니다.

주요 기여

1. 통합 모듈형 프레임워크: RecourseBench는 데이터, 전처리, 모델, 방법 및 평가를 엄격하게 분리한 최초의 프레임워크로, 기존 코드를 수정하지 않고도 새로운 구성 요소를 원활하게 통합할 수 있습니다.
2. 재현성 강제: 원래의 논문에 대한 자동화된 정량적 테스트를 통해 방법 수준의 재현성을 명시적으로 강제하는 최초의 구제 벤치마크로서, 보고된 결과에 대한 충실도에 따라 방법을 분류합니다.
3. 포괄적 통합: 프레임워크는 현재 제약 및 로직 기반, 그래디언트 기반, 표현 학습, 대리 모델 보조, 미분 불가능/휴리스틱, 인스턴스 기반 탐색의 6개 카테로리에 걸친 28가지 최첨단 구제 방법을 통합하고 있습니다.
4. 인터랙티브 벤치마킹: 다중 지표 비교를 위한 구성 가능한 인터페이스를 제공하여, 사용자가 특정 애플리케이션 제약 조건에 맞춘 커스텀 리더보드를 구축할 수 있도록 합니다.

결과 및 경험적 경관

저자들은 22개의 방법(Level 1 이상 달성)을 3개의 데이터셋 및 3개의 모델 유형에 대해 평가하여 137개의 호환 가능한 구성을 도출했습니다.

• 재현성 발견: 재현성 수준(Level 0 ~ 3)의 분포는 이 분야의 구조적인 인프라 격차를 드러냅니다. 많은 방법론이 코드, 하이퍼파라미터와 같은 누락된 산출물이나, MACE와 같이 구성당 70시간 이상의 시간이 소요되는 계산적 제약으로 인해 충실한 재현이 어렵습니다.
• Level 1의 중요성: Level 0(재현 안 됨)에서 Level 1(최소 재현)으로의 전환은 가장 인식론적으로 중요한 도약으로 식별되었습니다. 이는 검증 가능한 증거가 전혀 없는 상태에서 적어도 하나의 지표에 대한 독립적 검증이 가능한 상태로 나아가는 것을 의미합니다.
• 벤치마크 유용성: 프레임워크는 서로 다른 목적(예: 희소성 vs 근접성)에 최적화된 방법들이 사용자의 지표 가중치에 따라 서로 다른 순위를 생성함을 성공적으로 입증하였으며, 이는 맥락 인식 평가의 필요성을 강조합니다.

의의 및 주장

본 논문은 RecourseBench를 단순히 기존 문헌을 모두 재현하는 도구가 아니라, **재현성의 실행(operationalization of reproducibility)**으로 규정합니다. 구성 방법론의 충실도가 확립된 상태에서 비교 평가를 위한 신뢰할 수 있는 기반을 제공함으로써, 본 프레임워크는 다음을 목표로 합니다:

• 신뢰할 수 있는 비교 평가의 토대 제공.
• 기존 연구의 재현 및 새로운 접근법 개발의 장벽 완화.
• 실무자가 실제 배포 제약 조건에 부합하는 방법을 선택할 수 있도록 하는 공유 참조점 역할.

저자들은 일부 재현성 문제가 문헌의 문서화 공백에서 기인함을 인정하며, 현재의 프레임워크가 실질적인 실행 가능성과 엄격성 사이의 균형(예: 35% 허용 오차 및 실행 수준의 분산 집계 부재)을 맞추고 있음을 밝힙니다. 향후 연구에서는 이러한 설계 선택을 다루고 방법 레지스트리를 확장할 것을 권장합니다.