기술 요약: 반사실적 공정성을 위한 분포 매핑 접근 방식 (A Distribution Mapping Approach to Counterfactually Fair Reinforcement Learning)

문제 정의

강화 학습(RL)은 의료와 같이 고위험 영역에서의 순차적 의사결정에 점점 더 많이 사용되고 있습니다. 그러나 표준 RL 에이전트는 민감한 속성(예: 인종, 성별)에 의해 정의되는 특정 하위 집단에 체계적으로 불이익을 주는 정책을 의도치 않게 학습할 수 있습니다. 이러한 불공정성은 민감한 속성이 명시적인 특징(feature)으로 사용되었기 때문이 아니라, 상태(state)와 보상(reward) 변수가 이러한 속성과 상관관계가 있는 암묵적인 정보를 인코딩하고 있기 때문에 발생합니다.

인구통계학적 패리티(demographic parity)와 같은 기존의 공정성 기준은 집단 수준에서 작동하며 인과적 메커니즘보다는 통계적 연관성에 의존합니다. Kusner 등[19]에 의해 도입되고 Wang 등[31]에 의해 RL로 확장된 반사실적 공정성(Counterfactual Fairness, CF)은 더욱 엄격한 프레임워크를 제공합니다. CF는 모든 역사적 외생 변수가 일정하게 유지될 때, 개인의 결정 분포가 해당 개인의 민감한 속성이 가상적으로 다른 값으로 바뀌더라도 변하지 않아야 함을 요구합니다.

Wang 등[31]은 오프라인 RL에서 CF를 강제하기 위한 데이터 전처리 알고리즘을 제안했지만, 이 방법은 엄격한 가법적 노이즈 가정(즉, 상태와 보상이 민감한 속성에 독립적인 노이즈를 더한 선형 함수라는 가정)에 의존합니다. 이러한 가정은 변수 간의 관계가 비선형적이거나 비가법적인 실제 환경에서는 매우 제한적일 수 있습니다.

방법론: 반사실적 순차적 주변 분포 매핑 (CFSMDM)

본 논문은 가법적 노이즈 가정을 요구하지 않고도 반사실적으로 공정한 정책 학습을 가능하게 하는 새로운 데이터 전처리 알고리즘인 CFSMDM을 제안합니다. 이 방법은 두 단계로 작동합니다.

1. 이론적 토대

이 접근 방식은 구조적 인과 모델(SCM)과 반사실적 개념에 기반합니다. 저자들은 가정 1(노이즈 변수에 대한 상태의 엄격한 단조성)과 가정 2(노이즈 변수에 대한 보상의 엄격한 단조성)를 도입합니다. 이 가정들은 이전 연구[31]에서 사용된 가법적 노이즈 가정보다 엄격히 더 약한 조건입니다.

이러한 가정하에, 저자들은 관측된 상태(또는 보상)의 **분위수 수준(quantile level)**이 역사적 외생 변수가 일정하게 유지되는 한, 민감한 속성의 서로 다른 값에 대해서도 조건부 분포 내에서 불변임을 증명합니다(정리 1 및 2). 이를 통해 **분위수 매칭(quantile matching)**을 통해 반사실적 상태와 보상을 복구할 수 있습니다.

2. 알고리즘

CFSMDM은 다음과 같은 2단계 절차를 따릅니다:

1. 데이터 전처리 (SMDM):
   • 알고리즘은 민감한 속성과 역사적 맥락이 주어졌을 때의 조건부 분위수 함수를 추정합니다.
   • 각 관측된 궤적(trajectory)에 대해, 실제 민감한 속성 하에서의 관측된 상태/보상의 분위수 수준($\tau$)을 계산합니다.
   • 그 다음, 이 분위수 수준을 반사실적 민감한 속성 값 하에서의 조건부 분포로 매핑하여 반사실적 상태와 보상을 추정합니다.
   • 이 추정치들을 결합하여 관측된 민감한 속성에 불변인 증강된 상태($\tilde{S}_t$)와 증강된 보상($\tilde{R}_t$)을 구축합니다.
2. 정책 학습:
   • 전처리된 데이터셋(증강된 상태와 보상 포함)에 대해 표준 오프라인 RL 알고리즘(예: Fitted Q Iteration)을 적용합니다.
   • 증강된 데이터에는 (잔차 추정 오류를 제외하고는) 민감한 속성에 대한 정보가 포함되어 있지 않으므로, 결과적으로 도출된 정책은 이론적으로 반사실적 공정성을 갖습니다.

주요 기여

1. 일반화된 알고리즘: 본 논문은 CFSMDM을 도입하여, 가법적 노이즈 가정을 엄격한 단조성 가정으로 완화함으로써 반사실적 공정 RL의 범위를 더 넓은 클래스의 문맥적 마르코프 결정 과정(CMDP)으로 확장했습니다.
2. 이론적 보장: 저자들은 부최적성 갭(suboptimality gap)(학습된 정책과 최적 정책 간의 차이)과 반사실적 불공정성 수준에 대한 경계치를 도출했습니다. 이 경계치들은 불공정성과 부최적성이 조건부 분위수 함수의 추정 오차 및 Fitted Q Iteration 단계 수에 의해 제어됨을 보여줍니다.
3. 실증적 검증: 제안된 방법은 비가법적 노이즈가 존재하는 합성 데이터에 대한 수치 실험과, 오피오이드 남용을 줄이기 위한 중재 연구인 PowerED 연구의 실제 데이터셋에 적용되어 평가되었습니다.

결과

수치 실험

비가법적 노이즈가 있는 CMDP를 대상으로 시뮬레이션을 수행하여 CFSMDM을 여러 베이스라인과 비교했습니다:

• Full: 민감한 속성을 사용함 (불공정함).
• Unaware: 민감한 속성을 제외함 (종종 불충분함).
• Random: 공정성을 위한 베이스라인 (완벽하게 공정하지만 효용이 낮음).
• FLAP_M, ECOCF_M: 단일 단계 공정성 방법의 변형들.
• CFSDP: 가법적 노이즈를 요구하는 기존의 최첨단 방법[31].

결과:

• 공정성: CFSMDM은 "Full", "Unaware", "FLAP_M", "ECOCF_M"보다 현저히 낮은 반사실적 불공정성 지표를 달로했습니다. 또한, 가법적 노이즈 가정이 위반되어 성능이 저하된 CFSDP와 비교했을 때 대등하거나 더 나은 성능을 보였습니다.
• 효용성: 공정성을 강제함에 따라 예상대로 트레이드오프가 발생하여, CFSMDM은 "Full" 및 "Unaware" 방법보다 낮은 정책 가치를 기록했습니다. 그러나 다른 공정한 방법들과 비교하여 경쟁력 있는 효용을 유지했습니다.
• 강건성: CFSMDM은 환경에 미치는 민감한 속성의 영향력이 강해짐에 따라 견고함을 유지했습니다.

실제 적용 (PowerED 연구)

알고리즘은 12주간의 오피오이드 중재 연구에 참여한 207명의 환자 데이터셋에 적용되었습니다.

• 지표: CFSMDM은 대부분의 민감한 속성(교육, 인종, 연령)에 대해 베이스라인 대비 가장 우수한 반사실적 공정성을 달성했습니다.
• 미묘한 차이: "성별(Sex)" 속성의 경우, CFSMDM은 CFSDP 및 "Unaware"보다 약간 덜 공정했습니다. 저자들은 이 현상을 의사결정에서 민감한 속성을 제외하는 것만으로도 이 특정 사례에서의 불공정성이 대부분 제거되었기 때문에, CFSMDM이 도입한 유한 샘플 추정 오차가 미미한 공정성 이득보다 더 컸기 때문이라고 설명합니다.

의의 및 주장

본 논문은 CFSMDM이 CFSDP와 같은 기존 방법보다 더 일반적이고 강력한 반사실적 공정 RL 도구를 제공한다고 주장합니다. 분위수 매칭에 의존함으로써, 복잡하고 비선형적인 인과 관계를 가진 더 넓은 범위의 실제 환경 문제를 해결합니다.

저자들은 이 방법이 공정성-효용 트레이드오프를 수반하지만, 순차적 의사결정에서 체계적인 차별을 완화하는 원칙적인 방법을 제공한다고 강조합니다. 또한, CFSMDM의 성능은 조건부 분위수 추정의 정확도에 달려 있으며, 분위수 모델이 잘못 설정될 경우 공정성 보장이 훼�될 수 있음을 인정합니다. 이 연구는 인과적 공정성이 윤리적 배포의 전제 조건인 민감한 영역에서 RL 에이전트를 배치하기 위한 중요한 단계로서 자리매김하고 있습니다.