Counterfactually Fair Conformal Prediction

이 논문은 점 예측의 반사실적 공정성을 예측 집합으로 확장하여, 합동성 점수 대칭화를 통해 예측 집합 크기의 최소 증가로 반사실적 공정성과 마진 커버리지 보장을 동시에 달성하는 '반사실적 공정 합동 예측 (CF-CP)' 방법을 제안합니다.

핵심

🎩 1. 문제 상황: "예측의 불확실성"과 "불공정함"

우리가 AI 를 사용할 때, 예를 들어 "이 학생의 SAT 점수는 얼마일까?"라고 물어보면 AI 는 보통 하나의 숫자를 알려줍니다. 하지만 AI 는 완벽하지 않죠. "아마 1200 점 정도일 거야"라고 말하면서도, 실제로는 1100 점일 수도 있고 1300 점일 수도 있습니다.

• 기존의 방법 (점 예측): AI 는 "1200 점"이라고 딱 잘라 말합니다. 하지만 이 숫자가 얼마나 정확한지, 혹은 "만약 이 학생이 다른 성별이었다면 점수가 달라졌을까?"에 대한 고려는 부족합니다.
• 새로운 방법 (예측 집합): 최근에는 AI 가 "1150 점에서 1250 점 사이일 거야"라고 **범위 (집합)**를 알려주는 '합의 예측 (Conformal Prediction)'이 주목받고 있습니다. 이는 "정확한 숫자는 모르지만, 이 범위 안에 있을 확률이 90% 는 돼"라고 말하는 거죠.

하지만 여기서 문제가 생깁니다.
이 '범위'조차도 공정하지 않을 수 있습니다.

• 상황: 같은 실력을 가진 두 학생이 있습니다. A 는 '남자', B 는 '여자'입니다.
• 불공정한 AI: A 에겐 "11501250 점"이라고 예측하고, B 에겐 "11001300 점"이라고 예측할 수 있습니다. 범위가 너무 넓으면 B 는 불확실성을 더 많이 느끼게 되고, 이는 불공정합니다.
• 심지어 더 나쁜 경우: 만약 AI 가 "만약 B 가 남자였다면 범위가 좁아졌을 텐데"라고 생각하게 만든다면, 이는 AI 가 성별에 따라 불공정하게 판단하고 있다는 뜻입니다.

🛠️ 2. 해결책: "CF-CP" (공정한 예측 집합)

저자들은 이 문제를 해결하기 위해 **CF-CP(Counterfactually Fair Conformal Prediction)**라는 새로운 방법을 만들었습니다.

🪞 비유: "거울 속의 나"를 보는 기술

이 기술의 핵심은 **'반사 (Symmetrization)'**입니다.

1. 가상의 실험: AI 가 어떤 사람의 예측 범위를 만들 때, 단순히 그 사람만 보는 게 아니라, **"만약 이 사람의 성별 (또는 인종) 이 반대였다면?"**이라는 가상의 시나리오를 만들어봅니다.
   • 예: "현재는 남자지만, 만약 여자였다면 점수 예측 범위는 어땠을까?"
2. 거울에 비추기: AI 는 실제 상황과 가상의 상황 (거울 속) 두 가지 모두에서 예측 범위를 계산합니다.
3. 균형 맞추기: 이제 AI 는 두 가지 결과 (실제와 가상) 를 섞어서 하나의 공정한 범위를 만듭니다.
   • 만약 실제 상황에서는 범위가 좁고, 가상 상황에서는 넓다면, 두 가지를 적절히 섞어 두 경우 모두에게 똑같이 적용될 수 있는 중간 범위를 정합니다.

이 과정을 통해 AI 는 **"성별이 바뀌어도 예측 범위는 변하지 않는다"**는 원칙을 지키게 됩니다. 이것이 바로 **'반사적 공정성 (Counterfactual Fairness)'**입니다.

🏆 3. 이 방법의 장점

이 논문은 CF-CP 가 기존 방법들보다 훨씬 훌륭하다고 주장합니다.

• 🚫 재학습 불필요 (Training-free): 기존에 훈련된 AI 모델을 다시 처음부터 가르칠 필요가 없습니다. 이미 만들어진 AI 에다가 이 '거울 기술'만 붙이면 됩니다. 비용과 시간이 절약됩니다.
• ⚖️ 정확도 유지: 공정을 위해 AI 의 예측 능력을 희생하지 않습니다. "공정하게 하려면 정확도가 떨어져도 돼"라는 식이 아니라, 정확한 예측을 유지하면서 공정성만 추가합니다.
• 📏 불필요한 확대 방지: 단순히 모든 경우를 합치면 예측 범위가 너무 커져서 쓸모가 없어질 수 있습니다. 하지만 이 방법은 범위를 불필요하게 키우지 않고, 딱 필요한 만큼만 공정을 확보합니다.

📊 4. 실제 실험 결과

저자들은 이 방법을 가상의 데이터와 실제 데이터 (법대 입학 성적, 직업 예측 등) 에 적용해 보았습니다.

• 결과: 기존 AI 는 성별이나 인종에 따라 예측 범위가 크게 달랐지만, CF-CP 를 적용하자 두 그룹 간의 예측 범위 차이가 거의 사라졌습니다.
• 비용: 예측 범위가 아주 조금만 커졌을 뿐, 여전히 유용한 정보를 제공했습니다.

💡 요약: 이 논문이 우리에게 주는 메시지

이 논문은 **"AI 가 불확실한 상황에서 결정을 내릴 때, 그 불확실성 자체가 특정 집단에 불리하게 작용해서는 안 된다"**는 메시지를 전달합니다.

마치 공정한 저울처럼, AI 가 "만약 당신이 다른 배경을 가졌더라도, 내가 너에게 주는 정보 (예측 범위) 는 똑같아야 한다"는 원칙을 세웠습니다. 이 기술은 AI 가 고위험 분야 (의료, 사법, 금융 등) 에서 더 신뢰할 수 있고 공정한 동반자가 될 수 있도록 도와주는 중요한 발걸음입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 머신러닝 모델이 의료, 사법, 시험 점수 추정 등 고위험 (high-stakes) 분야에서 널리 사용됨에 따라 편향 (bias) 을 정량화하고 완화하는 것이 필수적입니다. 기존의 공정성 (fairness) 연구는 주로 **점 예측 (point prediction)**에 집중되어 왔으며, 특히 **반사실적 공정성 (Counterfactual Fairness, CF)**이 개인 수준의 편향을 해결하는 강력한 개념으로 제시되었습니다.
• 한계:
  1. 불확실성 부재: 기존 CF 연구는 단일 점 예측값에 초점을 맞추어 모델의 내재적 불확실성을 고려하지 못했습니다.
  2. 집합 예측의 부재: 불확실성 하의 의사결정을 위해 **예측 집합 (Prediction Sets)**을 제공하는 **합의 예측 (Conformal Prediction, CP)**이 주목받고 있으나, CP 는 기존에 집단 수준의 공정성 (group fairness) 만 다루었지, 반사실적 공정성을 보장하지는 못했습니다.
  3. 현실적 필요성: 특정 개인에게 보호 속성 (예: 성별, 인종) 이 변했을 때 예측 결과가 달라지는 것은 바람직하지 않습니다. 예를 들어, 환자의 치료 권장 사항이 인종에 따라 체계적으로 달라져서는 안 됩니다.
• 핵심 질문: 불확실성을 정량화하는 예측 집합을 생성하면서도, 보호 속성에 대한 반사실적 개입 (intervention) 이 발생하더라도 예측 집합이 변하지 않도록 보장할 수 있는 방법은 무엇인가?

2. 방법론 (Methodology)

저자들은 **반사실적 공정 합의 예측 (Counterfactually Fair Conformal Prediction, CF-CP)**이라는 새로운 프레임워크를 제안합니다. 이는 기존 점 예측기를 재학습 (retraining) 하지 않고, 사후 (post-training) 에 적용 가능한 방법입니다.

• 핵심 아이디어: 점수 대칭화 (Score Symmetrization)

  • 기존 합의 예측 (Split CP) 은 '준수 점수 (conformity score)'를 계산하여 임계값을 설정합니다.
  • CF-CP 는 보호 속성 ($A$) 에 대한 모든 가능한 개입 ($a' \in \mathcal{A}$) 에 대해 반사실적 특징 ($X_{A \leftarrow a'}$) 을 생성하고, 이에 대한 준수 점수를 계산합니다.
  • 이 점들을 **대칭적 집계 함수 (Symmetric Aggregator, 예: 평균, 최댓값, 최솟값)**를 사용하여 하나의 **반사실적 준수 점수 ($s_{cf}$)**로 통합합니다.
  • 공식: $s_{cf}(x, a, y) = \text{Agg} \{ s(x_{A \leftarrow a'}, a', y) : a' \in \mathcal{A} \}$
  • 이 점수를 사용하여 표준 Split CP 절차를 수행하여 예측 집합을 생성합니다.

• 이론적 가정:

  • 가역적 구조 인과 모델 (Invertible SCM): 관측된 특징 $X$와 잠재 변수 $U$ 사이의 매핑이 보호 속성 $A$가 주어졌을 때 가역적 (invertible) 이어야 합니다. 이를 통해 동일한 잠재 상태 $U$에서 출발한 모든 반사실적 시나리오가 동일한 점수 집합을 갖도록 보장합니다.
  • 교환 가능성 (Exchangeability): 표준 합의 예측의 유효성을 위해 데이터가 교환 가능해야 합니다.

• 알고리즘 흐름:

  1. 사전 학습된 예측기 $\hat{f}$와 교정 데이터셋을 받음.
  2. 각 교정 데이터 포인트에 대해 모든 보호 속성 개입에 대한 반사실적 특징을 생성.
  3. 각 개입별 준수 점수를 계산하고 집계 함수 (Agg) 를 적용하여 $s_{cf}$를 도출.
  4. 교정 데이터의 $s_{cf}$ 분포에서 임계값 ($\hat{q}_{1-\alpha}$) 을 계산.
  5. 테스트 시, 새로운 입력에 대해 $s_{cf}$가 임계값 이하인 모든 레이블을 예측 집합으로 포함.

3. 주요 기여 (Key Contributions)

1. 개념 확장: 반사실적 공정성 (Counterfactual Fairness) 의 정의를 점 예측기에서 **집합 예측기 (Set-valued predictors)**로 확장했습니다. 즉, "개인의 보호 속성이 변해도 예측 집합이 동일하게 유지되어야 한다"는 조건을 정의했습니다.
2. 새로운 프레임워크 (CF-CP): 재학습 없이 준수 점수를 대칭화하여 반사실적 공정성을 강제하는 사후 처리 (post-hoc) 방법을 제안했습니다.
3. 이론적 보장: 가역적 SCM 과 교환 가능성 가정 하에서, CF-CP 가 다음 두 가지를 동시에 보장함을 증명했습니다.
   • 마진 커버리지 (Marginal Coverage): 표준 합의 예측과 동일한 확률 ($1-\alpha$) 로 참 레이블을 포함함.
   • 집합 수준 반사실적 불변성 (Set-level Counterfactual Invariance): 보호 속성 개입에 따라 예측 집합이 변하지 않음.
4. 실증적 검증: 합성 데이터와 실제 데이터 (Law School, Bias in Bios) 를 활용하여 회귀 및 분류 작업에서 기존 방법들 대비 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: 합성 회귀/분류, Law School (법대 1 학년 성적 예측), Bias in Bios (직업 예측).
• 비교 대상:
  • 표준 Split CP (공정성 없음)
  • 사후 합집합 (Post-hoc Union, 모든 개입의 예측 집합을 합집합)
  • 반사실적 공정 예측기 재학습 (CFU, CFR, PCF)
• 주요 성과:
  • 공정성 (CSD): CF-CP 는 **반사실적 집합 편차 (Counterfactual Set Disparity, CSD)**를 거의 0 으로 줄여, 보호 속성 변경 시 예측 집합이 거의 변하지 않음을 보였습니다. 이는 재학습 기반 방법 (CFU, CFR, PCF) 과 동급의 공정성을 달성했습니다.
  • 커버리지 및 크기: 표준 Split CP 에 비해 예측 집합 크기가 약간 증가하지만, 사후 합집합 (Post-hoc Union) 방법처럼 과도하게 커지지는 않았습니다. 목표 커버리지 ($1-\alpha$) 를 유지했습니다.
  • 정확도: CF-CP 는 기존 예측기의 정확도 (MSE/Accuracy) 를 유지하는 반면, 재학습 기반 방법들은 공정성을 위해 정확도가 떨어지는 trade-off 를 보였습니다.
  • 노이즈 내성: 반사실적 추정에 노이즈가 포함된 상황에서도 CF-CP 는 Split CP 보다 훨씬 낮은 CSD 를 유지하며 강건함을 입증했습니다.

5. 의의 및 결론 (Significance)

• 실용성: CF-CP 는 모델을 재학습할 필요가 없으며, 보호 속성의 확률 분포 ($Pr(A)$) 에 대한 접근도 필요하지 않습니다. 이는 실제 환경에서 기존 모델을 쉽게 공정하게 만들 수 있는 간단하고 효율적인 경로를 제공합니다.
• 개인 수준의 공정성: 집단 수준의 공정성 (Group Fairness) 이 개별적으로 편향된 예측을 놓칠 수 있음을 지적하고, 개별 수준의 반사실적 공정성을 예측 집합에 적용함으로써 고위험 의사결정 시스템의 신뢰성을 높였습니다.
• 미래 연구 방향: 경로 의존적 반사실적 공정성 (Path-specific CF) 으로의 확장 및 동적 환경 (covariates 가 시간에 따라 변하는 경우) 에의 적용이 유망한 방향으로 제시되었습니다.

요약하자면, 이 논문은 불확실성 하의 예측에서 개별 수준의 반사실적 공정성을 보장하는 최초의 체계적인 방법론을 제시하며, 기존 모델의 성능을 해치지 않으면서도 공정성을 달성할 수 있는 실용적인 솔루션을 제공합니다.