기술적 요약: 표현 기반 그룹을 통한 공정한 컨포멀 분류

1. 문제 정의

컨포멀 예측 (CP) 은 기계 학습 모델에 대해 통계적으로 엄격한 주변 커버리지 보장을 제공하여, 실제 레이블이 사용자가 지정한 확률 (예: $1-\alpha$) 로 예측된 집합 내에 포함되도록 보장합니다. 그러나 표준 CP 방법은 전체 인구에 걸쳐 평균적으로만 커버리지를 보장합니다. 이러한 주변 보장은 인종이나 성별과 같은 민감한 특성으로 정의된 특정 하위 그룹이 불균형적으로 열악한 커버리지를 겪을 수 있는 알고리즘적 편향을 고려하지 못합니다.

'균등화된 커버리지 (equalized coverage)' 방법들은 사전 정의된 그룹 전반에 걸쳐 유효한 커버리지를 보장하려 시도하지만, 다음과 같은 중대한 한계에 직면합니다:

1. 표현력: 기존 방법들 (예: Romano et al., 2020a) 은 일반적으로 단일 특성을 기반으로 그룹을 정의합니다. 따라서 특성 간의 복잡하고 비선형적인 상호작용 (예: 배타적 OR 관계에 있는 "백인 여성 OR 흑인 남성"으로 정의된 하위 그룹) 을 포착하는 데 어려움을 겪습니다.
2. 확장성 및 효율성: 모든 가능한 하위 그룹을 철저하게 탐색하는 것은 계산적으로 불가능합니다. 이전의 적응형 접근법들 (예: Zhou & Sesia, 2024) 은 이산적 특성의 탐욕적 선택이나 나이브 베이즈 가정에 의존하므로, 연속적 특성과 비선형 그룹 정의를 처리하는 능력이 제한됩니다.

핵심적인 과제는 계산 효율성을 유지하고 간결하며 정보량이 풍부한 예측 집합을 생성하면서도, 복잡하고 비선형적인 특성 조합으로 정의된 불공정하게 대우받는 하위 그룹을 적응적으로 식별하는 컨포멀 추론 프레임워크를 개발하는 것입니다.

2. 방법론: FAREG

저자들은 FAREG(표현 기반 그룹을 위한 공정한 컨포멀 예측) 를 제안합니다. 이는 편향의 영향을 받는 그룹을 적응적으로 식별하고 예측 집합을 조정하여 적응형 균등화된 커버리지를 달성하는 학습 기반 프레임워크입니다.

2.1 표현 기반 그룹 학습

FAREG 은 원시 입력 특성 $X$에서 직접 그룹을 추출하는 대신, 매핑 $Z = f(X)$를 통해 $X$를 잠재 표현 $Z$로 인코딩합니다. 이 방법은 $Z$를 기반으로 그룹 소속 지표 $S$ (여기서 $S=1$은 불공정하게 대우받는 그룹 $\hat{G}$의 소속을 나타냄) 를 학습하기 위해 심층 변분 정보 병목 (Deep VIB) 아키텍처를 사용합니다.

최적화 목적 함수는 잠재 표현 $Z$와 그룹 소속 $S$ 사이, 그리고 $Z$와 입력 $X$ 사이의 상호 정보를 최대화하는 동시에, $Z$와 개별 샘플 식별자 $i$ 사이의 상호 정보를 최소화하여 프라이버시와 일반화를 보장합니다. 손실 함수는 다음과 같이 구성됩니다:
$$\mathcal{L} = \mathcal{L}_{CC} + \mathcal{L}_{MSE} - \beta \mathcal{L}_{KL}$$
여기서:

• $\mathcal{L}_{CC}$: 커버리가 낮은 그룹을 식별하기 위해 최소화되는 경험적 조건부 커버리지 손실입니다.
• $\mathcal{L}_{MSE}$: $Z$가 $X$를 재구성하기에 충분한 정보를 유지하도록 보장하여 해석 가능성을 유지하는 재구성 손실 (평균 제곱 오차) 입니다.
• $\mathcal{L}_{KL}$: $Z$를 표준 정규 분포로 압축하는 쿨백 - 라이블러 발산 항입니다.

그룹 선택은 최소 그룹 크기 비율 $\delta$로 제약됩니다. 저자들은 **투사된 경사 하강법 (Projected Gradient Descent, PGD)**을 사용하여 디코더 파라미터를 최적화하며, 크기 제약을 만족시키기 위해 예측된 그룹 소속 확률을 실현 가능 집합 위에 투사합니다.

2.2 적응형 예측 집합 구성

불공정 그룹이 식별되면, FAREG 은 테스트 인스턴스에 대한 최종 예측 집합 $C(X_{N+1})$을 구성합니다:

1. 전체 보정 집합을 사용하여 표준 컨포멀 예측 집합 $C_m(X_{N+1}, D)$을 구성합니다.
2. 모델은 학습된 결합 베르누이 분포에서 $T$개의 벡터 $s_t$를 샘플링하며, 각각은 특정 그룹 $\hat{G}_{s_t}$를 정의합니다.
3. 각 샘플링된 그룹에 대해 별도의 컨포멀 집합을 구성합니다.
4. 최종 예측 집합은 표준 집합과 모든 그룹별 집합의 합집합입니다:
   $$C(X_{N+1}) = C_m(X_{N+1}, D) \cup \bigcup_{t=1}^{T} C_m(X_{N+1}, \hat{G}_{s_t})$$

2.3 향상된 평가 지표: WSC+

비선형 불공정 그룹을 식별하는 효과성을 평가하기 위해, 저자들은 가중 슬랩 커버리지 (Weighted Slab Coverage, WSC) 지표의 비선형 확장인 **WSC+**를 도입합니다. 전통적인 WSC 가 선형 슬랩 ($a \leq v^T X \leq b$) 에 대한 커버리지를 평가하는 반면, WSC+ 는 임의의 비선형 함수 $\pi(X)$ (실험에서는 특히 2 차 함수) 에 대한 커버리지를 평가합니다. 이를 통해 복잡하고 비선형적인 특성 상호작용으로 정의된 그룹을 컨포멀 절차가 얼마나 잘 커버하는지 더 정밀하게 평가할 수 있습니다.

3. 주요 기여

1. FAREG 프레임워크: 인코더 - 디코더 아키텍처를 사용하여 비선형 특성 조합으로 정의된 커버리가 낮은 하위 그룹을 적응적으로 식별하는 새로운 컨포멀 예측 방법입니다. 이는 선형 또는 단일 특성 기반 그룹 정의의 한계를 극복합니다.
2. WSC+ 지표: 복잡하고 불공정하게 대우받는 하위 그룹에서 컨포멀 절차의 성능을 더 잘 포착하고 평가하도록 설계된 새로운 비선형 조건부 커버리지 지표입니다.
3. 이론적 보장: 논문은 데이터가 교환 가능하다는 전제 하에 FAREG 이 선택된 그룹 집합에 대해 적응형 균등화된 커버리지 (식 1) 를 달성함을 증명합니다. VC-차원을 통한 이론적 분석은 FAREG 의 후보 그룹 공간이 이전 적응형 방법들 (예: AFCP) 의 공간의 초집합임을 시사하며, 더 강력한 표현력을 제공합니다.
4. 효율성: 이 방법은 표준 컨포멀 예측과 유사한 시간 복잡도 ($O(N+M)$) 를 유지하며, 최첨단 AFCP 방법의 $O(N \log N + NM)$ 복잡도보다 훨씬 뛰어납니다.

4. 실험 결과

저자들은 FAREG 을 합성 데이터와 실세계 데이터 (Nursery, ACSIncome) 모두에서 평가했습니다.

• 합성 데이터 (정신 질환 진단 시나리오):

  • 커버리지: FAREG 은 특성 간의 배타적 NOR(XNOR) 관계로 정의된 목표 하위 그룹에서 유효한 조건부 커버리지 (≥0.9) 를 일관되게 달성한 유일한 방법이었으며, 반면 기준선 방법들 (Marginal, Partial, AFCP1, AFCP2) 은 이 커버리지를 유지하지 못하거나 훨씬 더 큰 표본 크기를 필요로 했습니다.
  • 효율성: FAREG 은 경쟁력 있는 평균 예측 집합 크기를 유지했으며, 목표 그룹을 커버하려 할 때 AFCP2 에서 관찰되었던 과도한 집합 크기를 피했습니다.
  • 특성 선택: FAREG 은 표본 크기가 증가함에 따라 기준선 방법들보다 더 높은 빈도로 관련 비선형 특성 조합 (X[0] 및 X[1]) 을 성공적으로 식별했습니다.
  • 실행 시간: FAREG 은 AFCP 에 비해 훨씬 낮은 시간 비용을 보여주었으며, 훈련 시간은 표본 크기에 선형적으로 비례하여 확장되었습니다.

• 실세계 데이터 (Nursery 및 ACSIncome):

  • Nursery 데이터셋에서 FAREG 은 유효한 주변 커버리지를 유지하면서 그룹 커버리지 및 WSC+ 지표에서 모든 기준선 방법들을 일관되게 능가했습니다.
  • ACSIncome 데이터셋에서 FAREG 은 AFCP2 에 비해 유효한 조건부 커버리지 (0.9) 와 경쟁력 있는 효율성을 달성했습니다.

• 지표 검증: 실험은 WSC+ 가 선형 WSC 지표보다 더 나쁜 커버리지를 가진 그룹들을 식별한다는 것을 확인시켜 주었으며, 이는 비선형 편향을 탐지하는 데 있어 WSC+ 의 유용성을 입증했습니다.

5. 중요성 및 주장

이 논문은 FAREG 이 컨포멀 예측의 효율성 (작은 집합 크기) 과 알고리즘적 공정성 (균등화된 커버리지) 요구 사항 사이의 균형을 맞춤으로써 신뢰할 수 있는 기계 학습을 향한 실용적인 경로를 제공한다고 주장합니다.

• 표현력: 잠재 표현을 학습함으로써 FAREG 은 선형 방법이나 단일 특성 접근법이 놓치는 복잡하고 알고리즘적 편향을 포착합니다.
• 해석 가능성: 잠재 표현을 사용함에도 불구하고 인코더 - 디코더 구조는 입력 특성의 재구성을 가능하게 하여 '블랙박스' 우려를 완화하고, 학습된 그룹이 의미 있는 특성 상호작용 (예: XNOR 관계) 을 반영함을 보여줍니다.
• 강건성: 이 프레임워크는 사전 정의된 그룹 구조가 필요 없이 다양한 공정성 개념에 적응할 수 있는 유연한 접근 방식을 제공합니다.

저자들은 표현 기반 그룹의 향상된 표현력이 명시적 특성으로 정의된 그룹의 직접적인 해석 가능성을 부분적으로 희생할 수 있음을 인정하지만, 재구성 능력이 이를 보상한다고 주장합니다. 이 연구는 그룹 식별에서의 표현력 격차를 해결함으로써 기존 적응형 공정한 컨포멀 방법들에 대한 진전으로 자처합니다.