Reliable fairness auditing with semi-supervised inference

기술 요약: 준지도 추론을 통한 신뢰할 수 있는 공정성 감사

문제 제기
생물의학 응용 분야에서 배포된 기계 학습 모델은 종종 보호 속성 (예: 인종, 성별) 으로 정의된 하위 집단 간의 불평등을 심화시키는 편향을 나타냅니다. 이러한 편향을 식별하고 완화하기 위해서는 "그룹 공정성 감사"가 필요한데, 이는 다양한 그룹에 걸쳐 모델 성능 지표 (예: 참양성률, 거짓양성률, 보정) 를 평가하는 과정입니다. 그러나 신뢰할 수 있는 감사는 미묘한 성능 차이를 탐지하기 위해 일반적으로 대량의 라벨이 지정된 데이터를 요구합니다. 생물의학 맥락에서 이러한 라벨을 획득하는 것은 비용이 많이 들고 노동 집약적이며, 종종 전문적인 임상 전문 지식 (예: 의료 이미지 또는 퇴원 요약서 주석 달기) 을 필요로 합니다. 결과적으로 공정성 감사는 종종 준지도 (SS) 설정에서 수행됩니다: 소량의 라벨이 지정된 데이터셋과 함께 훨씬 더 큰 규모의 라벨이 지정되지 않은 데이터셋이 존재합니다. 전통적인 지도식 감사 방법은 라벨이 지정되지 않은 데이터를 무시하여 높은 분산과 차이를 탐지할 수 있는 통계적 검정력 감소를 초래합니다. 기존 공정성 감사를 위한 준지도 방법은 특정 지표로만 제한되거나, 위반될 경우 편향된 추론을 초래할 수 있는 모수적 가정에 의존하거나, 감사 중에 이용 가능한 보조 공변량을 활용하지 못합니다.

방법론: Infairness 프레임워크
저자들은 라벨이 지정된 데이터와 라벨이 지정되지 않은 데이터를 모두 활용하여 광범위한 공정성 기준을 감사하기 위해 설계된 통합 준지도 추론 프레임워크인 Infairness를 제안합니다. 이 방법의 핵심은 모델의 예측 ($S$) 과 보조 공변량 ($W$) 에 조건을 둔 회귀 모델을 사용하여 라벨이 지정되지 않은 데이터의 누락된 결과 ($Y$) 를 추정 (impute) 하는 것입니다.

1. 문제 설정: 이 프레임워크는 $n$개의 라벨이 지정된 샘플 $\{(Y_i, X_i, W_i, A_i)\}$과 $N$개의 라벨이 지정되지 않은 샘플 $\{(X_i, W_i, A_i)\}$로 구성된 검증 데이터셋을 가정합니다. 여기서 $A$는 범주형 보호 속성입니다. 목표는 지도식 추정보다 더 높은 효율로 그룹별 성능 지표 ($M_a$) 와 그 차이 ($\Delta M$) 를 추정하는 것입니다.
2. 추정 전략: 결과 $Y$에 의존하는 지표 (예: TPR, FPR) 의 경우, 이 방법은 작업 모델 (working model) 을 사용하여 조건부 기대값 $E(Y | S, W, A=a)$를 추정합니다. 이 모델은 예측 $S$와 보조 공변량 $W$의 유연한 비선형 기저 함수 (구체적으로 자연 입방 스플라인) 를 활용합니다. 매개변수는 라벨이 지정된 데이터에 대한 페널티가 부여된 추정 방정식을 통해 추정됩니다.
3. 추정: 라벨이 지정되지 않은 데이터의 누락된 결과는 적합된 모델을 사용하여 추정됩니다. 그런 다음 그룹별 지표는 각 그룹 내의 대규모 라벨이 지정되지 않은 데이터셋에 걸쳐 이러한 추정값을 평균화하여 계산됩니다. $Y$에 독립적인 지표 (예: $S$ 또는 $D$에만 의존하는 지표) 의 경우, 이 방법은 단순히 라벨이 지정되지 않은 데이터에 대해 평균화하는데, 이는 더 큰 표본 크기로 인해 본질적으로 분산을 감소시킵니다.
4. 견고성: 이 프레임워크는 추정 모델의 사양에 대해 견고하도록 설계되었습니다. 기저 함수에 절편, 예측 $S$, 그리고 분류 $D$를 포함시킴으로써, 추정량은 추정 모델의 함수 형태가 잘못 지정되더라도 기저가 이러한 핵심 항을 포함하는 한 일관성을 유지합니다.

주요 기여 및 이론적 결과

• 통합 프레임워크: Infairness는 정확도, 차별, 보정 등 광범위한 공정성 지표에 적용 가능한 일반적인 접근 방식을 제공하며, 이전 준지도 공정성 방법 (예: Beta Calibration) 의 제한적인 모수적 가정에 의존하지 않습니다.
• 일관성과 타당성: 저자들은 Infairness 추정량이 목표 공정성 지표에 대해 일관성이 있으며, 추정 모델이 완벽하게 지정되지 않았더라도 표준 정규성 조건 하에서 추론 절차 (신뢰 구간) 가 유효함을 증명했습니다.
• 효율성 향상: 이론적 분석은 Infairness 추정량이 지도식 추정보다 더 작은 점근 분산을 가짐을 보여줍니다. 구체적으로, 추정 모델이 $S$만으로는 포함되지 않은 $Y$에 대한 정보를 포착하는 경우 (즉, $E(Y|S, W, A) \neq E(Y|A)$), 분산은 엄격하게 감소합니다.
• 오지정 견고성: 예측과 결과 간의 관계에 대한 특정 모수적 형태를 가정하는 방법과 달리, Infairness는 유연한 기저 확장을 사용합니다. 이론적 결과는 작업 모델이 잘못 지정되더라도 기저 함수가 필요한 항 (절편, $S$, $D$) 을 포함하는 한 추정량이 일관성을 유지함을 보여줍니다.

실증 결과
이 논문은 Infairness를 광범위한 시뮬레이션 연구와 두 가지 실제 생물의학 감사를 통해 평가했습니다.

1. 시뮬레이션 연구:

   • 단순화된 설정에서 Infairness는 일관되게 편향 없는 추정치와 명목상 커버리지 확률을 제공한 반면, 모수적 방법 (Beta Calibration) 은 가정이 위반될 때 상당한 편향과 커버리지 부족을 겪었습니다.
   • 비선형성, 상호작용, 트리 기반 구조와 같은 복잡한 데이터 생성 메커니즘을 가진 전통적인 설정에서 Infairness는 낮은 편향과 명목에 가까운 커버리지를 유지했습니다.
   • 효율성: Infairness는 지도식 추정 및 비모수적 기준선보다 일관되게 우수한 성능을 보였습니다. 보조 공변량 ($W$) 이 $Y$에 대한 정보를 포함할 때, $W$를 통합한 모델 (예: Infairness($S \times W$)) 은 $W$를 무시한 방법보다 10~37% 의 상대적 효율성 향상을 달성했습니다.

2. 실제 적용 사례:

   • EHR 표현형 분석 (우울증): MIMIC-III 데이터 ($n=872$개 라벨, $N=28,766$개 라벨 없음) 를 사용하여 인종 그룹 간 우울증 탐지 모델에 대한 감사 수행. Infairness는 지도식 추정에 비해 차이 추정치의 분산을 약 43.5% 감소시켰으며, 이는 동일한 정밀도를 달성하는 데 필요한 라벨이 지정된 샘플 수를 43.5% 줄이는 것과 동일합니다.
   • 의료 영상 (흉부 X-ray): 성별 그룹 간 심비대 분류기에 대한 감사 수행 ($n=500$개 라벨, $N=64,740$개 라벨 없음). Infairness는 TPR 차이에서 60.9%, FPR 차이에서 56.3% 의 분산 감소를 지도식 추정에 비해 달성했습니다.

의의 및 주장
이 논문은 Infairness가 생물의학 공정성 감사의 "라벨 부족" 병목 현상에 대한 실용적이고 통계적으로 엄격한 해결책을 제공한다고 주장합니다. 풍부한 라벨이 지정되지 않은 데이터와 보조 공변량을 효과적으로 활용함으로써, 이 방법은 데이터 주석 달기 비용을 증가시키지 않고도 하위 그룹 성능 차이를 더 강력하게 탐지할 수 있게 합니다. 저자들은 이 방법이 효율성을 위해 타당성을 희생하지 않는다고 강조합니다. 즉, 모델의 공정성에 대해 과도하게 자신감 있고 왜곡된 결론을 초래할 수 있는 강력한 모수적 가정에 의존하지 않으면서도 일관된 추정과 유효한 추론을 보장합니다. 이 연구는 의료 분야의 기계 학습 모델이 책임 있고 공정하게 배포되도록 보장하는 데 준지도 추론의 가치를 강조합니다.