기술 요약: AI 시스템의 정량적 편향에 대한 투명한 감사를 통한 공정성 확보

문제 정의

의료 진단에서 형사 사법 제도 선고에 이르기까지, 인공지능(AI)이 중요한 의사결정 과정에 빠르게 통합됨에 따라 알고리즘 편향의 상당한 위험이 초래되었습니다. 이러한 편향은 훈련 데이터나 알고리즘 설계의 내재적 결함에서 비롯되며, 특정 인구 통계적 집단에 대한 차별을 영속시키고 체계적 불공정을 증폭시키는 불공정한 결과를 초래할 수 있습니다. 대표적인 예로 미국의 형사 사법 제도에서 사용되는 COMPAS 시스템이 언급되는데, 이 시스템은 인종적 다수 집단을 소수 집단보다 불균형하게 우대함으로써 공정성 표준(특히 '등가 오차(equalized odds)')을 위반한 것으로 밝혀졌습니다. 다양한 통계적 지표가 존재하지만, 제삼자 감사인이 이러한 지표를 사용하여 AI 시스템을 엄격하게 조사할 수 있는 접근 가능하고 투명하며 체계적인 도구는 부족한 실정입니다.

방법론

저자들은 "투명한 화이트박스 및 통계 기반 접근 방식"을 통해 AI 시스템의 체계적인 검토를 용이하게 하도록 설계된 종합적인 감사 프레임워크를 제안합니다. 이 방법론은 다음과 같은 핵심 구성 요소로 구축되었습니다:

1. 공정성의 형식적 정의: 본 프레임워크는 다양한 공정성 척도를 정의하기 위해 Pessach와 Shmueli [1]의 연구를 바탕으로 한 통일된 수학적 표기법을 채택합니다. 여기에는 다음이 포함됩니다:

   • 이질적 영향(Disparate Impact) 및 인구통계적 패리티(Demographic Parity): 집단 간 선택률 및 대표성 평가.
   • 조건부 패리티(Conditional Parity): 보호된 속성과 함께 "정당한" 속성(예: 과거 범죄 기록)을 고려.
   • 정확도 기반 지표: 전체 정확도 평등(Overall Accuracy Equality), 등가 오차(Equalized Odds), 기회 평등(Equal Opportunity), 예측 평등(Predictive Equality), 예측 패리티(Predictive Parity) 포함.
   • 교정 및 균형 지표: 점수 분포와 기대값을 고려하는 등가 교정(Equal Calibration), 양성 균형(Positive Balance), 음성 균형(Negative Balance) 등.

2. 서술어(Predicates)를 통한 추상화: 다양한 맥락에 대한 유연성과 적용 가능성을 보장하기 위해, 프레임워크는 핵심 개념을 프로그래밍 가능한 서술어로 추상화합니다:

   • 특권 서술어 ($R$): 특권 집단을 정의 (예: 인종 = 백인).
   • 양성 서술어 ($\hat{P}$): 예측이 양성인지 여부를 결정.
   • 실제값 서술어 ($T$): 실제 결과를 식별.
   • 점수 서술어 ($\hat{S}$): 예측 점수를 추출 (비이진 출력의 경우).
   • 정당성 서술어 ($L$) 및 교정 서술어 ($C$): 조건부 속성 및 점수 범위를 처리.

3. 구현: 본 프레임워크는 오픈 소스 Python 패키지(fairness-checker)로 구현되었습니다. 이는 두 가지 작동 모드를 지원합니다:

   • CSV 입력: 기존의 예측 결과에 대한 감사를 수행.
   • 모델 입력: 블랙박스 모델을 직접 감사 (데이터 조작을 방지하기 위해 권장됨).
     도구는 각 지표에 대해 특권 집단과 비특권 집단 간의 확률 차이 또는 기대값 차이를 계산하며, 이를 사용자 정의 임계값($\epsilon$)과 비교합니다.

주요 기여

• 통합 감사 프레임워크: 본 논문은 제삼자 감사인, 개발자 및 대중이 여러 공정성 기준을 동시에 평가할 수 있도록 하는 체계적인 프레임워크를 제시합니다.
• 투명한 툴링: 저자들은 이러한 통계적 지표를 구현한 Python 도구를 개발하여 오픈 소스로 공개했습니다. 이 도구는 사용자가 서술어를 통해 정의를 명시적으로 정의하는 화이트박스 접근 방식을 활용함으로써 투명성을 우선시합니다.
• 유연성: 공정성 정의를 서술어로 추상화함으로써, 본 프레임워크는 핵심 로직의 근본적인 변경 없이도 다양한 데이터 유형(이진, 연속 점수) 및 복잡한 시나리오(예: 생성 모델 출력)에 적응할 수 있습니다.

결과

프레임워크의 효용성을 검증하기 위해 ProPublica COMPAS 데이터셋(플로리다의 피고인 10,000명 이상)에 적용되었습니다. 분석 결과는 다음과 같습니다:

• 인종적 편향 확인: "아프리카계 미국인" 집단을 비특권 계층으로 분석했을 때, 시스템은 인구통계적 패리티, 조건부 통계적 패리티, 평균 차이, 그리고 등가 오차(진양성 및 가양성률 모두)를 포함한 여러 공정성 기준을 통과하지 못했습니다. 이는 원래의 ProPublica 조사 결과와 일치합니다.
• 지표의 미묘한 차이: 분석 결과, 시스템이 "이질적 영향"(비율 기반 지표)은 통과했지만 "인구통계적 패리티"(차이 기반 지표)는 통과하지 못했음을 드러냈습니다. 저자들은 COMPAS에서 "양성" 예측(높은 위험도)이 불이익이 되는 반면, 해당 지표는 양성 결과가 유리하다고 가정하기 때문에 이질적 영향이 이 사례에 적합하지 않다고 언급했습니다.
• 집단 비교:
  • 인종: 아프리카계 미국인 피고인은 대부분의 지표에서 백인이나 히스패닉 피고인보다 더 불공정하게 취급받았습니다.
  • 연령: "25~45세" 연령층은 상대적으로 공정한 대우를 받았습니다. 그러나 "<25세" 그룹은 더 높은 가양성률(더 나쁜 예측 평등)을 보였고, ">45세" 그룹은 기회 평등과 예측 평등 모두에서 더 낮은 성능을 보였습니다.
  • 정확도: 아시아계 및 원주민 집단의 경우 데이터 샘의 크기가 작아서(각각 32행 및 18행) 전체 정확도 평등이 낮게 나타났습니다.
• 모델 비교: 해당 데이터셋으로 학습된 단순한 모델은 원래의 COMPAS 점수(0.23/0.22)보다 더 높은 불공정성(등가 오차 0.35/0.46)을 보였으며, 이는 커스텀 학습 모델의 편향을 탐지하는 도구의 능력을 입증합니다.

의의 및 주장

본 논문은 포괄적인 통계적 공정성 감사를 접근 가능하고 투명하게 만드는 데 그 주요 의의가 있다고 주장합니다. 널리 수용되는 과학적 정의에 기반하고 유연한 추상화 계층을 제공하는 도구를 제공함으로써, 저자들은 AI 시스템에 대한 독립적인 검증을 가능하게 합니다.

저자들은 공정성이 주관적인 사회적 구성물임을 강조하면서도, 통계적 지표가 논의를 위한 필요한 객관적 기준을 제공한다고 말합니다. 이 프레임워크는 편향을 자동으로 해결한다고 주장하는 것이 아니라, 감사인이 위반 사항을 식별하기 위한 참조 도구로서 기능합니다. COMPASS 데이터셋에 대한 결과는 도구의 정확성을 검증하는 역할을 하며, 인종적 격차에 관한 ProPublica의 조사 내용을 성공적으로 재현했습니다. 도구의 오픈 소스 성격은 AI 시스템 배포의 책임성과 투명성을 증진하는 핵심 요소로 강조됩니다.