Sequential Fairness Auditing with Limited Output Access

기술 요약: 제한된 출력 접근성을 가진 순차적 공정성 감사

문제 정의
외부 감사인들은 AI 시스템의 규제 준수 여부(예: EU AI Act)를 평가하는 과업을 점점 더 많이 맡고 있으나, 일반적으로 모델 파라미터, 학습 데이터 또는 내부 문서에 대한 접근 권한이 없습니다. 대신, 이들은 배포된 시스템과의 쿼리 기반 상호작용에 의존해야 합니다. 기존의 공정성 평가 방법은 주로 정적 데이터셋과 고정된 샘플 통계 검정을 가정하며, 이는 엄격한 쿼리 예산 하에서 증거를 순차적으로 수집해야 하는 실제 시나리오에는 적합하지 않습니다.

본 연구는 감사인이 선택된 입력에 대한 모델 출력(결정, 점수 또는 로짓)만을 관찰할 수 있는 제한된 출력 접근성 하에서의 공정성 감사 문제를 다룹니다. 핵심 문제는 허용 오차 인지 순차 가설 검정(tolerance-aware sequential hypothesis testing) 문제로 정식화됩니다. 전통적인 점-영 가설(point-null) 테스트와 달리, 규제 맥락은 허용 임계값 $\delta$를 기준으로 준수 여부를 정의합니다. 감사인은 충분한 통계적 지지력이 확보되거나 쿼리 예산이 소진될 때까지 증거를 순차적으로 축적하여, 공정성 지표 $g(f)$가 $g(f) \le \delta$ (준수)를 만족하는지, 아니면 $g(f) > \delta$ (위반)를 만족하는지를 결정하고자 합니다.

방법론
저자들은 유한한 감사 풀(audit pool)과 다양한 수준의 모델 접근성을 고려하여 설계된 순차적 일반화 가능도 비(Sequential Generalized Likelihood Ratio, GLR) 프레임워크를 제안합니다.

1. 공정성 지표 및 가설: 본 프레임워크는 두 가지 주요 지표를 대상으로 합니다:

   • 통계적 패리티 (Statistical Parity, SP): $|P(f(X)=1|A=a) - P(f(X)=1|A=b)| \le \delta$.
   • 기회 균등 (Equal Opportunity, EO): $|P(f(X)=1|Y=1, A=a) - P(f(X)=1|Y=1, A=b)| \le \delta$.
     귀무가설 $H_0$는 준수($g(f) \le \delta$)를 나타내며, 대립가설 $H_1$은 위반($g(f) > \delta$)을 나타냅니다.

2. 접근 체계 (Access Regimes): 방법론은 세 가지 수준의 관측 가능성을 구분합니다:

   • 결정 전용 (Black-box): 감사인은 이진 예측값 $\hat{Y} \in \{0,1\}$을 관찰합니다. 가능도 모델은 베르누이(Bernoulli) 분포를 따릅니다.
   • 점수 접근 (Gray-box): 감사인은 예측 점수 $S(x) \in [0,1]$를 관찰합니다. 프레임워크는 이를 그룹 조건부 점수 평균에 대한 가우시안 가능도 모델을 사용하는 프록시 감정으로 취급합니다.
   • 로짓 접근 (White-box proxy): 감사인은 시그모이드 이전의 로짓 $Z(x)$를 관찰합니다. 점수와 마찬가지로, 이는 가우시안 가능도 모델을 사용한 프록시 감정에 활용됩니다.

3. 순차적 절차:

   • 감사인은 고정된 홀드아웃 감사 풀(또는 EO를 위한 필터링된 하위 풀 $Y=1$)에서 비복원 추출 방식으로 무작위 순서에 따라 쿼리를 수행합니다.
   • 각 단계 $t$에서 축적된 데이터를 기반으로 GLR 통계량 $\Lambda_t$를 계산합니다.
   • 중단 규칙 (Stopping Rules): $\Lambda_t$가 상한선 $u$를 초과하면(귀무가설 기각, 위반 탐지), 또는 하한선 $\ell$을 초과하면(귀무가설 수용, 준수 인증) 감사가 종료됩니다. 최대 예산 $B$에 도달할 때까지 경계를 넘지 못하면 결과는 결론 불능(inconclusive)으로 선언됩니다.
   • 경계값은 명목 오류율 $\alpha=0.05$ 및 $\beta=0.2$에 대해 Wald 유형 근사치($u = \log((1-\beta)/\alpha)$, $\ell = \log(\beta/(1-\alpha))$)를 사용하여 설정됩니다.

주요 기여

1. 순차적 정식화: 본 논문은 공정성 감사를 제한된 접근성을 가진 순차적 통계적 결정 문제로 정식화하여, 정적 배치(batch) 평가를 넘어섰습니다.
2. GLR 프로토콜: 복합 공정성 제약 조건에 적용 가능한 운영 중단 규칙을 갖춘 순차적 GLR 테스트 프로토콜을 개발하였으며, 이는 결정 기반 감사와 프록시(점수/로짓) 감사 모두에 적용 가능합니다.
3. 접근성 인지 분석: 본 연구는 서로 다른 접근 체계(결정 전용 vs. 더 풍부한 관측값)가 감사 효율성에 어떻게 영향을 미치는지 체계적으로 분석하며, 정확한 결정 기반 테스트와 프록시 감정을 구분합니다.
4. 실증적 통찰: ACS 및 Adult 데이터셋에 대한 실험을 통해, 지표 선택(SP vs. EO)의 영향과 규제 임계값 근처에서의 통계적 모호성 등 순차적 감사에서 나타나는 실질적인 현상들을 식별합니다.

결과
다양한 신경망 모델(기본 및 공정성 제약 모델)을 사용하여 벤치마크 데이터셋(ACS, Adult)에 대한 실험을 수행했습니다. 주요 결과는 다음과 같습니다:

• 접근 체계의 영향: 더 풍부한 출력 정보는 통계적 패리티(SP) 감사에 필요한 쿼리 수를 유의미하게 줄여줍니다. 예를 들어, ACS 데이터셋에서 로짓 접근 방식은 결정 전용 접근 방식에 비해 평균 쿼리 수를 약 3분의 1로 줄였습니다. 그러나 **기회 균등(EO)**의 경우, 풍부한 접근의 이점이 균일하게 나타나지 않았습니다.
• EO 감사의 난이도: EO 감사는 SP 감사보다 본질적으로 더 많은 샘플을 필요로 합니다. 이는 EO가 더 작은 규모의 조건부 하위 풀($Y=1$)에서 작동하며, 해당 풀이 증거 축적에 유리한 그룹 구성을 갖지 못할 수 있기 때문입니다. 임계값 근접 사례(예: Adult 데이터셋 EO)에서는 풍려한 접근(점수/로짓)이 일관되게 더 빠르거나 확실한 결론을 내는 데 도움을 주지 못했으며, 높은 쿼리 예산에도 불구하고 많은 실행이 결론 불능으로 종료되었습니다.
• 효율성 대 정확도 트레이드오프: 순차적 감사는 고정 샘플 베이스라인(예: Adult의 SP를 위해 4000개 쿼리 사용)에 비해 쿼리 비용을 극적으로 줄여줍니다(예: 약 200개 쿼리만 사용). 그러나 이러한 효율성은 트레이드오프를 동반합니다. 까다로운 임계값 근접 시나리오에서 순차적 감사는 전체 예산을 활용하는 고정 샘플 테스트에 비해 더 많은 결론 불능 결과나 낮은 결정 정확도를 보일 수 있습니다.
• 경계 효과: 규제 허용 오차 $\delta$ 근처에서 공정성 격차가 발생하는 모델들은 빈번하게 결론 불능 결과를 낳았으며, 이는 이러한 영역에서 준수와 위반을 구별하는 것이 통계적으로 매우 어렵다는 점을 강조합니다.

의의 및 주장
본 논문은 감사인이 제한된 접근성을 갖는 실제 배포 환경을 반영하는 실용적인 통계적 프레 framework를 제공한다고 주장합니다. 저자들은 다음을 입증했습니다:

• 공정성 감사 결과는 모델뿐만 아니라 통계적 프로토콜과 감사인의 접근 수준에 따라서도 달라집니다.
• 풍부한 출력값이 특정 지표(SP와 같은)에 대해서는 감사 효율성을 크게 향상시킬 수 있지만, 모든 지표(EO와 같은)에 대해 더 빠른 감사를 보장하는 것은 아니며, 특히 격차가 허용 임계값에 근접할 때 그러합니다.
• 제안된 프레임워크는 작은 격차도 법적으로 허용될 수 있음을 인정하는 "허용 오차 인지" 감사를 구체화하며, 충분한 증거가 수집되면 데이터 수집을 중단할 수 있는 메커니즘을 제공합니다.

저자들은 이진 그룹 및 이진 분류에 집중한 점, 점수/로짓 접근 시의 프록시 감사가 하드 결정(hard-decision) 제약에 대한 정확한 보장을 제공하지 못한다는 점, 그리고 중단 경계 설정 시 정확한 유한 샘플 보정 대신 운영상의 보정을 사용했다는 점을 한계로 언급했습니다. 향후 연구로는 다중 그룹 설정, 적응형 쿼리 전략, 신뢰 구간(confidence sequences) 등에 대한 탐구를 제안했습니다.