기술 요약: 예측 공정성을 위한 함수적 이중 수준 최적화 (Functional Bilevel Optimization)

문제 정의

표준 머신러닝 모델은 종종 민감한 속성(예: 연령, 소득, 인구 통계적 점수)과 결합된 통계적 신호를 악용하여 불공정한 예측을 초래합니다. 공정성은 흔 විට 예측과 민감한 속성 사이의 완전한 통계적 독립성을 강제하는 것으로 프레임화되지만, 이러한 접근 방식은 특히 민감한 속성이 연속적이고 고차원적일 때 지나치게 제한적일 수 있습니다. 이러한 체제에서 완전한 독립성은 전체 예측 분포를 제약하지만, 실제적인 공정성 문제는 민감한 속성의 값에 따른 평균 예측의 체계적인 변화를 제어하는 것에 국한되는 경우가 많습니다.

기존의 연속적 속성에 대한 완화 기법들은 간접적인 의존성 페널티(예: HSIC, 상호 정보량), 적대적 스키마, 또는 선형 의존성 제약에 의존합니다. 이러한 방법들은 조건부 평균을 제어하려는 특정 공정성-정확도 트레이드오프를 직접적으로 겨냥하지 못하거나, 저차원 또는 이산적 속성에 국한되는 경우가 많습니다.

저자들은 이를 해결하기 위해, 민감한 속성에 따른 조건부 평균의 분산을 최소화하는 것을 **평균 인구 통계적 패리티(Mean Demographic Parity)**로 공식화하고, 이를 DPVar라 명명하여 최적화할 것을 제안합니다:
$$\text{DPVar}(\omega) = \text{Var}_A \left( \mathbb{E}[f_\omega(X) \mid A] \right)$$
여기서 $f_\omega$는 예측기이고 $A$는 민감한 속성입니다.

방법론

함수적 이중 수준 공식화 (The Functional Bilevel Formulation)

DPVar를 최적화하는 것은 고유한 과제를 안겨줍니다. 목적 함수가 알려지지 않았고 데이터로부터 추정해야 하는 조건부 평균 함수 $h^\star_\omega(a) = \mathbb{E}[f_\omega(X) \mid A=a]$에 의존하기 때문입니다. 저자들은 이를 다음과 같은 함수적 이중 수준 최적화(functional bilevel optimization) 문제로 공식화했습니다:

1. 내부 문제 (Inner Problem): 예측값과 민감한 속성의 함수 사이의 제곱 오차를 최소화함으로써 조건부 평균 함수 $h^\star_\omega$를 추정합니다:
   $$h^\star_\omega \in \arg\min_{h \in \mathcal{H}} \mathbb{E}[(f_\omega(X) - h(A))^2]$$
2. 외부 문제 (Outer Problem): 예측 정확도와 (내부 문제의 해인 $h^\star_\omega$에 의존하는) DPVar 페널티 사이의 트레이드오프를 최소화하도록 예측기 파라미터 $\omega$를 최적화합니다:
   $$\min_\omega \mathbb{E}[(f_\omega(X) - Y)^2] + \alpha \text{Var}_A(h^\star_\omega(A))$$

내부 변수가 유한 차원 파라미터 벡터가 아니라 함수이기 때문에, 이는 함수적 이중 수준 문제입니다.

제안된 알고리즘

본 논문은 낙관적 편향(optimistic bias)을 방지하기 위해 IN(내부 추정용)과 OUT(외부 평가용)으로 데이터를 분할하여 사용하는 두 가지 알고리즘을 소개합니다.

1. FBO (Functional Bilevel Optimization):

   • 메커니즘: 이 방법은 제곱 손실(squared-loss) 내부 목적 함수의 특수한 구조를 활용합니다. 저자들은 외부 파라미터에 대한 내부 해의 민감도에 대한 **폐쇄형 어드조인트(closed-form adjoint)**를 도출했습니다.
   • 장점: 이 유도는 **정확하고 헤시안(Hessian)이 필요 없는 하이퍼 그래디언트(hypergradient)**를 생성합니다. 이는 헤시안 역행렬을 계산하거나 내부 자코비안을 계산하는 계산 비용을 피하며, 매 외부 단계마다 단 한 번의 내부 회귀와 두 번의 경험적 평균만을 필요로 합니다.
   • 한계: 이는 제곱 손실 내부 목적에 특화되어 있습니다.

2. ITD (Iterative Differentiation):

   • 메커니즘: 이 방법은 내부 최적화 단계를 언롤링(unrolling)하는 더 넓은 전략을 사용합니다. 내부 회귀 모델이 $K$번의 그래디언트 단계를 거쳐 업데이트되며, 외부 목적 함수는 이 언롤링된 계산 그래프를 통해 미분됩니다.
   • 장점: 비-제곱 손실 내부 목적(예: Huber loss)에도 일반화가 가능하며, 내부 헤시안의 폐쇄형 역행렬을 요구하지 않습니다.
   • 트레이드오프: 이는 근사적인 방식이며, FBO에 비해 외부 단계당 계산 비용이 더 많이 듭니다 (단계 $K$에 선형적으로 비례).

주요 기여

1. DPVar 기준: 연속적이고 고차원적인 민감한 속성을 위해 설계된 공정성 기준으로 DPVar를 채택하였으며, 이는 완전한 독립성을 넘어 조건부 평균 관점으로 이동한 것입니다.
2. 함수적 이중 수준 프레임워크: DPVar 최적화를 현대적인 신경망 예측기와 자연스럽게 통합되는 함수적 이중 수준 문제로 공식화하였습니다. 이는 기존의 조건부 평균 접근법이 다루지 못한 영역입니다.
3. 알고리즘 혁신:
   • 제곱 손실 케이스에 대한 폐쇄형 어드조인트를 유도하여 정확한 FBO 알고리즘을 가능하게 했습니다.
   • 반복 미분(iterative differentiation)을 통한 광범위한 적용성을 가진 ITD 알고리즘을 개발했습니다.
4. 준합성 벤치마크 (Semi-Synthetic Benchmark): 60개의 실제 표 형식 회귀 데이터셋을 기반으로 구축된 대규모 표준화된 평가 세트를 생성했습니다. 이 벤치마크는 통제된, 비자명한(nontrivial) 공정성-정확도 트레이드오프 시나리오를 제공하기 위해 특징들로부터 연속적인 민감한 속성을 자동으로 구성합니다.

실험 결과

방법론들은 합성 데이터와 새로운 준합성 표 형식 벤치마크를 통해 HSIC, 적대적 디바이어싱(adversarial debiasing), 선형 의존성 페널티, 그리고 일반화된 인구 통계적 패리티(GDP)를 포함한 강력한 베이스라인들과 비교 평가되었습니다.

• 합성 데이터: 불공정성이 1차 모멘트 변화(first-moment shifts)에 의해 발생하는 체제에서는 모든 방법이 유사한 성능을 보였습니다. 그러나 예측 문제가 더 복잡해짐에 따라(민감한 특징과 비민감한 특징 간의 상호작용 도입), FBO와 ITD가 일관되게 더 나은 공정성-정확도 트레이드오프를 달ian했습니다. 이들은 완전한 분포적 독립성(HSIC, 적대적 방식)이나 선형 페널티에 의존하는 방법들보다 우수한 성능을 보였는데, 전자는 너무 제한적이거나 후자는 비선형 효과를 놓치기 때문입니다.
• 표 형식 벤치마크: 27개의 정보가 풍부한 데이터셋 전반에 걸쳐, FBO와 ITD는 DPVar 제약 조건 하에서 가장 낮거나 최저에 가까운 총 집계 정확도 후회(aggregate accuracy regret)를 달성했습니다.
  • 엄격하고 중간 수준의 공정성 예산 하에서는 FBO와 ITD가 가장 자주 승리했습니다.
  • 느슨한 예산 하에서는 GDP가 더 강력한 경쟁자가 됩니다.
  • 두 제안 방법 모두 HSIC, 적대적, 선형 의존성 베이스라인들을 지속적으로 능가하거나 대등한 성능을 보였습니다.

의의 및 주장

본 논문은 DPVar가 전체 분포가 아닌 조건부 평균을 목표로 함으로써, 연속적이고 고차원적인 속성에 대해 더 적절하고 추정 가능한 공정성 척도를 제공한다고 주장합니다. 본 연구의 의의는 다음과 같습니다:

• 간접적인 적대적 또는 커널 기반 페널티를 피하고, 이 특정 공정성 기준에 대한 직접적인 최적화 경로를 제공합니다.
• 함수적 이중 수준 최적화가 현대적인 신경망 예측기를 위해 어떻게 실용적이고 효율적으로(FBO를 통해) 만들어질 수 있는지 입증했습니다.
• 연속적인 속성에 대한 공정성 방법론을 체계적으로 평가하기 위해 손으로 고른 데이터셋을 넘어선 표준화된 벤치마크를 제공합니다.

범위 및 한계:
저자들은 DPVar가 평균 패리티 기준임을 명시적으로 밝힙니다. 이는 평균 예측의 체계적인 변화는 제어하지만, 고차 모멘트(분산, 꼬리 부분)의 동일성이나 전체 분포적 공정성을 보장하지는 않습니다. 따라서 전체 분포적 동일성을 요구하는 응용 분야에서 이를 종합적인 공정성의 증명서로 해석해서는 안 됩니다. 또한, 이 방법은 조건부 평균 함수를 추정하는 데 의존하며, 이는 고차원 환경에서 통계적으로 도전적일 수 있습니다. 벤치마크는 방법론적 평가를 위해 설계된 준합성 데이터이며, 원래의 데이터셋에 대해 구체적인 법적 또는 사회적 공정성 주장을 하기 위한 것이 아닙니다.