📊 statistics

Benchmarking Stochastic Approximation Algorithms for Fairness-Constrained Training of Deep Neural Networks

이 논문은 공정성 제약 하의 딥 뉴럴 네트워크 훈련을 위한 새로운 벤치마크와 데이터셋을 구축하고, 이를 통해 세 가지 최신 확률적 근사 알고리즘의 최적화 성능과 공정성 개선 효과를 비교 평가합니다.

원저자: Andrii Kliachkin, Jana Lepšová, Gilles Bareilles, Jakub Mareček

게시일 2026-02-19

📖 3 분 읽기☕ 가벼운 읽기

원저자: Andrii Kliachkin, Jana Lepšová, Gilles Bareilles, Jakub Mareček

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"공정한 인공지능 (AI) 을 만드는 새로운 요리 레시피와 비교 실험"**에 대한 이야기라고 할 수 있습니다.

요약하자면, 연구자들은 "인공지능이 특정 인종이나 성별에 따라 불공정하게 판단하지 않도록, 수학적인 '규칙'을 강제하는 방법"을 여러 가지 시도해 보았고, 어떤 방법이 가장 효과적인지 실전 데이터로 비교했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제 상황: "편향된 요리사"와 "공정한 식당"

상상해 보세요. AI 모델은 요리사이고, 우리가 주는 데이터는 재료입니다.
요즘 AI 는 매우 똑똑해서 맛있는 요리 (높은 정확도) 를 해내지만, 가끔은 특정 손님을 차별하는 경우가 있습니다. 예를 들어, "남성인 손님은 요리를 잘 해주고, 여성인 손님은 맛을 못 살리는" 식이죠.

이걸 해결하기 위해 우리는 요리사에게 **"남녀노소 누구나 똑같이 맛있게 만들어야 한다"**는 **규칙 (제약 조건)**을 세우려고 합니다. 하지만 이 규칙을 지키면서 동시에 최고의 맛 (정확도) 을 내는 것은 매우 어렵습니다. 마치 "칼로 고기를 자르되, 고기 조각 하나도 떨어뜨리지 않고, 동시에 칼날을 날카롭게 유지하라"는 것과 비슷하죠.

2. 연구의 핵심: "요리법 비교 대회"

이 논문은 **"어떤 요리법 (알고리즘) 이 이 어려운 규칙을 가장 잘 지키면서 맛있는 요리를 만드는가?"**를 비교하는 대회를 열었습니다.

주인공들 (세 가지 새로운 요리법):
1. 유령 요리사 (Stochastic Ghost): 요리를 할 때, 마치 유령처럼 여러 번 시도를 해보고 그중 가장 좋은 방향을 찾아내는 방법입니다. 하지만 요리를 할 때 너무 많은 재료를 한 번에 쓰다 보니 (데이터를 많이 샘플링), 속도가 느리고 결과가 들쑥날쑥할 수 있습니다.
2. 부드러운 제빵사 (SSL-ALM): 반죽을 할 때 너무 딱딱하게 잡지 않고, 부드럽게 다듬어 가며 규칙을 지키는 방법입니다. 재료를 조금씩만 쓰면서도 규칙을 잘 지키는 편이라 효율이 좋습니다.
3. 스위치 요리사 (Stochastic Switching Subgradient): "지금 규칙을 위반했으면 규칙을 고치는 데 집중하고, 규칙을 잘 지키고 있으면 맛을 내는 데 집중한다"고 상황을 보고 전략을 바꾸는 방법입니다. 규칙을 가장 철저히 지키지만, 맛 (정확도) 을 조금 희생할 수 있습니다.
참고 요리사 (기존 방법):
- 일반 요리사 (SGD): 규칙을 아예 무시하고 맛만 쫓는 방법. (가장 빠르지만 불공정함)
- 벌금 요리사 (Fairret): 규칙을 어기면 벌금을 내게 하는 방법. 규칙을 어느 정도 지키지만, 벌금 액수 (파라미터) 를 조절하기가 매우 까다롭습니다.

3. 실험: "미국 인구조사 데이터"라는 거대한 시장

연구자들은 이 요리법들을 테스트하기 위해 **미국 인구조사 데이터 (Folktables)**라는 거대한 시장을 사용했습니다.

미션: "연봉이 5 만 달러 이상인지 예측하기"
규칙: "백인과 비백인 (또는 다양한 결혼 상태) 간의 예측 오차 차이가 너무 크면 안 된다."

이 데이터는 매우 방대하고 복잡해서, 일반적인 컴퓨터로는 계산하기 힘들 정도로 큰 규모였습니다.

4. 결과: "완벽한 요리사는 없으나, 균형 잡힌 요리사가 있다"

실험 결과를 비유하자면 다음과 같습니다.

일반 요리사 (SGD): 요리는 가장 맛있게 만들지만, 특정 손님에게만 불공정하게 대했습니다. (규칙 위반)
벌금 요리사 (Fairret): 규칙을 아주 완벽하게 지키진 못했지만, 벌금 액수를 잘 조절하면 어느 정도 공평하게 만들었습니다. 다만, 벌금 설정이 너무 까다로워요.
유령 요리사: 규칙은 잘 지키려 했지만, 요리 과정이 너무 불안정해서 결과가 들쑥날쑥했습니다.
스위치 요리사: 규칙을 가장 철저히 지켰습니다. 하지만 그 대신 요리의 맛 (정확도) 이 조금 떨어졌습니다.
부드러운 제빵사 (SSL-ALM): 가장 균형 잡힌 결과를 냈습니다. 규칙도 꽤 잘 지키면서, 맛도 다른 방법들에 비해 decent(괜찮은) 수준을 유지했습니다.

5. 결론과 의의

이 논문은 **"공정한 AI 를 만들기 위해 어떤 수학적 도구를 써야 할지, 실제 큰 데이터를 가지고 비교해 본 첫 번째 가이드"**를 제공했습니다.

핵심 메시지: "규칙을 위반하면 벌금을 내게 하는 것 (기존 방법) 보다, 아예 규칙을 지키면서 요리하게 만드는 것 (제약 조건 기반) 이 더 명확하고 효과적일 수 있다."
한계: 아직 완벽한 해결책은 없습니다. 어떤 방법을 쓰더라도 '완벽한 공평함'과 '완벽한 정확도'를 동시에 잡는 것은 여전히 어렵습니다. 하지만 연구자들은 이 비교 데이터를 통해 새로운 방법들을 개발하는 데 도움을 줄 수 있는 **오픈 소스 도구 (Python 패키지)**를 공개했습니다.

한 줄 요약:

"AI 가 공정해지려면 단순히 '잘못하면 벌금'을 내는 게 아니라, 처음부터 '공정한 요리법'을 강제하는 것이 더 효과적일 수 있으며, 그중에서도 '부드러운 제빵사 (SSL-ALM)' 방식이 현재 가장 균형 잡힌 성과를 보여줍니다."

1. 문제 정의 (Problem Definition)

최근 인공지능 시스템의 편향 (Bias) 제거와 공정성 (Fairness) 확보는 중요한 과제가 되었습니다. 특히 유럽연합의 AI 법 (AI Act) 등 규제 프레임워크는 편향 제거를 요구하지만, 이를 어떻게 정의하고 구현할지에 대한 표준은 부재합니다.

이 논문은 제약 조건이 있는 경험적 위험 최소화 (Constrained Empirical Risk Minimization, ERM) 문제를 다룹니다. 일반적인 딥러닝 훈련은 손실 함수를 최소화하는 것이 목표이지만, 공정성 요구사항을 충족시키기 위해 특정 하위 집단 (subgroups) 간의 예측 오차 (risk) 차이를 제한하는 불평등 제약 조건을 추가해야 합니다.

수학적으로 다음과 같이 표현됩니다:
$\min_{x \in \mathbb{R}^n} \mathbb{E}[f(x, \xi)] \quad \text{s.t.} \quad \mathbb{E}[c(x, \zeta)] \le 0$
여기서 $x$ 는 신경망의 매개변수, $f$ 는 손실 함수, $c$ 는 공정성 제약 함수이며, $\xi$ 와 $\zeta$ 는 각각 목적 함수와 제약 조건에 관련된 확률 변수입니다.

주요 도전 과제:

비볼록성 (Non-convexity): 심층 신경망 (DNN) 의 구조로 인해 목적 함수와 제약 조건이 비볼록함.
비매끄러움 (Nonsmoothness): ReLU 활성화 함수 등으로 인해 미분이 불가능하거나 불연속일 수 있음.
대규모 (Large-scale): 실제 데이터셋 (수백만 개 샘플) 과 복잡한 제약 조건 처리 필요.
확률적 제약 (Stochastic Constraints): 제약 조건 자체가 기대값 (기대 손실 차이) 으로 정의되어 샘플링을 통해 추정해야 함.

현재까지 이러한 일반적인 설정 (확률적, 비볼록, 비매끄러움, 부등식 제약) 을 모두 처리하며 이론적 수렴 보장을 제공하는 알고리즘은 존재하지 않습니다.

2. 방법론 (Methodology)

이 논문은 실제 대규모 공정성 학습 태스크를 위한 새로운 벤치마크를 구축하고, 이를 해결하기 위해 제안된 3 가지 최신 확률적 근사 알고리즘을 구현 및 비교 분석합니다.

A. 벤치마크 구축 (Benchmark Construction)

데이터셋: 미국 인구조사 데이터 (US Census) 기반의 **Folktables (ACSIncome)**를 사용했습니다.
작업: 소득이 5 만 달러를 초과하는지 예측하는 이진 분류 문제.
공정성 정의: 보호 속성 (Race, Marriage 등) 에 따른 하위 집단 간 손실 (Loss) 차이를 제한하는 제약 조건을 적용했습니다.
- 예: "백인"과 "비백인" 그룹 간의 예측 오차 차이가 $\delta$ 이하여야 함.
구현: PyTorch/TensorFlow 계산 그래프를 기반으로 제약 조건을 자동으로 생성하는 Python 패키지를 공개했습니다.

B. 비교 대상 알고리즘 (Algorithms)

논문은 다음과 같은 3 가지 알고리즘을 구현하여 평가했습니다.

Stochastic Ghost (StGh):
- Facchinei & Kungurtsev (2023) 의 결정론적 방법을 확률적 샘플링과 결합.
- 하위 문제 (Subproblem) 를 풀어서 방향을 구하고, 기하학적 분포를 기반으로 한 미니배치 샘플링을 사용하여 방향의 편향 (Bias) 을 줄임.
- 큰 미니배치 크기를 필요로 함.
Stochastic Smoothed and Linearized AL Method (SSL-ALM):
- Huang et al. (2025) 의 방법을 확장하여 비선형 부등식 제약 처리.
- 증강 라그랑주 (Augmented Lagrangian) 함수를 사용하며, Moreau envelope 을 기반으로 한 근사 경사 하강법을 적용.
- 슬랙 변수를 도입하여 부등식 제약을 등식 제약으로 변환.
- 큰 미니배치 없이도 작동하며, 평활화 (Smoothing) 항을 통해 수렴성을 개선.
Stochastic Switching Subgradient (SSw):
- Huang & Lin (2023) 의 방법.
- **서브그래디언트 (Subgradient)**를 사용하여 비매끄러운 함수를 처리.
- 제약 조건 위반 정도에 따라 목적 함수 업데이트와 제약 조건 업데이트 사이를 **전환 (Switching)**하는 전략 사용.
- 허용 오차 ( $\epsilon_k$ ) 가 감소함에 따라 제약 조건을 만족하는 방향으로 수렴.

C. 비교 기준 (Baselines)

SGD: 공정성 제약 없이 일반 손실 최소화.
SGD-Fairret: 공정성 정규화 항 (Penalty term) 을 추가한 SGD (제약 조건을 페널티로 변환).

3. 주요 기여 (Key Contributions)

새로운 벤치마크 제공: 실제 대규모 데이터 (Folktables) 를 기반으로 한 공정성 제약 학습 태스크의 표준 벤치마크를 최초로 제시.
알고리즘 비교 분석: 이론적 보장은 없으나 실제 성능이 우수한 3 가지 최신 알고리즘 (StGh, SSL-ALM, SSw) 을 구현하고 비교.
이론적/실용적 통찰:
- 제약 조건 기반 접근법 (Constraint-based) 이 페널티 기반 접근법 (Penalty-based) 보다 공정성 제어 측면에서 더 명확하고 효과적일 수 있음을 실험을 통해 보여줌.
- 다양한 공정성 지표 (Independence, Separation, Sufficiency) 에 대한 알고리즘별 성능 차이를 정량화.

4. 실험 결과 (Results)

실험 설정:

Oklahoma 주 데이터 (이진 보호 속성: Race) 와 Virginia 주 데이터 (다중 값 보호 속성: Marriage) 를 사용.
10 회 반복 실행 후 평균 및 사분위수 분석.

주요 발견:

최적화 성능 vs. 제약 조건 만족:
- SGD: 손실 최소화 속도가 가장 빠르지만, 공정성 제약 조건을 전혀 만족하지 못함.
- SSw (Switching Subgradient): 제약 조건 위반을 가장 잘 통제하지만, 목적 함수 (손실) 최소화 성능이 다른 알고리즘보다 낮음.
- SSL-ALM 및 ALM: 손실 최소화와 제약 조건 만족 사이의 **가장 좋은 균형 (Trade-off)**을 보임. 훈련 데이터에서는 제약을 잘 만족하고, 테스트 데이터에서도 일반화 성능이 양호함.
- StGh: 변동성이 크고 손실/제약 조건 모두에서 일관된 성능을 보이지 않음.
공정성 지표 (Fairness Metrics):
- 독립성 (Independence), 분리성 (Separation), 충분성 (Sufficiency): 제약 기반 알고리즘 (ALM, SSL-ALM) 은 무제약 SGD 나 정규화 SGD (Fairret) 보다 모든 공정성 지표에서 유의미한 개선을 보임.
- 특히 SSL-ALM은 독립성과 분리성 측면에서 가장 우수한 성능을 보였습니다.
페널티 vs. 제약:
- 페널티 기반 방법 (SGD-Fairret) 은 페널티 가중치 ( $\lambda$ ) 튜닝에 민감하며, 제약 조건 위반을 완전히 제거하기 어렵습니다.
- 반면, 제약 기반 알고리즘은 하이퍼파라미터에 덜 민감하며, 공정성 수준을 더 명확하게 제어할 수 있었습니다.

5. 의의 및 결론 (Significance and Conclusion)

표준화 부재 해결: 현재 공정성 제약 학습을 위한 표준 툴킷이나 벤치마크가 없었으며, 이 논문은 이를 해결하기 위한 첫 번째 체계적인 시도입니다.
실용적 가이드: 연구자들이 새로운 알고리즘을 개발하거나 기존 알고리즘을 선택할 때, 실제 데이터에서의 성능을 평가할 수 있는 기준을 제공합니다.
한계 및 제언:
- 현재 비볼록/비매끄러운 확률적 제약 문제를 해결하는 이론적 수렴 보장이 있는 알고리즘은 존재하지 않습니다.
- 공정성 학습이 윤리적 문제를 해결하는 '만병통치약 (Silver bullet)'이 아님을 강조하며, 공정성 ML 은 실제 사용 사례와 통합된 다학제적 접근이 필요함을 역설합니다.

이 논문은 공정성 제약 하의 딥러닝 훈련을 위한 알고리즘 개발과 평가를 위한 중요한 토대를 마련했다는 점에서 의의가 큽니다. 코드와 벤치마크는 공개된 Python 패키지를 통해 재현 가능합니다.