How Does Differential Privacy Affect Social Bias in LLMs? A Systematic Evaluation

기술 요약: 차분 프라이버시가 LLM 의 사회적 편향에 미치는 영향: 체계적 평가

문제 제기
웹 규모의 코퍼스로 훈련된 대규모 언어 모델 (LLM) 은 민감한 훈련 데이터를 암기할 위험이 있어 프라이버시 위협을 초래합니다. 차분 프라이버시 (DP), 특히 DP-SGD 를 통한 방식은 훈련 중 개별 데이터 포인트의 영향을 제한하는 원칙적인 프레임워크로 부상하여 암기를 줄이는 역할을 합니다. 그러나 DP 를 통한 암기 제한과 LLM 의 사회적 편향 완화 사이의 관계는 아직 잘 이해되지 않았습니다. DP 는 특정 훈련 예제의 영향을 약화시켜 고정관념적 연관성에 대한 의존을 약화시킬 수 있지만, 훈련 과정에서 도입된 노이즈는 학습된 표현을 예측 불가능하게 왜곡할 수도 있습니다. 기존 연구는 주로 파인튜닝 설정에서 이 상호작용을 탐구해 왔으며, DP 가 자체 사전 훈련 (pretraining) 단계에서 강제될 때 편향이 어떻게 형성되는지에 대한 이해에는 공백이 존재합니다.

방법론
저자들은 DP-SGD 로 훈련된 사전 훈련 LLM 의 사회적 편향을 체계적으로 평가하여 비 DP 베이스라인과 비교합니다. 본 연구는 완전히 DP-SGD 로 사전 훈련된 유일한 공개 LLM 인 VaultGemma-1B(프라이버시 예산 $\epsilon = 2$) 를 DP 모델로 활용합니다. 이를 두 가지 비 DP 베이스라인과 비교합니다: Gemma-3-1B-PT(DP 모델과 크기 일치) 및 Gemma-2-2B(훈련 계열은 일치하지만 더 큰 모델).

포괄적인 평가를 위해 네 가지 상호 보완적인 패러다임에 걸쳐 평가가 수행됩니다:

1. 문점수 (Sentence Scoring): StereoSet, WinoBias, CrowS-Pairs 와 같은 데이터셋을 사용하여 통제된 가능성 비교를 통해 편향을 측정합니다. 지표로는 언어 모델 점수 (LMS), 고정관념 점수 (SS), 이상화된 맥락 연관성 테스트 (ICAT) 가 포함됩니다.
2. 텍스트 완성: BOLD 와 HolisticBias 를 사용하여 개방형 생성에서의 편향을 포착합니다. 평가는 존중 (regard), 감정 (sentiment), 유해성 (toxicity) 에 초점을 맞추며, 인구통계학적 그룹 간의 편향 격차를 계산합니다.
3. 표 분류: 인맥 학습 (ICL) 을 사용하여 텍스트로 직렬화된 표 데이터 (Adult Census Income, COMPAS, German Credit) 에 대한 그룹 공정성을 평가합니다. 본 연구는 모델 고유의 편향을 프롬프트 유발 편향과 분리하기 위해 네 가지 ICL 전략 (무작위, 균형, 지시, 제거) 을 테스트합니다.
4. 질문 응답: BBQ 데이터셋을 사용하여 모호한 맥락을 가진 객관식 문제를 통해 편향을 평가합니다. 이는 모호하지 않은 맥락에서의 정확도와 모호한 맥락에서의 고정관념 점수를 측정합니다.

주요 결과
본 연구는 로짓 수준의 편향과 출력 수준의 편향 사이에 상당한 불일치가 있음을 드러냈으며, 평가 패러다임에 따라 결과가 크게 달라졌습니다:

• 문점수: DP 는 일관되게 고정관념적 편향을 감소시킵니다. VaultGemma-1B 모델은 비 DP 베이스라인에 비해 더 낮은 고정관념 점수 (SS) 와 더 높은 ICAT 점수를 달성했으며, 특히 세계 지식에 의존해야 하는 작업 (예: WinoBias Type 1) 에서 두드러졌습니다. 이는 DP 가 모델이 고정관념적 완성에 더 높은 가능성을 할당하는 데 대한 신뢰도를 약화시킨다는 것을 시사합니다.
• 텍스트 완성: 문점수에서 관찰된 DP 의 이점은 일관되게 일반화되지 않았습니다. DP 모델은 특정 인구통계학적 그룹의 존중과 유해성에서 더 작은 편향 격차를 보였지만, 지표와 데이터셋에 따라 결과는 혼재되었습니다. 예를 들어, 비 DP 모델이 때로는 감정 편향 격차에서 DP 모델보다 우수한 성과를 보였습니다.
• 표 분류: DP 모델에 대한 일관된 이점은 관찰되지 않았습니다. 모든 모델의 성능은 무작위 베이스라인 (우연 수준) 에 근접하게 유지되었으며, 공정성 지표는 모델의 사전 훈련 프라이버시 상태보다는 인맥 학습 전략의 선택에 크게 영향을 받았습니다. 이는 사전 훈련된 기본 모델이 ICL 을 통해 구조화된 표 시연에서 예측 신호를 추출하는 데 어려움을 겪음을 나타냅니다.
• 질문 응답: BBQ 벤치마크에서 모든 모델은 무작위 베이스라인에 근접한 정확도와 50 에 근접한 SS 값을 보였습니다. 저자들은 지시 튜닝이 없는 기본 모델이 객관식 작업 형식을 신뢰할 수 있게 따르지 못하기 때문이라고 귀결지었습니다. 이는 이 생성 기반 형식을 통한 고유의 편향 평가가 비효과적임을 의미합니다.

주요 기여

1. 통합 평가: 생성형 LLM 의 사회적 편향에 대한 차분 프라이버시 사전 훈련의 영향을 네 가지 다른 패러다임에 걸쳐 체계적으로 평가한 최초의 연구입니다.
2. 패러다임 불일치: 저자들은 DP 가 문점수 (로짓 수준) 에서 고정관념적 편향을 감소시키지만, 이 개선이 텍스트 완성, 표 분류, 또는 질문 응답 (출력 수준) 으로 일관되게 전이되지 않음을 입증합니다.
3. ICL 민감성: 본 연구는 표 분류 결과가 인맥 학습 전략에 매우 민감함을 강조하여, 사전 훈련된 기본 모델에서 모델 고유의 편향을 분리하는 데 있어 이러한 결과의 유용성을 제한합니다.
4. 평가 한계: 이 작업은 사회적 편향에 대한 결론이 평가 패러다임에 따라 크게 달라짐을 강조하며, 단일 벤치마크 평가에 의존하는 것의 한계를 드러냅니다.

의의 및 주장
본 논문은 DP 를 통한 암기 감소가 모든 맥락에서 불공정성을 반드시 감소시키지는 않는다고 주장합니다. 발견된 사실은 중요한 단절을 강조합니다: 로짓 수준에서 고정관념적 연관성을 약화시키는 것이 개방형 생성이나 의사결정 작업에서 공평한 출력을 보장하지는 않는다는 것입니다. 따라서 저자들은 프라이버시 보호 훈련만으로는 공평한 모델 출력을 보장하기에 불충분하다고 주장합니다. LLM 의 공정성을 평가할 때 다중 패러다임 평가의 필요성을 강조하며, 단일 평가 방법은 모델의 행위에 대한 불완전하거나 오해의 소지가 있는 그림을 제공할 수 있음을 지적합니다. 본 연구는 암기를 감소시키는 메커니즘이 모든 작업 유형에 걸쳐 사회적 편향을 균일하게 완화하지 않으므로, 프라이버시와 공정성은 근본적으로 다른 개입이 필요할 수 있다고 결론지었습니다.