Privacy Cost as Equity Input: A Group Fairness Criterion for Differentially Private Machine Learning

당신이 거대한 고액의 게임 쇼를 운영하고 있다고 상상해 보세요. 여기서는 로봇 판사가 누가 대출을 받을지, 누가 직업을 가질지, 심지어 누가 감옥에 가지 않을지를 결정합니다. 인공지능의 세계에서 이 로봇은 머신러닝 모델입니다. 하지만 함정이 하나 있습니다. 이 로봇들을 똑똑하게 만들기 위해, 우리는 실제 사람들에 대한 실제 데이터를 입력값으로 사용합니다. 이는 긴장 관계를 형성합니다. 한편으로는, 우리는 로봇이 공정하게 작동하여 모두에게 좋은 결과를 얻을 수 있는 동등한 기회를 주기를 원합니다. 다른 한편으로는, 로봇이 실수로 사람들의 비밀을 누설하지 않도록 개인정보를 보호하고 싶어 합니다.

로봇이 비밀을 암기하는 것을 막기 위해, 과학자들은 "차분 프라이버시(Differential Privacy)"라는 특별한 방패를 사용합니다. 이 방패는 라디오 신호에 두꺼운 정적 노이즈(static noise) 층을 추가하는 것과 같습니다. 이는 도청을 더 어렵게 만들지만, 음악 소리를 다소 흐릿하게 만듭니다. 연구자들이 던지는 핵심 질문은 이것입니다. 이 정적 노이즈가 모두에게 똑같이 영향을 미치는가? 아니면 어떤 집단에게는 음악 소리가 엉망이 되게 만들면서 다른 집단에게는 선명하게 유지되는가? 보통 우리는 결과가 공정한지(모두가 똑같은 수의 대출을 받았는지?)만을 확인합니다. 하지만 이 논문은 더 깊고 미묘한 질문을 던집니다. 이 프라이버시 방패의 '비용'은 공정한가? 만약 한 집단이 동일한 수준의 흐릿한 결과를 얻기 위해 다른 집단보다 더 많은 프라이버시를 희생해야 한다면, 그것이 정말 공정한 것일까요?

---

프라이버시 청구서: 누가 대가를 치르는가?

이 논문에서 저자인 Rakshit Naidu는 프라이버시가 단순한 기술적 설정이 아니라, 사람들이 지불하는 '비용'이라고 주장합니다. 당신과 당신의 친구가 모두 안개가 자욱한 다리 위를 건너려 한다고 상상해 보세요. 안개는 당신이 노출되지 않도록 보호하기 위해 추가된 "프라이버시 노이즈"입니다. 만약 안개가 너무 짙어서 발조차 보이지 않는다면, 당신은 비틀거릴 수 있습니다. 만약 당신의 친구가 키가 더 크거나 더 좋은 신발을 신고 있다면, 그들은 덜 비틀거릴 수도 있습니다.

이 논문은 만약 한 집단의 사람들(예를 들어 특정 인구 통계 그룹)이 다른 집단보다 훈련 데이터를 더 많이 "암기"하게 된다면, 그들은 실질적으로 더 높은 "프라이버시 세금"을 내고 있는 것이라고 제안합니다. 그들은 보호받기로 되어 있음에도 불구하고, 해커에 의해 식별될 위험에 더 많이 노출됩니다. 저자는 **프라이버시-비용 형평성 비율(Privacy-Cost Equity Ratio, PCER)**이라는 새로운 방식의 공정성 측정법을 제안합니다.

PCER을 "가성비(Value for Money)" 점수라고 생각해 보세요.

• 혜택(Benefit): 로봇이 당신에게 얼마나 자주 긍정적인 결과(대출 승인이나 직업 등)를 주는가?
• 비용(Cost): 로봇이 당신의 특정 데이터를 얼마나 "암기"했는가? (더 많이 암기할수록, 해커가 당신이 훈련 데이터에 포함되었음을 알아낼 위험이 높아집니다.)

공식은 간단합니다: 혜택 나누기 비용.
만약 A 집단은 많은 혜택을 얻으면서 아주 적은 프라이버시 비용을 지불하고, B 집단은 적은 혜택을 얻으면서 엄청난 프라이버시 비용을 지불한다면, 그 시스템은 불공정합니다. 논문은 진정으로 형평성을 갖춘 시스템이 되려면, "받은 좋은 것"과 "감수한 프라이버시 위험"의 비율이 모두에게 동일해야 한다고 주장합니다.

놀라운 반전: "안전한" 예산은 안전하지 않다

연구진은 소득(Adult Income), 형사 사법(COMPAS), 직업 타이틀(Bias in Bios)을 포함한 6개의 서로 다른 실제 데이터셋을 대상으로 이 아이디어를 테스트했습니다. 그들은 DP-SGD라고 불리는 표준 프라이버시 도구를 사용했는데, 이는 훈련 과정에 노이즈를 추가하는 방식입니다. 그들은 $\epsilon$(엡실론)이라는 숫자로 표시된 다양한 양의 노이즈를 시도했습니다. 낮은 $\epsilon$은 노이즈가 많음을 의미하며(더 많은 프라이버시, 하지만 더 흐릿한 결과), 높은 $\epsilon$은 노이즈가 적음을 의미합니다(더 적은 프라이버시, 하지만 더 선명한 결과).

여기서 이야기는 흥별하게 흘러갑니다.

1. COMPAS에서의 "이중 불이익"
COMPAS 데이터셋(재범 가능성을 예측함)을 살펴볼 때, 표준 공정성 도구들은 "이봐, 모든 게 괜찮아! 모든 프라이버시 수준에서 집단 간의 결과 차이가 평탄해!"라고 말했습니다. 프라이버시 방패가 모두에게 똑같이 잘 작동하는 것처럼 보였습니다.

하지만 새로운 PCER 도구는 전혀 다른 것을 보았습니다. PCER은 아프리카계 미국인들이 이중 불이익을 겪고 있다는 것을 발견했습니다.

• 그들은 더 나쁜 예측(재범에 대한 잘못된 경보)을 받고 있었습니다.
• AND, 그들은 더 높은 프라이버시 비용을 지불하고 있었습니다(그들의 데이터가 더 많이 암기되어 공격에 더 취약해졌습니다).

표준 도구들은 최종 판결만을 보았기 때문에 이를 완전히 놓쳤습니다. 왜냐하면 그 과정에서 발생하는 숨겨진 비용을 보지 못했기 때문입니다. PCER 점수는 지속적인 음(-)의 격차를 보여주었습니다. 즉, 이 집단은 최악의 결과와 최악의 위험이라는 두 가지 나쁜 상황을 동시에 겪고 있었던 것입니다.

2. 강력한 프라이버시의 "가짜 친구"
Adult Income 데이터셋(5만 달러 이상의 소득 여부 예측)에서, 표준 공정성 지표는 중간 정도의 프라이버시 수준($\epsilon = 5$ 또는 $10$)이 가장 공정한 설정이라고 말했습니다. 노이즈가 집단 간의 차이를 완화해 준 것처럼 보였습니다.

그러나 PCER 지표는 다른 이야기를 들려주었습니다. PCER은 가장 형평성 있는 설정이 사실은 **프라이버시가 전혀 없는 상태(no-DP)**라고 제안했습니다. 왜냐하면 노이즈를 많이 추가하면 모델이 너무 혼란스러워져서 아무의 데이터도 암기하지 않게 되기 때문입니다. 이때는 모든 사람의 "프라이버시 비용"이 거의 0으로 떨어집니다. 비용이 0이 되면 PCER 공식은 무너지고 다시 원래의 결과값만을 보여주게 됩니다.

연구진은 매우 강력한 프라이버시 수준(예: $\epsilon = 0.1$)에서 모든 사람의 "프라이버시 비용"이 아주 작은 수치로 붕괴한다는 것을 발견했습니다. 이 영역에서는 새로운 공정성 도구가 유용성을 잃고 기존의 도구와 똑같이 동작하게 됩니다. 저자들은 만약 극도로 높은 프라이버시 수준에서 "완벽하게 공정한" 결과가 보인다면, 그것은 모델이 아무것도 학습하지 못할 정도로 혼란스러워져서 발생하는 착시에 불과할 수 있다고 경고합니다.

이것이 미래에 의미하는 바

이 논문은 AI의 공정성 문제를 해결했다고 주장하는 것이 아닙니다. 대신, 우리가 보통 무시하는 어두운 구석을 비추는 새로운 손전등을 제공합니다.

• 진단 도구로서의 역할: 저자들은 PCER을 "사후 감사(post-hoc audit)"라고 부릅니다. 즉, 모델이 구축된 후에 프라이버시 비용이 공정하게 배분되었는지 확인하는 데 사용할 수 있다는 뜻입니다. 모델을 다시 만들거나 해커 팀을 고용할 필요 없이, 모델의 훈련 및 테스트 데이터에 대한 정확도 점수만 있으면 됩니다.
• 숨겨진 불평등을 드러냄: 이 연구는 시스템이 표면적으로는 공정해 보일 수 있지만(모두가 똑같은 대출 승인율을 가짐), 그 밑바닥에는 깊은 불평등이 존재할 수 있음을 보여줍니다(어떤 집단은 그 승인율을 얻기 위해 훨씬 높은 프라이버시 대가를 치르고 있음).
• 한계점: 저자들은 이 도구가 프라이버시 노이즈가 너무 강해서 모델이 학습을 멈추는 경우에는 작동하지 않는다는 점을 명확히 밝히고 있습니다. 그런 경우 "비용"이 너무 낮아 수학적 오류가 발생하며, 도구는 새로운 정보를 줄 수 없습니다.

결론

이 논문은 AI의 공정성을 논할 때, 단순히 게임의 승자와 패자만을 봐서는 안 된다고 제까지합니다. 우리는 티켓의 가격표를 봐야 합니다. 만약 한 집단이 다른 집단과 같은 결과를 얻기 위해 훨씬 높은 "프라이버시 세금"을 내야 한다면, 최종 점수가 같아 보이더라도 그 시스템은 진정으로 공정하다고 할 수 없습니다. 이 새로운 "프라이버시 대비 가치" 비율을 사용함으로써, 우리는 비로소 눈에 보이지 않게 숨어 있던 이중 불이익을 찾아낼 수 있을지도 모릅니다.