Challenges in Enabling Private Data Valuation

이 논문은 차분 프라이버시 (DP) 가 데이터 가치 평가의 정밀도와 본질적으로 상충함을 분석하고, 이를 해결하기 위한 설계 원칙을 제시하여 프라이버시 보호 하에서도 유용한 데이터 가치 평가 방법의 한계와 가능성을 규명합니다.

핵심

1. 배경: 왜 데이터의 가치를 평가할까요?

머신러닝 (AI) 을 가르칠 때, 수많은 데이터 (재료) 가 사용됩니다. 그런데 모든 데이터가 똑같이 중요한 건 아닙니다.

• 데이터 가치 평가 (Data Valuation): "이 AI 가 이 문제를 잘 풀 수 있게 된 건, 이 특정 데이터 (재료) 덕분이었어!"라고 각 데이터에 점수를 매기는 작업입니다.
• 용도: 잘못된 데이터를 찾아내거나 (미리치), 데이터 시장을 만들거나, AI 가 왜 실수했는지 감사하는 데 쓰입니다.

2. 문제: 개인정보 보호와의 충돌

문제는 이 '점수 매기기' 작업이 개인정보를 털어놓는 결과를 낳을 수 있다는 점입니다.

• 비유: 만약 AI 가 "이 환자의 병을 진단한 건 A 씨의 의료 기록이 결정적이었어!"라고 점수를 매긴다면?
  • A 씨의 데이터가 AI 훈련에 사용되었는지 (참여 여부)
  • A 씨의 데이터가 얼마나 특별한 (드문) 경우였는지
  • A 씨의 데이터가 AI 에게 얼마나 큰 영향을 줬는지
    이 모든 정보가 유출될 수 있습니다.

**차분한 프라이버시 (Differential Privacy, DP)**는 "어떤 한 사람의 데이터가 들어갔든 말든, 결과 (점수) 는 거의 똑같아야 한다"는 원칙입니다. 즉, 한 사람의 흔적을 지우는 것이 목표입니다.

하지만 데이터 가치 평가의 목표는 정반대입니다.
"이 한 사람의 데이터가 얼마나 특별하고 큰 영향을 줬는지"를 찾아내는 것이 목표입니다.

핵심 갈등: "한 사람의 흔적을 지우라 (DP)" vs "한 사람의 흔적을 찾아내라 (가치 평가)"
이 두 가지는 서로 모순됩니다.

3. 왜 기존 방법들은 실패할까요? (3 가지 주요 도전 과제)

논문은 현재 쓰이는 주요 방법들이 왜 개인정보 보호를 지키면서 가치를 평가하기 어려운지 3 가지 비유로 설명합니다.

① 곡선과 확대경 (Influence Functions)

• 상황: 데이터가 AI 에 미친 영향을 수학적으로 계산할 때, '곡률 (Curvature)'이라는 개념을 사용합니다.
• 문제: AI 가 학습한 공간은 매우 복잡하고 구불구불합니다. 어떤 데이터는 평평한 길에 있고, 어떤 데이터는 가파른 절벽에 있습니다.
• 비유: 평범한 데이터는 평지지만, 드문 데이터 (예: 매우 특이한 환자 기록) 는 거대한 절벽에 있습니다. 이 절벽을 확대경 (수학적 연산) 으로 보면, 아주 작은 데이터도 거대한 폭포처럼 보입니다.
• 결과: 개인정보 보호를 위해 소음을 섞으면, 이 '거대한 폭포'를 숨기려면 소음이 너무 커져서, 평범한 데이터들의 작은 신호까지 다 묻어버립니다. 신호 (가치) 가 소음에 가려져서 아무것도 볼 수 없게 됩니다.

② 팀워크와 극단적인 경우 (Shapley Value)

• 상황: 데이터가 AI 에 기여한 정도를 계산할 때, "이 데이터가 포함된 모든 가능한 팀 조합"을 imagined(상상) 해 봅니다.
• 문제: 어떤 데이터는 평범한 팀에서는 별 영향이 없지만, 특정 드문 팀 조합에 들어오면 AI 성능을 급격히 바꿉니다.
• 비유: 축구 경기에서 평범한 선수도 있지만, 골키퍼가 실수한 특정 순간에 한 번만 들어와도 경기가 완전히 뒤바뀔 수 있습니다.
• 결과: 개인정보 보호를 위해 소음을 넣으려면, 이 '극단적인 순간'을 숨겨야 합니다. 하지만 그 소음이 너무 커서, 평범한 선수들의 기여도까지 다 가려버립니다. 소음이 신호보다 훨씬 커져버립니다.

③ 학습 과정의 흔적 (Trajectory-based)

• 상황: AI 가 학습하는 '과정' 전체를 기록해서, 어떤 데이터가 언제 영향을 줬는지 추적합니다.
• 문제: 이 방법은 AI 가 학습하는 '비밀 노트 (중간 단계)'를 모두 공개해야 합니다.
• 비유: 요리사가 요리를 하는 전 과정을 CCTV 로 찍어서 공개해야만, "어떤 재료가 맛을 결정했는지"를 알 수 있습니다. 하지만 이 CCTV 화질 (데이터) 이 너무 선명하면, 요리사의 비법 (개인정보) 이 그대로 노출됩니다.
• 결과: 비법을 숨기려면 CCTV 화질을 흐리게 해야 하는데, 그럼 "어떤 재료가 맛을 냈는지"도 알 수 없게 됩니다.

4. 결론: 해결책은 무엇인가?

논문은 결론적으로 **"기존 방법을 개인정보 보호 기술로 '패치'하는 것은 불가능하다"**고 말합니다.

• 기존 방식: "데이터의 영향을 찾아내되, 소음을 섞어서 숨겨라" → 실패. (신호가 소음에 묻힘)
• 새로운 방향: "데이터의 영향을 찾아내는 방식 자체를 처음부터 개인정보 보호가 가능하도록 재설계해야 한다."

미래의 해결책 아이디어:

1. 국소적 접근: 전체 데이터를 다 보는 대신, 아주 작은 범위 (이웃) 만 보고 평가하기.
2. 구조적 안정성: 데이터의 특성이 극단적으로 변하지 않도록, 평가 기준 자체를 바꾸기 (예: 드문 데이터는 아예 무시하거나 평준화하기).
3. 공개 데이터 활용: 민감한 데이터 대신, 공개된 데이터로 AI 의 '지형도'를 먼저 그려두고, 그 위에 민감한 데이터를 얹어 평가하기.

한 줄 요약

"AI 가 어떤 데이터를 얼마나 좋아했는지 점수를 매기려면, 그 데이터의 흔적을 드러내야 하는데, 그 흔적을 드러내는 순간 개인정보가 털립니다. 그래서 우리는 '흔적을 찾는 방법' 자체를 개인정보가 털리지 않도록 처음부터 다시 설계해야 합니다."

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 데이터 가치 평가는 개별 훈련 데이터가 모델 성능에 기여하는 정도를 정량화하여 데이터 선별, 감사, 데이터 시장 가격 책정 등에 활용됩니다.
• 프라이버시 위험: 가치 평가 점수 (Valuation Scores) 는 훈련 데이터의 존재 여부, 희소성, 민감한 패턴, 또는 특정 데이터가 모델에 미친 과도한 영향력을 노출시킬 수 있어 심각한 프라이버시 침해가 발생합니다.
• 근본적 모순: 차분 프라이버시 (DP) 는 단일 레코드 변경에 대해 출력의 민감도를 제한하는 것을 목표로 하지만, 데이터 가치 평가는 단일 레코드의 영향력을 정밀하게 측정하는 것을 목표로 합니다. 즉, DP 가 억제하려는 신호가 가치 평가의 핵심 신호와 일치합니다.
• 현황: 데이터 가치 평가 연구는 활발하지만, 이를 DP 와 호환되게 만드는 연구는 매우 부족합니다 (그림 1 참조).

2. 방법론 및 분석 프레임워크 (Methodology & Analysis)

저자는 기존 가치 평가 방법론을 4 가지 주요 범주로 분류하고, 각 범주에서 DP 적용 시 발생하는 구조적 한계를 분석했습니다.

A. 영향력 및 곡률 근사 (Influence & Curvature Approximations)

• 방법: Leave-One-Out (LOO) 재학습을 1 차 미분 (영향 함수, Influence Functions) 으로 근사화합니다. (예: Hessian 역행렬 활용)
• 프라이버시 문제 (C1-C3):
  • 곡률 증폭 (Curvature Amplification): 손실 함수의 곡률 (Hessian) 이 비조건부 (ill-conditioned) 일 때, 역행렬이 특정 기울기 방향을 과도하게 증폭시킵니다.
  • 무한한 민감도: 희귀한 데이터 포인트는 극단적으로 큰 점수를 받아 민감도 (Sensitivity) 가 무한대에 가까워집니다.
  • 클리핑의 실패: 민감도를 제한하기 위해 기울기를 클리핑 (Clipping) 하면, 중요한 아웃라이어 (Outlier) 의 정보가 손실되거나, 반대로 노이즈가 신호를 압도하여 가치 평가의 유용성이 사라집니다.

B. 가중치 한계 기여도 (Weighted Marginal Contributions)

• 방법: 데이터 포인트가 다양한 부분집합 (Coalition) 에 추가될 때의 기대 효용 증가분을 계산합니다. (예: Shapley Value, Banzhaf Value)
• 프라이버시 문제 (C4-C6):
  • 집합 극단 (Coalition Extrema): 평균적인 기여도는 작을지라도, 특정 소집합에서 데이터 포인트가 모델 성능에 급격한 변화를 일으킬 수 있어 민감도가 통제되지 않습니다.
  • 집계와 민감도의 트레이드오프: Shapley 값은 모든 부분집합을 고려해야 하므로, 민감도를 낮추기 위해 샘플링을 제한하면 가치 평가의 정확도 (Utility) 가 급격히 떨어집니다.

C. 궤적 기반 근사 (Trajectory-Based Approximations)

• 방법: 훈련 과정 (Optimization Trajectory) 을 따라 데이터가 모델 파라미터에 미친 영향을 누적하여 계산합니다. (예: TracIn, SOURCE)
• 프라이버시 문제 (C7-C8):
  • DP-SGD 의존성: 1 차 방법 (TracIn) 은 DP-SGD 로 훈련된 궤적을 사후 처리 (Post-processing) 하므로 DP 를 만족할 수 있습니다.
  • 2 차 정보의 한계: Hessian(곡률) 정보를 사용하는 방법 (SOURCE 등) 은 훈련 배치의 민감한 정보를 직접 참조해야 하므로 DP-SGD 의 사후 처리 보장이 깨집니다.
  • 누적 민감도: 훈련 단계마다 데이터가 반복적으로 노출되므로 민감도가 누적됩니다.

D. 대리 모델 및 선형화 (Surrogates and Linearization)

• 방법: 복잡한 훈련 과정을 선형 대리 모델 (Linear Surrogate) 로 근사화합니다. (예: TRAK, Data Models)
• 프라이버시 문제 (C9):
  • 숨겨진 전역 의존성: 대리 모델의 임베딩을 생성하기 위해 전체 데이터셋의 기하학적 구조 (예: 역 Hessian) 를 계산해야 하므로, 이는 전역적인 민감한 쿼리가 되어 프라이버시를 위협합니다.

3. 주요 기여 및 발견 (Key Contributions & Findings)

1. 9 가지 구조적 도전 과제 (9 Recurring Challenges) 도출:
   • 곡률 증폭, 집합 극단, 궤적 누적, 방출 모델 불일치 등 DP 와 가치 평가의 충돌을 유발하는 9 가지 핵심 원인을 체계화했습니다.
2. 기존 DP 메커니즘의 실패 증명:
   • 단순한 노이즈 추가나 클리핑만으로는 가치 평가의 정밀한 신호 (Fine-grained distinctions) 를 보존하면서 DP 를 보장할 수 없음을 실험적으로 증명했습니다. (그림 4, 5 참조)
   • 특히, 영향력 기반 방법과 Shapley 기반 방법은 민감도가 너무 커서 필요한 노이즈 양이 실제 신호보다 훨씬 큽니다.
3. 설계 원칙 제안:
   • 사후 수정이 아닌 설계 단계의 민감도 제어 (Sensitivity-by-Design): 가치 평가 목적 함수 자체를 민감도가 제한되도록 (예: 국소성, Lipschitz 연속성) 재설계해야 함을 강조합니다.
   • 전역 기하학과의 분리: 개별 데이터 레코드를 전체 데이터셋의 기하학적 구조 (Curvature) 에서 분리하는 새로운 접근이 필요합니다.

4. 실험 결과 (Results)

• 영향력 점수 분포: 대부분의 데이터는 0 근처에 몰려 있지만, 소수의 아웃라이어는 극단적으로 큰 값을 가집니다 (그림 3). 이로 인해 민감도가 아웃라이어에 의해 결정됩니다.
• 클리핑의 역설: 민감도를 낮추기 위해 클리핑을 강하게 적용하면 아웃라이어의 정보가 사라지고, 약하게 적용하면 노이즈가 신호를 덮어씁니다 (그림 4).
• DP-SGD 와 가치 평가의 호환성:
  • TracIn(1 차) 은 DP-SGD 훈련 모델에서 어느 정도 작동하지만, 민감한 데이터 (예: 오라벨링) 를 탐지하는 성능이 DP 강도에 따라 저하됩니다 (그림 5).
  • 2 차 정보 (Hessian) 를 사용하는 방법은 DP-SGD 환경에서 사후 처리 보장을 받을 수 없어 적용이 어렵습니다.

5. 향후 연구 방향 및 의의 (Significance & Open Problems)

이 논문은 데이터 가치 평가와 프라이버시 보호가 단순한 기술적 조정 문제가 아니라 구조적 모순임을 밝혔습니다. 이를 해결하기 위한 3 가지 주요 연구 방향을 제시합니다:

1. 궤적 기반 가치 평가를 위한 정밀한 프라이버시 회계 (P1):
   • 전체 궤적이 아닌, 기울기 정렬 (Gradient Alignment) 시퀀스만 공개하는 경우의 프라이버시 비용을 정량화하는 새로운 회계기법 개발.
2. 정적 모델 기반 DP 가치 평가 가능성 탐구 (P2):
   • 사설 Hessian 없이 공개 데이터 (Public Data) 를 사용하여 곡률 근사치를 구하거나, 민감도가 본질적으로 제한된 새로운 가치 평가 함수 설계.
3. 중앙 집중식 및 양방향 유출 문제 해결 (P3):
   • 전체 데이터셋의 가치 점수 벡터를 공개하는 경우 (Central Release) 와 검증 데이터 (Validation Set) 도 비공개인 경우 (Private Validation) 를 위한 새로운 암호학적 접근 (SMPC, Homomorphic Encryption) 및 고차원 출력 교란 기법 연구.

결론:
이 연구는 기존 가치 평가 알고리즘에 DP 를 단순히 적용하는 것이 무의미할 수 있음을 경고하며, 프라이버시 보장이 가능한 새로운 가치 평가 패러다임의 설계가 필요함을 강조합니다. 데이터의 '질'에 대한 신호와 '개인 식별'에 대한 신호를 분리할 수 있는 구조적 혁신이 핵심 과제입니다.