SoK: Data Minimization in Machine Learning

1. 문제 정의 (Problem)

• 규제와 기술의 괴리: 데이터 최소화 원칙 ("수집된 데이터는 처리 목적에 필수적이고 적절하며 제한되어야 함") 은 GDPR 등 주요 규제에 명시되어 있지만, ML 연구 커뮤니티에서는 이를 명시적으로 고려하지 않은 채 다양한 기술 (특성 선택, 연방 학습, 차분 프라이버시 등) 이 개발되어 왔습니다.
• 혼란과 비효율성: 실제 실무자들은 이러한 기술들이 규제 준수 (데이터 최소화) 와 어떻게 연결되는지 명확히 이해하지 못해, 불필요한 데이터 수집이나 규제 위반의 위험에 노출될 수 있습니다. 또한, 프라이버시, 보안, 성능 최적화 등 서로 다른 목적에서 개발된 기술들이 사실은 데이터 최소화의 다양한 측면을 다루고 있음에도 불구하고, 이를 통합적으로 바라보는 관점이 부재했습니다.
• 평가 기준의 부재: 데이터 최소화 기술의 효과를 측정하는 표준화된 지표나 데이터셋이 없어, 기술 간 비교와 규제 준수 여부의 객관적 평가가 어렵습니다.

2. 방법론: DMML 프레임워크 (Methodology: The DMML Framework)

저자들은 데이터 최소화를 머신러닝에 적용하기 위해 DMML (Data Minimization in Machine Learning) 프레임워크를 제안했습니다. 이 프레임워크는 다음과 같은 핵심 요소로 구성됩니다.

A. 참여자 (Actors) 및 파이프라인

• 참여자: 데이터 소유자 (Client), 데이터 수집자 (Collector), 서비스 제공자 (Server) 로 구분합니다.
• 파이프라인: 데이터가 수집 (Collection), 전처리 (Preprocessing), 모델 학습 (Training), 저장 (Storage), 추론 (Inference) 을 거치는 흐름을 정의합니다.
• 적대적 모델 (Adversarial Models): 파이프라인의 각 단계에서 데이터에 접근할 수 있는 6 가지 적대자 (A1~A6) 를 정의하여 위협 모델을 구체화했습니다.
  • 예: 수집 단계의 적대자 (T-Collect), 전처리 후 적대자 (T-Preprocess), 저장된 데이터 접근자 (A-Store), 모델 접근자 (A-Model) 등.

B. 데이터 최소화의 차원 (Dimensions of DMML)

기술들을 체계적으로 분류하기 위해 8 가지 차원을 정의했습니다.

1. 원래 목적 (Original Objective): 기술의 주된 목표가 데이터 최소화인지, 아니면 부수적 효과인지.
2. 최소화 유형 (Type of DM):
   • 수평적 (Horizontal): 데이터 포인트 (샘플) 수 감소.
   • 수직적 (Vertical): 각 데이터 포인트 내의 정보 (특성) 감소 (제거, 일반화, 변환).
   • 변환적 (Transformative): 비가역적인 변환 (임베딩 등).
3. 적용 시점 (Points of Application): 학습 단계 vs 추론 단계.
4. 적용 주체 (By Whom): 클라이언트 (Pre-Hoc) vs 수집자/서버 (Post-Hoc).
5. 전제 조건 (Client Requirements): 클라이언트의 기술적 능력이나 참여 필요 여부.
6. 개인화 (Personalization): 모든 사용자에게 동일한 처리 vs 사용자별 맞춤 처리.
7. 적대적 설정 (Targeted Adversarial Setting): 어떤 적대자를 방어하는지.
8. 프라이버시 보장 (Privacy Risk Model & Guarantees): 수학적 보장 (예: 차분 프라이버시) 이 있는지 여부.

3. 주요 기여 및 분석 결과 (Key Contributions & Results)

저자들은 제안된 프레임워크를 사용하여 기존 ML 보안/프라이버시 기술 14 가지 이상을 분석하고, 명시적인 데이터 최소화 연구까지 포함하여 Table I과 Table II에 체계적으로 정리했습니다.

주요 분석 기술 및 통찰

• 연방 학습 (Federated Learning): 원본 데이터를 중앙으로 보내지 않아 수집 단계 (T-Collect) 를 방어하지만, 모델 업데이트를 통해 정보가 유출될 수 있어 추가적인 암호화나 차분 프라이버시가 필요함.
• 차분 프라이버시 (Differential Privacy, DP): 모델 학습 시 노이즈를 추가하여 수학적 보장을 제공하지만, 오히려 더 많은 데이터 수집이 필요할 수 있어 수평적 최소화와 상충될 수 있음.
• 안전한 계산 (Secure Computation): 암호화된 데이터로 학습/추론을 수행하여 수집 단계와 저장 단계를 강력히 보호하지만, 높은 계산 오버헤드가 발생함.
• 특성 선택 (Feature Selection) 및 데이터 선택 (Data Selection): 불필요한 특성이나 샘플을 제거하여 수직/수평적 최소화를 달성하지만, 주로 성능 최적화를 목적으로 하므로 프라이버시 보장은 간접적임.
• 합성 데이터 (Synthetic Data) 및 데이터 증류 (Dataset Distillation): 원본 데이터를 대체하거나 압축하여 데이터 양을 줄이지만, 생성 모델의 과적합으로 인한 유출 위험이 존재함.
• 활성 학습 (Active Learning): 필요한 데이터만 질의하여 수집하므로, 수집되지 않은 데이터에 대해서는 프라이버시가 보장됨.

핵심 통찰 (Key Takeaways)

1. 다양한 DM의 형태: 데이터 최소화는 단일 기술이 아닌, 목적과 적용 시점에 따라 다양한 형태로 구현될 수 있음.
2. 의도하지 않은 효과: 어떤 기술은 성능 향상을 목적으로 개발되었으나 데이터 최소화에 기여하기도 하고 (예: 데이터 증류), 반대로 프라이버시 보호를 목적으로 하더라도 데이터 수집량을 증가시켜 최소화와 상충되기도 함 (예: DP).
3. 평가의 표준화 부재: 현재 데이터 최소화 기술들을 평가하는 데 사용되는 데이터셋과 지표가 기술마다 상이하여 비교가 어렵고, 규제 준수 여부를 판단하기 위한 표준이 필요함.
4. 규제 원칙의 기술적 구현: "필요성 (Necessity)"과 "비례성 (Proportionality)" 같은 규제 원칙을 기술적 매개변수 (예: 특성 선택 임계값, DP 의 $\epsilon$) 와 연결하여 구현 가능한 가이드라인을 제시할 필요성이 있음.

4. 의의 및 향후 방향 (Significance & Future Work)

• 실무자 및 연구자를 위한 나침반: 이 논문은 실무자가 규제 요구사항을 충족하면서도 효율적인 ML 시스템을 설계할 수 있도록, 각 기술의 장단점과 적용 시점을 명확히 제시합니다.
• 커뮤니티 통합: 분리되어 있던 ML 보안, 프라이버시, 규제 준수 커뮤니티 간의 공통 언어와 프레임워크를 제공하여 연구의 방향성을 정립합니다.
• 미래 연구 방향:
  • 추론 단계 (Inference-time) 의 데이터 최소화 기술 개발.
  • 개인화된 데이터 최소화와 개인 정보 보호의 균형.
  • 규제 원칙 (필요성, 비례성) 을 기술적으로 측정하고 검증할 수 있는 표준 벤치마크 및 지표 개발.
  • 텍스트, 이미지 등 다양한 데이터 모달리티에 적용 가능한 데이터 최소화 기술 확장.

결론

이 SoK 논문은 데이터 최소화가 단순한 규제 준수를 넘어, ML 시스템의 설계 철학으로 자리 잡아야 함을 강조합니다. 제안된 DMML 프레임워크는 복잡한 기술 생태계를 구조화하여, 연구자와 실무자가 데이터 프라이버시, 성능, 비용 간의 트레이드오프를 명확히 이해하고 최적의 솔루션을 선택할 수 있는 기반을 마련했습니다.