1. 문제 정의 (Problem Definition)

• 배경: 온디바이스 AI(On-device AI) 의 발전으로 사용자의 개인화된 경험을 제공하기 위해 방대한 양의 온디바이스 데이터가 생성되고 있습니다. 예를 들어, 구글의 'Environmental Insights Explorer (EIE)'는 온디바이스 AI 모델을 통해 생성된 이동 데이터 (위치, 이동 수단, 거리 등) 를 집계하여 도시의 탄소 배출량을 추정합니다.
• 핵심 과제:
  1. 개인정보 보호: 개별 사용자의 민감한 데이터 (이동 경로 등) 를 중앙 서버에 영구 저장하지 않으면서도, 통계적 인사이트를 도출해야 합니다.
  2. 데이터 편차 (Variance): 이동 거리나 시간과 같은 지표는 이동 수단 (도보 vs 항공) 에 따라 수천 배의 차이가 날 수 있습니다. 이러한 큰 편차로 인해 기존 차분 프라이버시 (Differential Privacy, DP) 기법 (예: 단순 클리핑) 을 적용하면 작은 값의 통계는 잡음 (Noise) 에 묻혀버리고, 큰 값의 통계는 과도한 프라이버시 비용 (Privacy Budget) 을 소모하게 되어 실용성이 떨어집니다.
  3. 확장성: 수억 대의 다양한 성능을 가진 기기에서 실시간 스트리밍 데이터를 처리하면서도, 중앙 서버에 개별 데이터를 저장하지 않는 '일시적 (Ephemeral)' 아키텍처를 구축해야 합니다.
  4. 기존 방법의 한계: 로컬 DP(LDP) 는 중앙 서버에 대한 신뢰가 필요 없지만, 수억 명의 사용자 규모에서는 잡음 수준이 너무 커져 정확도가 급격히 떨어집니다. 반면, 기존 중앙 DP 는 모든 데이터를 서버에 모아야 하므로 프라이버시 위험이 존재합니다.

2. 방법론 (Methodology: Mayfly System)

Mayfly 는 프라이버시, 유틸리티 (정확도), 확장성을 동시에 달성하기 위해 설계된 페더레이션 분석 (Federated Analytics) 시스템입니다.

A. 시스템 아키텍처 및 핵심 원칙

1. 프라이버시 단위 (Privacy Unit): (기기, 시간 창 (Time Window)). 사용자의 일주일치 데이터를 하나의 단위로 보호합니다.
2. 데이터 최소화 (Data Minimization):
   • 온디바이스 SQL: 사용자의 기기에서 SQLite 를 실행하여 필요한 데이터만 필터링하고 집계 (Sum) 합니다. 불필요한 원본 데이터는 서버로 전송되지 않습니다.
   • 기여도 경계 (Contribution Bounding): 기기 내에서 사용자의 기여도를 미리 제한 (Clipping) 하여 서버로 보내기 전에 민감도를 낮춥니다.
3. 즉각적인 일시적 집계 (Immediate Ephemeral Aggregation):
   • 서버는 개별 사용자의 데이터를 디스크에 저장하지 않고, 메모리 (In-memory) 에서만 실시간으로 집계합니다.
   • 집계된 결과만 다음 단계로 전달되며, 개별 기여 데이터는 즉시 폐기됩니다.
4. 스트리밍 DP 메커니즘:
   • 데이터가 생성되는 대로 시간 창 (Time Window) 단위로 처리하며, 서버에서 집계 후 차분 프라이버시 잡음을 추가합니다.
   • 지연 허용 (Latency-tolerant): 네트워크 연결이 불안정한 기기들을 위해, 시간 창 종료 후 일정 기간 (Grace period) 동안 지연된 데이터도 수용하여 편향을 줄입니다.

B. 새로운 차분 프라이버시 메커니즘: Group-By-Sum 워크로드용

기존의 Joint Clipping(모든 데이터를 하나의 벡터로 클리핑) 이나 Budget Split(프라이버시 예산을 여러 그룹에 분할) 방식의 한계를 극복하기 위해 **"Activity + Metric Scaling Mechanism"**을 제안했습니다.

• 원리:
  1. 스케일링 (Scaling): 이동 수단 (Activity) 과 지표 (Metric, 예: 거리, 시간) 의 조합에 따라 사용자 기여도를 정규화합니다. (예: 걷기 거리는 짧고 비행 거리는 길므로, 이를 보정하여 비슷한 크기 범위로 맞춥니다.)
  2. 공동 클리핑 (Joint Clipping): 스케일링된 데이터에 대해 하나의 클리핑 상수 (C) 를 적용하여 전체 벡터를 클리핑합니다.
  3. 잡음 추가: 라플라스 잡음 (Laplace Noise) 을 추가합니다.
  4. 역변환 (Descale): 서버에서 다시 원래 단위로 스케일을 되돌립니다.
• 효과: 이 방식은 작은 값의 통계가 잡음에 묻히는 것을 방지하면서도, 큰 값의 통계에 과도한 잡음이 추가되는 것을 막아 전체적인 유틸리티를 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 DP 메커니즘: 위치 데이터와 같은 Group-By-Sum 워크로드에 특화된 새로운 DP 메커니즘을 제안했습니다. 이는 기존 베이스라인 대비 8 배 이상의 프라이버시 예산 효율성을 달성했습니다 (동일한 유틸리티 기준).
2. 종단 간 시스템 설계 (Mayfly):
   • SQL 기반의 프로그래밍 가능한 온디바이스 데이터 최소화.
   • 중앙 서버에 개별 데이터를 영구 저장하지 않는 일시적 (Ephemeral) 집계 아키텍처.
   • 수억 대의 기기를 지원하는 확장성 있는 페더레이션 인프라.
3. 대규모 실증 평가: 5 억 개 이상의 사용자 기기를 대상으로 한 실제 운영 (EIE 프로젝트) 을 통해 시스템의 유효성을 입증했습니다.
   • 기기 도달률 (Device Reach): 기존 페더러티드 러닝 기반 접근법 (49%) 대비 **93%**로 크게 향상됨.
   • 자원 효율성: 기기당 쿼리 처리 시 배터리 소모가 0.005% 미만으로 매우 낮음.

4. 평가 결과 (Results)

• 정확도 (Accuracy):
  • 목표인 **상대 오차 3%**를 달성하기 위해 필요한 프라이버시 예산 ($\epsilon$) 이 기존 방법 (Joint Clipping, Budget Split) 에 비해 현저히 낮았습니다.
  • $\epsilon = 2$ (사용자, 주 단위) 조건에서 목표 유틸리티를 달성했으며, 이는 강력한 프라이버시 보장을 의미합니다.
  • 기존 베이스라인은 $\epsilon = 16$에서도 목표 오차 (3%) 를 달성하지 못했으나, Mayfly 의 스케일링 메커니즘은 $\epsilon = 2$에서 성공했습니다.
• 확장성 및 도달률:
  • 5 억 대 이상의 기기에서 400 만 개 이상의 통계를 계산했습니다.
  • 배터리, 네트워크, 유휴 상태 등 제약 조건을 완화하고 지연 허용 설계를 통해 저사양 기기까지 포함하여 도달률을 49% 에서 93% 로 끌어올렸습니다.
• 자원 소비:
  • 기기당 데이터 전송량은 15kB 미만, 처리 시간은 약 8.5 초 (쿼리 실행 자체는 1 초 미만) 로 매우 경량화되었습니다.

5. 의의 및 결론 (Significance)

• 실용적 프라이버시 보호: Mayfly 는 이론적인 차분 프라이버시 개념을 수억 대의 실제 기기에 적용 가능한 엔지니어링 시스템으로 구현한 사례입니다.
• 데이터 소유권 재정의: 개별 사용자의 원본 데이터를 중앙 서버에 저장하지 않고, 오직 집계된 익명 데이터만 생성하는 '일시적 (Ephemeral)' 모델을 통해 내부자 위협과 데이터 유출 리스크를 근본적으로 줄였습니다.
• 지속 가능성 및 정책 지원: 탄소 배출량 추정과 같은 글로벌 규모의 환경 문제 해결에 필요한 고품질 데이터를 프라이버시를 침해하지 않고 제공할 수 있음을 입증했습니다.
• 미래 지향성: 이 아키텍처는 추후 TEE(신뢰 실행 환경) 기반의 암호화 메모리 등을 결합하여 더 강력한 보안을 제공할 수 있는 기반을 마련했습니다.

요약하자면, Mayfly 는 고성능 온디바이스 AI 분석과 강력한 차분 프라이버시를 동시에 실현하기 위해, 데이터 최소화, 일시적 집계, 그리고 통계적 특성을 활용한 새로운 DP 알고리즘을 결합한 혁신적인 시스템입니다.