Multimodal Privacy-Preserving Entity Resolution with Fully Homomorphic Encryption

"다중 모달 프라이버시 보호 엔티티 해결을 위한 완전 동형 암호화"에 대한 상세 기술 요약입니다.

1. 문제 제기

이 논문은 정부, 금융, 주민등록국 (DMV) 과 같은 높은 규정 준수 분야에서의 **엔티티 해결 (ER)**이라는 중대한 과제를 다룹니다. 여기서 안전한 신원 조정은 다음과 같은 요인들로 인해 방해받고 있습니다:

• 데이터 이질성: 구문적 차이 (예: "Anne" 대 "Ann", "St." 대 "Street") 와 동적 생체 정보 데이터 (주소 변경, 이름 약어 등) 를 포함한 개인 식별자의 상당한 변이.
• 생체 인식의 한계: 단일 모달리티 (예: 얼굴 인식) 에 대한 의존성은 노화, 낮은 이미지 품질, 또는 과거 생체 정보 데이터의 부재로 인해 종종 불충분합니다.
• 프라이버시 제약: 생체 정보 및 생체 정보 데이터의 전통적 융합은 민감한 개인 식별 정보 (PII) 를 복호화해야 하므로, 템플릿이 재구성되거나 유출될 수 있는 보안 위험을 초래합니다.
• 기존 격차: 현재 다중 모달 접근 방식은 종종 제한된 데이터셋에 의존하거나, 통제되지 않은 변이 (예: 정면 얼굴 사진의 노화) 에 취약하거나, 매칭 과정에서 프라이버시를 보호하지 못합니다.

2. 방법론

저자들은 완전 동형 암호화 (FHE), 구체적으로 HEAAN 라이브러리의 RNS-CKKS 방식을 사용하여 암호화된 도메인 내에서 엔티티 해결을 수행하는 새로운 프레임워크를 제안합니다.

A. 데이터셋 생성

• 합성 데이터 생성: 실제 세계의 다중 모달 데이터셋 부족을 극복하기 위해, 저자들은 헤드샷 생성에 Stable Diffusion XL을, 현실적인 이름/주소 변이 생성에 Claude 3.5-Sonnet을 사용하여 합성 데이터셋을 만들었습니다.
• 규모: 최종 데이터셋은 36,661 명의 고유 개인과 287,532 개의 레코드를 포함하며, 다음을 특징으로 합니다:
  • 여러 주소 철자와 변이.
  • 헤드샷의 노화 효과 (KYC 와 검증 사이의 시간 간격 시뮬레이션).
  • 중첩된 주소와 이름 변이.
• 분할: 21,661 명의 개인을 학습용, 10,000 명을 테스트용 (5,000 명 등록, 5,000 명 쿼리) 으로 분할했습니다.

B. 모델 아키텍처 및 학습

이 시스템은 생체 정보 (이미지) 와 생체 정보 (텍스트) 데이터를 결합한 다중 모달 학습 스트림을 활용합니다:

1. 인코더: 사전 학습된 CLIP ViT-B/32 모델을 백본으로 사용합니다.
   • 이미지 인코더: 생체 정보 템플릿 ($f_{bm}$) 을 생성합니다.
   • 텍스트 인코더: 토큰화된 속성 - 값 쌍 (예: [ATT]Name[VAL]Jonathan) 에서 생체 정보 템플릿 ($f_{bg}$) 을 생성합니다.
2. 프로젝션 모듈: 두 개의 학습 가능한 다층 퍼셉트론 (MLP) 이 템플릿을 처리합니다:
   • BMMLP: 생체 정보 템플릿을 처리하여 점수 벡터 ($s_{bm}$) 를 생성합니다.
   • BGMLP: 생체 정보 템플릿을 처리하여 점수 벡터 ($s_{bg}$) 를 생성합니다.
3. 학습 목표: 벡터는 정규화되고 연결된 후 **대비 손실 (Contrastive Loss)**을 사용하여 최적화되며, 동일한 개인의 임베딩은 가깝게, 다른 개인은 멀게 배치됩니다.

C. 프라이버시 보호 파이프라인 (FHE)

핵심 혁신은 데이터를 한 번도 복호화하지 않고 매칭을 수행하는 것입니다:

1. 등록: 점수 벡터는 저장 전에 정규화되고 FHE 를 사용하여 암호화됩니다.
2. 검증:
   • 쿼리 벡터는 암호화됩니다.
   • 거리 계산: 유클리드 거리 $D(q, g) = ||q - g||^2$가 암호화된 데이터에서 계산됩니다.
   • 비선형 근사: FHE 는 덧셈과 곱셈만 지원하므로, 비교/임계값과 같은 비선형 함수는 비교 함수 ($comp(a, b)$) 를 모방하기 위해 [15] 기반의 반복적 다항식 알고리즘을 사용하여 근사화됩니다.
3. 융합 전략:
   • 특징 수준 융합: 매칭 전에 암호화된 벡터를 연결합니다.
   • 점수 수준 융합: 개별 모달리티 점수를 암호화한 후, 암호화된 도메인에서 평균화/결합합니다.

3. 주요 기여

1. 암호화된 도메인 엔티티 해결: 매칭 수명 주기 전반에 걸쳐 PII 가 계산적으로 접근 불가능하게 유지되는 완전한 파이프라인으로, 암호학적 보장을 통해 GDPR, HIPAA 와 같은 엄격한 규제 의무를 충족합니다.
2. 다중 모달 프레임워크: 노화와 데이터 이질성을 처리하기 위해 생체 정보 (얼굴) 와 생체 정보 (이름/주소) 데이터를 통합하여 단일 모달 베이스라인을 크게 능가합니다.
3. 새로운 합성 데이터셋: 노화, 주소 변경, 이름 변이 등 실제 세계 ER 시나리오를 시뮬레이션하는 대규모 현실적 데이터셋을 공개하여 향후 연구를 촉진합니다.
4. 성능 대 프라이버시: FHE 가 평문 처리에 비해 영향 손실 (zero utility loss) 없이 복잡한 다중 모달 매칭에 사용될 수 있음을 입증합니다.

4. 실험 결과

이 시스템은 동등 오류율 (EER), 참 긍정률 (TPR), 지연 시간 지표를 사용하여 합성 데이터셋에서 평가되었습니다.

• 정확도 및 유틸리티:

  • 영향 손실 없음: 암호문 (CT) 결과는 평문 (PT) 결과와 동일하여 암호화가 성능을 저하시키지 않음을 입증했습니다.
  • 다중 모달 우위:
    • 생체 정보 전용: EER = 12.37%
    • 생체 정보 전용: EER = 7.78%
    • 융합 (점수 수준): EER = 4.08% (최고 전체 EER)
    • 융합 (특징 수준): EER = 5.17%
  • 랭크 -1 식별: 특징 수준 융합이 **75.86%**의 정확도를 달성하여 점수 수준 융합 (71.55%) 보다 우수했습니다.
  • 랭크 -5 식별: 점수 수준 융합이 더 나은 견고성을 보였습니다 (87.07% 대 85.34%), 이는 최상위 후보가 잘못되었을 때 매칭을 더 잘 분산시킨다는 것을 시사합니다.

• 지연 시간 및 확장성:

  • 이 시스템은 인상적인 병렬화 효율성을 보여주었습니다.
  • 128 개 스레드를 사용하여 단일 스레드 베이스라인에 비해 4.42 배 속도 향상 (~20.2 초에서 ~4.6 초로 단축) 을 달성했습니다.
  • 확장성은 메모리 대역폭이 병목 현상이 되기 전까지 32 개 스레드까지 거의 선형적인 개선을 보였습니다.

5. 의의

이 논문은 신원 관리를 위한 **프라이버시 강화 기술 (PETs)**의 중요한 발전을 나타냅니다.

• 규제 준수: 은행, 정부와 같은 기관이 프라이버시 법률을 위반하거나 데이터 유출 위험 없이 고품질 신원 매칭을 수행할 수 있는 실현 가능한 솔루션을 제공합니다.
• 확장성: 입증된 병렬화는 FHE 기반 인증이 실제 세계 대규모 배포를 위해 계산적으로 실행 가능해지고 있음을 시사합니다.
• 견고성: 암호화된 프레임워크 내에서 여러 데이터 모달리티를 결합함으로써, 단일 모달리티 시스템이 종종 해결하지 못하는 노화된 얼굴과 변경된 주소와 같은 "실제 세계"의 복잡성을 효과적으로 처리합니다.

결론적으로, 저자들은 고보안 프라이버시 요구 사항과 정확하고 대규모인 엔티티 해결 필요성 사이의 격차를 성공적으로 연결하여, 완전 동형 암호화가 차세대 인증 시스템을 위한 실용적인 도구가 될 수 있음을 입증했습니다.