🤖 machine learning

ScoreShield: Differentially Private Release of Similarity Scores

이 논문은 단순한 노이즈 추가 방식에 비해 유틸리티 손실을 크게 줄이고 프라이버시-유틸리티 트레이드오프를 개선하기 위해 유사도 점수를 섭동시키고 유효한 타당성 집합으로 투영하는 차분 프라이버시 메커니즘인 ScoreShield를 소개하며, 이론적 보장을 제공하고 RAG 및 생체 인식과 같은 다양한 응용 분야에서의 효과를 입증한다.

원저자: Behrooz Razeghi, Parsa Rahimi

게시일 2026-07-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Behrooz Razeghi, Parsa Rahimi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 모든 책, 사진, 노래가 숫자로 된 비밀 '지문'으로 변환된 거대하고 첨단 기술이 집약된 도서관에 있다고 상상해 보십시오. 이 지문들은 매우 정밀하여 컴퓨터가 두 항목이 쌍둥이인지, 사촌인지, 아니면 생판 남인지를 즉각적으로 구별할 수 있습니다. 이것이 바로 얼굴 인식으로 휴대폰 잠금을 해제하거나, 완벽한 플레이리스트의 곡을 찾거나, 심지 even AI 챗봇이 질문에 답하기 위해 적절한 사실을 찾는 데 도움을 주는 현대 기술의 작동 방식입니다. 하지만 여기 함정이 있습니다. 이 지문들은 마스터 키와 같습니다. 만약 누군가 모든 것과 모든 것 사이의 유사성 목록을 훔친다면, 그들이 원래의 사진을 보거나 노래를 듣지 못했더라도 도서관에 정확히 누가 있는지 알아낼 수 있습니다. 이는 마치 동네의 모든 집 사이의 정확한 거리를 아는 것과 같습니다. 당신은 누가 누구 옆에 사는지 지도를 그려낼 수 있고, 잠재적으로 당신이 궁금해하는 특정 집에 누가 사는지 추측할 수 있게 됩니다.

이를 막기 위해 과학자들은 '차분 프라이버시(differential privacy)'라는 영리한 기술을 사용합니다. 이것은 라디오 신호에 약간의 잡음(static noise)을 추가하는 것과 같습니다. 당신은 유용한 정보인 '음악'이 명확하게 전달되기를 원하지만, 누군가 엿들으려 할 때 정확히 어떤 노래가 나오고 있는지 또는 누가 노래하는지 알 수 있도록 딱 적당한 양의 잡음을 추가합니다. 문제는 잡음을 너무 많이 넣으면 음악이 알아들을 수 없는 쓰레기가 된다는 것입니다. 반대로 잡음을 너무 적게 넣으면 도청자가 가사를 들을 수 있게 됩니다. 오랫동안 이 잡음을 추가하는 표준적인 방식은 다소 서툴렀습니다. 그 방식은 데이터가 이러한 '유사도 점수'가 가진 엄격한 규칙(예를 들어, 두 대상은 100% 이상 유사할 수 없으며, 어떤 대상은 자기 자신과 100% 유사해야 한다는 규칙)을 무시한 채, 데이터를 단순히 숫자 리스트처럼 취급했습니다. 이 서툰 방식은 종-종 음악을 너무 왜곡시켜 검색 결과의 순위를 매기거나 정체성을 확인하는 데 유용하지 않을 정도로 데이터를 망가뜨렸습니다.

여기서 새로운 논문인 ScoreShield가 등장하여 더 똑똑한 해결책을 제시합니다. 연구진인 베로즈 라제기(Behrooz Razeghi)와 파르사 라히미(Parsa Rahimi)는 단순히 데이터에 잡음을 쏟아붓고 결과가 좋아지길 기도하는 대신, 잡음을 추가한 직과 동시에 결과를 '수정'하여 데이터가 유사성의 규칙을 따르도록 해야 한다는 점을 깨달았습니다. 이것은 당신이 특정 바구니에 공을 던지려고 하는데, 안개가 자욱한 창문을 통과해서 던져야 하는 상황과 같습니다. 나이브한(naive) 접근 방식은 그저 눈을 가린 채 공을 던지고 그것이 바구니에 착륙하기만을 바라는 것입니다. 반면 ScoreShield는 안개 속으로 공을 던진 다음, 공이 착륙하는 즉시 공이 선 밖으로 살짝 굴러 나갔다면 부드럽게 다시 바구니 안으로 밀어 넣는 것과 같습니다. 이 '밀어 넣기'는 수학적 투영(projection)이며, 이를 통해 최종 숫자들이 ( -1과 1 사이의 값을 유지하며 수학적으로 일관되게) 여전히 유효한 유사도 점수가 되도록 보장하면서도 프라이버시 보호를 해치지 않습니다.

이 논문은 이 '잡음 추가 후 수정' 방식이 게임 체인저임을 밝혀냈습니다. 연구진이 사진 속 얼굴 인식이나 AI 챗봇이 올바른 정보를 찾는 것과 같은 실제 작업에서 테스트했을 때, ScoreShield는 기존의 서툰 방식들보다 데이터를 훨씬 더 유용하게 유지했습니다. 예를 들어, 수천 장의 사진이 서로 얼마나 유사한지에 대한 전체 목록을 공개할 때, 기존 방식은 데이터가 너무 엉망이 되어 사진의 수가 증가함에 따라 오차가 엄청나게 커졌습니다. 그러나 ScoreShield는 수천 개의 항목이 있는 상황에서도 오차를 훨씬 작고 관리 가능한 수준으로 유지했습니다. 그들은 이것이 단일 확인(예: "이 얼굴이 일치하는가?")과 대규모 리스트(예: "이 모든 얼굴들이 서로 어떻게 연관되어 있는가?") 모두에 작동한다는 것을 수학적으로 증명했습니다.

연구진은 또한 이 방법이 이론에만 머물지 않고 실제로도 작동한다는 것을 보여주었습니다. 그들은 유명한 얼굴 인식 데이터셋을 통해 테스트를 진행했으며, 강력한 프라이버시 보호를 유지하면서도 시스템이 비공개 버전만큼이나 거의 비슷하게 얼굴을 식-별하고 검색 결과의 순위를 매길 수 있음을 발견했습니다. 심지어 그들은 '밀어 넣기' 과정을 빠르게 수행할 수 있는 빠른 컴퓨터 알고리즘을 구축하여 속도가 느려지지 않도록 했습니다. 요컨대, ScoreShield는 데이터의 형태를 존중함으로써 완전한 프라이버시와 유용한 데이터 사이에서 하나를 선택할 필요가 없다는 것을 증명합니다. 이는 우리가 매일 사용하는 도구들을 망가뜨리지 않으면서도 사람들의 비밀을 보호하는 방법입니다.

기술 요약: ScoreShield

문제 정의

생체 인식 검증 및 검색 증강 생성(RAG)을 포함한 점점 더 많은 애플리케이션들이 벡터 임베딩 간에 계산된 코사인 유사도 점수에 의존하고 있습니다. 이러한 시스템들은 API를 통해 유사도 점수(쿼리-컬렉션 매칭을 위한 벡터 또는 쌍별 분석을 위한 그람 행렬 형태)를 공개하는 경우가 많습니다. 그러나 이러한 공개는 개별 레코드에 대한 정보를 유출하여 멤버십 추론 공격(membership inference attacks) 및 점수 유도형 힐 클라이밍 공격(score-guided hill-climbing attacks)을 가능하게 할 수 있습니다.

차분 프라이버시(Differential Privacy, DP)가 이러한 위험을 완화하기 위한 원칙적인 프레임워크를 제공하지만, 표준 DP 메커니즘—구체적으로 벡터 엔트리나 행렬 요소에 독립적이고 동일한 분포(i.i.d.)를 가진 가우시안 노이즈를 추가하는 방식—을 나이브하게 적용하는 것은 불충분하다는 것이 드러났습니다. 이 접근 방식은 코사인 유사도 벡터와 그람 행렬을 제약이 없는 유클리드 배열으로 취급합니다. 결과적으로, 섭동(perturbed)된 출력값은 코사인 유사도에 내재된 기하학적 제약을 위반하게 됩니다:

벡터: 점수는 $[-1, 1]$ 범위 내에 있어야 합니다.
그람 행렬: 행렬은 대칭(symmetric)이어야 하며, 양의 준정부호(PSD)여야 하고, 단위 대각 성분(unit diagonal entries, 임베딩이 단위 노름을 가지므로)을 가져야 하며, 비대각 성분은 $[-1, 1]$ 사이로 제한되어야 합니다.

나이브한 가우시안 섭동은 이러한 제약을 보존하지 못하며, 이는 주어진 프라이버시 예산(privacy budget) 하에서 과도한 왜곡(낮은 유용성)을 초래합니다. 또한, 나이브한 메커니즘의 오차 스케일링은 좋지 않습니다. 레코드 수준 교체(record-level replacement) 하에서의 전체 쌍별 그람(Gram) 공개의 경우, 기대 제곱 프로베니우스 오차(expected squared Frobenius error)는 갤러리 크기 $n$ 이 증가함에 따라 $\Theta(n^3)$ 으로 급격히 악화됩니다.

방법론: ScoreShield

저자들은 기하학적 타당성을 엄격하게 강제하면서 중앙 모델 $(\varepsilon, \delta)$ -차분 프라이버시 하에서 유사도 점수를 공개하기 위해 설계된 "섭동 후 투영(perturb-then-project)" 메커니즘인 ScoreShield를 제안합니다. 이 프레임워크는 두 가지 체제(regime)로 작동합니다.

1. 쿼리-컬렉션 벡터 공개 (체제 i)

이 체제에서 큐레이터는 공용 쿼리 임베딩 $q$ 와 $n$ 개의 저장된 임베딩 사이의 유사도를 나타내는 사설화된 점수 벡터 $s = Eq$를 공개합니다.

메커니즘: 큐레이터는 클린 점수 벡터를 계산하고, 글로벌 $\ell_2$ -민감도( $\Delta_{query} = 2$ )에 맞춰 조정된 가우시안 노이즈를 추가한 다음, 노이즈가 섞인 벡터를 타당성 집합 $C_{query} = [-1, 1]^n$ 위로 투영합니다.
투영: 투영은 단순한 좌표별 클리핑(coordinate-wise clipping) 연산입니다: $\text{proj}_{C_{query}}(s')_i = \max(-1, \min(1, s'_i))$ .
프라이버시: 투영은 사적인 데이터와 독립적인 결정론적 후처리 단계이므로, 가우시안 메커니즘의 $(\varepsilon, \delta)$ -DP 보장이 유지됩니다.

2. 전체 쌍별 그람 행렬 공개 (체제 ii)

이 체제에서 큐레이터는 비대화형 분석(예: 클러스터링, 편향 감사)을 위해 사설화된 쌍별 코사인 그람 행렬 $S = EE^\top$ 를 공개합니다.

메커니즘: 큐레이터는 그람 행렬에 가우시안 노이즈를 추가하며, 이는 글로벌 프로베니우스 민감도에 맞춰 조정됩니다. 레코드 수준 인접성(record-level adjacency) 하에서 이 민감도는 $\Delta_{full} = 2\sqrt{2(n-1)} = \Theta(\sqrt{n})$ 입니다.
투사: 노이즈가 섞인 행렬은 코사인-그람 타당성 집합 $C_{coll}$ 위로 투영됩니다. 이 집합은 단위 대각 성분과 $[-1, 1]$ 사이의 비대각 성분을 가진 대칭, PSD 행렬들의 집합으로 정의됩니다.
알고리즘: 이 집합(elliptope)으로의 정확한 투영은 계산 비용이 많이 들기 때문에(SDP 요구), 저자들은 빠른 평균 교대 투영(Fast Averaged Alternating Projection, AAP) 알고리즘을 사용합니다. 이 알고리즘은 PSD 콘(cone)으로의 투영(고윳값 클리핑을 통해)과 단위 대각 박스로의 투영(엔트리별 클리핑을 통해) 사이를 반복합니다. 저자들은 유계 선형 정규성(bounded linear regularity) 하에서 타당성으로의 R-선형 수렴을 증명합니다.

주요 기여

나이브 가우시안 DP에 대한 정량적 개선:
- 그람 행렬 공개의 경우, 레코드 수준 인접성 하에서 나이브 가우시안 메커니즘은 $\Theta(n^3)$ 의 기대 제곱 프로베니우스 오차를 발생시킵니다. 기하학적 타당성 집합을 활용하는 ScoreShield는 고정된 프라이버시 파라미터에 대해 이 바운드를 $O(n^2)$ 로 개선합니다.
- 출력 공간(그람 행렬) 인접성 하에서는 $\Theta(n^2)$ 에서 $O(n^{3/2})$ 로 개선됩니다.
- 벡터 공개의 경우, ScoreShield는 나이브 메커니즘의 $\Theta(n)$ 최악의 스케일링을 보존하면서도, 투영을 통해 포화된 좌표에서의 오차를 줄임으로써 상수 배의 이득을 제공합니다.
결정 수준 메트릭에 대한 유용성 보장 (체제 i):
- 본 논문은 검증 작업에 대한 이론적 보장을 제공하며, 노이즈로 인한 결정 변화(수락/거절)의 확률을 특성화합니다.
- 사설화된 점수에 의해 달성 가능한 모든 운용 지점(오탐률, 진탐률)을 복구할 수 있는 임계값 재보정(threshold re-calibration)의 존재와 유일성을 증명합니다.
- ROC/AUC에 대한 균등 안정성(uniform stability)을 확립하여, 리프시츠 연속 점수 CDF 하에서 편차가 최대 $O(\sigma)$ 임을 보여주며, 이는 1차적으로 타이트(first-order tight)합니다.
수렴 보장을 갖춘 확장 가능한 투영:
- 저자들은 대규모 그람 행렬에 대한 코사인 제약을 강제하기 위한 확장 가능한 AAP 솔버를 도입합니다.
- 정확한 SDP 투영이 다루기 힘든 대규모 공개의 실용적 적용 가능성을 보장하기 위해, 이 솔버의 타당성 집합으로의 R-선형 수렴에 대한 이론적 증명을 제공합니다.
포괄적인 평가:
- 체제 (i): 얼굴 인식(LFW, IJB-B/C 및 기타 벤치마크 사용) 및 DP-RAG(FRAMES 벤치마크 사용)에서 평가되었습니다. 결과는 ScoreShield가 특히 엄격한 운용 지점에서 나이브 가우시안 노이즈보다 결정 수준 유용성(검증 정확도, TAR)을 훨씬 더 잘 유지함을 보여줍니다.
- 체제 (ii): 이미지 유사도(CIFAR-10/100, Oxford-IIIT Pets), 의미적 텍스트 유사도(STS-B), 추천 시스템(MovieLens-100K)에서 평가되었습니다. 투영된 그람 행렬은 클러스터링(NMI), 검색(Recall@1), 협업 필터링(RMSE)과 같은 다운스트림 작업에서 일관되-게 투영되지 않은 노이즈 행렬보다 우수한 성능을 보였습니다.

의의 및 주장

본 논문은 임계값 재보정을 결정 수준 보장과 연결하는 딥 페이스 인식 시스템의 첫 번째 체계적인 중앙 모델 $(\varepsilon, \delta)$ -DP 분석을 제공한다고 주장합니다. 이는 기존 연구들이 로컬 DP(입력 섭동)나 암호학적 방법에 집중하여, 공개된 유사도 점수에 대한 중앙 모델 보장을 거의 탐구하지 않았던 문헌의 중요한 공백을 메웁니다.

저자들은 ScoreShield를 일반적이고 모달리티에 구애받지 않는(modality-agnostic) 후처리 래퍼로 포지셔닝합니다. 투영을 통해 코사인 유사도의 구조적 제약(PSD, 단위 대각, 유계 엔트리)을 강제함으로써, 이 메커니즘은 제약이 없는 노이즈 추가에 비해 우수한 프라이버시-유용성 트레이드오프를 달성합니다. 결과는 제약 인식 섭동(constraint-aware privatization)이 멤버십 추론 및 점수 유도형 공격에 대해 엄격한 프라이버시 보호를 제공하면서도 기능적으로 작동하기 위해 필요한 프리미티브임을 시사합니다.

이 연구의 범위는 레코드 수준 교체 인접성 하에서의 단발성, 비대화형 공개에 집중되어 있어 다소 제한적입니다. 저자들은 반복적인 적응형 쿼리(조합 계정이 필요함)를 다루지 않으며, 인스턴스 최적 노이즈 분포의 도출 또한 향후 연구 과제로 남겨두고 있음을 명시적으로 밝히고 있습니다.