From Measurement to Mitigation: Quantifying and Reducing Identity Leakage in Image Representation Encoders with Linear Subspace Removal

이 논문은 고정된 시각 임베딩 모델의 얼굴 식별 정보 누출을 정량화하는 벤치마크를 제시하고, 유용성을 유지하면서 신원 정보를 효과적으로 제거하는 선형 서브스페이스 제거 기법 (ISP) 을 제안하여 시각 검색 및 검색 시스템의 프라이버시를 강화하는 방법을 입증합니다.

핵심

이 논문은 **"사진 속 얼굴을 인식하지 않으면서도, 사진의 다른 특징 (배경, 옷차림 등) 은 기억할 수 있는 방법"**을 찾아낸 연구입니다.

비유하자면, 이 연구는 **"얼굴이라는 '지문'은 지우되, 사진의 '분위기'는 그대로 남기는 마법 지우개"**를 개발한 이야기입니다.

다음은 이 복잡한 연구를 일상적인 언어와 비유로 쉽게 풀어낸 설명입니다.

---

1. 문제: "얼굴을 기억하는 컴퓨터의 습관"

우리가 사진을 검색하거나 위조된 사진을 찾을 때, 컴퓨터는 '얼굴'을 인식하는 전문 시스템 (지문 인식기) 을 쓰지 않고, 더 일반적인 '사진 이해 시스템' (CLIP, DINOv2 등) 을 많이 사용합니다. 이 시스템들은 배경, 옷, 분위기 같은 걸 잘 기억해서 비슷한 사진을 찾아줍니다.

하지만 문제는 하나 있습니다.
이 시스템들이 사진을 분석할 때, 의도치 않게 사람의 '얼굴 특징 (신원 정보)'도 함께 기억해 버립니다.

• 비유: 당신이 친구의 사진을 보고 "아, 이 친구는 오늘 파란 옷을 입었구나!"라고 기억해야 하는데, 컴퓨터는 "아, 이 친구는 이 사람이다!"라고까지 기억해 버리는 꼴입니다.
• 위험: 만약 해커가 이 컴퓨터의 기억을 훔쳐서, "이 사진에서 얼굴 특징만 뽑아내서 원래 얼굴을 복원해 내는 (Template Inversion)" 공격을 한다면, 우리는 얼굴을 보호받지 못하게 됩니다.

2. 해결책: "ISP(신원 정화 투영)"라는 마법 지우개

연구팀은 이 문제를 해결하기 위해 **ISP(Identity Sanitization Projection)**라는 새로운 기술을 제안했습니다.

• 비유: 컴퓨터가 사진을 볼 때, 마치 **"얼굴이라는 특정 색깔의 안경을 쓴 상태"**로 보고 있는 것과 같습니다. ISP 는 그 안경을 벗겨주는 과정입니다.
• 어떻게 작동하나요?
  1. 컴퓨터가 사진을 분석한 결과 (데이터) 에서 **"얼굴을 구별하는 방향"**을 찾아냅니다. (예: "코가 크고 눈이 작으면 A 사람, 코가 작으면 B 사람" 같은 규칙)
  2. 그 특정 방향만 수직으로 잘라내서 (제거) 버립니다.
  3. 나머지 정보 (배경, 옷, 조명, 분위기) 는 그대로 남깁니다.
• 결과: 이제 컴퓨터는 "이 사진은 해변 배경에 파란 옷을 입은 사람"이라고 기억하지만, **"이 사람이 누구인지"**는 전혀 기억하지 못하게 됩니다. 마치 얼굴을 흐릿하게 처리한 사진처럼요.

3. 검증: 정말 효과가 있을까?

연구팀은 이 기술이 정말로 얼굴을 잊게 하는지, 그리고 사진 검색 기능은 망가뜨리지 않는지 실험했습니다.

A. 얼굴 기억하기 테스트 (공격자 시나리오)

• 실험: 해커가 컴퓨터의 기억을 이용해 "원래 얼굴을 다시 그려내려" 시도했습니다.
• 결과:
  • ISP 적용 전: 얼굴 전문 시스템 (지문 인식기) 은 얼굴을 완벽하게 복원했지만, 일반 시스템도 어느 정도 얼굴을 기억하고 있었습니다.
  • ISP 적용 후: 일반 시스템은 얼굴을 전혀 기억하지 못했습니다. 해커가 아무리 노력해도 얼굴을 복원할 수 없었습니다. (확률적으로 무작위 추측 수준으로 떨어졌습니다.)

B. 유용성 테스트 (검색 기능)

• 질문: 얼굴 정보를 지우면, "비슷한 배경의 사진 찾기"나 "위조 사진 찾기" 같은 원래 기능이 망가지지 않을까요?
• 결과: 전혀 망가지지 않았습니다.
  • 비유: "얼굴"이라는 특정 단어를 지우니, 컴퓨터는 "배경"이나 "옷"을 더 잘 기억하게 되어 오히려 검색 기능이 더 깔끔해졌습니다. 사진의 '분위기'는 그대로 유지되면서 '개인 정보'만 사라진 것입니다.

4. 핵심 요약: 왜 이 연구가 중요한가요?

1. 안전한 검색: 우리는 얼굴을 인식하지 않아도 (개인정보 보호법 때문에 얼굴 인식을 못 쓰는 경우에도) 사진 검색이나 위조 탐지가 가능합니다.
2. 한 번만 설정하면 끝: 이 '마법 지우개 (ISP)'는 한 번만 만들어두면, 어떤 새로운 사진이 들어와도 자동으로 얼굴 정보를 지워줍니다. 매번 다시 학습할 필요가 없습니다.
3. 이동성: 한 나라의 데이터로 만든 지우개도 다른 나라의 데이터에서도 잘 작동했습니다. (보편적인 얼굴 특징을 지우기 때문)

결론

이 논문은 **"컴퓨터에게서 얼굴을 잊게 하되, 사진의 다른 매력은 기억하게 하는 기술"**을 개발했습니다.

마치 친구의 얼굴을 흐릿하게 처리한 사진을 보여줄 때, "이 친구가 누구인지"는 알 수 없지만 "오늘 해변에서 파란 옷을 입고 웃고 있었구나"는 정보는 온전히 전달되는 것과 같습니다. 이를 통해 우리는 개인정보 보호와 실용적인 기술 사용이라는 두 마리 토끼를 모두 잡을 수 있게 되었습니다.

기술 요약

이 논문은 **"측정에서 완화까지: 선형 부분공간 제거를 통한 이미지 표현 인코더의 신원 유출 정량화 및 감소 (From Measurement to Mitigation: Quantifying and Reducing Identity Leakage in Image Representation Encoders with Linear Subspace Removal)"**라는 제목으로, 얼굴이 포함된 데이터를 처리하는 비생체 인식 (Non-FR) 시각 인코더의 신원 유출 위험을 측정하고 이를 완화하는 새로운 방법을 제시합니다.

다음은 논문의 핵심 내용을 기술적으로 요약한 것입니다.

---

1. 문제 정의 (Problem)

• 배경: CLIP, DINOv2/v3, SSCD 와 같은 동결된 (frozen) 시각 임베딩은 대규모 검색 및 무결성 시스템 (중복 검색, 조작 감지 등) 의 핵심 기술로 널리 사용됩니다.
• 위험: 이러한 모델들은 명시적으로 얼굴 인식 (FR) 을 위해 훈련된 것은 아니지만, 얼굴이 포함된 데이터에 적용될 때 잔여 생체 정보 (신원 정보) 가 유출될 수 있습니다.
• 현황: 기존 연구들은 주로 얼굴 인식 (FR) 모델에 초점을 맞추거나, CLIP 에 대한 폐쇄형 (closed-set) 분석에 그쳤습니다. 실제 배포 환경에서 요구되는 낮은 오인정률 (Low False-Accept Rate, FAR) 조건에서의 개방형 (open-set) 신원 유출을 정량화하고, 이를 완화할 수 있는 실용적인 방법이 부재했습니다.
• 목표: 공격자를 의식한 (attacker-aware) 관점에서 비생체 인식 인코더의 신원 유출을 측정하고, 유용성 (utility) 을 해치지 않으면서 신원 정보를 제거하는 경량화된 완화 기법을 제안하는 것입니다.

2. 방법론 (Methodology)

A. 공격자 의식 측정 벤치마크 (Attacker-Aware Audit Suite)

논문의 첫 번째 기여는 신원 유출을 측정하기 위한 세 가지 진단 도구입니다.

1. 낮은 FAR 에서의 개방형 검증 (Open-Set Verification): Ridge 회귀 및 MLP 를 사용하여 훈련된 선형 프로브 (probe) 로, 훈련 세트와 완전히 분리된 테스트 세트에서 낮은 오인정률 (FAR $\approx 10^{-4}$) 조건에서의 신원 확인률 (TAR) 을 측정합니다.
2. 확산 기반 템플릿 역추적 (Diffusion-based Template Inversion): 저장된 임베딩에서 실제 얼굴 이미지를 복원하는 공격 (DiffMI, Bob, Vec2Face, ALSUV 등) 을 수행하고, 복원된 이미지가 다른 FR 모델에서 검증되는지 확인하여 비선형/생성적 유출을 평가합니다.
3. 얼굴 - 문맥 귀속 분석 (Face-Context Attribution): 얼굴 영역과 배경 영역에 동일한 면적의 변형 (가림, 흐림) 을 가하여 임베딩의 유사도 변화가 어디에서 기인하는지 분석합니다.
   • FII (Face Importance Index): 얼굴 가림과 배경 가림의 영향력 차이.
   • CPI (Context Preference Index): 얼굴이 흐려질 때 문맥 (배경) 에 의존하는 정도.
   • B (Background Revelation Threshold):* 배경이 얼마나 드러나야 문맥이 신원보다 우선시되는지 측정.

B. 신원 정화 투영 (Identity Sanitization Projection, ISP)

두 번째 주요 기여는 ISP라는 경량화된 사후 처리 (post-hoc) 기법입니다.

• 원리: 각 신원 (identity) 의 평균 임베딩을 계산하고, 이 평균 벡터들의 공분산 구조를 분석합니다. 주성분 분석 (SVD) 을 통해 **신원 정보를 담고 있는 주요 선형 부분공간 (identity subspace)**을 추정합니다.
• 작동 방식: 추정된 상위 $r$개의 주성분 방향에 직교하는 투영 행렬 $P$를 생성하여, 임베딩에서 이 부분공간을 제거합니다.
  • 수식: $\tilde{z} = \frac{P z}{\|P z\|_2}$, 여기서 $P = I - U_r U_r^\top$.
• 특징:
  • One-shot: 한 번의 SVD 연산으로 완료되며, 반복적인 적대적 훈련이 필요 없습니다.
  • Auditable: 제거된 차원 수 ($r$) 를 조절하여 프라이버시와 유용성 간의 균형을 명확히 통제할 수 있습니다.
  • Transferable: 한 데이터셋 (예: CelebA) 에서 학습된 투영 행렬이 다른 데이터셋 (예: VGGFace2) 에도 적용 가능하여 재학습 없이 배포가 용이합니다.

3. 주요 실험 결과 (Key Results)

A. 신원 유출 측정 결과

• 비생체 인코더의 유출: CLIP, DINOv2, DINOv3, SSCD 모두 낮은 FAR 조건에서 선형 프로브에 의해 신원 정보가 어느 정도 접근 가능했습니다. 특히 CLIP 이 DINO 계열이나 SSCD 에 비해 상대적으로 높은 유출을 보였습니다.
• 생성적 역추적: 비생체 인코더는 FR 모델 (ArcFace 등) 에 비해 템플릿 역추적 공격에 매우 취약하지 않았습니다. 역추적 성공률은 거의 0% 에 가까웠으며, 이는 비선형적 유출이 선형 유출보다 훨씬 낮음을 시사합니다.
• 문맥 의존성: 비생체 인코더는 FR 모델과 달리 얼굴보다 배경 (문맥) 에 더 의존하는 경향이 있었습니다.

B. ISP 의 효과

• 선형 접근성 제거: ISP 를 적용한 후, 개방형 선형 프로브의 TAR(정확도) 은 **우연 수준 (chance level, ~0-3%)**으로 급격히 하락했습니다. 이는 신원 정보가 선형적으로 접근 불가능해졌음을 의미합니다.
• 비선형 robustness: 선형 공격자뿐만 아니라, 투영된 임베딩에 대해 훈련된 MLP(비선형) 프로브에서도 신원 접근성이 크게 감소했습니다.
• 유용성 보존: ImageNet 분류 (k-NN, Linear Probe) 및 이미지 복사 감지 (DISC2021) 와 같은 비생체 인식 작업에서 유용성은 거의 손실되지 않았습니다 (대부분 95%~100% 이상 유지).
• 데이터셋 간 전이: CelebA 에서 학습된 ISP 투영 행렬을 VGGFace2 에 적용했을 때도 유사한 프라이버시 보호 효과를 보였으며, 이는 신원 부분공간이 데이터셋에 구애받지 않는 보편적인 구조임을 시사합니다.

4. 주요 기여 (Contributions)

1. 공격자 의식 벤치마크: 비생체 인식 시각 인코더에 대한 최초의 개방형, 낮은 FAR 조건에서의 프라이버시 감사 도구 (선형 검증, 확산 역추적, 귀속 분석) 를 제시했습니다.
2. ISP (Identity Sanitization Projection): 얼굴 신원 정보를 선형 부분공간 제거를 통해 효율적으로 제거하면서도 유용성을 유지하는 경량화된 사후 처리 기법을 제안했습니다.
3. 이론적 및 실증적 증거: 비생체 인코더의 신원 신호가 압축되고 전이 가능한 선형 부분공간에 집중되어 있음을 증명하여, 고정된 투영 행렬을 통한 강력한 프라이버시 보장이 가능함을 입증했습니다.

5. 의의 및 결론 (Significance)

• 실무적 적용 가능성: GDPR, CCPA 등 개인정보 보호 규정이 엄격한 환경 (금융, 여행, 소셜 네트워크 등) 에서 얼굴 인식 기술을 사용하지 않고도 이미지 검색 및 무결성 검증을 수행할 수 있는 안전한 대안을 제공합니다.
• 프라이버시 - 유용성 트레이드오프 해소: 기존에는 신원 정보를 완전히 제거하면 모델의 유용성이 크게 떨어지는 것으로 알려졌으나, ISP 를 통해 높은 프라이버시 보장과 높은 유용성 유지를 동시에 달성할 수 있음을 보였습니다.
• 오픈소스 및 표준화: 평가 툴킷과 프로젝터 코드를 오픈소스로 공개하여, 산업계에서 프라이버시 친화적인 시각 모델 배포를 위한 표준을 마련하는 데 기여합니다.

요약하자면, 이 논문은 "얼굴이 포함된 이미지에서도 CLIP/DINO 같은 모델이 신원을 유출할 수 있다"는 사실을 정량적으로 증명하고, **선형 부분공간 제거 (ISP)**라는 간단한 기법으로 이를 해결하면서도 모델의 본래 기능을 유지할 수 있음을 입증한 중요한 연구입니다.