💻 computer science

3D FaceShell: Attribute Transfer in 3D Face Avatars as a VLM Defense Mechanism

이 논문은 기하학적 충실도와 얼굴의 정체성을 보존하면서 시각-언어 모델의 속성 추론을 효과적으로 오도하기 위해 미세하고 학습 가능한 가우시안 섭동(Gaussian perturbation)을 삽입함으로써 3D 얼굴 아바타의 프라이버시를 보호하는 방어 프레임워크인 3D FaceShell을 소개한다.

원저자: Weston Bondurant, Srijan Das, Hieu Le, Stephanie Schuckers

게시일 2026-07-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Weston Bondurant, Srijan Das, Hieu Le, Stephanie Schuckers

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신의 얼굴을 본뜬 3D 아바타, 즉 전 세계의 친구들과 대화하거나 비디오 게임의 주인공이 될 수 있을 만큼 실제와 똑같이 생긴 디지털 트윈이 있다고 상상해 보세요. 일반적인 사진과 달리, 이 3D 모델은 살아 움직입니다. 당신은 이를 회전시키거나, 옆모습을 보거나, 조명을 바꿀 수 있지만, 여전히 당신의 모습 그대로 보입니다. 이제, 어떤 사진이든 보고 당신의 비밀(나이, 성별, 인종, 혹은 슬픈지 기쁜지 등)을 추측해낼 수 있는 아주 똑똑한 컴퓨터 두뇌(비전-언어 모델이라고 불리는)를 상상해 보세요. 무서운 점은, 일단 당신이 이 3D 아바타를 공유하고 나면, 이 컴퓨터 두뇌가 모든 가능한 각도에서 아바타를 분석하여 당신이 인지하지 못하는 사이에 당신의 사적인 세부 정보를 노출할 수 있다는 것입니다.

과학자들은 이전에 이를 막기 위해 노력해 왔지만, 그들의 기술은 주로 평면적인 2D 사진에만 효과가 있었습니다. 만약 2D 사진에 디지털 노이즈를 섞어 얼굴을 가린다면, 그 기술은 해당 사진 한 장에는 작동합니다. 하지만 누군가 당신의 3D 아바타를 단 몇 도만 회전시켜도 그 기술은 실패하며, 컴퓨터 두뇌는 속임수를 뚫고 당신을 바로 보게 됩니다. 이는 3D 물체를 결함이 있거나 망가진 것처럼 보이게 하지 않으면서 어떻게 보호할 것인가라는 큰 공백을 남깁니다. 이것이 바로 연구자들이 해결하고자 했던 퍼즐입니다.

여기, 3D 아바타를 위한 '디지털 투명 망토'로 설계된 영리한 새로운 방법인 3D FaceShell이 등장했습니다. 당신의 3D 얼굴을 수백만 개의 작은 빛나는 구슬(3D 가우시안 스플래팅이라는 기술)로 만들어진 조각상이라고 생각해 보세요. 보통 이 구슬들은 코, 눈, 미소를 형성하기 위해 빽빽하게 채워져 있습니다. 연구자들은 외형을 망가뜨리지 않고는 조각상 자체를 바꿀 수 없다는 것을 깨달았고, 대신 그 표면 바로 위에 떠 있는 두 번째의 보이지 않는 구슬 층을 추가했습니다. 이 새로운 층이 바로 "FaceShell"입니다.

여기 마법 같은 기술이 있습니다. 연구자들은 이 보이지 않는 껍데기가 매우 특정한 방식으로 아주 미세하게 흔들리도록 가르칩니다. 이 흔들림은 너무나 미세해서 인간의 눈에는 정확히 같은 얼굴, 즉 같은 코, 같은 미소, 같은 정체성을 가진 것으로 보입니다. 하지만 똑똑한 컴퓨터 두뇌에게 이 미세한 흔들림은 비밀 암호처럼 작용합니다. 컴퓨터가 아바타를 볼 때, 이 껍데기는 컴퓨터가 완전히 다른 것을 보게끔 속입니다. 예를 들어, 컴퓨터는 25세인 사람을 60세로 생각하거나, 검은 머리를 가진 사람이 밝은 빨간 머리를 가졌다고 생각하거나, 행복한 얼굴이 사실은 울고 있는 얼굴이라고 생각하게 만듭니다. 컴퓨터는 "껍데기" 때문에 혼란에 빠지지만, 인간은 여전히 실제 인물을 보게 됩니다.

연구팀은 유명 인사의 3D 아바타를 만들어 네 가지 강력한 컴퓨터 두뇌를 속이는 테스트를 진행했습니다. 그 결과 3D FaceShell이 컴퓨터를 속이는 데 매우 효과적임을 발견했습니다. 예를 들어, VideoLLaMA3라는 모델을 속이려 했을 때, 이 방법은 약 48.7%의 경우(주입률이라고 불리는 지표)에서 인물의 속성에 대한 컴퓨터의 추측을 바꾸는 데 성공했습니다. 더욱 인상적인 것은, 이 과정에서 얼굴을 99% 실제처럼 유지했다는 점입니다. 실제로 평면적인 2D 사진에 적용했던 기존 방식들과 비교했을 때, 3D FaceShell은 얼굴을 훨씬 더 자연스럽게 유지했습니다. 기존의 2D 방식들은 얼굴을 픽셀이 깨지거나 왜곡되어 마치 형편없는 비디오 게임 캐릭터처럼 보이게 만들었지만, 3D FaceShell은 얼굴을 선명하고 깨끗하게 유지했습니다.

연구진은 이 작업이 성공하기 위한 몇 가지 중요한 규칙을 발견했습니다. 첫째, 여러 각도에서 동시에 컴퓨터를 속여야 했습니다. 만약 얼굴을 정면에서 볼 때만 작동하도록 껍데기를 훈련시킨다면, 아바타를 옆에서 보는 순간 기술은 실패할 것입니다. 다섯 가지 각도에서 동시에 작동하도록 껍데기를 훈련함으로써, 아바타를 어떻게 돌리더라도 컴퓨터를 속일 수 있을 만큼 견고해졌습니다. 둘째, 하나의 속성만 바꾸려고 하는 것보다 모든 속성(나이, 머리카락, 성별, 표정)을 한꺼번에 바꾸는 것이 더 효과적이었습니다. 이는 마치 무거운 바위를 미는 것과 같습니다. 한 방향으로만 밀면 힘들지만, 여러 방향에서 동시에 밀면 더 강한 힘이 생겨 더 쉽게 움직일 수 있습니다.

하지만 논문은 이 방법이 하지 못하는 것에 대해서도 주의 깊게 언급하고 있습니다. 이 방법은 아바타를 인간에게 보이지 않게 만드는 것도 아니고, 컴퓨터가 사람의 정체성을 완전히 인식하는 것을 막는 것도 아닙니다(그렇게 되면 텔레프레즌스 용도로 아바타를 사용할 수 없게 됩니다). 목표는 아바타를 망가뜨리는 것이 아니라, 컴퓨터가 부여하는 특정 "라벨"을 뒤섞는 것이었습니다. 또한 연구진은 이 방법이 테스트된 모델들에는 잘 작동하지만, 얼굴에 대한 질문에 답하기를 거부하는 최신 상업용 모델들을 포함한 세상의 모든 컴퓨터 두뇌를 테스트할 수는 없었다는 점을 인정했습니다.

결론적으로, 3D FaceShell은 당신의 3D 아바타의 품질을 희생하지 않으면서도 똑똑한 알고리즘으로부터 디지털 프라이버시를 보호할 수 있다는 것을 보여줍니다. 이는 마치 다른 모든 사람에게는 지극히 정상적으로 보이는 안경을 쓰고 있지만, 로봇이 당신의 얼굴을 스캔하려고 하면 렌즈가 기계에 완전히 다른 사람을 반사해 보여주는 것과 같습니다. 연구진은 향에 이 개념이 움직이는 4D 아바타(애니메이션 비디오 캐릭터와 같은)로도 확장될 수 있다고 제안하며, 우리의 디지털 쌍둥이가 춤추고 말하는 동안에도 그들의 비밀이 탐욕스러운 AI의 눈으로부터 안전하게 지켜질 수 있음을 시사했습니다.

기술 요약: 3D FaceShell

문제 정의

텔레프레즌스 및 애니메이션과 같은 애플리케이션을 위한 사실적인 3D 얼굴 아바타의 급격한 배포는 새로운 프라이버시 취약점을 생성했습니다. 정적인 2D 이미지와 달리, 3D 얼굴 모델은 임의의 시점과 조명 조건 하에서 렌더링될 수 있는 지속적인 자산입니다. 동시에, 시각-언어 모델(VLM)은 작업별 미세 조정 없이도 렌더링된 이미지로부터 민감한 속성(예: 연령, 인종, 성별, 표정)을 추론할 수 있는 강력하고 개방적인 의미론적 추론기로 진화했습니다.

기존의 방어 메커니즘은 이러한 위협 환경과 근본적으로 맞지 않습니다. 대부분의 얼굴 익명화 및 적대적 클로킹(adversarial cloaking) 방법은 2D 이미지 공간에서 작동하여 특정 렌더링만을 보호하며, 시점이 변경되면 즉시 이러한 방어 체계가 무력화됩니다. 또한, 이전의 3D 적대적 공격은 주로 식별자 탐지기나 객체 탐지기를 대상으로 하며, VLM 임베딩 공간 내에서의 **정체성을 유지하는 의미론적 조작(identity-preserving semantic manipulation)**이라는 구체적인 과제를 해결하지 못합니다. 핵심 문제는 밑바탕이 되는 기하학적 충실도, 얼굴의 정체성, 그리고 사실적인 외관을 엄격히 유지하면서 VLM에 의한 3D 얼굴 아바타의 고차원적 의미론적 해석을 조작하는 것입니다.

방법론: 3D FaceShell

저자들은 3D 가우시안 스플래팅(3DGS) 표현의 파라미터 공간에서 직접 작동하는 프레임워크인 3D FaceShell을 제안합니다. 이 방법은 원래의 3D 얼굴 모델에 학습 가능한 가산적(additive) "가우시안 쉘(Gaussian shell)"을 도입하여, 기본 기하 구조를 변형하지 않고도 VLM에 대해 의도된 의미론적 불일치를 유도합니다.

핵심 구성 요소

다중 속성 타겟 이미지 생성:
의미론적 변화를 유도하기 위해, 시스템은 원래의 포즈를 유지하면서 원하는 (반대되는) 속성을 가진 타겟 이미지( $I_{tar}$ )를 합성합니다. 이는 OpenPose를 사용하여 소스 얼굴에서 구조적 포즈를 추출하고, 다중 속성 프롬프트로 텍스트-이미지 확산 모델(Stable Diffusion)을 조건화함으로써 달성됩니다. 이렇게 합성된 이미지는 순수하게 텍스트 기반의 정렬 대신 이미지 기반의 임베딩 감독을 제공하는 의미론적 앵커 역할을 합니다.
가우시안 쉘 초기화:
프레임워크는 사전 최적화된 베이스라인 3DGS 얼굴( $G_s$ )의 표면 근처에 위치하는 $N_{shell}$ 개의 보조 가우시안 세트를 초기화합니다. 결정적으로, 베이스라인 가우시안은 정체성과 기하학적 구조가 절대 변형되지 않도록 최적화 과정 내내 동결(frozen) 상태로 유지됩니다. 쉘 가우시안은 베이스라인 표면에 가까운 공간적 평균값으로 초기화되며, 공분산과 회전 값은 동결됩니다. 최적화는 쉘의 외관 속성(색상 및 불투명도)에만 국한되어, 섭동(perturbation)이 순수하게 가산적이고 국소적으로 발생하도록 보장합니다。
다중 뷰 적대적 훈련:
쉘 파라미터는 섭동된 3D 모델( $x_\delta$ )의 렌더링 뷰 임베딩을 타겟 이미지( $I_{tar}$ )의 임베딩과 일치시키도록 최적화됩니다.
- 다중 뷰 일관성: 훈련 중에 사전 정의된 카메라 세트 $\Pi$ 하에서 $K$ 개의 서로 다른 뷰를 렌더링하여 교차 뷰 일관성을 강제합니다.
- 다중 인코더 감독: 블랙박스 VLM에 대한 강건성을 확보하기 위해, 훈련에는 여러 시각적 인코더(SigLIP 및 CLIP)의 특징이 활용됩니다.
- 증강(Augmentation): 특정 시점에 과적합되는 것을 방지하기 위해 양자화 노이즈, 무작위 크롭, 색상 지터링과 같은 확률적 증강이 적용됩니다.
얼굴 인식 정규화:
정체성과 사실적 외관을 보존하기 위해, 최적화 과정에서 다음을 포함하는 총 손실 함수를 최소화합니다:
- 특징 정렬 손실 ( $\mathcal{L}_{feature}$ ): VLM 공간에서 섭동된 뷰의 임베딩과 타겟 임베딩 사이의 거리를 최소화합니다.
- 랜드마크 일관성 ( $\mathcal{L}_{landmarks}$ ): 정체성에 결정적인 영역(눈, 코, 입)에서의 픽셀 수준 편차에 페널티를 부여하여 정체성 드리프트를 방지합니다.
- 크로마 제약 텍스처 정규화 ( $\mathcal{L}_{chroma}$ ): 텍스처 섭동을 YUV 공간으로 매핑하고 휘도( $Y$ ) 편차에 대해 엄격하게 페널티를 부여하여 고주파 아티팩트와 부자연스러운 밝기 변화를 억제합니다.
- 동적 불투명도 클램핑: 최대 허용 불투명도를 점진적으로 줄이는 스케줄을 통해, 섭명(perturbation)을 투명도 쪽으로 밀어 넣어 시각적 침해를 최소화합니다.

주요 기여

본 논문은 세 가지 주요 기여를 통해 VLM 기반의 속성 추론으로부터 3D 얼굴 아바타를 방어하는 문제를 공식화하고 해결합니다:

문제 공식화: 저자들은 엄격한 정체성 및 기하학적 보존 제약 조건 하에서 VLM의 얼굴 속성 인식을 조작하는 과제를 정의하며, 이를 시각적 품질을 저하시키는 기존의 3D 탐지기 또는 일반적인 VLM 공격과 차별화합니다.
3D FaceShell 프레임워크: 3DGS 표현에 공간적으로 분산된 최소한의 인지 가능한 섭동을 주입하는 새로운 가산적 가우시안 쉘 접근 방식을 제안합니다. 다중 뷰 임베딩 정렬을 통한 파라미터 공간 최적화를 통해, 베이스라인 기하 구조를 건드리지 않고도 뷰 일관성이 있는 의미론적 스티어링(semantic steering)을 달성합니다.
실증적 검증: 의미론적 조작과 지각적 충실도가 3D에서 상호 배타적이지 않음을 입증했습니다. 이 방법은 기존의 2D 의미론적 공격 베이스라인들과 비교하여 강력한 교차 뷰 강건성과 우수한 정체성 보존 능력을 보여주었습니다.

실험 결과

본 방법은 IMDB-WIKI에서 유래하여 3DGS로 변환된 100개의 셀러브리티 얼굴 아바타 벤치마크를 대상으로 네 가지 블랙박스 VLM(VideoLLaMA3, LLaVA-NeXT, LLaVA-OV, BLIP-2) 및 상용 모델(Gemini-2.5-Flash)에 대해 평가되었습니다.

의미론적 성능: 3D FaceShell은 경쟁력 있는 주입률(Injection Rate, IR)과 불일치율(Mismatch Rate, MR)을 달성했습니다. 예를 들어, VideoLLaMA3에 대해 48.7%의 IR과 66.4%의 MR을 기록하여, 공격적인 2D 베이스라인인 M-Attack(47.4% IR, 69.6% MR)과 대등한 성능을 보였습니다.
지각 및 정체성 보존: 주요 장점은 보존 능력에 있습니다. 가장 강력한 2D 베이스라인인 V-Attack과 비교했을 때, 3D FaceShell은 LPIPS(지각 거리)를 +71.5% 개선하였고 정체성 유사도(Identity Similarity)를 +88.9% 향상시켰습니다. 상용 모델인 Gemini에 대해서도 0.7629의 정체성 유사도를 유지하면서 0.1499의 LPIPS를 유지했습니다(V-Attack은 0.4039).
교차 뷰 일반화: 다중 뷰 훈련이 매우 중요하다는 것이 입증되었습니다. 정면 뷰에서만 훈련된 모델은 보지 못한 검증 뷰에서 심각한 성능 저하를 겪었으나, 다중 뷰 접근 방식은 견고한 일반화 성능을 유지했습니다(예: VideoLLaMA3의 미학습 뷰에 대해 상대적 IR이 +55.6% 더 높음).
절제 연구(Ablation Studies): 데이터 증강을 제거하면 공격 성공률이 급격히 떨어졌습니다. 크로마 또는 랜드마크 제약을 제거하면 지각적 품질과 정체성 유사도가 크게 저하되어, 정규화 메커니즘의 필요성을 확인시켜 주었습니다. 또한, 서로 다른 VLM 아키텍처 전반의 일반화를 위해 다중 인코더 감독이 필수적임이 밝혀졌습니다.

의의 및 주장

본 논문은 의미론적 스티어링과 시각적 충실도가 반드시 상충할 필요는 없다는 것을 증명함으로써 3D FaceShell이 3D 프라이버시 방어 분야에서 중요한 진전임을 주장합니다. 3D 자산의 유용성(형태나 질감을 왜곡함으로써)을 희생하여 모델을 속이는 기존 방식과 달리, 3D FaceShell은 인간이 인식할 수 있는 외관과 기하학적 구조를 온전히 유지하면서 VLM의 의미론적 해석을 성공적으로 조작합니다.

저자들은 이 연구를 2D 방어(시점 변경에 의해 쉽게 무력화됨)에서 3D 네이티브 솔루션(자산 자체를 보호함)으로의 필연적인 진화로 규정합니다. 결론적으로, 현재의 프레임워크는 정적인 아바타를 방어하지만, 이 방법론이 비디오 형식의 연속적인 의미론적 추론으로부터 동적이고 애니메이션 가능한 아바타를 보호하기 위한 4D 가우시안 스플래팅으로의 확장 가능성을 위한 토대를 마련한다고 밝히고 있습니다.