🤖 AI

DiffUE: Enhancing Utility-Unlearnability Trade-off of Unlearnable Examples via Diffusion Autoencoders

이 논문은 디퓨전 기반 오토인코더를 통해 시맨틱 공간에 인지 불가능한 노이즈를 주입함으로써, 시각적 충실도를 유지하면서도 재학습 전략에 효과적으로 저항하는 강건하고 고품질의 이미지를 생성하여 이미지 유용성과 학습 불가능성 사이의 트레이드오프를 향상시키는 새로운 방법론인 DiffUE를 소개한다.

원저자: Syed Irfan Ali Meerza, Oktay Ozturk, Amir Sadovnik, Jian Liu

게시일 2026-07-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Syed Irfan Ali Meerza, Oktay Ozturk, Amir Sadovnik, Jian Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 가장 아끼는 사진이 비밀 레시피라고 상상해 보세요. 과거에는 이 레시피를 온라인에 게시하면, 교활한 AI 요리사들이 이를 훔쳐보고, 맛을 보고, 당신의 허락 없이도 정확히 어떻게 요리하는지 배워낼 수 있었습니다. 이를 막기 위해 과학자들은 "학습 불가능한 예시(Unlearnable Examples, UEs)"를 발명했습니다. 이것은 레시피에 아주 미세하고 눈에 보이지 않는 소금 한 꼬집을 더하는 것과 같습니다. 이 소금은 AI 요리사로 하여금 "음, 아무 맛도 안 나는데?"라고 생각하게 만들어, 결국 포기하게 만듭니다.

하지만 여기 함정이 있습니다. 기존의 "소금"을 넣는 방식은 주방에서 음식 위에 직접 소금을 뿌리는 것(픽셀 공간)과 같았습니다. 효과는 있었지만, 이 방식은 음식을 거칠거나 이상하게 보이게 하거나 망가뜨리는 경우가 많았습니다. 게os 더, 만약 교활한 요리사가 접시를 씻어내거나(이미지 압축 등) 다른 방식으로 요리하려고 시도한다면(적대적 학습 등의 전략), 소금은 씻겨 내려가 버려 AI가 결국 레시피를 배우게 됩니다.

여기에 DiffUE라는 새로운 게임 체인저가 등장했습니다. DiffUE는 음식 위에 소금을 뿌리는 대신, 요리사의 뇌(시맨틱 공간)에 비밀스러운 지시를 속삭입니다. 이는 실제 재료를 바꾸는 것이 아니라, 요리의 '개념'을 미세하게 조정하는 것입니다. 예를 들어, 조명을 약간 더 따뜻하게 만들거나 분위기를 조금 더 신비롭게 만드는 식이죠.

"속삭임"의 마법

논문에 따르면, DiffUE는 **확산 오토인코더(Diffusion Autoencoder)**라는 특별한 도구를 사용하여 이미지의 고차원적인 의미를 미세하게 조정할 수 있습니다. 이는 화가에게 캔버스에 빨간 점 하나를 찍으라고 말하는 대신, "하늘을 조금 더 노을 지는 느낌으로 만들어줘"라고 말하는 것과 같습니다. 변화가 이미지의 '개념' 단계에서 일어나기 때문에, 사람의 눈에는 완벽하게 자연스러워 보입니다. 실제로 56명의 실제 사람들(사진작가와 예술가 포함)을 대상으로 한 연구에서, DiffUE 이미지는 원본의 깨끗한 사진만큼이나 좋다는 평가를 받았으며, 자연스러움 점수는 4.65 ± 0.12 (5점 만점)를 기록했습니다. 기존 방식들은 훨씬 낮았습니다. 예를 들어 한 인기 있는 방식은 2.91을 기록했으며, 사람들은 거친 노이즈 현상을 싫어했습니다.

왜 기존의 "소금"은 효과가 없었나

이 논문은 픽셀 수준의 노이즈가 최선의 방어책이라는 생각에 명시적으로 반박합니다. 연구진은 단순히 픽셀에 노이즈를 추가하는 방식(기존 방식)을 사용하면, 교활한 AI가 이미지를 쉽게 "재학습"할 수 있다는 것을 발견했습니다.

세척 테스트 (The Wash-Test): 연구진이 필터를 사용하거나 흑백으로 변환하여 이미지를 "세척"하려고 했을 때, 기존 방식들은 처참하게 실패했습니다. 예를 들어, CIFAR-10 데이터셋에서 EM이라는 기존 방식은 보호 기능이 떨어져, 단순한 그레이스케일 변환 후 AI의 정확도가 **83.23%**까지 올라갔습니다. 반면 DiffUE는 강력함을 유지하여 AI의 정확도를 단 **13.99%**로 낮게 유지했습니다.
압축 테스트 (The Compression Test): 현실 세계에서는 사진을 압축(JPEG 또는 WebP 등)하는 일이 빈번합니다. 논문은 이 보호 기능이 얼마나 잘 유지되는지 측정했습니다. CIFAR-10에서 JPEG로 압축했을 때, 기존 EM 방식은 AI가 데이터의 **45.22%**를 학습할 수 있게 두었습니다. 하지만 DiffUE는 **17.22%**로 선을 지켜냈습니다.

기계 속의 "유령"

가장 흥激한 부분은 DiffUE가 단순히 이미지를 숨기는 것이 아니라, AI를 매우 구체적인 방식으로 혼란스럽게 만든다는 점입니다. 저자들은 이 "속삭여진" 이미지들로 AI 모델을 학습시켜 이를 테스트했습니다.

결과: AI가 DiffUE 이미지를 학습하려고 할 때, AI는 길을 잃고 헤맸습니다. CIFAR-10 데이터셋에서 AI가 강력한 "적대적 학습"(AI가 노이즈에 맞서 싸우는 기술)을 시도했음에도 불구하고, 정확도는 **17.11%**에 그쳤습니다. 동일한 조건에서 기존 방식들이 AI의 정확도를 무려 **76.95%**까지 높게 허용했던 것과 비교됩니다.
전이성 (The Transfer): 설령 AI의 뇌 구조(ResNet-18에서 VGG-16으로 전환하는 등)가 바뀌더라도, 혼란은 지속되었습니다. 논문은 DiffUE가 "전이 가능하다"고 제안합니다. 즉, 설계된 특정 AI 모델뿐만 아니라 다른 유형의 AI 모델에도 효과가 있다는 뜻입니다.

이미지를 다르게 만들 수 있을까?

논문은 또한 재미있는 부수 효과를 제안합니다. DiffUE는 이미지의 '의미'를 다루기 때문에, 이를 이용해 미묘하고 멋진 변화를 줄 수 있습니다. 예를 들어, 사람의 머리카락을 곱슬머리로 바꾸거나 조명을 조절할 수 있는데, 이때도 AI는 여전히 혼란을 느끼면서도 결과물은 아름다운 사진이 됩니다. "웃음"이나 "머리카락 색" 같은 속성을 변경하는 테스트에서, 이미지를 인식하는 AI의 능력은 무작위 수준(약 51-52% 정확도)으로 떨어졌으며, 이는 이미지가 변하는 동안에도 보호 기능이 작동했음을 증명합니다.

결론

저자들은 이 모든 것을 네 가지 데이터셋(CIFAR-10, CIFAR-100, Celeb_A-HQ, ImageNet)에 걸쳐 측정했습니다. 그들은 단순히 추측한 것이 아니라 수치를 제시했습니다. 증거에 따르면 DiffUE는 기존 방식보다 AI 도난에 대한 훨씬 강력한 방패입니다. 높은 PSNR 및 SS름(SSIM) 점수를 통해 사진을 아름답게 유지하면서도, AI가 이미지를 세척, 압축 또는 재학습하려 해도 학습이 불가능하도록 만듭니다. 이는 모든 프라이버시 문제를 영원히 해결하는 마법 지팡이는 아닐지라도, 거칠고 쉽게 깨지는 과거의 방어 체계로부터 한 단계 크게 도약한 성과입니다.

기술 요약: DiffUE

문제 정의

소셜 미디어 및 공개 플랫폼에서 무단으로 수집된 개인 이미지를 기반으로 학습된 AI 모델의 확산은 무단 안면 인식 및 타겟 광고를 포함한 심각한 프라이버시 침해를 야기했습니다. GDPR이나 CCPA와 같은 규제들이 데이터 수집 문제를 다루고는 있지만, 데이터가 학습 파이프라인에 통합된 이후의 지속적인 사용을 방지할 수 있는 메커니는 부족합니다.

이를 해결하기 위해 연구자들은 **학습 불가능한 예시(Unlearnable Examples, UEs)**를 개발했습니다. 이는 이미지를 미세한 노이즈로 수정하여 AI 모델이 의미 있는 정보를 추출하는 것을 방지하는 방식입니다. 그러나 기존의 UE 방식은 두 가지 결정적인 한계점을 가집니다:

취약성(Fragility): 기존 방식은 픽셀 공간의 노이즈(예: 오차 최소화 노이즈)에 의존합니다. 이러한 방어 기제는 적대적 학습(adversarial training), 이미지 변환(크기 조정, 그레이스케일 변환), 압축과 같은 재학습 전략에 의해 쉽게 무력화됩니다.
낮은 사용성(Poor Usability): 픽셀 공간 노이즈의 강건성을 높이려면 더 강력한 섭동(perturbation)이 필요하며, 이는 이미지 품질의 심각한 저하를 초-래합니다. 이로 인해 이미지는 입자가 거칠거나 아티팩트(artifact)가 발생하여 전문적인 용도나 일상적인 공유에 부적합해집니다. 또한, 픽셀 공간의 노이즈는 포맷 일관성을 해쳐 압축 아티팩트를 유발합니다.

방법론: DiffUE

본 논문은 방어용 노이즈의 주입 위치를 이미지의 픽셀 공간에서 **시맨틱 공간(semantic space)**으로 전환하는 강력한 방어 프레임워크인 DiffUE를 제안합니다. DiffUE는 고수준의 시맨틱 특징을 조작하기 위해 확산 오토인코더(Diffusion Autoencoder) 프레임워크를 활용합니다.

핵심 아키텍처 및 프로세스

시맨틱 인코딩(Semantic Encoding): 입력 이미지 $x_0$ $x_{0}$ 는 사전 학습된 확산 오토인코더에 의해 두 가지 잠재 변수로 인코딩됩니다:
- 고수준의 시맨틱 코드( $z_{sem}$ ): 전역적이고 비공간적인 시맨틱을 포착하는 압축된 벡터(StyleGAN의 스타일 벡터와 유사함).
- 저수준의 확률적 코드( $x_T$ ): 국소적 및 질감적 세부 사항을 보존함.
방어 노이즈 최적화(Defensive Noise Optimization): 픽셀에 노이즈를 추가하는 대신, DiffUE는 시맨틱 공간 내에서 **방어적 시맨틱 노이즈( $z_\delta$ $z_{δ}$ )**를 최적화합니다. 이는 다음과 같은 이중 최적화 문제(bi-level optimization problem)를 통해 수행됩니다:
- 내부 최소화(Inner Minimization): 이미지가 재구성될 때 대리 모델 $g_\theta$ 의 분류 손실을 최소화하는 $z_\delta$ 를 찾습니다 (이는 $L_p$ -노름 반경 $\rho_u$ 에 의해 제한됨).
- 외부 최소화(Outer Minimization): 일반적인 학습 역학을 반영하도록 대리 모델의 파라미터 $\theta$ 를 업데이트합니다.
- 목표는 재구성된 이미지 $x_u$ 가 대리 모델에서 거의 제로에 가까운 손실을 유도하게 하여, 모델이 보호된 데이터로부터 아무것도 "학습"하지 못하도록 속이는 것입니다.
시맨틱 재구성(Semantic Reconstruction): 섭동된 시맨틱 표현( $z_{def} = z_{sem} + z_\delta$ )은 확률적 코드 $x_T$ 와 결로되어 **조건부 디노이징 확산 암시 모델(Conditional Denoising Diffusion Implicit Model, DDIM)**을 통해 디코딩됩니다. 이 과정을 통해 최종적인 학습 불가능한 이미지 $x_u$ 가 재구성됩니다.

핵심 메커니즘

시맨틱 공간 섭동(Semantic Space Perturbation): 시맨틱 공간에서 작동함으로써, DiffUE는 학습된 이미지 매니폴드(manifold)와 일치하는 미세하고 사실적인 수정(예: 조명 변화, 톤 조절)을 생성합니다. 이러한 변화는 인간 관찰자에게는 인지되지 않지만, 신경망의 선형 특징 공간을 교란합니다.
제어 가능한 수정(Controlled Modifications): 이 프레임워크는 선형 속성 분류기로부터 도출된 특정 시맨틱 방향과 방어 노이즈를 정렬함으로써, 의도적이고 목적이 있는 수정(예: 미소의 변화 또는 스타일 조정)을 선택적으로 수행할 수 있게 합니다. 이는 사용성을 높이면서도 학습 불가능성을 유지합니다.
재학습에 대한 강건성(Robustness to Relearning): 섭동이 픽셀 값이 아닌 고수준의 속성을 변경하기 때문에, DiffUE는 픽셀 공간 노이즈를 무력화하는 데 흔히 쓰이는 픽셀 도메인 필터링, 압축, 그리고 적대적 학습 전략에 대해 본질적인 저항력을 가집니다.

주요 기여

시맨틱 공간 주입(Semantic Space Injection): DiffUE는 픽셀 공간 노이즈의 한계를 넘어, 확산 오토인코더의 시맨틱 공간에 방어 노이즈를 주입하는 최초의 UE 방법입니다.
향상된 트레이드오프(Enhanced Trade-off): 이 방법은 이미지 유용성(지각 품질)과 학습 불가능성 사이의 균형을 크게 개선합니다. 픽셀 공간의 강건한 방법들이 수반하는 시각적 저하 없이 강력한 보호를 달성합니다.
고급 공격에 대한 강건성(Robustness Against Advanced Attacks): DiffUE는 적대적 학습, 그레이스케일 변환, 데이터 정화(확산 기반), 그리고 손실 압축(JPEG, WebP, HEIC)을 포함한 최첨단 재학습 전략에 대해 우수한 저항성을 보여줍니다.
전이성(Transferability): DiffUE로 생성된 학습 불가능한 예시는 서로 다른 모델 아키텍처(예: ResNet-18에서 VGG-16, ResNet-50, DenseNet-121까지) 간에 강력한 전이성을 보이며, 모델의 주의(attention)를 판별 영역으로부터 일관되게 멀어지게 합니다.

실험 결과

저자들은 CIFAR-10, CIFAR-100, CelebA-HQ, ImageNet(처음 100개 클래스)에서 EM(Error-Minimizing), REM(Robust Unlearnable Examples), SEM(Stable Error-Minimizing) 등 베이스라인과 비교하여 DiffUE를 평가했습니다.

적대적 학습 탄력성: 섭동 반경 $\rho_a = 4/255$ 인 적대적 학습 환경에서, DiffUE는 낮은 테스트 정확도(예: CIFAR-10에서 17.11%)를 유지한 반면, EM 및 REM과 같은 베이스라인은 각각 **76.95%**와 **64.64%**로 정확도가 회복되었습니다.
필터링 및 압축: DiffUE는 평균/가우시안 필터링 및 손실 압축 하에서도 효과를 유지했습니다. 예를 들어, JPEG 압축 하에서 DiffUE는 CIFAR-10에 대해 **17.22%**의 정확도를 유지했으나, EM은 **45.22%**로 저하되었습니다.
지각 품질: CelebA-HQ에서 DiffUE는 FID 5.355(낮을수록 좋음)와 SSIM 0.814(높을수록 좋음)를 달 기록하였으며, 이는 베이스라인(예: EM FID: 11.612)을 크게 상회하는 성능입니다.
사용자 조사: 56명의 참가자(사진작가, 예술가, 콘텐츠 크리에이터)를 대상으로 한 조사에서, DiffUE는 깨끗한 이미지와 일치하는 4.65/5의 자연스러움 점수와 98.5%의 수용 가능성을 얻었으며, 이는 REM의 19.2%와 대비됩니다.

의의 및 주장

본 논문은 DiffUE가 점점 더 착취적인 AI 환경에서 개인 데이터를 보호하기 위한 더욱 강력하고 효과적인 솔루션을 제공한다고 주장합니다. 픽셀 값을 조작하는 대신 시맨틱 특징을 조작함으로써, DiffUE는 이미지 품질과 학습 불가능성 사이의 오랜 갈등을 해결합니다. 저자들은 이 접근 방식이 정당한 인간적 목적을 위해서는 사용 가능하면서도, 승인되지 않은 AI 학습 및 고급 재학습 공격에는 효과적으로 저항할 수 있는 신뢰할 수 있는 경로를 제공한다고 단언합니다.