I2VShield: An Efficient Proactive Defense Framework against DiT-based Image-to-Video Models

당신의 고양이 사진을 찍고 "디스코에서 춤추는 중"이라고 입력하기만 하면, 몇 초 만에 고양이가 작은 무대 위에서 회전하는 모습을 볼 수 있는 세상을 상상해 보세요. 이것은 현대 인공지능, 구체적으로는 '이미지-투-비디오(Image-to-Video)' 모델이라 불리는 기술의 마법입니다. 이 디지털 마법사들은 정지된 사진과 텍스트 설명을 가져와 이를 하나로 엮어 움직이는 영화를 만들어냅니다. 하지만 강력한 도구에는 언제나 오용의 위험이 따릅니다. 누군가 당신의 허락 없이 사진을 가져가서, 당신이 하지도 않은 말을 하고 하지도 않은 행동을 하는 것처럼 보이게 만든다고 상상해 보세요. 이것이 바로 우리의 프라이버시를 위협하는 딥페이크와 무단 애니메이션이라는 무서운 이야기의 이면입니다.

이에 맞서기 위해 과학자들은 '디지털 방패'를 구축하려고 노력해 왔습니다. 오랫동안 주요 아이디어는 사진에 보이지 않는 노이즈를 추가하여, 마치 비밀 암호처럼 AI가 비디오를 만들지 못하도록 혼란을 주는 것이었습니다. 하지만 기존의 방식은 매 사진마다 거대하고 복잡한 퍼즐을 손으로 직접 푸는 것과 같았습니다. 이는 엄청난 비용이 드는 컴퓨터 자원을 필요로 했고 시간이 오래 걸렸기에, 일반 사람들이 사용하기에는 불가능에 가까웠습니다. I2VShield라는 제목의 이 논문은 이러한 방패를 만드는 훨씬 더 빠르고 가벼운 트릭을 도입하여, 느리고 무거운 과정을 최신 세대의 AI 비디오 생성기에서도 작동하는 빠르고 가벼운 기술로 탈바로 바꿉니다.

문제점: 헤비 히터 (Heavy Hitters)

이 논문의 저자들은 우리가 사진을 보호하는 방식에 있어 주요 병목 현상이 발생한다는 점에 주목했습니다. 현재 방어의 '골드 스탠다드(표준)'는 **그래디언트 기반 적대적 공격(gradient-based adversarial attacks)**이라 불리는 방법을 포함합니다. 이것은 특정 자물쇠를 부수기 위해 모든 열쇠 조합을 하나씩 테스트하며, 림(tumbler)이 클릭되는 느낌을 확인하고 피드백에 따라 손의 힘을 조절하는 것과 같습니다. AI의 세계에서 이는 컴퓨터가 비디오 모델을 수천 번 실행하여 비디오가 어떻게 변하는지 확인하고, 그때마다 이미지의 노이즈를 미세하게 조정해야 함을 의미합니다.

이 과정은 매우 무겁습니다. 논문에 따르면, 단 하나의 이미지를 보호하기 위해서도 기존 방식들은 엄청난 양의 컴퓨터 메모리(VRAM)를 필요로 하며 계산하는 데 오랜 시간이 걸립니다. 이는 벽을 쌓기 위해 벽돌 산을 옮기는 것과 같습니다. 효과는 있지만, 매우 지치고 거대한 트럭(슈퍼컴퓨터)이 필요합니다. 더욱이, 기존 방식들은 최신 AI 모델들이 '생각하는' 특수한 방식을 무시하곤 합니다. 최신 비디오 생성기인 **디퓨전 트랜스포머(Diffusion Transformers, DiT)**는 이미지와 텍스트 프롬프트를 연결하기 위해 '어텐션(attention)'이라는 특별한 메커니즘을 사용합니다. 기존의 방패는 정교한 시계의 특정 톱니바퀴를 겨냥하는 대신, 시계를 망치로 내리치는 것과 같았습니다.

해결책: I2VShield

여기서 연구자 Yimao Guo, Zuomin Qu, Wei Lu가 제안한 새로운 프레ks워크인 I2VShield가 등장합니다. 매 사진마다 퍼즐 조각을 하나씩 푸는 대신, 그들은 퍼즐을 한 번 학습한 뒤 즉시 해결할 수 있는 기계를 만들었습니다.

당신이 특정 종류의 케이크가 소금 한 꼬집에 어떻게 반응하는지 정확히 아는 마스터 셰프를 가지고 있다고 상상해 보세요. 일단 셰프가 이를 알게 되면, 맛을 보지 않고도 어떤 케이크에도 완벽한 양의 소금을 즉시 뿌릴 수 있습니다. I2VShield도 이와 유사하게 작동합니다. 이 모델은 **텍스트 적응형 섭동 생성기(Text-Adaptive Perturbation Generator)**를 사용합니다. 이는 당신의 사진과 당신이 사용할 계획인 텍스트 프롬프트(예: "마이크에 대고 노래하는 중")를 함께 살펴보는 작고 똑똑한 네트워크입니다. 그런 다음 단 한 번의 단계로 사진에 추가할 완벽한 '보이지 않는 노이즈'를 즉시 예측합니다.

이 새로운 방패가 사용하는 두 가지 주요 기술은 다음과 같습니다:

1. 속도와 효율성: 기존의 무거운 AI 모델을 수천 번 실행하여 노이즈를 찾는 대신, I2VShield는 단 한 번의 순전파(forward pass)로 이를 수행합니다. 이는 산을 한 걸음씩 걸어 올라가는 것과 헬리콥터를 타고 가는 것의 차이입니다. 저자들은 이 방식이 기존 방법과 비교했을 때 필요한 컴퓨터 메모리를 약 70% 줄이고, 계산 능력을 96% 이상 절감한다는 것을 발견했습니다.
2. "멀티모달 어텐션 교란(Multimodal Attention Disruption, MAD)" 공격: 이것이 이 논문의 비밀 병기입니다. 연구진은 DiT 모델이 이미지와 텍스트를 연결하기 위해 '교차 어텐션(cross-attention)'에 크게 의존한다는 사실을 깨달았습니다. 그들은 이 특정 연결을 건드리면 전체 비디오가 무너진다는 것을 발견했습니다. 이는 스웨터를 구성하는 실을 잡아당기는 것과 같아서, 전체가 풀려버리게 만듭니다. 이러한 어텐션 특징을 타겟팅함으로써, I2VShield는 단순히 비디오를 약간 이상하게 만드는 것에 그치지 않고, AI가 인물이 누구인지, 무엇을 하고 있는지, 그리고 움직임이 어떻게 흐르는지조차 놓치게 만듭니다.

연구 결과

연구팀은 세 가지 인기 있는 비디오 생성 AI 모델인 CogodoX-5B, Wan2.1-14B, OpenSora-V2-11B를 대상으로 I2VShield를 테스트했습니다. 이들은 얼굴 데이터(CelebV-Text 데이터셋)와 인간의 동작 데이터(UCF101 데이터셋)라는 두 가지 유형의 데이터를 사용했습니다.

결과는 놀라웠습니다. I2VShield를 사용했을 때, AI 모델들은 일관된 비디오를 생성하는 데 실패했습니다.

• 시각적 혼돈: 사람이 노래하는 부드러운 비디오 대신, AI는 얼굴이 왜곡되거나 배경이 격렬하게 변하거나, 혹은 사람이 갑자기 전혀 관련 없는 무언가로 변하는 비디오를 생성했습니다.
• 시간적 붕괴: 비디오는 '흐름'을 잃었습니다. 프레임이 튀면서 움직임이 자연스럽고 부드러운 것이 아니라, 덜컥거리며 불가능해 보였습니다.
• 효율성: 가장 인상적인 발견은 속도였습니다. 기존 방식(PhotoGuard)이 단일 모델에서 이미지 하나를 보호하는 데 약 38.8초가 걸린 반면, I2VShield는 1초 미만(구체적으로 0.714초) 만에 이를 수행했습니다. 메모리 측면에서 I2VShield는 동일한 모델에 대해 기존 방식이 요구하는 22.42 GB의 VRAM에 비해 단 9.49 GB만을 사용했습니다.

또한 연구팀은 생성된 비디오의 품질을 판단하기 위해 다른 AI 도구들을 이용한 '블라인드 테스트'를 실시했습니다. 결과 수치는 I2VShield로 보호된 이미지를 통해 만들어진 비로가 기존 방식으로 보호된 이미지보다 일관성과 품질 면에서 현저히 떨어진다는 것을 보여주었습니다. 예를 들어, CogodoX-5B 모델의 경우, "피사체 일관성(Subject Consistency)" 점수가 기존 방식의 0.9016에서 I2VShield 적용 시 0.8962로 떨어졌으며, 이는 더 강력한 교란이 일어났음을 나타냅니다. 더 중요한 것은 "움직임의 부드러움(Motion Smoothness)"과 "시간적 일관성(Temporal Consistency)" 점수가 급락하여 비디오가 파괴되었음을 입증했다는 점입니다.

이것이 왜 중요한가

저자들은 I2VShield가 프라이버시 보호를 모두에게 실질적인 것으로 만들기 때문에 게임 체인저라고 주장합니다. 더 이상 사진을 보호하기 위해 슈퍼컴퓨터가 필요하지 않습니다. 이 가벼운 생성기만 있으면 됩니다. 생성기가 (대중으로부터 격리된 오프라인 상태에서) 한 번 훈련되면, 누구나 이를 사용하여 자신의 이미지를 즉시 보호할 수 있습니다.

논문은 현대 AI의 특정 '어텐션' 메커니즘을 타겟팅하고 단일 단계로 작동하는 생성기를 사용함으로써, 막대한 비용 없이도 무단 비디오 생성을 효과적으로 차단할 수 있다고 결론짓습니다. 이는 "무거운 갑옷"에서 "스마트하고 보이지 않는 힘의 장(forcefield)"으로의 전환입니다. 연구진은 이 접근 방식이 다양한 유형의 비디오 모델 전반에서 작동한다는 점을 들어, 우리의 사진이 악의적인 AI 애니메이션으로부터 안전한 미래가 단지 꿈이 아니라 계산 가능한 현실임을 확신하고 있습니다.