Video Deepfake Abuse: How Company Choices Predictably Shape Misuse Patterns
본 논문은 적절한 안전장치가 없는 미선별 웹 데이터로 훈련된 오픈 가중치 영상 생성 모델의 공개와 불충분한 플랫폼 관리가 합쳐지면 비동의 성관계 영상 및 아동 성착취물 확산을 예측 가능하게 초래하므로, 이러한 피해를 완화하기 위해 개발자와 유통업체가 사전적 위험 관리를 취해야 한다고 주장한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
이 문서는 간단한 언어와 일상적인 비유를 사용하여 해당 논문을 설명합니다.
큰 그림: "오픈소스"의 양날의 검
누구나 고성능 3D 프린터를 만들 수 있는 세상을 상상해 보세요. 2022 년, 이는 AI 이미지 생성기(Stable Diffusion 등)를 통해 현실이 되었습니다. 갑자기 사람들은 자신이 상상하는 무엇이든 incredibly 사실적인 사진을 만들 수 있게 되었습니다.
이는 예술가와 창작자들에게 큰 일이었습니다. 하지만 3D 프린터가 장난감이나 무기를 만들 수 있듯, 이러한 AI 도구들은 빠르게 비동의 성적 이미지(NCII)—실제 사람, 심지어 어린이들을 포함한 compromising 상황에 처한 가짜 사진—를 만드는 데 사용되었습니다.
이 논문은 바로 지금 (2025 년) AI 비디오 생성기에서도 똑같은 일이 일어나고 있다고 주장합니다. 가짜 사실적인 비디오를 만드는 것이 쉬워지고, 저렴해지며, 거의 모든 사람이 접근할 수 있는 문턱을 넘어서고 있습니다.
주요 문제: "레시피" 대 "요리사"
이 논문은 이러한 나쁜 비디오가 어떻게 만들어지는지 설명하기 위해 공급망 비유 (그림 1) 를 사용합니다. 이를 요리 생태계로 생각해 보세요:
- 개발자들 (요리사들): 알리바바, 스테이블 AI 같은 대기업들이 기본 "레시피"(AI 모델) 를 만듭니다.
- 배포 플랫폼들 (식료품 저장실): Civitai와 Hugging Face 같은 웹사이트는 사람들이 이러한 레시피를 다운로드하는 곳입니다.
- 수정자들 (가정 요리사들): 수천 명의 사람들이 기본 레시피를 다운로드하여 수정하고, NSFW(직장 부적절) 콘텐츠를 만드는 것과 같이 특정 작업에 더 잘 작동하도록 자신만의 "향신료"(파인튜닝) 를 추가합니다.
- 사용자들 (손님들): 수백만 명의 사람들이 이러한 수정된 레시피를 다운로드하여 최종 비디오를 만듭니다.
논문의 핵심 발견:
이 논문은 이러한 나쁜 비디오의 대다수를 담당하는 **소수의 "레시피"(모델)**가 존재한다고 밝혔습니다. 구체적으로, Wan 2.x, Stable Video Diffusion, HunyuanVideo, LTX-Video와 같은 모델들이 가짜 포르노와 학대 자료를 생성하는 데 불균형적으로 사용되고 있습니다.
왜 이런 일이 일어났을까요? (2022 년 교훈)
이 논문은 현재 상황이 왜 발생했는지 설명하기 위해 2022 년을 돌아봅니다.
- "나쁜" 레시피: 2022 년, 한 회사가 Stable Diffusion 1.0이라는 모델을 출시했습니다. 그들은 "가중치"(코드) 를 무료로 제공했지만, 학습 데이터를 충분히 필터링하지 않았습니다. 이는 독약 레시피가 포함된 요리책을 사용하여 요리사를 가르치는 것과 같았습니다. 데이터가 엉망이었기 때문에 AI 는 나쁜 것을 쉽게 만들도록 학습되었습니다.
- "좋은" 레시피: 나중에, 같은 회사가 Stable Diffusion 2.0을 출시했습니다. 그들은 "독약" 레시피를 제거하여 요리책을 정돈했습니다. 결과는 무엇일까요? AI 는 NSFW 콘텐츠를 만드는 데 매우 형편없게 되었습니다. 커뮤니티는 실제로 이것이 "검열이 너무 심하다"고 불평했습니다.
- 교훈: 개발자들이 모델을 출시하기 전에 데이터를 정돈하고 안전 필터를 추가하면 나쁜 콘텐츠를 만드는 데 큰 장벽이 생깁니다. 그렇지 않으면 나쁜 것은 산불처럼 퍼집니다.
현재 상황: "고양이가 가방에서 나왔을까?"
어떤 사람들은 이렇게 주장합니다: "글쎄요, 나쁜 모델들은 이미 세상에 나와 있습니다. 늦었습니다. 지금 안전 모델을 만든다 해도 사람들은 그냥 예전 나쁜 것들을 사용할 것입니다."
이 논문은 이것이 잘못되었다고 말합니다. 그들은 불법 복제 비유를 사용합니다:
- 불법 영화 다운로드를 생각해 보세요. 기술적으로 불법 영화가 이용 가능하더라도, 검색 엔진과 기업들은 이를 찾기 어렵게 만들기 위해 노력합니다. 이것이 모든 사람을 막지는 못하지만, 깊게 파고들고 싶지 않은 일반 사용자와 청소년들을 막습니다.
- 마찬가지로, 개발자와 플랫폼이 나쁜 AI 모델을 찾고 사용하는 것을 더 어렵게 만든다면, 전체적인 피해량은 크게 감소합니다. 나쁜 일을 하는 데 필요한 "마찰"(노력) 을 높이는 것입니다.
해결책은 무엇일까요?
이 논문은 두 주요 그룹이 나서야 한다고 제안합니다:
1. 개발자들 (요리사들)
그들은 "알몸" 모델을 출시하는 것을 멈춰야 합니다. 대신 다음과 같이 해야 합니다:
- 데이터 정돈: AI 가 처음부터 포르노나 학대 자료로 학습되지 않도록 보장합니다.
- 안전망 추가: 누군가 나중에 수정을 시도하더라도 AI 가 나쁜 것을 만드는 방법을 잊게 만드는 "학습 취소(unlearning)" 기법을 사용합니다.
- 자기 테스트: 오용될 수 있는지 확인하기 위해 출시하기 전에 자신의 모델을 직접 부러뜨려 봅니다.
- 투명성: 그들이 취한 안전 조치에 대해 대중에게 정확히 알립니다. 현재 대부분의 기업들은 이에 대해 침묵하고 있습니다 (논문 내 표 1 참조).
2. 배포 플랫폼들 (식료품 저장실들)
Civitai 와 Hugging Face 와 같은 웹사이트는 문지기 역할을 합니다.
- 그들은 현재 가짜 포르노와 아동 학대 자료를 만들기 위해 특별히 설계된 수천 개의 모델을 호스팅하고 있습니다.
- 이 논문은 이러한 플랫폼들이 선반을 적극적으로 단속해야 한다고 주장합니다. 만약 그들이 이러한 특정 "나쁜 레시피"를 제거하지 않는다면, 그들은 피해를 증폭시키는 것입니다.
결론
이 논문은 기업의 선택이 중요하다고 결론지었습니다.
- 개발자들이 안전 필터 없이 모델을 출시하면, 예측 가능하게 피해를 초래합니다.
- 플랫폼들이 학대를 목적으로 설계된 모델을 제거하지 않으면, 문제는 악화됩니다.
이는 AI 를 금지하는 것에 관한 것이 아닙니다. 이는 위험 관리에 관한 것입니다. 일부 사람들이 위험하게 운전한다고 해서 자동차를 금지하지 않는 것처럼, AI 비디오를 금지할 필요는 없습니다. 하지만 우리는 최악의 결과를 방지하기 위해 브레이크, 안전벨트, 속도 제한 (안전 장치) 을 설치해야 합니다. 기업들이 지금 이러한 조치를 취한다면, 미래에 가짜 학대 콘텐츠의 양을 극적으로 줄일 수 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.