The Deepfakes We Missed: We Built Detectors for a Threat That Didn't Arrive

"우리가 놓친 딥페이크"라는 논지에 대한 설명을 핵심 주제를 명확히 하기 위해 쉬운 언어와 비유를 사용하여 제시합니다.

큰 그림: 잘못된 방패 구축하기

한 공학자 그룹이 10 년간 최고의 소화기를 설계하는 데 시간을 보냈다고 상상해 보세요. 그들은 거대하고 우렁찬 산불이 발생할 것이라고 생각하며 모든 시간과 자금을 그 산불을 진압하는 데 집중했습니다. 거대한 탱크를 만들고 복잡한 분사 패턴을 개발하며, 온 도시를 태울 수 있는 불길을 진압하는 방법을 설명하는 매뉴얼을 작성했습니다.

하지만 '불계'가 마침내 찾아왔을 때, 거대한 산불은 결코 발생하지 않았습니다. 대신 실제 위험은 사람들의 집에서 시작되는 수천 개의 숨겨진 부엌 화재와 지하실의 가스 누출로 드러났습니다.

공학자들은 여전히 거대한 산불 소화기를 들고 도시를 구할 준비를 하고 서 있는 반면, 실제 피해는 부엌과 지하실에서 발생하고 있습니다. 이 논문은 AI 딥페이크 탐지 분야가 정확히 이러한 상황에 처해 있다고 주장합니다.

결코 발생하지 않은 '산불'(T1)

지난 10 년간 연구자들은 한 가지 특정 유형의 딥페이크에 집착해 왔습니다. 바로 유명 인사들의 가짜 영상(정치인이나 영화 배우 등)이 그들이 결코 말하지 않은 말을 하는 것입니다.

• 공포: 대통령이 전쟁을 선포하거나 유명인이 사기를 권유하는 가짜 영상이 선거에 혼란을 초래하고 영상 증거에 대한 신뢰를 붕괴시킬 것이라는 공포가 만연했습니다.
• 현실: 2024 년 글로벌 선거에서 이러한 특정 재앙은 발생하지 않았습니다. 정치인의 가짜 영상 몇 개가 등장했지만, 일반인, 언론인, 사실 확인자들이 이를 알아차렸습니다. 이를 발견하기 위해 슈퍼컴퓨터 AI 탐지기가 필요하지 않았습니다. 인간의 눈이 그 역할을 했습니다.
• 연구: 그럼에도 불구하고 모든 연구 논문과 데이터셋의 71% 가 여전히 이러한 '유명 인사' 영상을 잡는 데 집중되어 있습니다. 마치 공학자들이 여전히 산불 소화기를 닦고 있는 것과 같습니다.

실제로 발생한 '부엌 화재'(T2, T3, T5)

연구자들이 큰 불을 찾기 위해 하늘을 바라보는 동안, 실제 피해는 거의 주목받지 못한 세 가지 특정 영역에서 발생했습니다.

1. '부엌 화재'(동료 생성 비동의 성적 이미지):

   • 정의: 일반인 (종종 학생이나 지인) 이 AI 를 사용하여 다른 일반인의 동의 없이 가짜 친밀한 이미지를 생성하는 것입니다.
   • 규모: 이는 폭발적으로 증가하고 있습니다. 2025 년 보고서에 따르면 AI 생성 아동 성학대 물질과 비동의 친밀한 이미지가 260 배 증가했습니다.
   • 격차: 연구자들은 이에 대한 탐지기가 거의 전무합니다. 이는 산불용 소화기는 있지만 가정용 연기 감지기는 없는 것과 같습니다.

2. '가스 누출'(목소리 복제 사기):

   • 정의: 사기꾼들이 가족이나 상사의 목소리를 AI 로 복제하여 돈을 보내도록 속이는 것입니다.
   • 규모: 2025 년, 이러한 사기로 인해 약 9 억 달러의 손실이 발생했습니다. 유명한 사례로는 한 금융 직원이 상사와의 화상 통화인 줄 알고 2,500 만 달러를 송금한 경우가 있습니다 (실제로는 AI 아바타였습니다).
   • 격차: 대부분의 연구는 스튜디오에서 녹음된 오디오를 분석합니다. 하지만 이러한 사기는 불량한 연결 품질의 실시간 전화 통화에서 발생합니다. 현재의 탐지기는 너무 느리고 전화 회선에서는 작동하지 않습니다.

3. '숨겨진 파이프'(메신저 앱):

   • 정의: 암호화로 인해 공개적으로 보이지 않는 비공개 그룹 채팅 (WhatsApp 또는 Telegram 등) 을 통해 가짜 콘텐츠가 확산되는 것입니다.
   • 규모: 이것이 '부엌 화재'(친밀한 이미지 사기) 가 확산되는 방식입니다.
   • 격차: 현재의 탐지기는 '공개 웹'(YouTube 나 Twitter 등) 을 위해 설계되었습니다. 암호화된 비공개 메시지 내부를 볼 수 없습니다.

왜 여전히 잘못된 것을 보고 있을까요?

이 논문은 질문합니다: 큰 산불이 발생하지 않았다면, 왜 여전히 산불 소화기를 만들고 있을까요?

연구 커뮤니티가 갇혀 있는 세 가지 이유를 지적합니다.

1. '테스트 점수'의 함정: 연구자들은 일자리를 얻고 자금을 지원받기 위해 논문을 발표해야 합니다. 이를 위해 표준 '테스트 세트'(FaceForensics++ 등) 를 사용합니다. 이러한 테스트에는 유명 인사들만 포함되어 있습니다. 음성 사기나 비공개 이미지에 대한 탐지기를 테스트해 보려 해도 사용할 표준 테스트가 없습니다. 마치 도시에서 미니밴을 운전해야 하는데, 유일한 시험이 트랙에서 레이싱 카를 운전하는 것만 있는 것처럼 면허를 따려는 것과 같습니다.
2. '프라이버시 장벽': 유명인의 사진을 수집하여 AI 를 훈련시키는 것은 매우 쉽습니다. 하지만 피해자의 사적인 사진이나 사기 통화 녹음을 수집하는 것은 불법적이고 비윤리적입니다. 데이터 확보가 어렵기 때문에 연구자들은 이를 다루는 것을 피합니다.
3. '헤드라인' 효과: 대통령의 가짜 영상은 저녁 뉴스에 나옵니다. 그룹 채팅에서 괴롭힘을 당하는 십대 청소년의 가짜 영상은 그렇지 않습니다. 연구자와 자금 지원자들은 실제 피해 통계가 아닌 헤드라인을 따라갑니다.

해결책: 지도를 바꾸기

이 논문은 유명 인사 딥페이크 연구 자체를 완전히 중단해야 한다고 주장하는 것은 아닙니다. 대신 노력의 방향을 재조정해야 한다고 주장합니다.

세 가지 새로운 연구 과제를 제안합니다:

1. 실시간 전화 탐지기: 나쁜 전화 연결 상태에서도 1 초 이내에 "잠깐, 그 목소리는 가짜 같습니다"라고 말할 수 있는 실시간 전화 통화를 듣는 AI 를 구축합니다.
2. 비공개 '가정' 탐지기: 개인 사진을 중앙 서버로 전송하지 않고 (프라이버시 보호를 위해) 자신의 사진이 가짜인지 확인하는 도구를 개인 휴대폰에서 실행할 수 있도록 합니다.
3. 채팅 앱 방어: 암호화를 깨뜨리지 않고 비공개 그룹 채팅 내부의 가짜 콘텐츠를 탐지하는 방법을 개발합니다.

결론

이 논문은 딥페이크와의 싸움에서 가장 큰 문제가 우리의 AI 가 충분히 똑똑하지 않기 때문이 아니라고 결론 내립니다. 문제는 우리가 2017 년의 지도로 2026 년의 세상을 항해하고 있다는 점입니다. 우리는 도착하지 않은 위협을 위해 탐지기를 만들었고, 실제로 도착한 위협들은 통제되지 않은 채 성장하고 있습니다. 이제 산불 소화기를 내려놓고 실제 위험이 있는 가정용 연기 감지기를 만들기 시작할 때입니다.