당신의 눈과 귀가 더 이상 보고 듣는 것을 믿을 수 없는 세상을 상상해 보십시오. 우리는 컴퓨터가 사람처럼 그리고 노래하고 연기하는 법을 배워, 실제 사람의 "가짜" 버전을 만들어낼 수 있는 시대에 살고 있습니다. 이것들은 단순히 형편없는 그림이나 우스꽝스러운 성대모사가 아닙니다. 이것들은 **딥페이크(deepfakes)**라고 불리는 초현실적인 디지털 위조물입니다. 이것들을 디지털 꼭두각시라고 생각하십시오. 정치인의 영상을 가져와서 그들의 얼굴을 다른 사람으로 바꾸거나, 그들이 하지 않은 말을 하게 만들 수도 있고, 심지 even 문장 하나를 입력하는 것만으로 화성에 있는 유니콘을 타는 유명인의 영상을 생성할 수도 있습니다. 이 기술은 양날의 검입니다. 한편으로는 창의성과 엔터테인로를 위한 마법 같은 도구이지만, 다른 한편으로는 사람들을 속여 돈을 가로채거나 거짓을 믿게 만드는 사기꾼과 조작자들의 무기가 됩니다. 과학자들에게 주어진 큰 질문은 이것입니다. 만약 가짜들이 점점 더 정교해진다면, 우리는 문제가 발생하기 전에 이를 포착할 만큼 똑똑한 탐지기를 구축할 수 있을까요?

이 논문은 이 고도의 긴박한 '쫓고 쫓기는 게임'을 이해하려는 모든 이들을 위한 거대하고 체계적인 보물 지도와 같습니다. 루마니아, 아랍에미리트(UAE), 미국 대학의 연구진인 저자들은 딥페이크를 생성하는 방법과 그것을 포착하는 방법 모두에 대해 알려진 모든 기법을 수집했습니다. 그들은 이미지, 영상, 오디오 파일의 혼돈을 훑으며 이러한 가짜들이 어떻게 만들어지는지에 대한 명확한 "가계도"(또는 분류 체계)를 구축합니다. 그들은 생성적 적대 신경망(GAN)—한 예술가는 가짜를 그리려 하고 다른 예술가는 그것을 찾아내려 하며 서로 싸우는 것과 같은 방식—과 같은 전통적인 도구부터, 무작위적인 정적 노이즈를 서서히 선명한 그림으로 바꾸어 마치 조각가가 돌덩이를 깎아 조각상을 드러내는 것처럼 작동하는 최신 강력한 "확산 모델(diffusion models)"까지 살펴봅니다.

연구진은 이어 탐정들에게 주의를 돌립니다. 즉, 딥페이크를 찾아내기 위해 설계된 컴퓨터 프로그램들입니다. 그들은 인간이 놓치기 쉬운 아주 작고 보이지 않는 결함이나 "아티팩트(artifacts)"를 찾기 위해 복잡한 신경망(인간의 뇌에서 영감을 받은 수학적 시스템)을 사용하는 현재 가용 가능한 최고의 도구들을 검토합니다. 하지만 여기서 그들이 발견한 반전이 있습니다: 현재의 최선이라 불리는 탐지기들이 실패하고 있다는 것입니다. 이 탐지기들을 탐지기가 본 적 없는 새로운 강력한 AI 도구로 만들어진 딥페이크에 테스트했을 때, 탐지기들은 혼란에 빠져 가짜를 찾아내는 데 실패했습니다. 이는 보안 요원에게 특정 유형의 위조 신분증을 알아보도록 가르쳤는데, 범죄자들이 바로 다음 날 완전히 새로운 유형의 위조품으로 바꿔치기한 것과 같습니다. 또한 이 논문은 이 실패를 측정하기 위한 새로운 "테스트 트랙(벤치마크)"을 소개하며, 단순히 모든 가짜를 찾아내려고 노력하는 대신, 블록체인 기술을 사용하여 콘텐츠의 출처를 검증하거나 특정 인물에 집중하여 탐지를 용이하게 하는 등 게임의 규칙 자체를 바꿀 필요가 있을지도 모른다고 제안합니다.

큰 그림: 무슨 일이 일어나고 있는가?

딥페이크는 본질적으로 디지털 환상입니다. 이것들은 이미지(사진), 영상(움직이는 그림), 오디오(목소리), 또는 멀티모달(소리가 포함된 영상) 형태를 띱니다. 논문은 이러한 형태들이 어떻게 만들어지는지 다음과 같은 "맛(flavor)"으로 분류합니다:

• 신원 교체(Identity Swapping): 한 사람의 얼굴을 가져와 다른 사람의 몸에 붙이는 것 (얼굴 바꾸기와 같음).
• 표정 교체(Expression Swapping): 누구인지 바꾸지 않고도 실제로는 슬펐던 사람을 행복해 보이게 만드는 것.
• 말하는 얼굴 합성(Talking Face Synthesis): 실제로는 말하지 않았더라도 음성 녹음에 맞춰 사람의 입술이 움직이고 표정이 변하도록 만드는 것.
• 텍text-to-Image/Video: "유니콘을 탄 모건 프리먼"과 같은 문장을 입력하여 컴퓨터가 처음부터 완전히 새로운 영상을 생성하게 하는 것.

저자들은 이러한 가짜들의 "창조자"들이 몇 가지 주요 도구를 사용해 왔음을 발견했습니다. 예전의 단골 손님은 GAN과 VAE(변이형 오토인코더)였지만, 새로운 강자는 **확산 모델(Diffusion Models)**과 **트랜스포머(Transformers)**입니다. 이 새로운 도구들은 매우 뛰어나서 고품질의 가짜를 몇 초 만에 생성할 수 있습니다.

탐정 작업: 어떻게 잡아내는가

테이블의 반대편에는 탐지기들이 있습니다. 오랫동안 이 탐지기들은 오래된 AI 도구들이 남긴 "결함"을 찾아내도록 훈련되었습니다. 예를 들어, 오래된 AI가 가짜 코를 실제 얼굴에 합성할 때 경계선을 매끄럽게 처리하지 못했다면, 탐지기는 그 특정한 흐릿함을 찾도록 학습되었습니다. 논문은 이 탐지기들을 작동 방식에 따라 분류합니다:

• CNN: 이미지를 픽셀 단위로 스캔하여 패턴을 찾는 전통적인 카메라와 같습니다.
• 트랜스포머(Transformers): 전체 그림(또는 영상)을 한꺼번에 보며 서로 다른 부분들이 어떻게 연결되는지 이해하는 더 새롭고 똑똑한 시스템입니다.
• 하이브리드 모델: 두 세계의 장점을 결합한 형태입니다.

연구진은 과학자들이 탐지기를 훈련하고 테스트하는 데 사용하는 방대한 양의 데이터셋(실제 영상과 가짜 영상의 집합)을 수집했습니다. 그들은 FaceForensics++, Celeb-DF, DeepFake-TIMIT와 같은 유명한 데이터셋을 살펴보았습니다. 또한 특정 테스트에서 어떤 탐지기가 가장 잘 작동하는지에 대한 순위도 매겼습니다.

충격적인 발견: 탐지기들이 지고 있다

이것이 이 논문의 가장 중요한 부분입니다. 저자들은 "최고"라고 불리는 탐지기들—기존 테스트에서 99%의 정확도를 기록했던 것들—을 가져다가 새로운 도전 과제인 분포 외(out-of-distribution) 테스트에 던져 넣었습니다. 즉, 이 탐지기들이 한 번도 학습해 본 적 없는 새로운, 보지 못한 AI 도구로 만들어진 딥페이크를 대상으로 테스트한 것입니다.

결과는 어떠했을까요? 탐지기들은 처참하게 실패했습니다.

논문은 AI 창조자들이 도구를 업그레이드하면 탐지기들이 뒤처지게 된다는 것을 보여줍니다. 도구 A로 만든 가짜를 잡는 데 완벽했던 탐지기가 도구 B로 만든 가짜에는 완전히 눈이 멀 수 있습니다. 저자들은 이것이 탐지기들이 딥페이크의 근본적인 본질을 이해하기보다는, 특정 도구가 남긴 "지문"을 찾는 법을 배우기 때문이라고 설명합니다. 이는 개에게 빨간색 자동차에만 짖도록 가르친 것과 같습니다. 파란색 자동차가 지나가면 개는 침묵할 것입니다.

다음 단계는 무엇인가? 새로운 아이디어와 도구들

현재의 "가짜 찾기" 접근 방식이 어려움을 겪고 있기 때문에, 논문은 몇 가지 신선한 아이디어를 제안합니다:

1. 새로운 벤치마크: 저자들은 탐지기들이 이러한 "보지 못한" 가짜들을 얼마나 잘 다루는지 확인하기 위해 특별히 설계된 새로운 테스트를 구축했습니다(웹사이트에서 확인 가능). 이는 연구자들이 자신의 시스템이 가진 실제 약점을 파악하는 데 도움을 줍니다.
2. 관심 인물(POI) 탐지: 어떤 영상이 가짜인지 추측하는 대신, 해당 인물의 검증된 사진과 영상을 비교한다면 어떨까요? 만약 영상이 알려진 사진과 일치하지 않는다면, 그것은 가짜입니다. 이 방식은 문제를 단순화합니다.
3. 블록체인 솔루션: 가짜가 나타난 후에 탐지하려고 노력하는 대신, 콘텐츠가 공유되기 전에 출처를 검증하는 것은 어떨까요? 논문은 미디어가 공유되기 전에 그 기원을 추적하여 검증된 콘텐츠만 공유되도록 보장하기 위해 블록체인을 사용하는 것을 제안합니다.

결론

이 논문은 하나의 경종을 울립니다. 이는 우리가 딥페이크를 생성하고 탐지하는 데 있어 놀라운 진전을 이루었지만, 이 "군비 경쟁"은 아직 끝나지 않았음을 말해줍니다. 현재의 탐지기들은 너무 전문화되어 있습니다. 즉, 어제의 가짜를 잡는 데는 뛰어나지만, 내일의 가짜에는 쉽게 속아 넘어갑니다. 저자들은 우리가 단순히 "결함"을 찾는 것에 의존하는 것을 멈추고, 어떤 도구가 사용되었든 상관없이 가짜를 식별할 수 있는, 즉 일반화할 수 있는 시스템을 구축하기 시작해야 한다고 결론짓습니다. 그때까지 현실과 디지털 환상 사이의 경계는 계속해서 흐릿해질 것이며, 우리는 진실을 지키기 위한 더 나은 도구가 필요합니다.