Uncertainty-Aware Deepfake Detection via Multi-View Structural Learning

디지털 탐정의 딜레마

현실과 허구가 뒤섞이기 시작한 북적이는 시장통을 걷고 있다고 상상해 보세요. 이곳은 '딥페이크(deepfakes)'의 세계입니다. 강력한 컴퓨터 프로그램이 얼굴을 바꾸거나, 사람이 하지 않은 말을 하는 것처럼 만들어 아주 진짜처럼 보이는 영상을 만들어낼 수 있는 곳이죠. 오랫동안 과학자들은 이러한 가짜를 찾아내기 위해 디지털 탐정들을 구축해 왔습니다. 이 탐정들은 보통 이상한 그림자나 어울리지 않는 픽셀 같은 미세하고 보이지 않는 결함을 찾아내어, 진짜 영상과 가짜 영상을 구별합니다.

하지만 이 구식 탐정들에게는 큰 문제가 있습니다. 그들은 종종 너무 과도하게 확신에 차 있다는 점입니다. 마치 보안 요원이 단순히 지나가는 행인을 보고도 "멈춰!"라고 소리치며 범인이라고 단정 짓는 것과 같습니다. 딥페이크의 세계에서 이런 일은 컴퓨터가 이전에 본 적 없는 약간 다른 영상을 접하거나, 이미지가 흐릿하거나 노이즈가 심할 때 발생합니다. 컴퓨터는 실제 영상임에도 불구하고 여전히 100%의 확신을 가지고 "가짜!"라고 외칠 수 있으며, 그 반대의 경우도 마찬가지입니다. 이것은 위험한데, 왜냐하면 우리가 컴퓨터의 확신을 신뢰할 수 없다면 그 판결 또한 신뢰할 수 없기 때문입니다. 질문은 단순히 "이것이 가짜인가?"가 아니라 "얼마나 확신하는가?"가 되어야 합니다.

세 명의 탐정 팀

이 논문에서 연구자들은 DISCERN이라 불리는 새로운 종류의 탐정 시스템을 제안합니다. 하나의 과도하게 확신에 찬 경비원에게 의존하는 대신, 그들은 동일한 영상을 세 가지 다른 각도에서 바라보는 세 명의 서로 다른 전문가 팀을 구축했습니다. 핵심 아이디어는 세 전문가가 모두 동의한다면 팀은 매우 높은 확신을 가질 수 있지만, 만약 그들이 서로 논쟁하기 시작한다면 시스템은 멈추어 서서 "이것에 대해서는 잘 모르겠다"라고 말하는 것입니다.

이 팀이 어떻게 작동하는지 재미있는 비유를 통해 살펴보겠습니다:

1. 시각 전문가 (CLIP 스트림): 이 전문가는 "전체적인 그림"을 관찰합니다. 수백만 개의 이미지를 학습한 거대한 사전 훈련된 두뇌(파운데이션 모델)를 사용합니다. 이 전문가는 얼굴을 보고 "이것은 사람처럼 보인다" 또는 "이것은 생성된 이미지처럼 보인다"라고 말합니다. 일반적인 패턴을 인식하는 데 뛰어나지만, 까다로운 조명이나 압축 방식에 속을 수도 있습니다.
2. 의미 전문가 (Semantic 스트림): 이 전문가는 "논리 검사기"입니다. 단순히 픽셀을 보는 것이 아니라, 얼굴이 논리적으로 맞는지 확인합니다. 예를 들어, 영상 속 인물이 웃고 있다면 입 모양이 '미소'라는 근육 움직임과 일치하는지 확인합니다. 만약 사람이 왼쪽을 보고 있다면 머리가 제대로 돌아가는지도 체크합니다. 컴퓨터는 '미소'라고 말하는데 근육이 움직이지 않는다면, 이 전문가는 경고 신호를 보냅니다. 이 전문가는 얼굴의 '이야기'가 일관적인지를 살핍니다.
3. 구조 전문가 (Structural 스트림): 이 전문가는 "법의학자"입니다. 가짜를 만든 컴퓨터가 남긴 보이지 않는 지문을 찾습니다. 실제 카메라에서는 보통 발생하지 않는 이상한 노이즈 패턴이나 기이한 주파수 신호를 확인합니다. 이는 마치 지폐의 종이가 실제 면인지 저렴한 플라스틱인지 확인하는 것과 같습니다.

"불일치"의 마법

DISCERN의 진정한 마법은 단순히 세 명의 전문가를 보유했다는 점이 아니라, 그들이 서로 의견이 다를 때 이를 어떻게 처리하느냐에 있습니다. 연구자들은 **상호 분기 불일치 보정(Inter-Branch Disagreement Calibration, IBDC)**이라는 특별한 규칙을 도입했습니다.

이것은 배심원단과 비슷합니다. 만약 세 명의 배심원이 모두 높은 확신을 가지고 "유죄"라고 말한다면, 그 판결은 확실합니다. 하지만 배심원 A는 "유죄!"라고 외치는데, 배심원 B는 "무죄!"라고 하고, 배심원 C는 갈팡질팡하고 있다면 어떨까요? 일반적인 시스템에서는 "유죄" 표가 승리하여 시스템이 확신에 찬 채로 틀린 답을 내놓을 수 있습니다. 하지만 DISCERN에서는 시스템이 그 논쟁을 감지합니다. 전문가들이 의견이 엇갈리면, 시스템은 자동으로 확신도를 낮춥니다. 즉, "잠깐, 우리 의견이 충돌하고 있으니 100% 확신할 수 없습니다. 아마 더 많은 도움을 요청하거나 그냥 모른다고 인정해야겠습니다"라고 말하는 것입니다.

이는 거대한 변화입니다. 단순히 "예" 또는 "아니오"라는 단일 답변을 강요하는 대신, 시스템은 자신의 구성 요소들이 얼마나 서로 다르게 반응하는지를 측정하는 법을 배웁니다. 시각 전문가가 가짜를 발견했지만 논리 전문가가 진짜라고 생각한다면, 시스템은 무언가 까다로운 상황임을 인지하고 불확실성을 느낍니다. 이 불확실성은 오히려 좋은 것인데, 왜냐하면 우리에게 주의를 기울여야 할 때를 알려주기 때문입니다.

연구 결과

연구자들은 새로운 유형의 가짜 영상들을 포함한 다양한 딥페이크 데이터셋을 대상으로 이 새로운 탐정 팀을 테스트했습니다. 그 결과 DISCERN은 다음 두 가지 측면에서 훨씬 뛰어난 성능을 보였습니다:

1. 일반화 능력: 기존 탐지기들이 잡아내지 못한 새로운 유형의 가짜 영상들에 대해서도 잘 작동했습니다. 예를 들어, Celeb-DF-v3라는 데이터셋에서 이전 방식들보다 정확도가 크게 향상되었습니다.
2. 정직함: 이것이 가장 큰 성과였습니다. 시스템은 자신이 불확실할 때를 훨씬 더 잘 파악했습니다. 테스트에서 DISCEND는 매우 낮은 "기대 보정 오차(Expected Calibration Error, 확신의 정직함을 측정하는 점수)"를 기록했습니다. 한 테스트에서 이 점수는 차순위 방식의 절반에도 못 미치는 0.014를 기록했습니다. 이는 DISCERN이 90% 확신한다고 말할 때, 실제로 90%의 확률로 맞다는 것을 의미합니다.

또한 연구진은 흐릿하거나, 노이즈가 있거나, 색상이 이상한(예: 나쁜 카메라로 찍은 실제 사진 같은) 영상들을 대상으로 시스템을 테스트했습니다. 영상의 품질이 좋지 않더라도 DISCERN은 신뢰성을 유지했습니다. 팀 내 전문가들이 의견이 일치하지 않을 때, 시스템은 엉뚱한 추측을 하기보다 해당 영상을 "불확실함"으로 올바르게 분류했습니다.

시사점

이 논문은 딥페이크를 잡는 최선의 방법이 단순히 더 똑똑한 단일 탐지기를 만드는 것이 아니라, 여러 종류의 증거를 경청하고, 결정적으로 그 증거들이 서로 일치하지 않을 때 그 점에 주목하는 시스템을 구축하는 것이라고 제안합니다. "불일치"를 "불확실성"의 신호로 전환함으로써, DISCERN은 영상이 흐릿하거나 압축된 경우가 많은 복잡하고 불완으로 가득한 실제 세상에서도 더 신뢰할 수 있고 견고한 가짜 식별 방법을 만들어냅니다. 이는 단순히 거짓말을 잡아내는 것뿐만 아니라, 자신이 틀릴 수도 있다는 사실을 아는 것에 관한 문제입니다.