인터넷을 사람들이 사진을 공유하는 거대하고 북적이는 마을 광장이라고 상상해 보세요. 수년 동안 이 광장은 삶의 실제 스냅샷들로 가득 차 있었습니다. 하지만 최근, 새로운 종류의 마법이 나타났습니다. 바로 실제 사진처럼 완벽하게 그려내는 AI 생성기들입니다. 이것은 마치 고양이나 자동차, 혹은 사람을 너무 설득력 있게 그려내어 그것이 실제로 존재했는지조차 알 수 없게 만드는 로봇 화가를 둔 것과 같습니다. 이는 마을에 까다로운 문제를 야기합니다. 무엇이 진짜이고 무엇이 영리한 가짜인지 어떻게 알 수 있을까요? 과학자들은 이미지에 대한 "거짓말 탐지기"를 구축해 왔지만, 이 중 많은 탐지기는 특정하고 구식인 미술 학교에서 만든 가짜만을 찾아낼 줄 아는 구식 보안 요원과 같습니다. 이들은 가짜가 새로운 고성능 스튜디오에서 만들어졌거나, 옷 색깔을 바꾸거나 얼굴을 교체하는 등 아주 조금만 편집된 경우에도 종종 혼란을 겪습니다. 또한 그들은 왜 그것이 가짜라고 생각하는지 설명하는 데 어려움을 겪으며, 단순히 "이상해 보인다"는 식의 모호한 답변만 내놓을 뿐 구체적인 단서를 지목하지 못합니다.

이 논문은 이 미스터리를 해결하기 위해 So-Fake라는 이름의 새로운 초강력 탐정 팀과 So-Fake-R1이라는 스마트한 새로운 전략을 소개합니다. 연구진은 약 200만 장의 이미지를 포함하며 12가지의 서로 다른 장면(사람, 동물, 음식, 건물 등)을 다루는 거대한 훈련장을 구축했고, 시스템이 세 가지 종류의 이미지를 식별하도록 가르쳤습니다: 진짜 이미지, 완전히 AI로 만들어진 이미지, 그리고 조작된 실제 사진입니다. 하지만 진짜 시험은 시스템이 한 번도 본 적 없는 실시간 소셜 미디어 사이트와 새로운 AI 도구들을 특징으로 하는 100,000장의 이미지가 담긴 "깜짝 시험"인 So-Fake-OOD였습니다. 단순히 추측하는 대신, 그들의 새로운 방법은 세 명의 전문가 팀을 사용합니다: 전체적인 그림을 보는 시각적 관찰자(Visual Observer), 미세한 결함(이상한 질감이나 깨진 가장자리 같은)을 찾기 위해 확대해서 들여다보는 포렌식 증거 제공자(Forensic Evidence Provider), 그리고 판사 역할을 하는 **의사 결정자(Decision Maker)**입니다. 만약 앞의 두 사람이 동의하면 사건은 종결됩니다. 만약 의견이 갈리면, 판사가 개입하여 사진과 단서들을 재검토하여 최종 결정을 내립니다. 결과는 어떠했을까요? 이 새로운 팀은 한 번도 만나본 적 없는 도구로 만들어진 가짜들조차 인터넷상의 가짜를 훨씬 더 잘 잡아내며, 실제로 가짜인 부분을 정확히 지목하고 그 이유를 설명할 수 있습니다.

큰 그림: 왜 더 나은 거짓말 탐지기가 필요한가

인터넷을 거대한 도서관이라고 생각해 보세요. 오랫동안 책(사진)은 인간에 의해 쓰였습니다. 하지만 이제는 인간이 쓴 책과 똑같이 보이는 책을 쓰는 로봇들이 있습니다. 문제는 이 로봇 책들 중 일부가 거짓말로 가득 차 있으며, 우리는 어떤 것이 진짜인지 알아야 한다는 것입니다.

과학자들은 이 로서들을 잡기 위해 "포렌식 스캐너"를 구축하려고 노력해 왔습니다. 그러나 대부분의 스캐너는 두 가지 큰 약점을 가지고 있습니다:

1. 그 범위가 너무 좁습니다: 많은 스캐너가 얼굴만 봅니다. 만약 로봇이 가짜 풍경이나 가짜 자동차를 그린다면, 스캐너는 이를 완전히 놓칠 수 있습니다.
2. 쉽게 속습니다: 만약 로봇이 새로운 기술을 사용하여 가짜를 만든다면, 오래된 스캐너들은 혼란에 빠집니다. 이는 2010년형 가짜 신분증은 알아볼 줄 알지만 2025년형 가짜 신분증은 전혀 모르는 보안 요원과 같습니다.

게다가, 이 스캐너들이 "이것은 가짜다"라고 말할 때, 그들은 종로 종종 왜 그런지에 대해 설명하지 못합니다. 그들은 단순히 예/아니오 답변만 주는데, 이는 무엇이 바뀌었는지 알 필요가 있는 상황에서는 도움이 되지 않습니다.

새로운 탐정 팀: So-Fake와 So-Fake-R1

이 논문의 저자들은 더 나은 시스템을 구축하기로 결정했습니다. 그들은 단순히 새로운 스캐너를 만든 것이 아니라, 새로운 훈련장과 직업에 대한 새로운 사고방식을 구축했습니다.

1. 훈련장: So-Fake

당신이 나쁜 놈을 잡도록 개를 훈련시킨다고 상상해 보세요. 만약 당신이 빨간 모자를 쓴 사람(특정 유형의 나쁜 놈)에게만 훈련시킨다면, 파란 모자를 쓴 사람을 보았을 때 실패할 것입니다. 연구진은 자신들의 AI를 모든 것에 대해 훈련시켜야 한다는 것을 깨달았습니다.

그들은 다음 두 부분으로 구성된 So-Fake를 만들었습니다:

• So-Fake-Set (연습 경기장): 이것은 200만 장의 이미지를 포함하는 방대한 컬렉션입니다. 여기에는 실제 사진, AI로 완전히 만들어진 사진, 그리고 편집된(사람의 머리를 바꾸거나 배경을 바꾸는 등) 실제 사진이 포함됩니다. 그들은 얼굴, 동물, 음식부터 차량, 예술품에 이르기까지 12가지 카테로리를 다루었습니다. 또한 시스템이 다양한 스타일의 위조를 식별할 수 있도록 30가지의 서로 다른 AI 도구를 사용하여 가짜를 만들었습니다.
• So-Fake-OOD (깜짝 시험): 이것은 진짜 시험입니다. 여기에는 실제 소셜 미디어 사이트(Reddit, Instagram, X 등)에서 가져온 이미지와 시스템이 이전에 본 적 없는 15가지의 새로운 상업용 AI 도구로 만든 가짜들이 포함되어 있습니다. 이는 새로운 가짜가 매일 등장하는 실제 세계를 시뮬레이션합니다.

목표는 시스템이 "미지의 것"을 처리할 수 있는지 확인하는 것이었습니다. 대부분의 기존 시스템은 훈련 데이터의 특정 패턴을 암기했기 때문에 여기서 실패합니다. 이 새로운 시스템은 단순히 특정 외형을 외우는 것이 아니라, 가짜라는 개념을 배워야 했습니다.

2. 전략: So-Fake-R1

하나의 거대한 뇌가 모든 것을 수행하는 대신, 연구진은 함께 일하는 세 명의 전문가 팀을 만들었습니다. 이것이 그들의 새로운 방법인 So-Fake-R1의 핵심입니다.

• 시각적 관찰자 (The Visual Observer - 큰 그림 담당): 이 부분은 전체 이미지를 보고 "이 장면이 말이 되는가?"라고 묻습니다. 이미지가 전달하는 이야기를 확인합니다. 예를 들어, 사진에 구름 위에 서 있는 사람이 있다면, 관찰자는 "저것은 수상해 보인다"라고 말할 수 있습니다. 고차원적인 의견을 제공합니다.
• **포렌식 증거 제공자 (The Forensic Evidence Provider - 현미경 담당):
  이야기에는 관심이 없고 픽셀에 집중합니다. 인간은 볼 수 없는 미세하고 보이지 않는 결함을 찾기 위해 확대합니다. 아마도 벽의 질감이 너무 매끄럽거나 그림자가 빛과 맞지 않을 수 있습니다. 물리적인 증거를 제공합니다.
• 의사 결정자 (The Decision Maker - 판사): 이 사람은 대장입니다. 관찰자와 제공자의 말을 듣습니다.
  • 증거 게이트 (The Evidence Gate): 판사가 개입하기 전에, 간단한 규칙이 관찰자와 제공자가 일치하는지 확인합니다. 만약 둘 다 "진짜"라고 하고 증거가 강력하다면, 게이트는 "사건 종결, 진짜임"이라고 말합니다. 만약 둘 다 "가짜"라고 하고 증거가 강력하다면 "가짜"입니다.
  • 중재 (The Arbitration): 만약 그들이 의견을 달리하거나(예: 관찰자는 "진짜"라고 하지만 제공자가 결함을 발견한 경우), 혹은 증거가 약한 경우, 게이트는 사건을 의사 결정자에게 보냅니다. 판사는 원본 사진을 다른 두 사람의 보고서와 함께 다시 검토하고 최종 결정을 내립니다.

이 "팀 접근 방식"은 매우 중요합니다. 이는 시스템이 단 한 가지 종류의 단서에만 의존하여 실수를 저지르는 것을 방지합니다.

그들이 발견한 것

연구진은 자신들의 새로운 팀을 많은 기존 방법들과 비교 테스트했습니다. 결과는 다음과 같았습니다:

• 미지의 것을 포착하는 능력 향상: 새로운 AI 도구와 실제 소셜 미디어 사진이 포함된 "깜짝 시험"(So-Fake-OOD)에서 테스트했을 때, 새로운 팀은 **72.0%의 균형 정확도(balanced accuracy)**를 기록했습니다. 이는 그다음으로 좋은 방법보다 약 6.4포인트 높은 수치입니다. 이는 큰 그림과 미세한 세부 사항을 모두 보는 것이 새로운 유형의 가짜를 더 잘 처리하는 데 도움이 된다는 것을 시사합니다.
• 가짜 부분을 찾는 능력 향 향상: 시스템이 사진의 정확히 어디가 편집되었는지 지목해야 했을 때(localization), 47.8 IoU(강조된 영역이 실제 가짜 영역과 얼마나 잘 일치하는지를 나타내는 척도) 점수를 얻었습니다. 그다음으로 좋은 방법은 이보다 6.3포인트 낮았습니다. 이는 새로운 팀이 단순히 "가짜다"라고 말하는 것이 아니라, 바뀐 얼굴이나 교체된 물체와 같이 특정 지점을 지목할 수 있음을 의미합니다.
• 이유를 설명하는 능력 향상: 시스템은 또한 자신의 결정에 대한 설명을 생성했습니다. 인간 평가자들은 다른 방법들에 비해 새로운 팀의 설명을 55%의 비율로 더 선호했습니다. 그들의 설명은 단순히 추측하는 것이 아니라 실제 시각적 증거에 더 근거하고 있었습니다.
• 소셜 미디어 트릭에 대한 강건성: 인터넷의 실제 사진들은 압축되거나 크기가 조정되거나 재업로드되면서 단서가 흐려질 수 있습니다. 새로운 팀은 이러한 조건에서도 기존 방법들보다 훨씬 더 잘 버텨냈으며, 다른 방법들이 크게 하락하는 동안 아주 작은 성능 저하만을 보여주었습니다.

이 논문이 배제하는 것들

이 논문은 몇 가지 흔한 생각에 대해 명시적으로 반박합니다:

• 일률적인 탐지기 (One-Size-Fits-All Detectors): 그들은 하나의 모델이 모든 것을 한꺼번에 하려고 할 때(탐지, 위치 파악, 설명) 종종 "그럴듯하지만 근거가 약한" 이유를 만들어낸다는 것을 보여줍니다. 이는 정답은 맞히지만 풀이 과정을 보여주지 못하는 학생과 같습니다. 팀 접근 방식은 과업을 분리하기 위해 필수적입니다.
• 얼굴에만 집중하는 방식 (Face-Only Focus): 그들은 얼굴로만 훈련된 탐지기가 풍경, 동물, 또는 사물에 대해 테스트될 때 처참하게 실패한다는 것을 입증했습니다. 좋은 탐지기는 얼굴뿐만 아니라 매우 다양한 콘텐츠에 대해 훈련되어야 합니다.
• 생성기 특정 훈련 (Generator-Specific Training): 그들은 특정 AI 도구(예: 특정 버전의 Stable Diffusion)가 만든 가짜로만 탐지기를 훈련시키면, 다른 도구로 만든 가짜를 테스트할 때 실패한다는 것을 발견했습니다. 시스템은 위조의 일반적인 규칙을 배우기 위해 매우 다양한 생성기를 접해야 합니다.

얼마나 확신할 수 있는가?

저자들은 자신들의 결과를 매우 엄격하게 테스트했기 때문에 결과에 상당히 자신감을 가지고 있습니다. 그들은 단순히 몇 가지 예시를 시뮬레이션한 것이 아니라, 200만 장의 훈련 이미지와 100,000장의 테스트 이미지를 통해 테스트했습니다. 그들은 자신들의 방법을 수많은 기존 방법들(20개 이상의 베이스라인)과 비교했습니다. 결과는 탐지, 위치 파악, 설명 전반에 걸쳐 일관된 개선을 보여주었습니다.

하지만 그들은 이것이 연구를 위한 벤치마크이자 방법론임을 유념하고 있습니다. 그들은 이 문제가 영원히 "해결되었다"고 주장하는 것이 아닙니다. AI는 빠르게 진화하고 있으며, 새로운 도구는 언제나 나타날 것입니다. 그러나 그들의 작업은 팀 기반의 증거 기반 접근 방식이 기존의 "단일 뇌" 방식보다 가짜와 싸우는 데 훨씬 더 강력한 방법임을 시사합니다.

요약하자면, 이 논문은 다음과 같이 말합니다: "가장 영리한 위조범을 잡으려면, 전체 이야기를 보고, 미세한 세부 사항을 확인하며, 논쟁을 해결할 스마트한 판사가 있는 팀이 필요합니다. 그리고 얼굴뿐만 아니라 모든 것에 대해 훈련시켜야 합니다."