당신이 범인을 잡으려는 형사라고 상상해 보세요. 하지만 당신이 가진 유일한 단서는 용의자의 흐릿하고 저해상도인 사진 한 장뿐입니다. 만약 당신이 그 사진 속 용의자의 얼굴을 오직 단어로만 설명하려고 한다면, 존재하지 않는 특징을 메우기 위해 멋대로 상상하여 잘못된 추측을 할 수도 있습니다. 이것이 바로 과학자들이 컴퓨터가 만든 가짜 이미지를 식별할 때 직면하는 문제입니다. 디지털 포렌식의 세계에서 '위조(forgery)'란 누군가가 실제처럼 보이도록 사진을 디지털로 편집했다는 것을 의미합니다. 오랫동안 컴퓨터는 탐정 역할을 해왔지만, 이들은 마치 '블랙박스'와 같았습니다. "이것은 가짜다"라고 말할 수는 있었지만, 왜 그런지는 설명하지 못했고, 새로운 수법에 쉽게 혼란을 겪곤 했습니다.

최最近, 멀티모달 거대 언어 모델(MLLM)이라는 새로운 유형의 초지능형 컴퓨터 두뇌가 도입되었습니다. 이들은 사진을 보고 텍스트를 동시에 읽을 수 있는 탐정이라고 생각하면 됩니다. 이들은 이야기와 장면을 이해하는 데 탁월합니다. 하지만 사진 속의 아주 미세하고 보이지 않는 단서들—예를 들어 빛이 그림자에 닿는 방식의 미묘한 변화나 픽셀의 이상한 패턴 같은 것들—을 찾아내는 데 있어서는 '환각(hallucinate)' 현상을 보입니다. 이는 그들이 눈에 보이는 것을 바탕으로 이야기를 지어내어, 실제로는 존재하지 않는 가짜 증거를 자신 있게 설명하기 시작함을 의미합니다. 시각적인 문제를 언어 기반의 해결책으로 억지로 끼워 맞추려 하기 때문입니다. 이들은 마치 지문 대신 용의자의 성격에 대해 긴 드라마틱한 이야기를 써 내려가며 결국 잘못된 결론에 도달하는 탐정과 같습니다.

이 논문은 새로운 탐정인 ForgeryVCR을 소개합니다. ForgeryVCR은 컴퓨터에게 이야기를 쓰라고 강요하는 대신, 특별한 '포렌식 도구 상자'를 제공하고 직접 증거를 살펴보도록 가르칩니다. 연구진은 컴퓨터가 보이지 않는 단서들을 눈에 보이는 그림으로 바꾸는 도구를 사용할 수 있게 되었을 때, 훨씬 더 뛰어난 탐정이 된다는 것을 발견했습니다. 그들은 모델에게 단순히 추측하는 것을 멈추고 직접 조사하도록 가르쳤으며, 이를 '시각 중심 추론(Visual-Centric Reasoning)'이라는 전략이라고 부릅니다. 그 결과, 속이기 훨씬 어렵고, 사진의 어느 부분이 조작되었는지 정확히 찾아내며, 가짜 이야기를 만들어내느라 정신을 팔지 않는 시스템이 탄생했습니다.

문제점: 말이 너무 많은 탐정

당신이 울타리 위에 앉아 있는 고양이 사진을 보고 있다고 상상해 보세요. 일반적인 사람이라면 고양이의 털 끝부분이나 그림자가 떨어지는 방식을 보고 고양이가 포토샵으로 합성되었는지 알 수 있습니다. 하지만 '텍스트 기반 추론'에 의존하는 컴퓨터는 먼저 고양이를 글로 묘사하려고 시도합니다. 그 컴퓨터는 고양이가 완벽하게 실제 고양이임에도 불구하고, "고양이가 신비로운 분위기를 풍기기 때문에 수상해 보인다"라고 말할 수도 있습니다. 논문은 이러한 접근 방식이 결함이 있다고 주장하는데, 그 이유는 언어가 가짜 이미지를 드러내는 미세한 픽셀 단위의 결함을 설명하기에는 너무 모호하기 때문입니다.

저자들은 현재의 AI 모델들이 흔히 '의미론적 환각(semantic hallucinations)'을 겪는다는 것을 보여줍니다. 이는 AI가 실제 데이터보다는 학습된 언어 능력에 의존하기 때문에, 가짜 영역을 진짜라고 확신하며 설명하거나 그 반대의 경우를 범하는 현상을 말합니다. 이는 마치 유리잔 위의 지문을 무시하고 대신 범인이 좋아하는 색깔을 근거로 범인의 정체를 추측하는 탐정과 같습니다. 논문은 단순히 더 많은 텍스트 설명을 추가하거나 '사고의 사슬(Chain-of-Thought, AI가 단계별 과정을 글로 설명하는 방식)'을 사용하는 것만으로는 이 문제를 해결할 수 없음을 명시적으로 밝힙니다. 사실, 그들은 텍스트를 추가하는 것이 오히려 문제를 악화시켜 더 많은 실수를 유발한다는 것을 발견했습니다.

해결책: 마법 도구 상자를 가진 탐정

이를 해결하기 위해 저자들은 ForgeryVCR을 구축했습니다. AI에게 이야기를 쓰라고 요구하는 대신, 돋보기, 자외선(UV) 라이트, 지문 스캐너 역할을 하는 디지털 도구 세트를 제공했습니다. 이 도구들은 다음과 같습니다:

• ELA (Error Level Analysis): 이미지의 압축 방식이 서로 다른 영역을 강조합니다. 마치 기존 벽지 위에 새로운 벽지를 붙여놓은 것을 찾아내는 것과 같습니다.
• FFT (Fast Fourier Transform): 이미지의 주파수 패턴을 살펴 이미지가 크기 조정되거나 복사될 때 나타나는 격자 형태의 아티팩트를 찾아냅니다.
• NPP (Noise Print Plus): 이미지의 '노이즈'나 입자감을 확인하여 카메라 센서의 지문이 사진 전체에 걸쳐 일관적인지 체크합니다.
• Zoom-In: AI가 디테일을 놓치지 않고 특정 의심스러운 지점을 더 자세히 들여다볼 수 있게 해줍니다.

핵심 혁신은 **시각 중심 추론(Visual-Centric Reasoning)**입니다. AI가 "조명이 이상해서 이 부분이 가짜인 것 같다"라고 말하는 대신, 실제로 ELA 도구를 '호출'하고, 압축 방식이 다른 곳에 나타난 밝은 빨간색 점을 본 뒤, "여기에 빨간 점이 있으므로 이것은 가짜다"라고 말하는 방식입니다. 결정은 AI의 '생각'이 아니라 도구가 '보여주는 것'에 근거합니다.

AI를 가르치는 방법: "전략적 도구 학습"

탐정에게 도구 상자를 준다고 해서 그들이 언제 어떤 도구를 써야 할지 알 것이라고 기대할 수는 없습니다. 만약 모든 사진에 자외선 라이트를 사용한다면 시간을 낭비하고 혼란에 빠질 것입니다. 저자들은 AI에게 어떤 도구를 사용할지 가르치기 위해 **전략적 도구 학습(Strategic Tool Learning)**이라는 특별한 훈련 방법을 개발했습니다.

이 훈련은 두 단계로 진행되었습니다:

1. 지도 미세 조정 (Supervised Fine-Tuning, SFT): AI에게 수많은 가짜 및 실제 이미지 예시를 보여주었습니다. 여기에는 '이득 기반(gain-driven)' 방식이 사용되었는데, 이는 해당 도구가 정답을 찾는 데 실제로 도움이 되었을 때만 AI가 도구를 사용하도록 허용하는 방식입니다. 만약 도구가 새로운 정보를 추가하지 못한다면, AI는 도구를 건너뛰도록 학습했습니다. 이를 통해 AI가 불필요하게 도구를 사용하는 것을 방지했습니다.
2. 강화 학습 (Reinforcement Learning, RL): 이는 AI가 정답을 맞히면 점수를 얻고, 시간을 낭비하면 점수를 잃는 비디오 게임과 같습니다. AI에게는 '도구 효용 보상(Tool Utility Reward)'이 주어졌습니다. 만약 도구를 사용하여 가짜 부분을 찾아내면 큰 보상을 받았습니다. 반대로 도구를 사용했는데 아무것도 찾지 못하거나, 필요하지 않은 실제 이미지에 도구를 사용하면 벌점을 받았습니다. 시간이 흐르면서 AI는 전략적인 탐정이 되었습니다. 즉, 정말 필요할 때만 도구를 호출하여 더 빠르고 정확해졌습니다습니다.

결과: 더 똑똑하고, 빠르고, 정확하게

저자들은 단순한 복사-붙여넣기부터 복잡한 AI 생성 편집까지 매우 다양한 종류의 가짜 이미지를 대상으로 ForgeryVCR을 테스트했습니다. 결과는 인상적이었습니다.

• 더 나은 탐지 성능: ForgeryVCR은 이미지의 진위 여부를 탐지하는 데 있어 최고의 성능(State-of-the-Art)을 달왔으며, 다른 모든 전문 네트워크와 AI 모델들을 능가했습니다.
• 더 나은 위치 식별: 단순히 "이것은 가짜다"라고 말하는 데 그치지 않고, 높은 정밀도로 가짜 부분에 정확히 박스를 칠 수 있었습니다. 또한 세그멘테이션 도구(SAM2)와 결합했을 때, 가짜 객체의 외곽선을 완벽하게 그려낼 수 있었습니다.
• 적은 환각 현상: 텍스트 기반 추론을 제거함으로써, AI가 가짜 증거를 지어내는 실수를 훨씬 적게 범했습니다. 테스트 결과, 텍스트 기반 버전이 저지른 오류의 약 35%를 바로잡았습니다.
• 효율성: AI가 필요하지 않을 때 도구를 건너뛰는 법을 배웠기 때문에, 모든 이미지를 모든 도구로 분석하며 시간을 낭비하지 않았습니다. 이는 효율적인 탐정이 되어 언제 분석을 멈춰야 할지를 아는 똑똑한 탐정이 되었음을 의미합니다.

이것이 왜 중요한가

이 논문은 미세하고 보이지 않는 세부 사항을 탐지해야 하는 작업에서, 컴퓨터에게 글로 '생각'하도록 강요하는 것은 좋지 않은 아이디어임을 시사합니다. 대신, 보이지 않는 데이터를 눈에 보이는 그림으로 바꾸는 도구를 주는 것이 훨씬 효과적입니다. ForgeryVCR은 대규모 AI 모델의 강력함과 특화된 포렌식 도구를 결합하고 이를 전략적으로 활용하도록 가르침으로써, 속이기 훨씬 어려운 시스템을 구축할 수 있음을 보여줍니다. 이는 매일 더 정교해지고 있는 초현실적 가짜 이미지의 홍수로부터 우리를 보호하기 위한 중요한 진전입니다. 저자들은 이러한 '시각 중심' 접근 방식이 단순한 개선이 아니라, 디지털 포렌식을 위한 AI를 구축하는 방식에 있어 필수적인 패러다임의 전환이라고 결론짓습니다.