당신은 모든 책이 그림인 거대하고 첨단 기술이 집약된 도서관을 걷고 있다고 상상해 보십시오. 수년 동안 사서들은 저렴한 종이에 인쇄되어 눈에 띄는 얼룩이 있는 가짜 책들을 쉽게 찾아낼 수 있었습니다. 하지만 최근, 가짜 책들을 너무나 완벽하게 만들어내어 전문가들조차 진짜와 구별할 수 없게 만드는 새로운 종류의 프린터가 등장했습니다. 종이는 매우 매끄럽고 잉크는 매우 선명합니다. 이것이 바로 AI 생성 이미지의 세계입니다. 과학자들은 오정보가 확산되거나 사기가 발생하는 것을 막기 위해 이러한 가짜를 찾아내는 "디지털 거짓말 탐지기"를 구축하기 위해 경주하고 있습니다. 까다로운 점은, 기존의 탐지기들이 예전 프린터들이 남긴 아주 작고 특정한 얼룩을 찾는 데 의존했다는 것입니다. 하지만 새로운 프린터가 그 방식들을 바꾸었을 때, 기존의 탐지기들은 혼란에 빠졌습니다. 이를 해결하기 위해 연구자들은 이제 컴퓨터가 이미지를 보는 방식, 즉 질감을 보는 첫 번째 순간부터 대상이 실제로 무엇인지 이해하는 최종 단계에 이르기까지 레이어별로 어떻게 이미지를 파악하는지 이해하려고 노력하고 있습니다.

이제 당신이 읽게 될 논문은 PE-Mamba라는 새로운 탐정 형사를 소개합니다. 단순히 얼룩을 찾는 대신, 이 탐정은 이미지가 어떻게 구축되는지에 대한 '이야기'를 이해하도록 설계되었습니다. 이 논문에서 사용하는 컴퓨터의 뇌인 비전 트랜스포머(Vision Transformer)를 일렬로 늘어선 탐정 팀이라고 생각해 보십시오. 첫 번째 탐정은 거친 가장자리와 색상만을 보고, 마지막 탐정은 전체 장면을 이해합니다. 이전의 방법들은 이 팀을 마치 의견을 한꺼번에 외치는 친구들의 무리처럼 취급하여 단순히 평균을 내버렸습니다. 하지만 PE-Mamba는 순서가 중요하다는 것을 깨달았습니다. 초반의 거친 단서들은 마지막의 큰 그림을 설명하는 데 도움이 되고, 큰 그림은 거친 단서들을 이해하는 데 도움을 줍니다.

PE-Mamba는 "양방향 선택적 스캔(bidirectional selective scan)"이라는 영리한 새로운 기술을 사용합니다. 이 탐정 팀이 정보를 수집하며 처음부터 끝까지 전진하는 탐정을 상상해 보십시오(순방향 스캔). 그런 다음, 그들은 마지막에서 처음으로 되돌아와서, 최종 결론의 지혜를 가지고 초기 단서들을 재검토합니다(역방향 스캔). 이 양방향 산책을 통해 모델은 단순한 평균 계산으로는 결코 할 수 없었던 방식으로 미세한 세부 사항과 거대한 의미 사이의 점들을 연결할 수 있습니다. 논문은 컴퓨터 뇌의 레이어를 무질서한 더미가 아닌 순서가 있는 시퀀스로 다룸으로써, PE-Mamba가 본 적 없는 새로운 AI 도구로 만들어진 가짜 이미지조차 훨씬 더 잘 잡아낼 수 있다고 제안합니다.

탐정의 새로운 전략

PE-Mamba의 제작자들은 자신들의 시스템을 PE-Core라고 불리는 거대하고 사전 학습된 컴퓨터 뇌 위에 구축했습니다. 이 뇌는 이미 사물, 얼굴, 장면을 인식하는 데 매우 똑똑하지만, 원래 가짜를 잡기 위해 만들어진 것은 아닙니다. 기존의 지식을 망가뜨리지 않고 이를 가르치기 위해, 팀은 LoRA라고 불리는 가벼운 기술을 사용했습니다. LoRA를 거대한 엔진 전체를 재배선하는 대신(이는 비용이 많이 들고 느립니다), 엔진의 아주 작은 부분, 즉 전체 파라미터의 단 1.3%, 그리고 LoRA 부분만 따지면 **0.13%**의 연결만을 미세하게 조정하는 "탈착 가능한 훈련용 보조 바퀴"라고 생각하면 됩니다. 이를 통해 모델은 일반적인 지식을 유지하면서도 특정 가짜 이미지의 "지문"을 학습할 수 있었습니다.

핵심 혁신은 PE-Mamba가 뇌의 서로 다른 레이어로부터 오는 단서들을 결합하는 방식에 있습니다. 논문은 이전의 방법들이 레이어를 마치 뒤섞인 퍼즐 조각이 담긴 양동이처럼 무질서한 집합으로 취급함으로써 실수를 저질렀다고 주장합니다. 반면 PE-Mamba는 정보의 자연스러운 흐름, 즉 얕은 레이어(질감과 가장자리)에서 깊은 레이어(의미론 및 의미)로 이어지는 흐름을 존중합니다.

이를 위해 PE-Mamba는 세 가지 주요 구성 요소를 사용합니다:

1. 양방향 선택적 집계기 (Bidirectional Selective Aggregator, BSA): 이것은 두 방향으로 걷는 탐정입니다. 증거를 쌓기 위해 단서를 순방향(얕은 곳에서 깊은 곳으로)으로 스캔하고, 이미지 전체의 맥맥락을 바탕으로 초기 단서들을 정교하게 다듬기 위해 역방향(깊은 곳에서 얕은 곳으로)으로 스캔합니다. 이는 미스터리 소설을 처음부터 끝까지 읽은 다음, 결말이 시작을 어떻게 설명하는지 보기 위해 다시 거꾸로 읽는 것과 같습니다.
2. 소프트맥스 가중치 집계기 (Softmax-Weighted Aggregator, SWA): 이것은 "글로벌 요약" 탐정 역할을 합니다. 모든 단서를 한꺼번에 살펴보고 학습된 점수에 따라 가장 중요한 단서들을 선택하며, 두 방향 산책과는 다른 관점을 제공합니다.
3. 시그모이드 게이트 혼합 (Sigmoid-Gated Blend, SGA): 이것은 팀의 주장입니다. 두 방향 산책과 글로벌 요약 중 어느 쪽을 더 신뢰할지 결정합니다. 이 모델은 두 가지를 균형 있게 조절하는 법을 배우는 "게이트"를 사용하여, 최종 결정이 두 방식의 장점을 모두 활용할 수 있도록 보장합니다.

숫자가 말해주는 것

팀은 두 가지 주요 도전 과제인 UniversalFakeDetect 벤치마크와 AIGCDetect 벤치마크에서 PE-Mamba를 테스트했습니다. 이 테스트에서 모델은 오직 하나의 특정 AI(ProGAN)가 만든 이미지로만 학습되었으며, 그 후 DALL-E나 Midjourney 같은 현대적인 확산 모델(diffusion models)을 포함하여 본 적 없는 19개의 다른 AI 모델이 만든 가짜를 찾아내도록 요청받았습니다.

결과는 인상적이었습니다. UniversalFakeDetect 벤치마크에서 PE-Mamba는 **96.6%**의 정확도(mACC)와 **99.5%**의 정밀도(mAP)를 달 기록했습니다. 이는 PE-Mamba가 비교 대상이었던 18개의 다른 탐지기보다 가짜를 더 자주 정확하게 식별했음을 의미합니다. 더욱 놀라운 점은, 매우 현대적이고 고품질의 생성기를 특징으로 하는 AIGCDetect 벤치마크에서 PE-Mamba가 **95.3%**의 정확도와 **98.1%**의 정밀도를 기록했다는 것입니다.

논문은 이러한 성공이 "전이 가능한 구조적 불일치(transferable structural inconsistencies)"를 찾아내는 모델의 능력 덕분이라고 제안합니다. 다른 탐지기들이 가짜 이미지 생성기의 스타일이 바뀔 때 실패할 수 있는 반면, PE-Mamba의 양방향 스캔은 다양한 유형의 가짜 이미지에 걸쳐 일관되게 나타나는 더 깊은 패턴을 찾아내는 것으로 보입니다. 예를 들어, 일부 오래된 탐지기들이 특정 새로운 생성기에 대해 약 50-60%의 정확도로 떨어지는 동안, PE-Mamba는 종종 95% 이상을 기록하며 강력한 모습을 유지했습니다.

강건성과 시각적 증거

연구진은 또한 PE-Mamba가 실제 세상의 지저분한 상황을 처리할 수 있는지 확인했습니다. 그들은 압축된(JPEG 등) 이미지, 흐릿한 이미지, 또는 노이즈가 추가된 이미지에 대해 테스트했습니다. 이러한 혹독한 조건에서도 모델은 잘 버텨냈으며, 세 가지 왜곡이 동시에 적용되었을 때도 **88.4%**의 정확도를 유지했습니다. 이는 모델이 단순히 특정 픽셀 패턴을 암기하는 것이 아니라, 이미지가 가짜가 되는 이유에 대한 더 강건한 이해를 학습하고 있음을 시사합니다.

모델이 어떻게 생각하고 있는지 확인하기 위해 팀은 Grad-CAM이라는 시각화 도구를 사용했습니다. 모델의 주의력(attention)을 보여주는 "히트맵"을 살펴보았을 때, 그들은 매우 흥-미로운 사실을 발견했습니다. 학습되지 않은 원래의 뇌는 사진의 주제(얼굴이나 자동차 등)가 진짜든 가짜든 상관없이 그 부분을 바라보았습니다. 그러나 PE-Mamba는 실제 사진의 명백한 부분들을 무시하고, 대신 가짜 사진의 부자연스러운 지점들—예를 들어 GAN으로 생성된 물체의 가장자리, 딥페이크의 피부 질감, 또는 확산 이미지의 전역적 패턴—에 강렬하게 집중하는 법을 배웠습니다. 이는 모델이 기계 속의 "유령"을 포착하는 법을 성공적으로 학습했음을 확인시켜 줍니다.

핵심 요약

논문은 비전 트랜스포머의 레이어를 무작위적인 특징의 주머니이 아닌 순서가 있는 시퀀스로 다루는 것이 AI 생성 이미지를 탐지하는 강력한 방법이라고 결론짓습니다. 작은 세부 사항과 큰 그림 사이의 점들을 연결하는 양방향 스캔을 사용함으로써, PE-Mamba는 포렌식 탐지의 새로운 길을 제시합니다. 이 모델은 매우 적은 추가 컴퓨팅 자원을 사용하면서도 최고 수준의 성능을 달성하여, 미래를 위한 유망한 도구가 될 수 있음을 보여줍니다. 다만, 저자들은 Midjourney와 같은 일부 생성기는 여전히 도전적인 과제로 남아 있으며, 모든 종류의 디지털 위조를 잡아내기 위해서는 향후 더 넓은 범위의 학습 방법을 탐구해야 한다고 언급했습니다.