Frozen DINO Localizes Image Edits Without a Localizer

현대 세계에서 사진은 더 이상 단순히 현실의 기록이 아니라, 버튼 하나로 바꿀 수 있는 가변적인 데이터입니다. 생성형 인공지능은 새로운 물체를 삽입하거나, 사람을 제거하거나, 배경을 바꾸는 일을 인간의 눈으로는 차이를 구별할 수 없을 정도로 매끄럽게 만들어 놓았습니다. 이러한 능력은 단순히 이미지를 '가짜'라고 표시하는 것 이상의 기능을 수행하는 포렌식 도구에 대한 절박한 필요성을 창출합니다. 진정으로 유용하기 위해서, 탐지기는 정확히 어떤 픽셀이 수정되었고 어떤 픽셀이 본래의 것인지를 짚어내는 지도 제작자처럼 행동해야 합니다. 이러한 공간적 정밀함 없이는 우리는 사진의 편집되지 않은 부분을 신뢰할 수 없으며, 기만의 구체적인 성격 또한 이해할 수 없습니다.

수년 동안 연구자들은 수천 개의 실제 및 가짜 이미지 사례를 통해 복잡한 컴퓨터 모델을 학습시켜, 편집 소프트웨어가 남긴 미세한 디지털 흔적을 인식하도록 가르치는 방식으로 이 문제를 해결하려 노력해 왔습니다. 그러나 별도의 학습 과정을 완전히 건너뛰는 새로운 접근 방식이 등장했습니다. 이 방법은 사례로부터 배우는 대신, 기존의 강력한 비전 시스템이 가진 내재적인 민감성에 의존합니다. 이 방법은 단순한 원리로 작동합니다. 만약 이미지를 약간 방해한다면, 편집된 부분은 실제 부분과는 다르게 반응할 것이라는 점입니다. 연구진이 던진 질문은, 전문적인 탐지기를 필요로 하지 않고, 단지 표준적인 비전 시스템이 미세하게 제어된 자극 전후에 이미지를 어떻게 처리하는지를 관찰함으로써 이 반응을 상세하게 지도화할 수 있는가 하는 것이었습니다.

Zane Kumar, Vishal Jain, Bernhard Kainz를 포함한 연구팀은 DINO라고 알려진 정교한 비전 시스템을 사용하여 이 아이디어를 테스트했습니다. 이 시스템은 방대한 양의 데이터를 통해 학습되어 이미지를 이해하도록 사전 훈련된 범용 컴퓨터 '두뇌'이지만, 위조를 찾아내도록 특별히 훈련된 것은 아닙니다. 연구진은 사진 한 장을 가져와 Haar perturbation이라는 수학적 기법을 사용하여 약간 변형된 두 번째 버전을 만들었습니다. 이 과정은 마치 이미지의 내부 구조가 어떻게 출렁이는지 보기 위해 이미지를 부드럽게 흔드는 것과 같으며, 인간이 볼 수 있는 방식으로 콘텐츠를 실제로 바꾸지는 않습니다. 그런 다음 연구진은 원본 이미지와 약간 흔들린 버전을 모두 '동결된(frozen)' DINO 시스템에 입력했습니다. 이 시스템은 '동결'되어 있기 때문에 내부 설정이 변경될 수 없으며, 단지 두 이미지를 처리하여 이미지의 모든 작은 패치에 대한 응답 그리드를 생성할 뿐입니다.

이 연구의 핵심 발견은 시스템이 원본 이미지와 섭동(perturbed)된 이미지에 어떻게 반응했는지의 차이가 편집의 지도를 만든다는 것입니다. 사진의 특정 영역이 인위적으로 생성되었거나 붙여넣기 된 경우, '흔들림'에 대한 시스템의 내부 반응은 실제 배경의 반응과 눈에 띄게 달라집니다. 연구진은 전체 이미지에 걸쳐 이 '표류(drift)'를 측정함으로써 편집된 영역을 강조하는 히트맵을 생성할 수 있었습니다. 그들은 이 방법을 TRAIL이라고 명명했습니다. 놀랍게도, 이는 단 하나의 새로운 파라미터를 훈련시키거나 시스템에게 위조가 무엇인지 가르치지 않고도 달성되었습니다. 편집의 위치를 찾는 능력은 이미 표준 비전 시스템 안에 숨겨져 있었으며, 적절한 종류의 섭동을 통해 드러나기를 기다리고 있었던 것입니다.

연구팀이 실제적인 편집이 포함된 80개의 이미지 데이터셋을 대상으로 이 방법을 테스트했을 때, 결과는 놀라웠습니다. TRAIL 방식은 높은 정확도로 편집 위치를 성공적으로 식별해 냈으며, 수천 개의 가짜 마스크 사례를 통해 명시적으로 학습된 최첨단 지도 학습 시스템(supervised system)과 거의 대등한 점수를 기록했습니다. 학습된 시스템이 일부 특정 지표에서 약간 더 나은 성능을 보였지만, 그 차이는 통계적 불확실성 범위 내에 있을 정도로 매우 작았습니다. 더욱 중요한 점은, 이 신호가 가짜 이미지를 만드는 데 사용된 특정 인공지능의 유형에 의존하지 않는다는 것을 연구진이 발견했다는 것입니다. 생성 모델을 사용하지 않고 수학적으로 픽셀을 혼합하는 방식인 Poisson interpolation과 같은 고전적인 비생성적 기법으로 편집된 이미지에 대해서도 이 방법은 거의 비슷하게 잘 작동했습니다. 이는 이 신호가 특정 생성기의 실수에서 비롯된 부산물이 아니라, 이러한 비전 시스템이 변형된 이미지와 자연스러운 이미지 맥락을 처리하는 방식의 근본적인 속성임을 입증합니다.

또한 연구팀은 비전 시스템의 어느 부분에서 이 신호가 가장 강하게 나타나는지를 조사했습니다. DINO 아키텍처의 서로 다른 계층을 들여다봄으로써, 연구진은 편집 위치를 찾는 능력이 네트워크의 가장 깊은 층, 즉 전체 처리 단계의 마지막 10~20%에서 일관되게 나타난다는 것을 발견했습니다. 이는 시스템이 이미지를 완전히 처리하고 전역적 맥락을 이해한 후에야 비로소 이러한 민감성을 발달시킨다는 것을 시사합니다. 나아가, 모델의 크기도 중요했지만 예상과는 다른 방식으로 작용했습니다. 더 큰 모델이 항상 위조를 찾아내는 원시 점수(raw score)를 높여주는 것은 아니었지만, 실제 이미지에서 발견되는 일반적인 변동과 편집으로 인한 특유의 표류를 구분해 내는 데 훨씬 더 뛰어났습니다. 이는 더 크고 강력한 모델이 장면의 노이즈로부터 조작의 '지문'을 분리해 내는 데 더 유리함을 의미합니다.

아마도 가장 결정적인 발견은 이미지가 시스템에 어떻게 제시되는가에 관한 것입니다. 연구진은 이 방법이 이미지를 전체로서 처리하는 것에 크게 의존한다는 것을 발견했습니다. 이미지를 작은 격리된 패치 단위로 섭동시켜 시스템에 개별적으로 입력했을 때, 편집 위치를 찾는 능력은 현저히 떨어졌습니다. 시스템은 편집된 영역이 원래의 맥락에 둘러싸인 상태로 전체 그림을 보아야만 정확한 지도를 생성할 수 있습니다. 이는 시스템이 감지하는 '표류'가 단순히 국소적인 인공물이 아니라, 편집된 부분과 나머지 장면 사이의 관계에서 발생하는 불협화음임을 나타냅니다. 이 방법은 전역적 맥락이 보존될 때 가장 잘 작동하며, 이를 통해 시스템이 가짜 패치와 실제 주변 환경 사이의 미묘한 부조화를 감지할 수 있게 합니다.

결국, 이 연구는 이미지 위조를 탐지하고 위치를 찾아내는 도구가 우리가 매일 사용하는 범용 비전 시스템 안에 이미 존재할 수 있음을 보여줍니다. 우리는 새로운 유형의 편집마다 새로운 전문 탐지기를 구축할 필요가 없습니다. 대신, 기존 시스템이 부드럽고 통제된 교란에 어떻게 반응하는지를 관찰함으로써, 진실이 어디서 끝나고 제작된 것이 어디서 시작되는지를 보여주는 숨겨진 지도를 밝혀낼 수 있습니다. 이 연구는 편집 위치를 국지화하는 데 필요한 공간 정보가 동결된 비전 인코더의 가공되지 않은 응답 안에 존재하며, 우리가 어떻게 바라봐야 하는지 알기만 하면 읽어낼 수 있다는 것을 확인시켜 줍니다. 이는 더 빠르고, 학습 데이터가 필요 없으며, 기계가 세상을 보는 근본적인 메커니즘에 기반한 포렌식 분석의 새로운 길을 열어줍니다.