Image Tampering Region Localization Method Based on Pseudo Label Driver and Dynamic Multi branch Decoding

현대 사회에서 디지털 이미지는 시각적 진실을 전달하는 주요 언어가 되었습니다. 이미지는 법정의 증거, 의료 진단의 기록, 그리고 뉴스 보도의 토대로 활용됩니다. 그러나 이러한 순간들을 포착할 수 있게 해주는 바로 그 도구들은 동시에 이미지를 수정하는 것을 매우 쉽게 만듭니다. 사람은 한 사진에서 얼굴을 잘라내어 다른 사진에 붙여넣거나, 원치 않는 물체를 제거하거나, 빈 공간을 채우기 위해 풍경의 일부분을 복제할 수 있습니다. 이러한 조작은 종종 너무 정교하게 이루어져서 인간의 눈으로는 그 차이를 발견할 수 없습니다. 그 결과, 보는 것이 곧 믿는 것이 더 이상 통하지 않는 신뢰의 위기가 커지고 있습니다. 이를 해결하기 위해, 이러한 편집 과정에서 남겨진 보이지 않는 지문을 찾아내는 데 전념하는 디지털 이미지 포렌식이라는 분야가 등장했습니다. 명백한 불일치를 찾는 인간 관찰자와 달리, 포렌식 소프트웨어는 카메라 센서나 편집 소프트웨어가 필연적으로 남기는 미세한 통계적 오류, 노이즈 패턴, 그리고 경계의 불규칙성을 스캔합니다.

이 분야 과학자들의 과제는 모든 편집이 동일한 종류의 지문을 남기지는 않는다는 점입니다. 두 개의 서로 다른 사진을 하나로 합치는 것과 같은 일부 조작은 조명이나 질감이 갑자기 변하는 명확한 선을 만들어냅니다. 반면, 이미지의 한 부분을 자기 자신에게 복사하여 붙여넣는 것과 같은 다른 조작들은 훨씬 더 포착하기 어려운데, 왜냐하면 복제된 부분이 동일한 출처에서 왔으며 조명과 질감이 정확히 일치하기 때문입니다. 더욱이, 기존의 많은 도구들은 편집된 영역이 아주 작거나 이미지가 압축 또는 크기 조절되어 소프트웨가 찾아내야 할 단서들이 흐릿해질 때 어려움을 겪습니다. 지메이 대학교(Jimei University)와 샤먼 보안 기술 직업 대학(Xiamen Security Technology Vocational College) 연구진의 새로운 연구는 이러한 다양한 유형의 편집을 하나의 문제가 아니라, 서로 다른 전략을 필요로 하는 별개의 퍼즐 모음으로 취급하는 해결책을 제안합니다.

연구진은 이미지 분석을 위한 멀티툴처럼 작동하며, 마주하는 특정 유형의 조작에 따라 접근 방식을 조정하도록 설계된 시스템을 개발했습니다. 모든 이미지를 하나의 경직된 프로세스로 강제하는 대신, 그들의 방법은 먼저 이미지를 조사하여 어떤 종류의 조작이 존재할 수 있는지 이해합니다. 그런 다음, 해당 유형의 편집과 관련된 특정 단서를 추적하기 위해 소프트웨어 내의 서로 다른 특화된 경로를 활성화합니다. 예를 들어, 시스템이 이미지의 한 조각이 같은 사진 내의 다른 곳에서 복사되어 붙여넣기 된 것이라고 의심하는 경우, 두 영역 사이의 일치하는 패턴을 찾는 모드로 전환합니다. 만약 다른 사진으로부터 잘라내어 붙여넣은 작업이라고 의심하는 경우, 두 이미지가 만나는 가장자리에서 질감이나 조명의 불연속성을 찾는 데 집중합니다.

연구팀이 극복해야 했던 주요 장애물은 완전한 학습 데이터의 부족이었습니다. 많은 경우, 전문가들은 이미지의 가짜 부분이 어디인지는 표시할 수 있지만, 특히 원래의 정보가 라벨링되지 않은 경우 복제된 부분의 원래 출처가 어디인지는 쉽게 표시할 수 없습니다. 이를 해결하기 위해 연구진은 컴퓨터가 스스로를 가르칠 수 있는 방법을 만들었습니다. 시스템은 복제된 구역의 원래 출처가 어디일지에 대해 교육적인 추측을 하고, 임시 라벨을 생성한 다음, 이 라벨을 사용하여 자신의 이해도를 정교화합니다. 이 과정에서 시스템은 내장된 신뢰도 검사를 수행합니다. 만약 추측이 불확실하거나 신뢰할 수 없다고 판단되면, 시스템은 그 추측에 낮은 가중치를 부여하여 자신의 실수로부터 배우는 것을 방지합니다. 이를 통해 소프트웨어는 인간이 사전에 모든 세부 사항을 일일이 가리켜 주지 않아도 복제된 영역과 그 출처 사이의 복잡한 관계를 학습할 수 있습니다.

또한 이 시스템은 조작된 영역의 가장자리에 특별한 주의를 기울입니다. 영역이 조작되었을 때, 가짜와 진짜 사이의 경계는 가장 결정적인 단서가 되는 경우가 많지만, 이미지가 축소되거나 압축될 때 가장 쉽게 사라지는 부분이기도 합니다. 연구진은 이러한 경계들을 선명하게 만드는 데 특화된 분석 레이어를 추가하여, 최종적인 조작 영역의 지도가 단순히 흐릿한 덩어리가 아니라 편집의 실체와 일치하는 정밀한 윤곽선이 되도록 보장했습니다. 이러한 세부 사항에 대한 주의는 작은 편집을 다룰 때 매우 중요한데, 그렇지 않으면 작은 편집 부위가 사진의 방대한 미조작 배경 속으로 흡수되어 버릴 수 있기 때문입니다.

연구진이 기존 기술들과 이 새로운 방법을 테스트했을 때, 결과는 유의미했습니다. 소프트웨어가 한 세트의 이미지로 학습된 후 완전히 다른 세트의 이미지에서 조작을 찾아내도록 요청받은 테스트에서, 스플라이싱(splicing) 작업에서는 75.4%, 카피 무브(copy-move) 작업에서는 52.7%의 성공률을 달로 달성했습니다. 이 수치들은 특히 출처와 대상이 너무 유사하여 다른 시스템을 속이는 경우가 많은 어려운 분야인 카피 무브 탐지에서 이전 방법들보다 명확한 개선을 보여줍니다. 소프트웨어가 학습에 사용된 것과 동일한 데이터셋의 이미지로 테스트되었을 때, 정확도는 거의 99%까지 치솟았으며, 이는 시스템이 특정 데이터셋의 패턴을 매우 효과적으로 학습할 수 있음을 입증합니다.

이 연구는 또한 시스템이 실제 환경의 손상에 대해 견고하다는 것을 보여주었습니다. 현실 세계의 이미지들은 검토되기 전에 압축되거나, 크기가 조정되거나, 흐릿해지는 경우가 많습니다. 새로운 방법은 이미지가 이러한 흔한 열화 현상을 겪더라도 높은 성능을 유지하며, 다른 시스템들이 실패하기 시작하는 지점에서도 자리를 지켰습니다. 유연한 다중 경로 접근 방식과 자기 교정 학습 메커니즘을 결합함으로써, 연구진은 다양하고 진화하는 디지털 위조를 처리하는 데 더 적합한 도구를 만들어냈습니다. 이 연구는 이미지 포렌식의 미래가 단일한 범용 탐지기가 아니라, 각 유형의 조작이 가진 고유한 서명을 인식하고 적절한 전략으로 대응할 수 있는 적응형 시스템에 있음을 시사합니다.