Do CNNs Internally Represent Real and Fake Images Differently? A Hidden-Layer Analysis

현대 디지털 세상에서 컴퓨터는 사진을 보고 그것이 무엇인지 이해하는 데 매우 뛰어나게 발전했습니다. 컴퓨터는 고양이나 자동차, 혹은 특정 유형의 풍경을 인간의 시각에 필적하는 정확도로 식별할 수 있습니다. 이러한 능력은 인간의 뇌가 정보를 처리하는 방식을 모방하도록 설계된 뉴럴 네트워크라는 복잡한 시스템에 의존합니다. 이 시스템은 단순히 사진을 저장하는 것이 아니라, 패턴을 인식하고 의미를 부여하기 위해 내부 신호의 층위로 이미지를 분해하고 특정 경로를 활성화합니다. 수년 동안 과학자들은 만약 어떤 사진이 우리에게 실제처럼 보인다면, 그 이미지가 카메라로 촬영되었든 기계에 의해 생성되었든 상관없이 컴퓨터도 동일하게 볼 것이라고 가정해 왔습니다.

하지만 이제 인공지능 도구의 새로운 물결은 시각적으로 실제 사진과 구별할 수 없는 이미지를 생성할 수 있게 되었습니다. 이러한 합성 이미지는 기존 사진의 방대한 라이브러리로부터 학습한 뒤, 이를 바탕 기초부터 새로운 장면을 구축하는 모델들에 의해 만들어집니다. 이러한 가짜 이미지들이 뉴스, 소셜 미디어, 심지어 과학적 데이터에서도 점점 더 흔해짐에 따라, 한 가지 중요한 질문이 제기됩니다. 과연 컴퓨터는 그 가짜 이미지를 진짜라고 정말로 믿는 것일까요? 만약 컴퓨터의 내부 기계 장치가 동일한 장면을 보여주는 실제 이미지와 가짜 이미지를 서로 다르게 처리한다면, 이는 기계가 세상을 인식하는 방식에 숨겨진 결함이 있음을 드러내는 일이 될 것입니다. 이러한 차이는 디지털 미디어에 대한 신뢰를 유지하고, 자동화된 시스템이 인간의 눈에는 보이지 않는 미세한 불완전함에 속아 넘어가지 않도록 보장하는 데 매우 중요합니다.

캔자스 주립 대학교의 연구진은 바로 이 질문을 조사하기 위해 나섰습니다. 그들은 이미지의 내용이 동일하더라도 컴퓨터 비전 시스템의 내부적 '생각'이 실제 이미지를 볼 때와 가짜 이미지를 볼 때 변하는지 알고 싶었습니다. 이를 위해 그들은 장면과 사물을 인식하는 데 널리 사용되는 컨볼루션 신경망(convolutional neural network)이라는 특정 유형의 컴퓨터 모델에 집중했습니다. 연구진은 단순히 컴퓨터에게 이미지가 진짜인지 가짜인지 맞히라고 요구한 것이 아니었습니다. 대신, 그들은 다양한 종류의 이미지가 제시되었을 때 컴퓨터의 뇌 내부에서 뉴런—기본적인 처리 단위—이 어떻게 발화하는지를 살펴보았습니다.

연구팀은 거실, 눈 덮인 산, 혹은 북적이는 거리와 같은 다양한 현실 세계의 장면들을 인식하도록 컴퓨터 모델을 훈련시키는 것으로 시작했습니다. 모델 훈련이 완료된 후, 그들은 강력한 이미지 생성 도구를 사용하여 이와 동일한 장면의 가짜 버전을 만들었습니다. 그들은 두 가지 다른 방법을 사용하여 이 가짜들을 생성했습니다. 첫 번째 방법은 생성기에 텍스트 설명을 제공하여 오직 단어에만 기반해 사실적인 사진을 만들도록 요청하는 것이었습니다. 두 번째 방법은 생성기에 원래의 실제 사진과 텍실 설명을 함께 제공하여, 원래의 레이아웃과 구조를 유지하면서 장면을 재현하도록 요청하는 것이었습니다. 이를 통해 모든 실제 이미지에 대해 동일한 의미적 내용을 가진 대응하는 가짜 이미지가 존재하도록 하여 직접적인 비교가 가능하게 했습니다.

준비된 실제 및 가짜 이미지 쌍을 가지고 연구진은 훈련된 컴퓨터 모델에 입력했습니다. 이미지가 시스템을 통과함에 따라, 연구팀은 모델이 무엇을 보고 있는지에 대한 최종 결정을 내리는 곳인 마지막 뉴런 층의 활동을 기록했습니다. 그런 다음 그들은 실제 이미지의 활성화 패턴을 가짜 이미지의 패턴과 비교했습니다. 목표는 뉴런이 동일한 강도와 조합으로 발화하는지, 아니면 가짜 이미지가 기계 내부에서 다른 반응을 일으키는지 확인하는 것이었습니다.

결과는 명확하고 일관적이었습니다. 연구진은 가짜 이미지가 실제 이미지와 동일한 방식으로 뉴런을 자극하지 않는다는 것을 발견했습니다. 가짜 이미지가 인간의 눈에는 완벽해 보일 때조차, 컴퓨터의 내부 신호는 더 약하고 덜 조직적이었습니다. 구체적으로, 가짜 이미지는 더 적은 수의 뉴런을 발화시켰으며, 발화한 뉴런들도 종종 낮은 수준의 활동을 보였습니다. 이러한 효과는 다양한 유형의 장면에서 관찰되었으며, 가짜 이미지가 텍스트만으로 생성되었든 텍스트와 원본 이미지의 조합으로 생성되었든 관계없이 일관되게 나타났습니다. 이 연구는 컴퓨터가 가짜 이미지에서 미세한 구조적 불일치나 누락된 세부 사항을 감지하고 있으며, 이로 인해 장면의 내부 표현이 덜 견고해진다는 점을 시사합니다.

이러한 차이가 단순히 가짜 이미지가 저화질이거나 흐릿하기 때문에 발생하는 것이 아님을 확실히 하기 위해, 연구진은 이론을 더욱 검증했습니다. 그들은 실제 이미지를 가져와 JPEG 압축과 블러링(blurring)을 적용하여 의도적으로 품질을 저하시킴으로써, 전송이나 저장 중에 발생할 수 있는 손상을 모사했습니다. 이러한 저하된 이미지들도 뉴런 활동에 일부 변화를 일으켰지만, 그 변화의 패턴은 가짜 이미지에서 보았던 것과 같지 않았습니다. 가짜 이미지는 단순한 이미지 저하로는 완전히 설명될 수 없는 독특한 활동 감소의 징후를 나타냈습니다. 이는 차이가 단순히 이미지가 "나빠 보이는" 문제가 아니라, 컴퓨터가 합성 데이터를 실제 데이터와 근본적으로 어떻게 다르게 처리하는지에 관한 문제임을 나타냅니다.

연구진은 또한 이러한 결과가 다양한 조건에서도 유효한지 확인하기 위해 다른 유형의 신경망과 다른 이미지 생성 도구를 사용하여 실험을 반복했습니다. 모든 경우에 패턴은 동일했습니다. 가짜 이미지는 컴퓨터의 숨겨진 층으로부터 다르고, 일반적으로 더 약한 반응을 끌어냈습니다. 이러한 다양한 설정에서의 일관성은 이 현상이 합성 데이터를 처리하는 방식의 진정한 특성이라는 결론을 강화합니다.

이 연구는 가짜 이미지를 탐지하는 문제를 해결했다고 주장하거나, 이 방법만으로 보편적인 탐지기로 사용될 준비가 되었다고 제안하는 것이 아닙니다. 대신, 이는 인공지능의 본질에 대한 근본적인 통찰을 제공합니다. 이는 컴퓨터가 가짜 이미지의 시각적 외형에 속을 때조차, 그 내부 기계 장치는 무언가 다르다는 것을 알고 있음을 밝혀줍니다. 뉴런은 실제 사진에서처럼 동일한 확신이나 명확성을 가지고 빛나지 않습니다. 이 발견은 미래 연구를 위한 새로운 문을 열어줍니다. 이러한 내부 신호가 정확히 어떻게 다른지 이해함으로써, 과학자들은 표면의 픽셀을 보는 것뿐만 아니라 기계 자체의 조용한 내부 신호에 귀를 기울임으로써 합성 미디어를 식별하는 더 나은 도구를 개발할 수 있을 것입니다. 이 연구는 더 신뢰할 수 있는 AI 안전의 길이, 즉 이미지가 무엇을 보여주는가가 아니라 컴퓨터가 어떻게 생각하는가에 의해 진실이 드러나는 저 숨겨진 처리 계층을 이해하는 데 있음을 시사합니다.