ISPCloak: Weaponizing ISP for Optimization-Free Physical Camouflage against Deepfake Detectors

당신의 카메라가 단순히 사진을 찍는 것을 넘어, 포착하는 모든 사진에 고유하고 보이지 않는 지문을 남기는 세상을 상상해 보십시오. 이것은 마법 같은 스파이 기술이 아니라, 물리학의 근본적인 법칙입니다. 빛이 카메라 센서에 닿을 때, 그것은 양철 지붕에 떨어지는 폭우처럼 행동합니다. 즉, 소리(이 경우에는 전기 신호)는 결코 완벽하게 매끄럽지 않습니다. 이는 광자가 도착하는 순수한 혼돈과 전자 기기의 열기로 인해 발생하는 아주 작고 무작위적인 "정적" 또는 "입자감"을 가집니다. 이것을 **센서 노이즈(sensor noise)**라고 부르며, 이는 사람의 손에 있는 지문처럼 실제 사진에 자연스럽게 존재하는 현상입니다. 모든 카메라 모델은 하드웨어에 따라 자신만의 특정 "입자 패턴"을 가지고 있습니다.

이제, **딥페이크(Deepfakes)**를 상상해 보십시오. 이것들은 컴퓨터 화면 위에서 인공지능(AI)에 의해 완전히 생성된 이미지들입니다. 이것들은 물리적인 센서에 빛이 닿아서 만들어진 것이 아니라, 수학과 데이터로 구축됩니다. 디지털 공허 속에서 태어난 이 이미지들은 자연스러운 "카메라 입자감"이 결여되어 있습니다. 이들은 너무나 완벽하고 매끄러우며, 그들의 노이즈 패턴(만약 존재한다면)은 물리학의 법칙을 따르지 않습니다. 이것은 보안 전문가들에게 거대한 문제를 제기합니다. 어떻게 하면 사진이 진짜인지 가짜인지 구별할 수 있을까요? 현재의 탐지기들은 AI의 "디지털 향기"를 찾아내는 디지털 사냥개처럼 행동합니다. 하지만 만약 AI가 실제 카메라와 똑같은 냄새가 나도록 변장할 수 있다면 어떨까요? 이것이 바로 이 논문이 다루는 질문이며, 사진의 물리학을 무기화하여 탐지기를 속이는 새로운 방법을 탐구합니다.

---

위대한 카메라 변장: ISPCloak

Jiale Zhao와 동료들이 이끄는 이 논문의 연구진은 우리가 현재 AI 생성 가짜를 잡아내는 방식에 거대한 사각지대가 있다는 것을 발견했습니다. 그들은 AI가 이미지를 실제처럼 보이게 만드는 능력은 향상되고 있지만, 카메라가 실제로 작동하는 방식인 복잡하고 물리적인 현실을 모방하는 데는 여전히 서투르다는 점을 깨달았습니다.

이렇게 생각해 보십시오. 만약 당신이 컴퓨터로 고양이 그림을 그린다면, 그것은 완벽해 보일 수 있습니다. 하지만 실제 카메라로 실제 고양이를 촬영한다면, 그 사진에는 렌즈의 먼지, 센서의 열기, 그리고 빛 입자의 무작위한 떨림과 같은 미세한 결함들이 있을 것입니다. AI 생성 이미지는 대개 이러한 세부 사항을 놓칩니다. 현재의 탐지기들은 AI의 "디지털 매끄러움"을 찾아내도록 훈련되어 있습니다. 그러나 저자들은 이렇게 물었습니다. 만약 우리가 AI에게 실제 렌즈로 촬영한 것처럼 보이게 만드는 "카메라 코트"를 입힐 수 있다면 어떨까?

그들은 ISPCloak라는 도구를 만들었습니다. 이름은 "변장"을 뜻하는 "cloak"과 **이미지 신호 처리(Image Signal Processing, ISP)**를 뜻하는 "ISP"의 합성어입니다. ISP는 모든 디지털 카메라 내부에서 센서로부터 오는 가공되지 않은 무질서한 데이터를 당신의 스마트폰에서 보는 예쁘고 다채로운 사진으로 바꿔주는 비밀스러운 소스입니다.

ISPCloak가 복잡한 수학이나 느린 컴퓨터 추측 없이 단계별로 어떻게 작동하는지는 다음과 같습니다:

1. 캔버스 청소하기: 먼저, AI 이미지는 디지털 아티팩트(AI의 생성 과정에서 남겨진 이상한 패턴들)로 인해 약간 "지저분한" 상태입니다. ISPCloak는 스마트 필터를 사용하여 이를 닦아내어 깨끗한 빈 캔버스를 남깁니다.
2. 타임머신 (RAW 도메인): 다음으로, 시스템은 특수한 "타임머신"(가역 네트워크)을 사용하여 깨끗한 이미지가 마치 한 번도 완성된 사진이었던 적이 없는 것처럼 가장합니다. 이는 이미지를 카메라가 어떤 결정도 내리기 전, 센서에서 직접 나오는 가공되지 않은 전기 신호인 "RAW" 데이터로 되돌립니다.
3. 물리학 더하기: 이 부분이 마법 같은 부분입니다. RAW 세계에서 시스템은 실제 카메라가 항상 가지고 있는 두 가지 유형의 "노이즈"를 추가합니다:
   • 샷 노이즈(Shot Noise): 지붕을 때리는 빗줄기처럼, 이 노이즈는 이미지가 밝을수록(빛이 많을수록) 더 커집니다.
   • 읽기 노이즈(Read Noise): 카메라 전자 기기에서 발생하는 지속적인 낮은 수준의 웅웅거림입니다.
     결정적으로, 이 노이즈는 실제 물리학의 법칙을 따릅니다. 이것은 무작위적인 디지털 정적이 아닙니다. 그것은 실제적인 물리적 노이즈입니다.
4. 스마트 마스크: 노이즈가 이상하게 보이지 않도록(예를 들어 매끄러운 하늘에 정적을 추가하는 것과 같이), 시스템은 "스마트 마스크"를 사용합니다. 시스템은 노이즈를 질감이 있는 영역(머리카락이나 잎사귀 등)에만 적절히 추가하고, 매끄러운 영역(맑은 푸른 하늘 등)은 조용하게 유지합니다. 이를 통해 인간의 눈에 자연스럽게 보이도록 합니다.
5. 변환: 마지막으로, 시스템은 노이즈가 섞인 RAW 데이터를 다시 카메라의 "처리 파이프라인"(ISP)에 통과시킵니다. 이것은 가공되지 않은 노이즈 신호를 다시 다채로운 사진으로 바꿉니다. 결과는 무엇일까요? 사진은 실제 카메라로 촬영된 것처럼 보이며, 탐지기들이 기대하는 정통적인 물리학 기반의 "입자감"을 갖추게 됩니다.

그들이 발견한 것

팀은 수천 장의 다양한 소스 이미지(Midjourney 및 Stable Diffusion과 같은 인기 AI 도구 포함)를 사용하여 네 가지 유형의 "딥페이크 탐지기"를 대상으로 ISPClock을 테스트했습니다. 결과는 놀라웠습니다.

ISPCloak는 복잡한 수학으로 탐지기와 "싸우려" 하지 않기 때문에(복잡한 수학은 탐지기가 바뀌면 종종 실패합니다), 단순히 가짜 이미지를 물리적으로 실제처럼 만듭니다. 논문에 따르면 이 방법은 탐지기를 속이는 데 믿기 힘들 정도로 성공적이었습니다. 예를 들어, WildFake라는 데이터셋에서 ISPCloak는 평균적으로 **97.05%**의 확률로 탐지기를 속였으며, 특정 사례에서는 **100%**의 확률로 탐지기를 속였습니다. 까다로운 국소적 얼굴 교체(face swap)가 포함된 데이터셋에서도 이전 방식들을 크게 앞질렀습니다.

아마도 가장 인상적인 발견은 이 방법이 작동한다는 사실뿐만 아니라, 얼마나 빠르게 작동하느냐 하는 점일 것입니다. 논문은 다른 방식들이 단 1,000장의 이미지를 생성하는 데 몇 시간(일부는 4,800초 이상)이 걸린 반면, ISPCloak는 동일한 작업을 단 32초 만에 해냈다고 언급합니다. 이는 느린 수동 색칠 공부 키트와 고속 3D 프린터를 비교하는 것과 같습니다.

이것이 중요한 이유 (그리고 그렇지 않은 이유)

저자들은 이것이 모든 문제를 해결하는 "마법 지팡이"가 아니며, 악의적인 행위자들이 사용할 도구로 배포하는 것도 아님을 분명히 하고 있습니다. 대신, 그들은 경종을 울리고 있습니다. 그들은 우리의 현재 보안 시스템에 근본적인 약점이 있다고 제안합니다. 즉, 디지털 단서를 찾고 있지만 카메라가 작동하는 물리적 현실은 무시하고 있다는 것입니다.

논문은 AI를 잡기 위해 더 빠르고 복잡한 컴퓨터 프로그램을 계속 만들어야 한다는 생각을 명시적으로 부정합니다. 대신, 그들은 해결책이 빛과 센서의 물리학을 이해하는 데 있다고 주장합니다. 그들은 단지 "올바른 종류의" 노이즈를 추가하는 것만으로도, AI 이미지를 현재의 탐지기들에게 실제 사진과 구별할 수 없게 만들 수 있음을 보여줍니다.

요컨대, ISPCloak는 딥페이크를 잡는 미래가 더 나은 수학이 아니라 더 나은 물리학에 관한 것일 수 있음을 시사합니다. 만약 탐지기가 실제 카메라의 입자감과 가짜의 입자감을 구분하지 못한다면, 우리가 의존하는 "디지털 지문"은 깨진 것입니다. 저자들은 우리가 게임에서 앞서 나가기 위해서는 단순히 코드의 패턴이 아닌, 물리학의 법칙을 이해하는 새로운 탐지기를 구축해야 한다고 결론짓습니다.