💻 computer science

Signpost Watermarking: Joint Optimization for Visual Watermark Coexistence

이 논문은 이미지와 비디오를 위한 비가시적 시각적 워터마크를 공동 최적화하여 다른 독립적으로 학습된 워터마크들과의 강건한 공존을 명시적으로 가능하게 함으로써, 콘텐츠 진위 확인을 위한 계층적 출처 신호 전달을 용이하게 하는 "사인포스트 워터마킹(Signpost Watermarking)" 기법을 소개한다.

원저자: Shruti Agarwal, Vishal Asnani, John Collomosse

게시일 2026-08-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shruti Agarwal, Vishal Asnani, John Collomosse

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인터넷을 모든 사람이 끊임없이 새로운 이야기를 쓰고, 그림을 그리고, 영상을 만드는 거대하고 북적이는 도서관이라고 상상해 보세요. 하지만 최근에 새로운 종류의 작가가 도착했습니다. 바로 인공지능(AI)입니다. 이 AI 작가들은 몇 초 만에 놀라운 예술 작품과 영상을 만들어낼 수 있지만, 무엇이 인간이 만든 것이고 무엇이 기계가 만든 것인지 구별하기가 점점 어려워지고 있습니다. 이를 해결하기 위해 전문가들은 디지털 파일 안에 아주 작고 보이지 않는 '비밀'을 숨기려고 노력하고 있습니다. 이 비밀들을 마치 그림 속에 새겨진 미세한 지문이나 비밀 코드처럼 생각해보세요. 육안으로는 볼 수 없지만, 나중에 특수 스캐너로 읽을 수 있는 형태 말이죠. 이것을 **디지털 워터마킹(digital watermarking)**이라고 부릅니다.

목표는 누가 사진의 소유자인지, 혹은 AI가 제작에 도움을 주었는지를 증명하는 것입니다. 하지만 까다로운 점은, 이 워터마크를 만드는 회사가 단 한 곳이 아니라는 것입니다. 어도비(Adobe), 구글(Google), 메타(Meta) 등 많은 기업이 저마다의 비밀 스탬프를 만들고 있습니다. 만약 어떤 사진에 어도비의 스탬프가 찍혀 있는데, 누군가 그 위에 구글의 스탬프를 추가로 찍으려 한다면 어떻게 될까요? 두 스탬프가 서로 충돌하게 될까요? 사진을 망쳐버릴까요, 아니면 서로를 상쇄시켜서 둘 다 읽을 수 없게 만들까요? 지금까지 우리는 이 서로 다른 비밀 코드들이 평화롭게 공존할 수 있는지, 아니면 모두가 정확히 똑같은 스탬프 기계를 사용하도록 강제해야 하는지 알지 못했습니다.

"사인포스트 워터마킹(Signpost Watermarking)"이라는 제목의 이 논문은 바로 그 문제를 다룹니다. 연구진은 다음과 같은 질문을 던졌습니다. "다른 워터마크들과 공간을 공유하면서도 문제를 일으키지 않는 특별한 '사인포스트(이정표)' 워터마크를 학습시킬 수 있을까?" 그들은 서로 다른 워터마크들이 (마치 두 사람이 공원 벤치에 앉으려다 서로 부딪히는 것처럼) 우연히 공존할 수는 있지만, 이는 종종 사진을 흐릿하게 만들거나 코드를 읽기 어렵게 만드는 운 좋은 사고에 불과하다는 것을 발견했습니다.

이를 해결하기 위해 연구팀은 새로운 학습 방법을 만들었습니다. 새로운 무용수(사인포스트)에게 방 안의 다른 무용수들(기존 워터마크들) 사이에서 움직이는 법을 가르치는 무용 지도자를 상상해 보세요. 새로운 무용수가 그냥 발을 내디딜 위치를 짐작하게 하는 대신, 지도자는 다른 무용수들을 제자리에 고정시킨 뒤 이렇게 말합니다. "다른 사람들을 걸려 넘어지게 하지 않도록 발을 움직이고, 그들이 여전히 자신의 음악을 들을 수 있게 해라." 이렇게 함으로써, 새로운 사인포스트는 마치 다람쥐가 나무 가지 사이의 빈틈에 견과류를 숨기듯, 다른 코드들 사이의 빈 공간에 자신의 비밀 코드를 숨기는 법을 배웁니다.

결과는 매우 유망합니다. 연구진은 정지 영상과 움직이는 영상 모두에서 이를 테스트했습니다. 그들은 새로운 "사인포스트"가 눈에 보이지 않을 정도로 뛰어나며, 이미지 품질을 매우 높게 유지한다는 것을 발견했습니다(52.4 dB라는 점수로 측정되었는데, 이는 매우 깨끗하고 선명한 이미지임을 의미합니다). 더 중요한 것은, 이 사인포스트를 기존의 다른 워터마크들 위에 겹쳤을 때 기존 워터마크들을 망가뜨리지 않았다는 점입니다. 실제로, "트러스트마크(TrustMark)"라는 까다로운 워터마크가 포함되었을 때, 이 새로운 방식은 기존의 불안정한 정확도 0.687을 강력한 0.929로 끌어올리며 정확도를 크게 향상시켰습니다.

이 논문은 이 "사인포스트"가 교통 신호등이나 안내 책자처럼 작동할 수 있다고 제안합니다. 세상의 모든 가능한 비밀 코드를 하나하나 해독하려고 애쓰는 대신, 스캐너가 먼저 사인포스트를 찾을 수 있습니다. 만약 사인포스트가 "헤이, 여기 구글 워터마크가 있어!"라거나 "어도비 코드를 확인해봐!"라고 알려준다면, 스캐너는 다음에 어떤 도구를 사용해야 할지 정확히 알게 됩니다. 이는 서로 다른 기업들이 자신만의 비밀 방식을 유지하면서도, 사진이나 영상이 진짜임을 증명하고 소유권을 밝히기 위해 서로 협력할 수 있는 친화적인 생태계를 만들어 줍니다. 저자들은 이것이 실질적인 경로라고 제안하지만, 향-후 연구에서 이 신호들이 훨씬 더 공격적인 공격에서도 살아남을 수 있는지 확인이 필요하다고 언급했습니다. 현재로서는, 우리가 드디어 이 서로 다른 디지털 지문들이 조화롭게 공존하게 할 방법을 찾은 것처럼 보입니다.

기술 요약: Signpost 워터마킹: 시각적 워터마크 공존을 위한 공동 최적화

문제 정의
콘텐츠 진위 확인, AI 출처 증명, 지식재属性(IP) 권리 보호의 필요성에 따라 독립적으로 개발된 디지털 이미지 및 비디오 워터마킹 시스템이 급증하면서 파편화된 환경이 조성되었습니다. 최근 연구(예: Petrov 등 [23])는 독립적으로 학습된 워터마크가 동일한 미디어 자산 내에서 제한적인 간섭만으로 공존할 수 있음을 보여주었으나, 이러한 공존은 현재 명시적인 최적화 목표라기보다는 우연히 나타나는 발현적 특성(serendipitous emergent property)에 불과합니다. 결과적으로, 공존하는 워터마크 사이의 간섭은 통제되지 않은 상태로 남아 있으며, 이는 디코딩 견고성이나 시각적 품질을 저하시킬 수 있습니다. 또한, 모든 가능한 기술에 대해 디코딩을 시도하지 않고도 특정 자산에 어떤 독점적 워터마킹 시스템이 존재하는지 효율적으로 식별할 수 있는 상호 운용성 메커니즘이 부족합니다(1-to-N 문제).

방법론
저자들은 공존을 명시적으로 최적화하도록 설계된 "Signpost 워터마킹" 프레임워크를 제안합니다. 핵심 혁신은 워터마크 공존을 다목적 학습 문제로 취급하는 **디코더 인식 학습 목표(decoder-aware training objective)**입니다.

아키텍처: 시스템은 UNet 기반 인코더와 ResNet-50 디코더를 사용합니다. 인코더는 커버 이미지(또는 비디오 프레임)와 32비트 이진 비밀 정보를 입력받아, 커버에 더해질 잔차 맵(residual map)을 생성하여 스테고(stego) 미디어를 만듭니다.
디코더 인식 학습: Signpost 인코더는 자체의 견고성과 지각적 품질뿐만 아니라, 다른 "동결된(frozen)" 이차 워터마킹 시스템의 디코딩 성능을 보존하도록 최적화됩니다.
- 프로세스: 사전 학습된 다양한 최신 시스템을 나타내는 일련의 동결된 워터마크 디코더들이 로드됩니다. Signpost 인코더는 스테고 이미지를 생성하고, 이 이미지는 이후 이차 워터마크를 적용하기 위해 동결된 인코더들을 통과합니다.
- 손실 함수: 총 손실( $L$ $L$ )은 세 가지 항을 결합합니다:
  1. 이미지 품질 ( $L_{img}$ ): 가시적 왜곡을 최소화하기 위해 L1, YUV 가중 L2, LPIPS 지각 손실 및 JND(Just Noticeable Difference) 가이드를 결합한 형태입니다.
  2. Signpost 생존 ( $L_{BCE}$ ): Signpost 자체가 증강된 스테고 이미지로부터 디코딩될 수 있도록 보장하는 이진 교차 엔트로피(Binary Cross-Entropy) 손실입니다.
  3. 공존 항 ( $L_{coex}$ ): 핵심 구성 요소로, Signpost 디코더가 이미 동결된 이차 시스템에 의해 워터마킹된 이미지로부터 자신의 페이로드를 복구하려고 시도합니다. 이는 Signpost 인코더가 후속 워터마크 오버레이에 불변하는 공간 및 주파수 성분에 임베딩 에너지를 집중하도록 강제합니다.
학습 커리큘럼: 학습은 세 단계의 커리큘럼(TrustMark [7]에서 영감을 받음)을 따르며, 데이터셋 다양성, 증강 노이즈(압축, 크롭, 노이즈 등), 이미지 품질 손실을 점진적으로 도입하여 임베딩을 안정화합니다.

주요 기여

비디오 워터마크 공존: 본 논문은 이미지 워터마크에서 관찰된 공존 특성이 비디오의 시간적 영역으로 확장될 수 있다는 첫 번째 경험적 증거를 제공합니다. 이는 독립적으로 개발된 비디오 워터마킹 시스템이 동일한 비디오 자산 내에서 공존할 수 있음을 입증합니다.
명시적 공존 최적화: 저자들은 공존을 경험적 관찰에서 명시적 학습 목표로 전환할 수 있음을 보여줍니다. Signpost 인코더가 공존하는 시스템의 디코딩 정확도를 보존하도록 최적화함으로써, 독립적으로 학습된 베이스라인 모델들보다 훨씬 향상된 상호 운용성을 달달성했습니다.
Signpost 라우팅 메커니즘: 본 연구는 특정 출처나 권리 워터마크의 존재를 나타내는 경량 신호인 "Signpost" 워터마크를 위한 실용적인 경로를 제안합니다. 이는 모든 용도에 대해 단일 워터마킹 알고리즘을 표준화하거나, 모든 기술에 대한 대표 데이터를 필요로 하는 분류기를 학습시킬 필요 없이, Signpost가 사용 가능한 레지스트리의 인덱스를 인코딩하도록 함으로써 이를 해결합니다.

결과
저자들은 최대 4개의 최신 이미지 워터마킹 시스템(PixelSeal, InvisMark, TrustMark-P, MaskWM) 및 3개의 비디오 시스템(VideoSeal, InvisMark, FlowMark, TrustMark-Q)을 대상으로 접근 방식을 평가했습니다.

시각적 품질: 제안된 Signpost는 평가된 모든 방법 중 가장 높은 단독 지각 품질을 달성했습니다. 이미지와 비디오 모두에서 52.4 dB의 PSNR에 도달했으며, 비디오의 경우 VMAF 99.2를 기록했습니다. 잔차는 다른 방식들의 조밀한 전역 텍스처와 대조적으로 희소하고 공간적으로 국부화되어 있습니다.
공존 성능:
- 클린 조건: Signpost는 다른 워터마크와 오버레이되었을 때 높은 비트 정확도(종종 >0.99)를 유지합니다. 결정적으로, TrustMark-P/Q와 같이 민감한 시스템이 기본 워터마크(WM1)이고 Signpost가 두 번째로 적용될 때의 견고성을 크게 향상시킵니다.
- 증강 조건: 노이즈와 변환 하에서도 디코더 인식 학습은 상당한 이득을 가져옵니다. 예를 들어, 이미지에서 ZOETROPE 오버레이 하의 TrustMark-P 비트 정확도는 0.687이었으나, 제안된 Signpost 하에서는 0.929로 상승(+0.24)했습니다. 비디오에서도 InvisMark 및 TrustMark-Q에 대해 유사한 개선이 관찰되었습니다.
- 절제 연구(Ablation): 본 연구는 여러 개의 동결된 디코더를 동시에 사용하여 학습하는 것이 단일 디코더 또는 공존 손실 없이 학습하는 것보다 우수함을 확인했습니다. "Leave-one-out" 분석 결과, 모든 디코더가 최종 성능에 기여하며, 특히 TrustMark 제품군이 간섭에 가장 민감하여 명시적 감독으로부터 가장 큰 혜ประโยชน์를 얻는 것으로 나타났습니다.

의의 및 주장
본 논문은 단일한 통합 워터마킹 표준을 요구하지 않고도 상호 운용 가능한 워터마킹을 위한 실용적인 토대를 구축한다고 주장합니다. 공존을 최적화 목표로 다룸으로써, 저자들은 다양한 출처 및 권리 신호 시스템으로 효율적으로 라우팅할 수 있는 "Signpost" 시스템을 가능하게 합니다.

저자들은 이러한 결과가 (C2PA의 "soft binding algorithm list"와 유사하게) 공용 리스트의 인덱스를 인코딩하는 표준화된 Signpost 페이로드의 실현 가능성을 뒷받침한다고 강조합니다. 이 접근 방식은 다양한 이미지 및 비디오 워터마킹 기술이 콘텐츠 진위 확인 및 지식재산권 보호를 위한 공유 생태계에 참여할 수 있게 하며, 생성형 AI와 진화하는 규제 환경(예: EU AI Act)에 대응하는 데 도움을 줍니다. 마지막으로, 향후 연구는 이중 워터마킹된 신호를 표적으로 하는 적응형 공격에 대한 견고성을 다루어야 한다고 언급하며 마무리합니다.

유사한 논문