기술 요약: 차원 인지 매핑을 통한 워터마킹의 통합

1. 문제 정의

딥 워터마킹 방법론들은 대체로 유사한 인코더-디코더 구조로 수렴해 왔으나, 구체적인 작업 설계에 따라 상당한 기능적 차이를 보입니다. 기존 방식들은 대개 파편화되어 있습니다:

• 저작권 검증: 대부분의 방법은 소유권 확인을 위해 1차원(1D) 이진 메시지를 삽입하고 추출하는 데 집중합니다.
• 변조 위치 탐지: 다른 방법들은 취약한(fragile) 신호를 도입하거나 추출 과정을 공간적 예측 문제로 재구성하여 조작된 영역을 탐지합니다.
• 비디오의 한계: 기존의 비디오 워터마킹 방법들은 주로 워터마크를 전역적인 1D 메시지로 모델링합니다. 이들은 공간적 국소성을 명시적으로 모델링하지 못하며, 결정적으로 비디오가 재정렬되거나 섞였을 때 시공간적 구조(예: 프레임 순서)를 인코딩하거나 복구하는 데 실패합니다.

핵심 문제는 통일된 모델링 관점의 부재입니다. 서로 다른 워터마킹 기능들이 공유된 이론적 프레임워크 없이 각기 다른 작업별 설계(ad-hoc design)를 통해 구현되고 있으며, 이는 이러한 이질적인 설계들이 단일 패러다임 아래에서 해석될 수 있는지에 대한 의문을 제기합니다.

2. 방법론: DiM 프레임워크

저자들은 워터마킹을 차원 인지 매핑 문제로 정식화하는 DiM(Dimension-aware Mapping)을 제안합니다. DiM은 워터마크의 형태를 고정하는 대신, 워터마크 정보를 다양한 차원($d$)을 가진 페이로드로 모델링하며, 임베딩 차원($d_e$)과 추출 차원($d_d$) 사이의 관계를 기반으로 임베딩-추출 과정을 정의합니다.

2.1 다차원 페이로드 공간

프레임워크는 세 가지 페이로드 공간을 정의합니다:

• 1D 이진 페이로드 ($P^{(1)}$): 전역적이며 순열 불변(permutation-invariant)인 이진 정보 (예: 소유권 ID).
• 2D 공간 페이로드 ($P^{(2)}$): 공간적으로 국소화된 구조적 정보 (예: 영역 수준 제약을 위한 마스크).
• 3D 시공간 페이로드 ($P^{(3)}$): 시공간 볼륨 상에 정의된 구조적 정보 (예: 시공간 마스크).

2.2 차원 인지 매핑

프레임워크는 매핑 $\mathcal{M}\{d_e, d_d\}$에 따라 워터마킹 동작을 분류합니다:

• 동일 차원 매핑 ($d_e = d_d$): 페이로드 구조를 보존하여 미세한 제어를 가능하게 합니다 (예: 저작권 검증).
• 교차 차원 매핑 ($d_e \neq d_d$):
  • 저차원에서 고차원으로 ($d_e < d_d$): 저차원 데이터를 임베딩하고 고차원 표현을 추출합니다. 이는 구조 확장형 투영(structure-expanding projections)을 유도하여, 공간적 또는 시공간적 국소화(예: 전역 ID로부터 변조된 영역 탐지)를 가능하게 합니다.
  • 고차원에서 저차원으로 ($d_e > d_d$): 고차원 데이터를 임베딩하고 저차원 표현을 추출합니다. 이는 구조 결합 해제 투영(structure-decoupling projection) 역할을 하며, 디코딩 복잡도를 줄이거나 교차 차원 일관성이 약할 때 정보를 복구하는 데 유용합니다.

2.3 구현: DiM-V (비디오 워터마킹)

다양한 차원 구성을 탐색하기 위해, 저자들은 DiM을 비디오 도메인에 적용한 DiM-V를 제안합니다.

• 페이로드 구현:
  • 1D: 무작위 이진 메시지.
  • 2D: 프레임당 샘플링된 공간 마스크 (전체, 직사각형, 불규칙, 분할 마스크).
  • 3D: 시공간 마스크 텐서. 결정적으로, DiM-V는 각 프레임에 채널 차원을 따라 별도의 순열 불변 이진 코드를 할당하는 다채널 마스크 인코딩 메커즘을 도입합니다. 이를 통해 시스템은 프레임 정체성을 명시적으로 인코딩하고, 프레임이 임의로 재정렬되거나 섞였을 때도 시간적 순서를 복구할 수 있습니다.
• 통합 파이프라인: DiM-V는 공유된 노이즈 레이어를 가진 단일 네트워크 아키텍처(MaskWM에서 변형)를 사용합니다. 입력 텐서는 호스트 비디오와 1D 메시지 및 선택적 2D/3D 마스크의 특징 표현을 결합하여 구성됩니다. 임베딩 및 추출 헤드의 차원 설정만을 변경함으로써, 시스템은 아키텍처의 변경 없이 다양한 기능적 역량을 전환할 수 있습니다.

3. 주요 기여

1. 통합 모델링 관점: 본 논문은 기존의 이미지 및 비디오 워터마킹 방법들을 개별적인 작업 중심 설계가 아닌, 차원 인지 매핑의 특정 사례로 해석하는 DiM을 제안합니다.
2. 제어 메커니즘으로서의 차원 구성: 워터마크의 기능적 동작(예: 강건성 vs 국소화 vs 시간적 복구)이 단순히 네트워크 아키텍처뿐만 아니라, 임베딩과 추출 사이의 차원 관계에 의해 크게 결정됨을 입증합니다.
3. 비디오에서의 시공간 모델링: DiM-V는 시공간 구조를 명시적으로 모델링함으로써 현재 비디오 워터마킹의 한계를 해결합니다. 프레임 정체성을 인코딩하는 메커니즘을 도입하여, 프레임이 섞였을 때도 시간적 순서를 복구할 수 있게 합니다.
4. 재설계 없는 유연성: 본 프레임워크는 단일 통합 모델 내에서 차원 설정을 조정함으로써 다양한 능력(전역 저작권 검증, 국소 임베딩 제어, 시공간 변조 탐지, 시간 순서 복구)을 달성할 수 있음을 보여줍니다.

4. 실험 결과

실험은 256×256 해상도와 8개 프레임을 가진 SA-V 데이터셋(12,000개 이상의 비디오)을 대상으로 수행되었습니다.

• 강건성 및 비가시성: 동일 차원 매핑($\mathcal{M}\{3,3\}$)에서 DiM-V는 가치 지표(value-metric), 기하학적 변형, 프레임 수준 왜곡에 대해 VideoSeal, RivaGAN, REVMark와 같은 베이스라인보다 우수한 강건성을 보여주었으며, 경쟁력 있는 PSNR 및 SSIM 점수를 유지했습니다.
• 국소화 능력:
  • 국소 추출: 교차 차원 매핑(예: $\mathcal{M}\{1,3\}$ 및 $\mathcal{M}\{2,3\}$)을 통해 시스템은 국소 추출 및 변조 탐지를 수행하였으며, IoU(Intersection-over-Union) 지표에서 WAM 및 MaskWM-D와 같은 베이스라인보다 뛰어난 성능을 보였습니다.
  • 시간적 복구: DiM-V의 다채널 인코딩은 프레임이 재정렬되거나 섞였을 때도 원래의 비디오 시간 순서를 성공적으로 복구하였으며, 이는 기존 비디오 워터마킹 방법에는 없는 기능입니다.
• 효율성: 본 프레임워크는 하부 네트워크 아키텍처를 수정하지 않고 오직 차원 구성을 변경하는 것만으로 이러한 다양한 능력을 달성했습니다.

5. 의의 및 주장

본 논문은 DiM이 서로 다른 워터마킹 작업 간의 간극을 메우는 통합 모델링 관점을 제공한다고 주장합니다. 워터마킹을 차원 인지 매핑 문제로 다룸으로써, 저자들은 다음과 같이 주장합니다:

• 워터마킹의 기능적 다양성(단순 저작권 확인부터 복잡한 시공간 국소화까지)은 차원 구성을 통해 체계적으로 이해하고 제어될 수 있습니다.
• 현재의 비디오 워터마킹 설계는 1D 전역 메시지에 의존한다는 한계가 있으며, DiM-V에서 수행된 것처럼 공간 및 시간 차원을 명시적으로 모델링하는 것이 콘텐츠 인증 및 무결성 검증의 중요한 공백을 메웁니다.
• 프레임 파괴 상황에서도 시간적 순서를 복구하는 능력은 단순한 강건성을 넘어 구조적 복구로 나아가는 비디오 무결성 분야의 중요한 진보를 의미합니다.

저자들은 DiM을 새로운 작업별 아키텍처가 아니라, 기존 방법들이 어떻게 통합될 수 있는지, 그리고 페이로드 공간의 차원을 조작함으로써 어떻게 새로운 능력을 도출할 수 있는지를 밝혀내는 프레임워크로 포지셔닝합니다.