기술 요약: ChronoLock

1. 문제 정의

텍스트-비디오(T2V) 확산 모델의 급격한 발전은 자연어 프롬프트로부터 현실적이고 시간적으로 일관된 영상을 합성할 수 있게 했습니다. 이와 동시에, 개인화 기술(예: Textual Inversion, DreamBooth, MotionDirector)은 단 몇 개의 참조 클립만을 사용하여 특정 피사체, 스타일 또는 동작 패턴에 모델을 적응시킬 수 있게 합니다. 이러한 능력은 창의적인 응용 분야에는 유익하지만, 심각한 데이터 오용 위험을 초래합니다. 온라인에 공유된 영상이 소유자의 동의 없이 T2V 모델을 미세 조정(fine-tuning)하는 데 활용되어 무단 개인화를 유도할 수 있기 때문입니다.

"클로킹(cloaking)"이나 "학습 불가능한 예제(unlearnable examples)"와 같은 기존의 보호 조치들은 주로 정적 이미지 인식이나 텍스트-이미지(T2I) 개인화에 맞춰 설계되었습니다. 이러한 방식은 정적인 외형적 단서, 픽셀 수준의 재구성 또는 토큰-개념 연관성을 손상시키는 데 집중합니다. 그러나 비디오 개인화는 모션 패턴을 학습하기 위해 **시간적 디노이징 역학(temporal denoising dynamics)**과 프레임 간 연속성에 크게 의존합니다. 정적인 프레임만을 손상시키는 것은 비디오 생성을 위해 필요한 연속적인 의미론 및 모션 궤적을 학습하는 것을 방지하기에 불충분합니다. 핵심 과제는 영상을 시각적으로 사용 불가능하게 만들지 않으면서도, 모션 개인화에 사용되는 시간적 증거를 구체적으로 교란하여 공개된 영상을 보호하는 것입니다.

2. 방법론: ChronoLock

ChronoLock은 공개된 영상이 무단 T2V 개인화에 악용되는 것을 어렵게 만들기 위해 설계된 선제적 보호 프레임워크입니다. 이 프레임워크는 정적인 외형이 아닌, 확산 모델의 시간적 디노이징 궤적을 타겟팅하는 유계 섭동(bounded perturbations)을 최적화함으로써 작동합니다.

2.1 핵심 메커니즘

이 프레임워크는 영상을 연속적인 청크(chunks)로 분할하고, 모션 학습을 방해하기 위한 2단계 최적화 과정을 채택합니다.

1. 청크 내 시간적 교란 (Intra-Chunk Temporal Disruption):

   • 목표: 짧은 비디오 세그먼트 내에서 국소적 모션 적응을 교란합니다.
   • 기법: ChronoLock은 무단 어댑터(예: Temporal LoRA)가 정상적으로 최소화하려는 복합 시간적 확산 목적 함수($L_{tem}$)를 최대화합니다. 이 목적 함수는 세 가지 항으로 구성됩니다:
     • 적합 오차 ($L_{fit}$): 확산 과정 중 노이즈를 예측하는 과정에서의 오차를 증가시킵니다.
     • 프레임 상대적 관계 ($L_{rel}$): 공통 참조 슬라이스와의 관계를 교란하며, 정적 성분을 상쇄하여 모션 신호만을 분리하고 이를 교란합니다.
     • 인접 프레임 변동성 ($L_{var}$): 인접한 프레임들의 예측된 디노이징 슬라이스 간의 불일치를 최대화하여 국소적인 시간적 매끄러움을 깨뜨립니다.

2. 청크 간 경계 교란 (Inter-Chunk Boundary Disruption):

   • 목표: 전체 비디오에 걸친 장기적 모션 연속성을 약화시킵니다.
   • 기법: 프레임워크는 경계 부분에서 가장 큰 디노이징 불일치를 보이는 청크 쌍을 식물합니다. 그 후, 이 특정 쌍들에 대해 섭동을 선택적으로 업데이트하여 경계 불일치 점수($L_{bdry}$)를 최대화합니다. 이러한 적응적 접근 방식은 가장 취약한 시간적 전이를 타겟팅하여 모션 세그먼트의 일관된 조립을 방지합니다.

2.2 최적화 워크플로우

보호 과정은 양방향 최적화(bi-level optimization) 문제로 정식화됩니다:

• 내부 루프 (Inner Loop): 보호된 비디오 청크에 임시 어댑터(예: Temporal LoRA)를 훈련시켜 개인화 손실을 최소화함으로써 무단 개인화 과정을 시뮬레이션합니다.
• 외부 루프 (Outer Loop): 투영 경사 하강법(Projected Gradient Descent, PGD)을 사용하여 섭동($\delta$)을 업데이트함으로써 임시 어댑터의 손실을 최대화하고, 이를 통해 모션에 대해 "학습 불가능한" 상태로 만듭니다.
• 강건성 (Robustness): 일반적인 전처리(예: 크기 조정, 압축)에 대한 회복력을 보장하기 위해, 최적화 과정에서 변환 샘플링된 뷰(예: 가우시안 블러, 수평 뒤집기)에 대해 섭동을 평가합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. 시간적 위협 정식화: 저자들은 이미지 기반 방어 체계가 타겟팅하는 정적 외형 학습과 구별되는, T2V 개인화의 핵심 공격 표면으로서 시간적 디노이징 역학을 식별했습니다.
2. 최초의 비디오 보호 프레임워크: ChronoLock은 모션 중심의 T2V 개인화를 위해 특별히 설계된 최초의 프레임워크로 제시됩니다. 이는 국소적 시간 불일성과 전역적 경계 교란 사이의 시너지를 통해 intra-chunk 적응과 inter-chunk 연속성을 모두 교란하는 독특한 방식을 결합합니다.
3. 포괄적인 평가: 이 프레임워크는 인기 있는 T2V 백본(ZeroScope, ModelScope)과 개인화 기법(MotionDirector)을 사용하여 실제 인간 행동 데이터셋(UCF Sports, HMDB51)에서 평가되었습니다.

4. 실험 결과

실험 결과, ChronoLock은 시각적 충실도를 유지하면서 무단 모션 개인화를 효과적으로 억제함을 입증했습니다.

• 자동 지표: 보호된 영상은 깨끗한(clean) 영상과 비교했을 때 개인화 시 현저히 낮은 모션 매끄러움(Motion Smoothness, MS) 및 시간적 일관성(Temporal Consistency, TC) 점수를 나타냈습니다. 예를 들어, ZeroScope를 사용한 UCF 데이터셋에서 ChronoLock은 MS 점수를 0.989(원본)에서 0.980으로, TC를 4.324에서 4.149로 감소시켰습니다 (낮을수록 보호에 유리함).
• 인간 평가: 인간 평가자들은 보호된 데이터로부터 생성된 영상의 모션 충실도, 시간적 일관성 및 텍스트 정렬도가 깨끗한 데이터로부터 생성된 영상보다 유의미하게 낮다고 평가했습니다. 깨끗한 개인화에 대한 선호도는 약 67%(Clean baseline)에서 ~32%(ChronoLock)로 떨어졌습니다.
• 강건성: 보호된 영상이 가우시안 블러, 수평 뒤집기 또는 이들의 조합과 같은 일반적인 방어 기법을 거친 후에도 보호 효과는 유효하게 유지되었습니다. 이러한 변환들이 미미한 회복을 제공하긴 했으나, 영상의 의미론적 및 모션 유용성은 여전히 저하된 상태였습니다.
• 일반화: 이 방법은 서로 다른 T2V 백본(ZeroScope vs. ModelScope)과 서로 다른 데이터셋 간에 강력한 전이성을 보여주었으며, 이는 특정 생성기나 동작 카테러고리에 과적합되지 않음을 나타냅니다.
• 절제 연구 (Ablation Studies): 구성 요소(fitting, frame-relative, 또는 boundary disruption) 중 하나라도 제거하면 보호 성능이 약화되었으며, 이는 국소적 시간 불일성과 전역적 경계 교란 사이의 시너지가 필수적임을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 ChronoLock을 생성형 비디오 시대의 데이터 보호를 위한 필수적인 진화로 포지셔닝합니다. 그 의의는 방어 패러다임을 정적 이미지 클로킹에서 시간적 디노이징 교란으로 전환하는 데 있습니다.

저자들은 모션 학습을 가능하게 하는 메커니즘(시간적 어텐션 및 모션 모듈)을 직접 타겟팅함으로써, ChronoLock이 무단 T2V 미세 조정에 대한 강력하고 선제적인 방어를 제공한다고 주장합니다. 이 프레임워크는 배포된 영상의 시각적 품질을 합법적인 시청을 위해 보존하는 동시에, 밑바탕이 되는 시간적 데이터를 악의적인 개인화 모델 학습에 신뢰할 수 없게 만드는 이중 목표를 성공적으로 균형 있게 달성합니다. 이 연구는 비디오 데이터를 보호하기 위해서는 정적 이미지 방어로는 충족할 수 없는, 비디오 생성의 연속적이고 역동적인 특성을 다루어야 함을 입증합니다.