기술 요약: TrajShield

1. 문제 정의

텍스트 - 비디오 (T2V) 모델은 자연어 프롬프트에서 시간적으로 일관된 비디오를 생성하는 능력에서 크게 발전했습니다. 그러나 기존 안전 메커니즘은 주로 텍스트 - 이미지 (T2I) 영역에서 계승된 것으로, T2V 에는 충분하지 않습니다. 현재 방어 체계는 입력 프롬프트의 어휘적 표면 (예: 키워드 블랙리스트, 표면 수준 분류기, 또는 범용 LLM 재작성) 에서 주로 작동합니다. 이러한 방법들은 정적 이미지와 동적 비디오 간의 근본적인 차이인 시간적으로 발생하는 위험을 해결하지 못합니다.

T2V 생성에서 겉보기에 무해한 프롬프트 (예: "주차장에서 논쟁하는 두 남자") 는 명백히 해로운 키워드가 없더라도 모델이 내러티브 일관성을 향해 시간적으로 외삽함에 따라 물리적 폭력과 같은 안전하지 않은 콘텐츠로 이어질 수 있습니다. 이러한 위험은 프롬프트 수준에서는 보이지 않으며, 생성기가 장면을 시간에 따라 펼쳐나갈 때만 구체화됩니다. 또한 기존 방어 체계는 재구성이나 적대적 프롬프팅을 통해 해로운 의도를 위장하는 정교한 탈출구 (jailbreak) 공격에 종종 무력합니다. 핵심적인 과제는 T2V 모델이 생성할 시간적 궤적을 예측하고, 발생하는 위험의 인과적 기원을 식별하며, 단일 프레임이 렌더링되기 전에 최소한의 의미적 교란으로 개입하는 것입니다.

2. 방법론: TrajShield

저자들은 T2V 안전을 시간적으로 구조화된 의미 공간 내의 인과적 개입 문제로 재정의하는 훈련이 불필요한 추론 시 방어 프레임워크인 TrajShield를 제안합니다. TrajShield 는 어휘적 패턴에 기반하여 원본 텍스트를 수정하는 대신, 프롬프트가 암시하는 궤적을 시뮬레이션하여 안전과 무관한 의미는 보존하면서 위험을 중화합니다. 이 프레임워크는 세 가지 연속적인 단계로 구성됩니다:

A. 운동 - 의미 분리 (MSD)

부수적인 의미의 이탈 (위험을 중화하는 과정에서 우연히 장면의 정체성이나 스타일이 변경되는 것) 을 방지하기 위해, TrajShield 는 입력 프롬프트 $P$를 세 가지 조건부 독립 구성 요소로 분해합니다:

1. 불변 공간적 맥락 ($E$): 피사체 설명, 환경 설정, 영화적 스타일 단서 등 시간적으로 정지된 요소를 포착합니다. 이는 피사체 정체성과 시각적 톤이 변하지 않도록 하는 고정된 앵커 역할을 합니다.
2. 행동 궤적 ($T$): 프롬프트가 암시하는 동적 진행을 포착하는 장면 상태의 이산적, 시간적 순서 시퀀스 (예: 시작, 중간, 결론) 입니다. 시스템은 사용자 프롬프트가 미비하더라도 타당한 시간적 아크를 추론하기 위해 암시적 역학 외삽을 수행합니다.
3. 의도 앵커 ($I$): 잠재적으로 해로운 세부 사항에서 추상화된 사용자의 핵심 창의적 목표에 대한 간결한 정제물로, 재작성 시 의미적 정규화제 역할을 합니다.

B. 시간적 위험 전파 그래프 (TRPG)

이 모듈은 비디오 프레임을 렌더링하지 않고 의미 공간 내에서만 작동하여 궤적을 시뮬레이션하고 위험의 인과적 기원을 위치시킵니다.

1. 궤적 롤아웃: 행동 궤적은 현재 상태와 공간적 맥락에 기반하여 후속 상태를 예측하는 맥락 조건부 마르코프 체인으로 모델링됩니다.
2. 계층적 위험 평가: 각 시간적 앵커에서 위험은 세 가지 차원에서 평가됩니다:
   • 콘텐츠 위험: 순간적 상태가 해로운 콘텐츠를 포함하는지 여부 (정적 위험).
   • 전이 위험: 상태 간의 변화가 해악으로 향하는 인과적 에스컬레이션인지 여부 (동적 위험).
   • 전망 위험: 궤적이 방해받지 않고 계속될 경우 안전하지 않은 최종 상태로 이어질지 여부.
3. 인과 귀속: 시스템은 복합 위험이 안전 임계값을 초과하는 가장 초기의 트리거 지점 ($t_r$) 을 식별합니다. 그런 다음 **안전 제약 ($C$)**을 도출하는데, 이는 무엇을 변경해야 하는지 (불안전한 패턴 중화) 와 무엇을 보존해야 하는지 (무해한 접두사와 의도) 를 명시하는 선언적 지침입니다.

C. 시간적 일관성 안전 재작성 (TCSR)

최종 단계는 다음을 통해 안전한 프롬프트 $P^*$를 합성합니다:

1. 불변 맥락 앵커링: 피사체나 환경에서 의미적 이탈이 없도록 공간적 맥락 $E$를 하드 잠금합니다.
2. 제약된 반사실적 궤적 치환: 안전 제약 $C$를 충족하고, 무해한 접두사 ($t_r$ 이전 상태) 를 보존하며, 행동 - 의미 근접성을 유지 (예: 물리적 폭력을 언어적 대치로 대체) 하고, 의도 앵커 $I$를 준수하는 대체 행동 궤적 $T^*$를 생성합니다.
3. 프롬프트 조립: 고정된 맥락과 반사실적 궤적을 매끄러운 자연어 프롬프트로 구성합니다.

3. 주요 기여

이 논문은 세 가지 주요 기여를 제시합니다:

1. 시간적으로 발생하는 위험의 식별: 저자들은 T2V 에서 기존 어휘적 방어를 체계적으로 회피하면서 시간적 외삽을 통해 무해한 프롬프트가 안전하지 않은 콘텐츠를 생성하는, 이전에 간과된 위협 카테고리를 정의합니다.
2. TrajShield 프레임워크: 궤적 시뮬레이션, 인과적 위험 국소화, 그리고 최소 침습적 반사실적 재작성을 통해 명시적 안전하지 않은 프롬프트, 탈출구 공격, 그리고 시간적으로 발생하는 위험을 처리하는 통합된 훈련 불필요 방어 메커니즘입니다.
3. 실증적 검증: 14 가지 안전 카테고리와 여러 T2V 백엔드에서 TrajShield 가 최첨단 방어 성능을 달성하면서도 높은 의미 충실도를 유지함을 보여주는 포괄적인 실험 결과입니다.

4. 실험 결과

저자들은 6 개의 T2V 모델 (Pixverse, Hailuo, Kling, Seedance, Veo, Sora 포함) 을 사용하여 T2VSafetyBench 벤치마크 (14 가지 안전 카테고리) 와 SafeWatch 데이터셋 (실제 안전하지 않은 프롬프트) 에서 TrajShield 를 평가했습니다.

• 안전 성능: TrajShield 는 모든 모델과 카테고리에서 공격 성공률 (ASR) 을 평균 52.44% 감소시켰습니다. 구체적으로 평균 ASR 은 (원본 모델) **70.00%**에서 (방어된 모델) **15.64%**로 하락했습니다.
• 기선과의 비교: 이 방법은 키워드 블랙리스트, 의미 분석 (Toxic-BERT), LLM 재작성을 포함한 기존 방어 체계보다 훨씬 우수했습니다. 예를 들어, Sora 모델에서 TrajShield 는 ASR 을 20.86% 로 낮춘 반면, LLM 재작성은 51.57% 만 달성했습니다.
• 강건성: 이 방어 체계는 다양한 탈출구 공격 (RAB, DACA, SceneSplit, SPARK) 에 대해 효과적으로 유지되었으며, 공격 전략에 관계없이 ASR 을 6%~21% 의 좁은 범위로 감소시켰습니다.
• 의미 충실도: 무해한 프롬프트 (MSVD 데이터셋) 에 대해 TrajShield 는 기준선과 비교 가능한 높은 CLIP 유사도 (CS) 및 시간적 일관성 (TC) 점수를 유지하여, 이 방어 체계가 안전한 생성물의 품질을 저하시키지 않음을 나타냈습니다.
• 절차 제거 연구: 세 가지 핵심 모듈 (MSD, TRPG, TCSR) 중 하나를 제거하면 성능이 크게 저하되어, 운동과 의미의 분리, 인과적 위험 트리거의 식별, 그리고 제약된 재작성이 모두 시스템의 효과성에 필수적임을 확인했습니다.

5. 중요성과 주장

이 논문은 TrajShield 가 정적, 어휘적 필터링에서 궤적 수준 안전 중재로 이동하는 T2V 안전 분야의 패러다임 전환을 나타낸다고 주장합니다. 저자들은 생성형 비디오 모델에 대한 효과적인 방어가 비디오 생성의 시간적 및 구성적 특성과 일치해야 한다고 논합니다. 생성 전에 "잠재적 비디오 의도 공간"에 개입함으로써 TrajShield 는 현재 방어 체계의 구조적 맹점인 시간의 인과적 진행을 통해서만 발생하는 위험을 탐지하지 못하는 문제를 해결합니다.

저자들은 그들의 접근 방식이 잠재적 구조를 통해 해악이 발생하는 생성형 모델에 대해 시간 인식적 안전 중재의 필요성을 검증하며, 경쟁 기선들보다 더 나은 안전 - 충실도 트레이드오프를 제공한다고 결론지었습니다. 그들은 현재 거친 궤적 이산화가 매우 복잡하고 장기적인 역학을 완전히 포착하지 못할 수 있음을 한계로 인정하며, 이 생성 전 방어와 생성 후 중재를 결합하는 것이 향후 연구 방향임을 제안합니다.