기술 요약: 장면 분할 전략을 통한 텍스트 - 비디오 모델의 탈옥

문제 제기

최근 Veo2, Luma Ray2, Hailuo 와 같은 텍스트 - 비디오 (T2V) 모델의 발전은 텍스트 프롬프트로부터 고품질의 사실적인 비디오를 생성할 수 있게 했습니다. 그러나 이러한 모델은 불법적이거나 비윤리적, 유해한 콘텐츠를 생성하도록 조작될 수 있어 심각한 안전상의 도전에 직면해 있습니다. 대규모 언어 모델 (LLM), 비전 언어 모델 (VLM), 텍스트 - 이미지 (T2I) 모델의 탈옥 취약성에 대한 광범위한 연구가 이루어진 반면, T2V 모델은 여전히 largely 미개척 상태로 남아 있습니다. 기존 안전 메커니즘은 비디오 생성의 시간적 특성에서 비롯된 고유한 취약점, 즉 개별적으로는 무해한 사건들이 순차적으로 배열될 때 유해한 내러티브를 형성할 수 있다는 위험을 다루지 못합니다. 본 논문은 T2V 모델에서 내러티브 구조와 시간적 순서를 악용하는 공격에 대한 견고한 방어 부재라는 중요한 안전 격차를 규명합니다.

방법론: SceneSplit

이 격차를 해결하기 위해 저자들은 T2V 안전 필터를 우회하도록 설계된 새로운 블랙박스 탈옥 방법인 SceneSplit을 제안합니다. 핵심 가설은 안전 필터가 직접적인 유해성이 높은 프롬프트를 차단할 가능성이 더 높다는 것입니다. SceneSplit 은 유해한 내러티브를 개별적으로 무해한 장면들의 시퀀스로 분할함으로써 이를 우회합니다. 이 방법의 원리는 각 개별 장면이 광범위하고 안전한 생성 출력 공간에 해당하지만, 이들의 순차적 결합은 강력한 상호 제약으로 작용하여 총 출력 공간을 유해한 비디오를 생성할 확률이 높은 영역으로 좁힌다는 것입니다.

방법론은 세 가지 핵심 구성 요소로 이루어집니다:

1. 장면 분할 (Scene Splitting):

   • 과정: 유해한 프롬프트가 2 개에서 5 개의 절차적 장면 집합으로 변환됩니다.
   • 기법:
     • 장면 분할: 내러티브를 일련의 행동으로 분해합니다.
     • 재문장 (Paraphrasing): 각 장면의 언어를 더 무해하고 직접적인 유해성이 적도록 재작성하여 개별 프롬프트의 측정 가능한 유해성 점수를 낮춥니다.
   • 메커니즘: LLM 이 전략 라이브러리에서 검색된 전략에 의해 선택적으로 안내받으며 이 변환을 수행합니다. 결과적으로 생성된 장면 프롬프트 집합은 개별적으로 안전 필터를 통과하지만, collectively 모델이 원래 유해한 의도를 생성하도록 제약합니다.

2. 장면 조작 (Scene Manipulation):

   • 목적: 초기 분할이 불충분하거나 생성된 비디오가 안전하다고 판단될 경우, 후처리 시각 안전 필터를 우회하기 위함입니다.
   • 과정: 이는 제약된 생성 공간 내에서 최적의 공격 지점을 찾기 위해 프롬프트를 수정하는 반복 과정 (내부 루프) 입니다.
   • 장면 선택: 비디오가 생성되었으나 안전하다고 판단되면, 비디오 이해 모델 (VLM) 이 출력을 분석하여 비디오 콘텐츠와 시각적 표현이 가장 강하게 상관관계를 가진 "가장 영향력 있는 장면"을 식별합니다. 프롬프트가 필터에 의해 차단된 경우, 무작위로 장면을 선택합니다.
   • 반복적 수정: LLM 은 피드백 (예: 안전 보상 점수) 을 기반으로 선택된 영향력 있는 장면만 수정합니다. 공격이 너무 약했다면 표현을 더 명시적으로, 차단되었다면 더 암시적으로 만드는 양방향 검색을 수행합니다. 이는 유해한 내러티브를 유지하면서 탐지를 회피하는 구성을 찾을 때까지 정해진 횟수 ($I$) 의 반복을 수행합니다.

3. 전략 업데이트 (Strategy Update):

   • 목적: 성공적인 공격 패턴을 재사용하여 견고성과 효율성을 향상시키기 위함 (외부 루프) 입니다.
   • 메커니즘: 전략 라이브러리는 성공적인 전략 쌍과 원래 유해한 프롬프트의 임베딩을 저장합니다.
   • 과정: 새로운 공격을 시작하기 전에 시스템은 현재 유해한 프롬프트의 임베딩을 계산하여 라이브러리와 비교합니다. 의미적으로 유사한 과거 성공 사례가 임계값 $\lambda$ 이상으로 발견되면 해당 분할 전략을 재사용합니다. 공격이 성공하면 새로운 프롬프트 시퀀스가 새로운 전략으로 요약되어 라이브러리에 추가됩니다. 이를 통해 방법은 수동 개입 없이 특정 모델 취약점에 적응할 수 있습니다.

주요 기여

본 논문은 세 가지 주요 기여를 제시합니다:

1. 새로운 방법론: 내러티브 분할과 장면 분할을 활용하는 T2V 모델 전용 최초의 블랙박스 탈옥 방법인 SceneSplit 제안.
2. 취약성 규명: 개별적으로 안전한 장면 프롬프트의 순차적 결합이 T2V 모델의 생성 출력 공간을 제약하여 표준 안전 필터를 우회하는 유해한 내러티브로 수렴하게 만드는 특정 취약성 규명.
3. 실증적 검증: SceneSplit 이 여러 상용 T2V 모델에서 높은 공격 성공률 (ASR) 로 안전 필터를 효과적으로 우회함을 보여주는 포괄적인 실험.

실험 결과

저자들은 Luma Ray2, Hailuo, Veo2, Kling V1.0, Sora2 등 다섯 가지 상용 T2V 모델에 대해 T2VSafetyBench의 11 개 안전 카테고리로 SceneSplit 을 평가했습니다.

• 성능: SceneSplit 은 기존 베이스라인 (T2VSafetyBench 및 RPG-RT) 에 비해 현저히 높은 ASR 을 달성했습니다.
  • Luma Ray2: 77.2% ASR
  • Hailuo: 84.1% ASR
  • Veo2: 78.2% ASR
  • Kling V1.0: 78.6% ASR
  • Sora2: 68.6% ASR
• Ablation 연구:
  • 장면 분할: 장면 분할과 재문장을 결합한 것이 가장 높은 ASR 을 보여주어 프롬프트 분할이 출력 공간 제약의 핵심 요소임을 입증했습니다.
  • 장면 조작: 반복적 조작을 추가한 결과, 원샷 분할 베이스라인 대비 ASR 이 약 18% 증가했습니다.
  • 전략 업데이트: 전략 라이브러리를 활용하면 ASR 이 약 9% 향상되고 필요한 평균 공격 시도 횟수가 감소했습니다.
• 의미 일관성: 재문장과 분할에도 불구하고 생성된 비디오는 원래 유해한 프롬프트와 높은 의미적 유사성 (평균 0.53) 을 유지하여 공격이 의도된 유해한 내러티브를 보존함을 확인했습니다.

중요성 및 주장

본 논문은 현재 T2V 안전 메커니즘이 내러티브 구조와 시간적 순서를 악용하는 공격에 근본적으로 취약하다고 주장합니다. 개별적으로 무해한 장면들이 결합되어 유해한 콘텐츠를 생성할 수 있음을 입증함으로써, 저자들은 안전 필터가 개별 프롬프트나 정적 프레임만 평가하는 것이 아니라 장면 간 맥락적 위험을 평가하도록 진화해야 한다고 주장합니다.

저자들은 이 작업을 AI 안전 개선을 위한 선제적 단계로 위치시킵니다. 이 취약성을 노출하는 것이 연구자와 개발자들이 장면 간 맥락을 이해할 수 있는 더 정교한 안전 메커니즘을 구축하는 데 필수적이라고 강조합니다. 오용 가능성은 인정하면서도, 본 논문은 해당 취약성이 공격 여부와 상관없이 모델 내에 존재하며, 이를 발견하는 것이 T2V 기술의 장기적 신뢰성과 윤리적 배포를 보장하기 위한 필수 전제 조건임을 강조합니다.