Pulling The REINS: Training-Free Safety Alignment of Video Diffusion Models via Representation Steering

기술 요약: REINS: 표현 공간 스티어링을 통한 비디오 확산 모델의 무학습 안전 정렬

문제 정의

오픈 웨이트 비디오 확산 모델(VDM)은 고충실도 비디오 합성을 대중화했으나, 폭력, 성적 노골적 콘텐츠, 또는 허위 정보가 담긴 사실적인 콘텐츠를 생성할 수 있다는 상당한 안전 위험을 안고 있습니다. 기존의 방어 기제들은 다음과 같은 근본적인 한계를 가집니다:

1. 프롬프트 수준 필터링: 적대적 재구성(adversarial rewording), 탈옥(jailbreaking), 또는 간접적인 표현을 통해 쉽게 우회될 수 있습니다.
2. 출력 수준 필터링: 안전하지 않은 콘텐츠를 생성한 후에 이를 폐기함으로써 계산 자원을 낭비하며, 수동 개입을 통한 공격에 취약합니다.
3. 안전 파인튜닝: 대규모 주석 데이터셋에 대한 비용이 많이 드는 학습이 필요하며, 일반적인 생성 능력을 저하시킬 위험이 있고, 모든 오픈 웨이트 모델에 적용하기 어렵습니다.

결정적으로, 현재의 방법들은 모델의 내부 생성 과정에 개입하지 않습니다. 최종 출력이 필터링되더라도, 안전하지 않은 콘텐츠는 트랜스포머 블록과 디노이징 단계 전반에 걸쳐 계속 인코딩되고 전파됩니다.

방법론: REINS

저자들은 REINS(REpresentation-space INference-time Safety steering)를 제안합니다. 이는 추론 시점에 비디오 확산 모델의 내부 은닉 상태 표현(hidden-state representations)을 안전한 생성 궤적으로 유도(steering)함으로써, 학습 없이 모델을 정렬하는 무학습(training-free) 방식입니다.

핵심 가설

VDM 내의 안전 관련 구조는 트랜스포머 레이어의 은닉 상태 활성화 값에 선형적으로 인코딩되어 있습니다. 활성화 공간 내의 단일 방향이 안전한 생성 궤적과 안전하지 않은 생성 궤적을 분리할 수 있습니다.

기술적 워크플로우

1. 오프라인 캘리브레이션 (무학습):

   • 데이터 생성: 기본 VDM을 사용하여 안전이 중요한 프롬프트로부터 소수의 비디오를 생성합니다.
   • 레이블링: 사전 학습된 안전 분류기가 이 비디오들에 대해 이진 레이블(안전/안전하지 않음)을 부여합니다.
   • 특징 추출: 초기 디노이징 단계 동안 중간 트랜스포머 레이어에서 은닉 상태 활성화 값을 기록합니다.
   • 방향 발견 (SPCA): 저자들은 투영된 표현과 안전 레이블 사이의 힐베르트-슈미트 독립성 기준(Hilbert-Schmidt Independence Criterion, HSIC)을 최대화하는 방식으로, 안전/불안전 생성을 최대한 분리하는 활성화 공간 내의 방향 $\delta$를 찾기 위해 **감독 주성분 분석(Supervised Principal Component Analysis, SPCA)**을 사용합니다. 이는 투영된 표현과 안전 레이블 사이의 HSIC를 최대화하는 것으로 공식화됩니다.
   • 레이어 선택: 최적의 개입 레이어 $l^*$은 "SPCA 점수"(선형적 안전 구조의 강도)와 하류 전파 능력(downstream propagation capacity) 사이의 균형을 맞추어 선택됩니다. 경험적으로, 효과는 중간 레이어($\sim$50% 깊이)에서 정점을 찍으며, 이는 정보 가용성과 전파 능력 사이의 트레이드오프를 드러냅니다.

2. 추론 시점 스티어링:

   • 섭동(Perturbation): 디노이징 과정의 전반부 동안, 미리 계산된 방향 $\delta$를 선택된 레이어 $l^*$의 은닉 상태에 더해줍니다.
   • 노름 보존(Norm Preservation): 원시 가산 섭동(raw additive perturbations)으로 인해 발생할 수 있는 시각적 아티팩트(예: 과포화, 색상 편차)를 방지하기 위해, 이 방법은 원래 은닉 상태의 채널별 $\ell_2$ 노름을 보존하도록 섭동된 활성화를 재조정합니다.
   • CFG 일관성: Classifier-Free Guidance(CFG)를 사용하는 경우, 시각적 일관성을 유지하기 위해 결합 전 조건부 및 무조건부 브랜치 모두에 동일하게 섭동을 적용합니다.
   • 강도 캘리브레이션: 은닉 상태 노름과 스티어링 방향과의 코사인 유사도 비율에 기반한 휴리스틱을 사용하여, 광범위한 하이퍼파라미터 탐색 없이 최적의 스티어링 강도 $\lambda$를 추정할 수 있게 합니다.

주요 기여

1. 최초의 무학습 비디오 안전 정렬: REINS는 가중치를 수정하거나, 재학습하거나, 개념을 열거하지 않고 추론 시점에 비디오 확산 모델을 정렬하는 최초의 방법입니다.
2. 메커니즘적 통찰: 본 논문은 안전 정보가 트랜스포머 깊이에 따라 단조롭게 축적되는 반면, 스티어링의 효과는 비단조적이며 중간 레이어에서 정점을 찍는다는 점을 밝혀냈습니다. 이는 정보 가용성과 하류 전파 능력 사이의 근본적인 트레이드오프를 보여줍니다.
3. 일반화 가능성: 이 방법은 1.3B에서 5B 파라미터에 이르는 9개의 다양한 VDM(CogVideoX, Wan2.1, Mochi-1, Allegro, LTX-Video 포함)에 대해 검증되었으며, 텍스트-투-비디오(T2V) 및 이미지-투-비디오(I2V) 패러다임을 모두 포괄합니다.
4. 강건성: 프롬프트 필터와 달리 RE-INS는 내부 표현을 대상으로 작동하므로, 표면적 방어를 우회하는 적대적 프롬프트(예: MMA-Diffusion 공격)에 대해 강건합니다.

실험 결과

SafeSora 및 SafeWatch-Bench에서 평가된 REINS는 일관된 개선을 보여줍니다:

• 안전율: 모든 모델에 대해 SafeSora에서 +0.22, SafeWatch-Bench에서 +0.21의 평균 안전율 상승을 달축했습니다. 극단적인 경우(예: Wan2.2-TI2V-5B), 안전율이 거의 0에 가까운 수준에서 유의미한 수준으로 향상되었습니다.
• 품질 보존: 노이즈 공간 스티어링(생성 품질을 붕괴시킴)이나 프롬프트 필터링(유효한 출력을 차단함)과 달리, REINS는 시각적 및 모션 품질을 보존합니다. SafeWatch-Bench에서, 안전한 매니폴드로의 스티어링은 적대적 프롬프트가 일관되지 않은 움직임을 유발했던 경우 오히려 모션 품질을 부수적으로 개선했습니다.
• 비교: REINS는 특히 필터링이 실패하는 적대적 조건 하에서 노이즈 공간 스티어링(PolyJuice 스타일) 및 프롬프트 수준 필터링(LlamaPromptGuard-2)보다 우수한 성능을 보였습니다.

의의 및 주장

본 논문은 REINS가 입출력을 차단하는 것에서 벗어나 생성 과정 내부에 개입하는 방식으로 안전 정렬의 근본적인 변화를 나타낸다고 주장합니다.

• 선형적 접근성: REINS는 비디오 확산 트랜스포머에서의 안전이 대규모 언어 모델(LLM)의 결과와 유사하게, 은닉 상태의 저차원적이고 선형적으로 접근 가능한 속성임을 확립합니다.
• 효율성: 이 방법은 작은 캘리브레이션 세트 외에 가중치 업데이트나 학습 데이터 없이 매우 적은 계산 오버헤드만을 요구합니다.
• 강건성: 프롬프트 표면이 아닌 내부 표현을 타겟팅함으로써, REINS는 프롬프트 기반의 적대적 공격에 구조적으로 저항할 수 있는 방어 메커니즘을 제공합니다.

저자들은 이 방법이 선형 의존성에 의존한다는 점(비선형 안전 인코딩은 커널 정식화가 필요함)과 이론적으로 악의적인 목적으로 역이용될 수 있다는 한계점을 언급하였으나, 이러한 사용에 명시적으로 반대하며 안전하지 않은 캘리브레이션 세트를 공개하지 않습니다.