기술 요약: 차수 축소 선형 최적 제어를 통한 비디오 생성 모델의 활성화 스티어링(Activation Steering)

문제 정의

대규모 웹 데이터로 학습된 텍스트-비디오(T2V) 모델은 누드, 그래픽 폭력, 저작권물, 공인 묘사 등 원치 않는 개념을 상속하는 경우가 많습니다. 이러한 안전 위험은 시각적 품질이나 프롬프트 충실도를 희생하지 않으면서 출력을 제약하는 개입을 필요로 합니다. 기존의 완화 전략은 다음과 같은 상당한 한계에 직면해 있습니다:

• **미세 조정(Finetuning)**은 광범위한 학습 자원을 요구합니다.
• 모델 편집(Model editing)(가중치 수정)은 출력 품질을 저하시키거나 예측 불가능한 동작을 유발할 수 있습니다.
• 프롬프트 필터링은 탈옥(jailbreak) 및 간접 프롬프트에 취약합니다.
• 기존의 활성화 스티어링 방법은 일반적으로 비예측적(non-anticipative)이며, 섭동(perturbation)이 모델을 통해 어떻게 전파되는지를 고려하지 못하는 고정되거나 근시안적인 개입을 적용합니다. 이는 종종 과도한 스티어링(over-steering), 콘텐츠 저하 또는 적대적 프롬프트에 대한 민감성으로 이어집니다.

또한, T2V 모델의 고차원 활성화 공간(8천만 차원을 초과할 수 있음)에 최적 제어를 직접 적용하는 것은 계산적으로 불가능하며, 전체 공간의 야코비안(Jacobian) 행렬을 위해 페타바이트 단위의 메모리가 필요합니다.

방법론: LA-LQR

저자들은 최소 침습적 T2V 스티어링을 위해 설계된 차수 축소 최적 제어 프레임워크인 **잠재 활성화 선형-이차 조절기(Latent Activation Linear-Quadratic Regulator, LA-LQR)**를 제안합니다. 이 방법은 T2V 추론을 동적 시스템으로 정식화하고 폐루프 피드백 개입을 계산합니다.

1. T2V를 동적 시스템으로 정식화

Diffusion Transformer(DiT) 기반의 T2V 생성 과정은 내부 활성화가 상태(state) 역할을 하는 유한 시간(finite-horizon) 동적 시스템으로 재구성됩니다. 시스템은 확산 타임스텝 $t \in [T]$와 트랜스포머 레이어 $l \in [L]$에 따라 진화합니다. 상태 전이는 모델의 가중치와 아키텍처에 의해 결정되며, 스티어링 신호는 비디오 토큰 활성화 또는 텍스트 임베딩에 적용되는 제어 입력($u_s$) 역할을 합니다.

2. 차수 축소 잠재 공간 구축

제어 가능성을 확보하기 위해, LA-LQR은 고차원의 원시 활성화($x \in \mathbb{R}^{D_{act}}$)를 저차원의 작업 관련 잠재 하위 공간($z \in \mathbb{R}^{D_{lat}}$, 여기서 $D_{lat} \ll D_{act}$)으로 투영합니다.

• 대조 기저(Contrastive Basis): 하위 공간은 대조적인 프롬프트 쌍(대상 특징을 포함하는 $D^+$와 포함하지 않는 $D^-$)으로부터 도출됩니다.
• 무작위 SVD(Randomized SVD): 저자들은 거대한 야코비안 행렬을 실제로 구현하지 않고도 지배적인 특징 방향을 식별하기 위해, 이러한 프롬프트 쌍의 차이 벡터에 대해 스트리밍 무작위 특이값 분해(SVD)를 사용합니다.
• 투영(Projection): 활성화는 이 기저($P_s$)로 투영되며, 국소 선형 역학은 야코비안-벡터 곱(JVP)을 사용하여 이 잠재 공간 내에서 추정됩니다.

3. 잠재 선형 특징 설정값(Latent Linear Feature Setpoints, LLFS)

잠재 공간 내에서, 방법론은 원하는 특징 강도를 나타내는 **잠재 선형 특징 설정값(LLFS)**을 정의합니다.

• 특징 방향 $v^z_s$는 투영된 대조 벡터들의 평균을 통해 계산됩니다.
• 목표 강도 $\beta^*_s$는 하이퍼파라미터 $\lambda$를 통해 설정됩니다.
• 추적 오차 $\alpha_s$는 목표 강도와 현재 투영된 특징 강도 사이의 차이로 계산됩니다.

4. LQR을 통한 최적 제어

LA-LQR은 잠재 공간에서 최적의 제어 신호 $u^*_s$를 결정하기 위해 선형-이차 조절기(LQR) 문제를 해결합니다.

• 목적 함수: 원하는 특징 설정값으로부터의 편차를 벌칙(penalty)으로 부과하는 동시에, 불필요한 섭동(제어 노력)에 대해서도 벌칙을 부과하여 비용 함수를 최소화합니다.
• 폐루프 피드백: 개방 루프 방식과 달리, LA-LQR은 리카티 재귀(Riccati recursions)를 통해 피드백 이득 $K_s$를 계산합니다. 개입은 $u^*_s = \bar{u}_s - K_s \delta z_s$이며, 여기서 $\delta z_s$는 명목 궤적(nominal trajectory)으로부터의 편차입니다.
• 적응성: 컨트롤러는 각 타임스텝과 레이어에서의 실현된 잠재 활성화에 온라인으로 적응하며, 자연스러운 활성화 진화를 예측하고 설정값에 도달하기 위해 필요한 경우에만 개입합니다.

5. 이론적 보장

본 논문은 잠재 설정값 추적과 원시 활성화 공간의 특징 제어 간의 관계에 대한 이론적 경계(bounds)를 제공합니다. 만약 투영이 지배적인 특징 에너지를 유지하고($\rho_s$로 정량화됨) 투영된 역학이 국소적으로 선형이라면, 원시 공간의 특징 추적 오차는 잠재 추적 오차, 투영 손실 및 선형화 잔차에 의해 제한됨을 입증합니다.

주요 기여

1. 정식화: 저자들은 T2V 생성을 유한 시간 동적 시스템으로 정식화하고, 추론 시점의 스티어링을 위한 선형 최적 제어 프레임워크를 제안하며, 최소 침습적인 온라인 피드백 개입을 도출했습니다.
2. 실행 가능성: 대조 벡터를 사용하는 차수 축소 잠재 공간 구축을 도입하여, 전체 활성화 공간의 야코비안을 피함으로써 T2V 모델에 대한 최적 제어를 가능하게 했습니다.
3. 이론적 정당성: 투영 중 발생하는 특징 정보 손실을 정량화하고 잠재 공간의 국소 선형성을 검증하여, 차수 축소 컨트롤러의 성능에 대한 경계를 제공했습니다.
4. 실증적 검증: 개념 스티어링 및 비디오 안전 벤치마크에 대한 광범위한 평가를 통해, LA-LQR이 프롬프트 충실도와 시각적 품질을 유지하면서도 안전하지 않은 생성을 줄임을 입과 함께 입증했습니다.

결과

방법론은 Wan2.1-T2V-14B와 HunyuanVideo-1.5라는 두 가지 최첨단 T2V 모델에 대해 평가되었습니다. 벤치마크로는 T2VSafetyBench와 SafeSora가 사용되었습니다.

• 안전 성능: LA-LQR은 SAFREE [10], 가중치 언러닝(weight unlearning) [9], LLM 보조 스티어링 [69]과 같은 베이스라인과 비교했을 때 모든 카테데고리(예: 포르노그래피, 고어, 공인, 저작권)에서 가장 낮은 위반율을 달-성했습니다. 예를 들어, Wan2.1에서 평균 위반율은 베이스라인의 ~36.9%에서 LA-LQR 적용 시 **14.6%**로 감소했습니다.
• 품질 보존: 이 방법은 높은 주관적 일관성(Subject Consistency) 점수(VBench)를 유지했으며, 종종 베이스라인(예: Wan2.1의 경우 평균 0.971 vs 0.964)을 능가하거나 대등한 수준을 보여, 안전 개입이 시각적 일관성을 저해하지 않았음을 나타냈습니다.
• 개념 스티어링: 정성적 결과는 제어 강도가 높아짐에 따라 특정 개념(예: 장면에서 "빨간색"을 두드러지게 변경)을 효과적으로 스티어링함을 보여주었으며, 이는 정밀한 특징 변조를 입증합니다.
• 비교: 필터링(filtering)이 실패하는 탈옥 프롬프트나 가중치 편집(weight editing) 시 심각한 아티팩트를 유발하는 베이스라인과 달리, LA-L링은 최소 노름(minimal-norm) 섭동을 통해 안전과 품질 사이의 균형을 성공적으로 맞추었습니다.

의의 및 주장

본 논문은 LA-LQR이 생성 비디오 모델의 **기계론적 해석 가능성(mechanistic interpretability) 및 안전 정렬(safety alignment)**을 위한 중요한 진전이라고 주장합니다. 추론을 제어 문제로 취급하고 차수 축소 최적 제어를 활용함으로써, LA-LQR은 다음을 달성합니다:

• 신뢰성: 입력 수준의 필터링이 실패하는 적대적 프롬프트에 대해서도 견고한, 훈련이 필요 없는 추론 시점의 솔루션을 제공합니다.
• 정밀도: 최소 침습적 개입을 가능하게 하여, 기존의 활성화 스티어링 접근 방식에서 흔히 나타나는 "과도한 스티어링"과 시각적 저하를 방지합니다.
• 확장성: 저차원 잠재 역학을 활용하여 고차원 비디오 활성 제어의 계산적 불가능성을 해결합니다.

저자들은 LA-LQR을 T2V 모델의 신뢰할 수 있는 훈련 불필요 정렬을 위한 유망한 방향으로 제시하며, 제어 이론 기반의 활성화 스티어링이 생성 모델의 유용성과 품질을 보존하면서 유해한 출력을 효과적으로 제약할 수 있음을 시사합니다. 또한, 이 방법은 화이트박스(white-box) 접근을 가정하며 모든 가능한 적대적 입력에 대해 안전을 보장하는 것은 아니므로, 프롬프트 필터링이나 출력 모더레이션과 병행되어야 함을 명시적으로 언급합니다.