Resumen Técnico: Dirección de Activación de Modelos de Generación de Video mediante Control Óptimo Lineal de Orden Reducido

Declaración del Problema

Los modelos de texto a video (T2V) entrenados en datos web a gran escala suelen heredar conceptos no deseados, incluyendo desnudez, violencia gráfica, material protegido por derechos de autor y representaciones de figuras públicas. Estos riesgos de seguridad requieren intervenciones que constrained los resultados sin sacrificar la calidad visual o la fidelidad del prompt. Las estrategias de mitigación existentes enfrentan limitaciones significativas:

• El ajuste fino (Finetuning) requiere recursos de entrenamiento extensos.
• La edición de modelos (modificación de pesos) puede degradar la calidad de salida e inducir comportamientos impredecibles.
• El filtrado de prompts es vulnerable a los jailbreaks y prompts indirectos.
• Los métodos de dirección de activación existentes son típicamente no anticipativos, aplicando intervenciones fijas o miopes que no tienen en cuenta cómo las perturbaciones se propagan a través del modelo. Esto a menudo conduce a una sobre-dirección, degradación del contenido o sensibilidad a prompts adversarios.

Además, aplicar control óptimo directamente a los espacios de activación de alta dimensión de los modelos T2V (que pueden exceder los 80 millones de dimensiones) es computacionalmente intratable, requiriendo petabytes de memoria para las matrices Jacobian de espacio completo.

Metodología: LA-LQR

Los autores proponen el Regulador Lineal-Cuadrático de Activación Latente (LA-LQR), un marco de control óptimo de orden reducido diseñado para una dirección de T2V mínimamente invasiva. El método formaliza la inferencia de T2V como un sistema dinámico y computa intervenciones de retroalimentación de bucle cerrado.

1. Formalización de T2V como un Sistema Dinámico

El proceso de generación de T2V (basado en Transformers de Difusión, o DiTs) se redefine como un sistema dinámico de horizonte finito donde las activaciones internas sirven como estados. El sistema evoluciona a través de pasos de difusión $t \in [T]$ y capas de transformer $l \in [L]$. La transición de estado está gobernada por los pesos y la arquitectura del modelo, con señales de dirección actuando como entradas de control ($u_s$) aplicadas a las activaciones de los tokens de video o a los embeddings de texto.

2. Construcción de Espacio Latente de Orden Reducido

Para que el control sea factible, LA-LQR proyecta las activaciones puras de alta dimensión ($x \in \mathbb{R}^{D_{act}}$) sobre un subespacio latente de baja dimensión y relevante para la tarea ($z \in \mathbb{R}^{D_{lat}}$), donde $D_{lat} \ll D_{act}$.

• Base Contrastiva: El subespacio se deriva de pares de prompts contrastivos ($D^+$ que contiene la característica objetivo, $D^-$ sin ella).
• SVD Aleatorizada: Los autores utilizan la Descomposición en Valores Singulares (SVD) aleatorizada de flujo sobre los vectores de diferencia de estos pares de prompts para identificar las direcciones de características dominantes sin materializar matrices Jacobian masivas.
• Proyección: Las activaciones se proyectan sobre esta base ($P_s$), y la dinámica lineal local se estima en este espacio latente utilizando productos de vector-Jacobiano (JVP).

3. Conjuntos de Referencia de Características Lineales Latentes (LLFS)

Dentro del espacio latente, el método define un Conjunto de Referencia de Características Lineales Latentes (LLFS) que representa la fuerza de la característica deseada.

• Se computa una dirección de característica $v^z_s$ promediando los vectores contrastivos proyectados.
• Una fuerza objetivo $\beta^*_s$ se establece mediante un hiperparámetro $\lambda$.
• El error de seguimiento $\alpha_s$ se calcula como la diferencia entre la fuerza de la característica objetivo y la fuerza de la característica proyectada actual.

4. Control Óptimo vía LQR

LA-LQR resuelve un problema de Regulador Lineal-Cuadrático (LQR) en el espacio latente para determinar la señal de control óptima $u^*_s$.

• Objetivo: Minimizar una función de costo que penaliza las desviaciones del conjunto de referencia de la característica deseada mientras penaliza simultáneamente las perturbaciones innecesarias (esfuerzo de control).
• Retroalimentación de Bucle Cerrado: A diferencia de los métodos de bucle abierto, LA-LQR computa una ganancia de retroalimentación $K_s$ mediante recursiones de Riccati. La intervención es $u^*_s = \bar{u}_s - K_s \delta z_s$, donde $\delta z_s$ es la desviación de la trayectoria nominal.
• Adaptabilidad: El controlador se adapta en línea a la activación latente realizada en cada paso de tiempo y capa, anticipando la evolución natural de la activación e interviniendo solo cuando es necesario para alcanzar el conjunto de referencia.

5. Garantías Teóricas

El artículo proporciona límites teóricos que relacionan el seguimiento del conjunto de referencia de la característica con el control de la característica en el espacio de activación pura. Demuestra que si la proyección retiene la energía de la característica dominante (cuantificada por $\rho_s$) y la dinámica proyectada es localmente lineal, el error de seguimiento de la característica en el espacio puro está acotado por el error de seguimiento latente, la pérdida de proyección y los residuales de linealización.

Contribuciones Clave

1. Formalización: Los autores formalizan la generación de T2V como un sistema dinámico de horizonte finito y proponen un marco de control óptimo lineal para la dirección durante la inferencia, derivando intervenciones de retroalimentación en línea mínimamente invasivas.
2. Tractabilidad: Introducen una construcción de espacio latente de orden reducido utilizando vectores contrastivos, haciendo que el control óptimo sea factible para modelos T2V al evitar los Jacobianos de activación completos.
3. Justificación Teórica: El artículo cuantifica la pérdida de información de características durante la proyección y valida la linealidad local del espacio latente, proporcionando límites sobre el rendimiento del controlador de orden reducido.
4. Validación Empírica: Una evaluación extensa en tareas de dirección de conceptos y benchmarks de seguridad de video demuestra que LA-LQR reduce las generaciones inseguras mientras preserva la fidelidad del prompt y la calidad visual, superando a los baselines de dirección y seguridad de T2V existentes.

Resultados

El método fue evaluado en dos modelos T2V de última generación: Wan2.1-T2V-14B y HunyuanVideo-1.5, utilizando los benchmarks T2VSafetyBench y SafeSora.

• Desempeño de Seguridad: LA-LQR logró las tasas de violación más bajas en todas las categorías (por ejemplo, Pornografía, Gore, Figuras Públicas, Copyright) en comparación con baselines como SAFREE [10], desaprendizaje de pesos (weight unlearning) [9] y dirección asistida por LLM [69]. Por ejemplo, en Wan2.1, la tasa de violación promedio cayó de ~36.9% (baseline) a 14.6% con LA-LQR.
• Preservación de la Calidad: El método mantuvo puntuaciones de Consistencia de Sujeto (VBench) altas, a menudo igualando o superando a los baselines (por ejemplo, 0.971 frente a 0.964 promedio para Wan2.1), lo que indica que las intervenciones de seguridad no degradaron la coherencia visual.
• Dirección de Conceptos: Los resultados cualitativos mostraron una dirección efectiva de conceptos (por ejemplo, cambiar "rojo" para que sea prominente en una escena) con el aumento de la fuerza de control, demostando una modulación de características precisa.
• Comparación: A diferencia de los baselines que fallan ante prompts con jailbreak (filtrado) o introducen artefactos severos cuando se ajustan agresivamente (edición de pesos), LA-LQR equilibró con éxito la seguridad y la calidad mediante perturbaciones de norma mínima.

Significado y Reivindicaciones

El artículo afirma que LA-LQR representa un paso significativo hacia la interpretabilidad mecánica y el alineamiento de seguridad para modelos generativos de video. Al tratar la inferencia como un problema de control y utilizar el control óptimo de orden reducido, el método logra:

• Fiabilidad: Proporciona una solución sin entrenamiento, en tiempo de inferencia, que es robusta contra prompts adversarios donde el filtrado a nivel de entrada falla.
• Precisión: Permite intervenciones mínimamente invasivas, evitando la "sobre-dirección" y la degradación visual comunes en los enfoques previos de dirección de activación.
• Escalabilidad: Resuelve la intratabilidad computacional de controlar las activaciones de video de alta dimensión aprovechando la dinámica latente de baja dimensión derivada del aprendizaje contrastivo.

Los autores posicionan a LA-LQR como una dirección prometedora para el alineamiento confiable y sin entrenamiento de los modelos T2V, sugiriendo que la dirección de activación basada en la teoría de control puede restringir eficazmente los resultados dañinos mientras preserva la utilidad y la calidad de los modelos generativos. Expresan explícitamente que el método debe combinarse con el filtrado de prompts o la moderación de la salida, ya que asume acceso de caja blanca y no garantiza la seguridad contra todos los posibles inputs adversarios.