Resumen Técnico: Dirección de Activación con Escalamiento Dinámico (DSAS)

Declaración del Problema

La dirección de activaciones (activation steering) ha emergido como una técnica poderosa para guiar a los modelos generativos hacia comportos deseados (por ejemplo, mitigación de toxicidad, edición de conocimiento) mediante la manipulación de las activaciones internas sin modificar los pesos del modelo. Sin embargo, los métodos existentes suelen aplicar las intervenciones de manera uniforme en todos los inputs utilizando un parámetro de fuerza global fijo ($\lambda$). Esta aplicación indiscriminada degrada el rendimiento del modelo en inputs que no requieren dirección, como contenidos benignos o no relacionados, creando un compromiso subóptimo entre seguridad/alineación y utilidad/fluidez.

Si bien existen métodos de dirección condicional para abordar esto, a menudo dependen de reglas estáticas, disparadores binarios o heurísticas a nivel de prompt que carecen de precisión. Además, muchos métodos adaptativos existentes están diseñados para familias de dirección específicas (por ejemplo, métodos tipo ITI) y no logran generalizarse a enfoques de dirección distribucionales o aprendidos de extremo a extremo. Existe la necesidad de un marco de trabajo universal y agnóstico al método que pueda adaptar con precisión la fuerza de la dirección en una base por token o por característica, interviniendo fuertemente solo cuando se detecta un comportamiento no deseado.

Metodología: Dirección de Activación con Escalamiento Dinámico (DSAS)

DSAS es un marco de trabajo agnóstico a la dirección que desacopla la decisión de cuándo dirigir del cómo dirigir. Modula adaptativamente la fuerza de cualquier transformación de dirección existente ($T_\ell$) a través de capas e inputs.

Mecanismo Central

Para cada capa intervenida $\ell$ y token $k$, DSAS introduce una compuerta $h_\ell(t_{\ell,k}) \in [0, 1]$ que interpola entre el embedding original y el embedding dirigido:
$$T^{DSAS}_\ell(t_{\ell,k}) = (1 - h_\ell(t_{\ell,k})) \cdot t_{\ell,k} + h_\ell(t_{\ell,k}) \cdot T_\ell(t_{\ell,k}; \lambda)$$
Aquí, $h_\ell \approx 0$ deja el embedding intacto, mientras que $h_\ell \approx 1$ aplica la intervención completa.

Entrenamiento de la Compuerta

La compuerta $h_\ell$ se entrena como un regresor logístico por capa para distinguir entre:

1. Conjunto de Origen ($S$): Muestras que exhiben un comportamiento no deseado (por ejemplo, texto tóxico).
2. Conjunto de Control ($C$): Muestras neutrales con respecto al comportamiento que se está modificando (por ejemplo, texto no tóxico).

El proceso de entrenamiento involucra:

• Recolección de Activaciones: Pasar inputs de $S$ y $C$ hacia adelante a la capa $\ell$ para obtener los promedios de los embeddings.
• Reducción de Dimensionalidad: Aplicar PCA a las activaciones combinadas de origen y control para mitigar el sobreajuste en espacios de alta dimensión y reducir el tiempo de entrenamiento.
• Clasificación: Entrenar un regresor logístico para predecir la probabilidad de que un embedding pertenezca al conjunto de origen. Esta probabilidad sirve como el coeficiente de fuerza adaptativa.

Optimización de Extremo a Extremo (E2E-DSAS)

El artículo también introduce una variante de extremo a extremo donde los parámetros de la compuerta se optimizan conjuntamente con la transformación de dirección (específicamente con LinEAS). Esto implica minimizar una pérdida de origen (empujando las distribuciones de origen hacia las distribuciones objetivo) mientras se aplica un término de regularización de control para asegurar que las activaciones del conjunto de control permanezcan similares antes y después de la intervención. Esto permite que la compuerta se aprenda directamente mediante retropropagación sin proyecciones PCA estáticas.

Contribuciones Clave

1. Propuesta de Marco de Trabajo: Introducción de DSAS, un marco agnóstico al método que escala dinámicamente la fuerza de la intervención basada en las características de la activación, aprendiendo cuándo dirigir en lugar de aplicar políticas fijas.
2. Mejora de Compromisos: Demostración de que DSAS mejora el frente de Pareto para la mitigación de toxicidad frente a la retención de capacidad (medida por perplexidad y precisión MMLU) a través de múltiples Modelos de Lenguaje Grande (Qwen 2.5, Gemma 2) y métodos de dirección (CAA, ITI, LinEAS).
3. Superioridad sobre Baselines: Evidencia empírica que muestra que DSAS supera a los métodos recientes de dirección condicional (CAST, MERA, AlphaSteer) en el mantenimiento de la utilidad del modelo mientras reduce la toxicidad.
4. Integración de Extremo a Extremo: Extensión de DSAS a marcos de trabajo de extremo a extremo (E2E-DSAS), permitiendo el entrenamiento conjunto con funciones de dirección y soportando varias funciones de activación (por ejemplo, ReLU, Sigmoid).
5. Generalización Cross-Modal: Aplicación exitosa de DSAS a modelos de difusión de texto a imagen (DMD2), demostrando su capacidad para desenfocar selectivamente imágenes relacionadas con conceptos (por ejemplo, bananas) mientras preserva la generación de imágenes no relacionadas.

Resultados Experimentales

• Mitigación de Toxicidad: En experimentos en Qwen 2.5 (1.5B, 7B) y Gemma 2 (2B), DSAS consistentemente desplazó el frente de Pareto, logrando puntuaciones de toxicidad (ToxTET) más bajas para el mismo nivel de retención de capacidad en comparación con la dirección vanilla. Por ejemplo, combinar DSAS con LinEAS redujo la toxicidad significativamente más que LinEas por sí solo sin incurrir en la misma penalización de perplexidad o precisión MMLU.
• Comportamiento Condicional: Los estudios de caso cualitativos (dirigiendo lejos de "banana") mostraron que los métodos aumentados con DSAS suprimieron efectivamente el concepto objetivo en prompts relevantes, mientras que dejaron los prompts neutrales mayormente sin afectación, incluso utilizando parámetros de fuerza global más altos ($\lambda > 1$).
• Modelos de Difusión: En experimentos de texto a imagen, CAA+DSAS logró desenfocar exitosamente imágenes que contenían conceptos específicos (por ejemplo, bananas, teléfonos) mientras mantenía la claridad de las imágenes sin el concepto, mientras que la versión vanilla de CAA desenfocaba todas las imágenes indiscriminadamente.
• Eficiencia: DSAS introduce un overhead computacional mínimo en la inferencia (aproximadamente $2d_\ell + 2$ FLOPs por embedding), lo que lo hace práctico para la generación en tiempo real.
• Robustez: El método sigue siendo robusto ante señales de entrenamiento ruidosas; si el clasificador no puede distinguir el origen del control, DSAS naturalmente revierte a un régimen seguro (dirección uniforme con fuerza reducida) sin degradar el rendimiento por debajo del baseline.

Significado y Reivindicaciones

El artículo afirma que DSAS representa un avance significativo en la dirección de activaciones al abordar la limitación crítica de la intervención indiscriminada. Al desacoplar el tiempo de la intervención del mecanismo de dirección, DSAS permite:

• Alineación Selectiva: Los modelos pueden ser guiados lejos de comportamientos dañinos solo cuando es necesario, preservando su fluidez nativa y capacidades generales en inputs benignos.
• Interpretabilidad: El método señala exactamente qué tokens o características espaciales requieren dirección y en qué medida, ofreciendo una visión transparente del proceso de intervención.
• Generalidad: A diferencia de otros métodos adaptativos previos, DSAS no está ligado a un algoritmo de dirección o modalidad de entrada específica, lo que lo hace aplicable a una amplia gama de tareas generativas, incluyendo la generación de texto y la síntesis de imágenes.

Los autores concluyen que DSAS proporciona una solución práctica y de bajo overhead para lograr un mejor alineamiento en modelos generativos, mejorando el compromiso entre seguridad y utilidad sin requerir un reentrenamiento extensivo o modificaciones de pesos.