Resumen Técnico: Proyección Aleatoria de Alta Dimensión para el Control de Activaciones en Modelos de Lenguaje

Declaración del Problema

El control de activaciones (activation steering) ha emergido como un método primario para controlar los Modelos de Lenguaje Extensos (LLMs) sin necesidad de un reentrenamiento costoso. Los métodos actuales de vanguardia, como la Adición de Activación y la Ablación Direccional, dependen de vectores de Diferencia de Medias (DiM). Estos métodos estiman las direcciones de control calculando la diferencia de media lineal entre las activaciones de las clases objetivo y de origen en el flujo residual original.

Sin embargo, los autores argumentan que estos métodos lineales están fundamentalmente limitados. Bajo la hipótesis de la superposición, las redes neuronales codifican más características de las que tienen neuronas al solaparlas en el espacio de activación. En consecuencia, las señales relevantes para el comportamiento pueden no capturarse completamente mediante desplazamientos de media de primer orden. En su lugar, las señales discriminativas pueden existir en subespacios de características no lineales o como estructuras estadísticas de segundo orden (por ejemplo, diferencias de varianza) que los estimadores DiM lineales no logran recuperar. Los intentos existentes para abordar esto utilizando Autoencoders Dispersos (SAEs) a menudo rinden por debajo de las líneas base lineales o requieren entrenamiento, dejando un vacío para un enfoque libre de entrenamiento que pueda acceder a estas señales de orden superior.

Metodología: HiDRA

Los autores proponen HiDRA (Proyección Aleatoria de Alta Dimensión para el Control de Activaciones), un marco de trabajo libre de entrenamiento que modifica el espacio en el que se estiman y aplican las direcciones de control.

Mecanismo Central

HiDRA opera elevando las activaciones del modelo a un espacio no lineal de mayor dimensión antes de realizar el control, y luego proyectando las activaciones modificadas de vuelta al flujo residual original. El proceso consta de tres pasos:

1. Elevación (Proyección): Dado un vector de activación $x \in \mathbb{R}^d$ en la capa $\ell$, HiDRA aplica una proyección aleatoria utilizando una matriz Gaussiana $A \in \mathbb{R}^{m \times d}$ (donde $m \gg d$) seguida de una función de activación no lineal $\sigma$ (por defecto: LeakyReLU).
   $$x' = \sigma(Ax)$$
   Esto mapea los datos en un espacio de características de alta dimensión $\mathcal{H}$.

2. Control en el Espacio Elevado: El vector de control $d^{(\ell)}$ se calcula como el vector de Diferencia de Medias, pero calculado dentro del espacio elevado de alta dimensión utilizando las activaciones proyectadas.
   $$d^{(\ell)} = \frac{1}{|D_{target}|} \sum_{t \in D_{target}} x'^{(\ell)}(t) - \frac{1}{|D_{source}|} \sum_{t \in D_{source}} x'^{(\ell)}(t)$$

3. Inyección y Reconstrucción: Durante la inferencia, el vector de control se añade a las activaciones proyectadas con una intensidad $\alpha$. El resultado se proyecta de nuevo al espacio original utilizando la pseudo-inversa de la matriz de proyección ($A^\dagger$) y la inversa de la función no lineal ($\sigma^{-1}$).
   $$x^{(\ell)}_{steered} = A^\dagger \sigma^{-1} \left( \sigma(Ax^{(\ell)}) + \alpha d^{(\ell)} \right)$$

Fundamento Teórico

El artículo proporciona una justificación teórica basada en el modelo de superposición Gaussiana.

• Proposición 3.1: Demuestra que si el espacio de características puede descomponerse en un subespacio lineal y un subespacio residual, la razón de Fisher (una medida de poder discriminativo) en el espacio de características es estrictamente mayor que en el espacio lineal si existe una señal discriminativa residual ($v_{res} \neq 0$).
• Teorema 3.5: Prueba que bajo un modelo de superposición Gaussiana, la norma del componente residual en el espacio elevado está acotada inferiormente por señales discriminativas de segundo orden (brechas de varianza entre clases). Esto sugiere que la proyección aleatoria con no linealidades permite que los estimadores lineales (como DiM) capturen señales que son invisibles en el espacio lineal original.

Contribuciones Clave

1. Análisis Teórico: Los autores demuestran que, bajo la hipótesis de la superposición, existen señales discriminativas de segundo orden en el subespacio de comportamiento. Demuestran que el DiM en el espacio de características puede capturar de manera demostrable estas señales residuales, que están fuera del alcance de los métodos estándar de desplazamiento de media lineal.
2. Marco de Trabajo HiDRA: Introducen un método de control plug-in y libre de entrenamiento que se integra perfectamente con los procesos existentes. No requiere reentrenamiento del modelo y utiliza una matriz de proyección fija y aleatoriamente inicializada.
3. Validación Empírica: Experimentos extensos a través de diversas familias de LLM (Gemma, Llama, Qwen) y tareas muestran que HiDRA supera consistentemente a sus contrapartes de línea base mientras preserva las capacidades generales del modelo.

Resultados Experimentales

Los autores evaluaron HiDRA en tres tareas de control distintas:

1. Jailbreaking (Evasión de Restricciones)

• Configuración: Dirigir modelos para cumplir con solicitudes dañinas (usando conjuntos de datos como ADVBENCH y MALICIOUSINSTRUCT).
• Líneas Base: Comparado contra Mean-AcT (control de la media estándar).
• Resultados: HiDRA logró tasas de éxito de ataque (ASR) más altas en todos los modelos probados (Gemma 2, Llama 3.2, Qwen 2.5). Por ejemplo, en Gemma2-9B-IT, el ASR aumentó del 84.00% (Mean-AcT) al 90.00% (HiDRA) en la configuración de todos los tokens. Crucialmente, las capacidades generales de modelado de lenguaje (medidas por TINYBENCHMARKS) se mantuvieron comparables a las líneas base, lo que indica que no hubo una degradación significativa en la utilidad.

2. Veracidad (Truthfulness)

• Configuración: Dirigir modelos para producir respuestas más veraces e informativas utilizando el benchmark TRUTHFULQA.
• Resultados: HiDRA mejoró la métrica "veraz $\times$ informativo" tanto en Gemma-2-2B como en Llama-3-8B en comparación con Mean-AcT y sin control. El método mantuvo el rendimiento en benchmarks generales, sugiriendo que las ganancias en veracidad no se lograron sacrificando la capacidad general.

3. Respuesta de Opción Múltiple Estilo CAA

• Configuración: Controlar la probabilidad de conceptos de comportamiento específicos (por ejemplo, "Sycophancy" [Sicomancia/Adulación], "Hallucination" [Alucinación]) en un entorno de opción múltiple, comparándolo con Contrastive Activation Addition (CAA) y Sparse Activation Steering (SAS).
• Resultados: HiDRA demostró un control superior sobre los conceptos objetivo. Logró los mejores resultados en la supresión de atributos negativos (menor probabilidad de token) para los seis conceptos probados y en la promoción de atributos positivos para cinco de los seis conceptos, superando tanto a CAA como a SAS.

Estudios de Ablación

• Extracción de Vectores: Los autores compararon DiM con el Análisis Discriminante Lineal (LDA) para la extracción de vectores. Los resultados indicaron que las mejoras de rendimiento de HiDRA se derivan principalmente de la proyección de alta dimensión más que del condicionamiento de la covarianza, ya que HiDRA con DiM superó a LDA en el espacio original.
• No Linealidad: La elección del mapa no lineal es importante. Aunque los mapas polinómicos (Cube, Cubic) produjeron un alto ASR, generaron producciones degeneradas. Se encontró que LeakyReLU y las variantes Skip-softplus eran óptimas porque son globalmente Lipschitz, lo que asegura perturbaciones estables al mapear de vuelta al flujo residual.

Significado y Reivindicaciones

El artículo afirma que HiDRA ofrece un enfoque demostrablemente superior para el control de activaciones al aprovechar la geometría de las proyecciones aleatorias de alta dimensión.

• Más allá de los Límites Lineales: Aborda la limitación de los métodos de control lineal al capturar señales discriminativas que existen en la estructura residual no lineal del espacio de activación, específicamente aquellas derivadas de la superposición de características latentes.
• Eficiencia y Compatibilidad: A diferencia de los métodos basados en SAE, HiDRA está libre de entrenamiento y no requiere aprender diccionarios dispersos. Actúa como un "plug-in" que puede combinarse con cualquier proceso de control existente sin modificar la arquitectura o los pesos del modelo.
• Robustez: El método logra un control de comportamiento más fuerte (mayor ASR, mejor veracidad, control de conceptos más fino) sin la significativa carga computacional del reentrenamiento o la degradación de capacidad que se observa en otros métodos de intervención.

Los autores conclizan que, si bien HiDRA introduce cierta sobrecarga de cómputo durante la inferencia debido a los pasos de proyección y reconstrucción, proporciona un camino con principios sólidos y eficiente en muestras para desbloquear señales de control de orden superior en los LLM.