Local Linearity of LLMs Enables Activation Steering via Model-Based Linear Optimal Control

Resumen Técnico: A-LQR para la Dirección de Activación en LLMs

1. El Problema

La alineación de Grandes Modelos de Lenguaje (LLM) durante la inferencia es crucial para garantizar la seguridad y la fiabilidad, evitando comportamientos tóxicos, engañosos o de rechazo injustificado. Los métodos existentes de dirección de activación (activation steering) suelen basarse en intervenciones "no anticipativas" (open-loop) que:

• Ignoran cómo las perturbaciones se propagan a través de las capas del transformador.
• Carecen de retroalimentación en línea (online feedback) sobre el error de activación.
• Aplican vectores de dirección estáticos sin considerar la dinámica no lineal del modelo, lo que resulta en un control subóptimo, invasivo y a veces inestable.

El desafío principal es diseñar un mecanismo de control que sea predictivo, utilice la estructura interna del modelo y opere en un bucle cerrado (closed-loop) para corregir desviaciones en tiempo real, minimizando la degradación de la calidad del texto generado.

2. Metodología: A-LQR (Activation-LQR)

Los autores proponen un marco de control óptimo basado en modelos que trata la inferencia del LLM como un sistema dinámico lineal variante en el tiempo (LTV). La metodología se basa en tres pilares fundamentales:

A. Linealidad Local de los Transformadores
A pesar de la naturaleza no lineal de los bloques de transformadores, los autores demuestran empíricamente que la dinámica de capa a capa se puede aproximar con alta precisión mediante modelos lineales locales.

• Acoplamiento de Jacobianos: Se observa que los Jacobianos ($\partial \phi_k / \partial z$) de diferentes activaciones alcanzables dentro de la misma capa están altamente correlacionados y alineados en sus subespacios dominantes.
• Aproximación LTV: Esto permite modelar la evolución de las activaciones $z_k$ como:
  $$\delta z_{k+1} \approx A_k \delta z_k + B_k \delta u_k$$
  Donde $A_k$ es el Jacobiano linealizado y $B_k = I$ (identidad), ya que la intervención se aplica directamente a la activación.

B. Controlador LQR (Regulador Lineal Cuadrático)
Utilizando la aproximación LTV, adaptan el clásico Regulador Lineal Cuadrático (LQR) para sintetizar políticas de control óptimas.

• Objetivo: Minimizar una función de costo que penaliza la desviación de las activaciones respecto a un punto de ajuste (setpoint) deseado y el esfuerzo de control (intervención).
• Cálculo de Ganancias: Se resuelven recursiones de Riccati (offline) para obtener ganancias de retroalimentación óptimas $K_k$.
• Ventaja: A diferencia de métodos que requieren reentrenamiento o optimización en tiempo de prueba costosa, A-LQR calcula las ganancias una vez y las aplica en tiempo real con bajo costo computacional ($O(\ell d^3)$ offline, muy rápido online).

C. Puntos de Ajuste de Características Lineales (LFS)
Para definir el objetivo del control (hacia dónde dirigir el modelo), proponen un método automático para generar puntos de ajuste semánticos:

1. Se calcula un vector de característica ($v_k$) mediante la diferencia de medias entre activaciones de prompts positivos y negativos (ej. tóxicos vs. benignos).
2. Se define una fuerza de característica objetivo $\beta^*_k$ escalada por la norma de la activación de la capa ($\mu_k$) y un hiperparámetro $\lambda$.
3. El controlador ajusta la activación $z_k$ para que su proyección sobre $v_k$ coincida con $\beta^*_k$, cerrando el bucle de retroalimentación en tiempo real.

3. Contribuciones Clave

1. Análisis de Linealidad Local: Demostración empírica y teórica de que los Jacobianos de las capas de los LLM están altamente alineados entre diferentes trayectorias de activación, validando la aproximación LTV.
2. Algoritmo A-LQR: Un método de dirección de activación sin entrenamiento (training-free) que utiliza control óptimo basado en modelos para sintetizar políticas de retroalimentación escalables y robustas.
3. Generación de Setpoints (LFS): Un procedimiento automático para construir objetivos semánticos adaptativos que permiten un rechazo robusto de perturbaciones (disturbance rejection).
4. Garantías Teóricas: Derivación de límites teóricos (bounds) sobre el error de seguimiento de trayectorias y fuerza de características, proporcionando garantías formales sobre el rendimiento del controlador incluso ante errores de linealización.

4. Resultados Experimentales

El método se evaluó en múltiples modelos (Llama-3, Gemma-2, Qwen) y escalas (de 1B a 70B parámetros) en tres tareas principales:

• Mitigación de Toxicidad:

  • A-LQR logró reducciones de toxicidad de 30x a 50x respecto al modelo base, superando consistentemente a métodos baselines como ITI, ActAdd y PID-AcT.
  • Mantuvo puntuaciones de diversidad (Dist-1/2/3) y coherencia (Perplejidad/PPL) mucho mejores que los métodos de control PID, evitando la degradación del lenguaje común en otros métodos.

• Veracidad (Truthfulness):

  • En el dataset TruthfulQA, A-LQR mejoró significativamente la puntuación de veracidad e informatividad (T*I) sin sacrificar la coherencia, superando a las técnicas de estado del arte.

• Inducción de Conceptos Arbitrarios:

  • Capacidad para introducir conceptos específicos (ej. "perro", "fútbol") en la generación abierta con alta precisión, controlando la prevalencia del concepto mediante el parámetro $\lambda$.

• Jailbreaking (Prueba de Concepto):

  • Como prueba de la eficacia del control, el método también fue capaz de "jailbreakear" modelos (evitar el rechazo a instrucciones dañinas) cuando se aplicó una variante más invasiva (A-LQR+), demostrando su poder para manipular comportamientos profundos del modelo.

5. Significado e Impacto

• Paradigma de Control Óptimo: Este trabajo marca un cambio de paradigma en la alineación de LLMs, pasando de intervenciones algebraicas simples a un marco de control óptimo basado en modelos. Esto permite predecir y corregir el comportamiento del modelo de manera más eficiente y menos intrusiva.
• Eficiencia y Generalización: Al ser un método sin entrenamiento y basado en la estructura lineal inherente de los LLMs, A-LQR es altamente escalable a diferentes tamaños de modelos y tareas sin necesidad de fine-tuning costoso.
• Seguridad y Robustez: Proporciona una herramienta robusta para la seguridad en tiempo de inferencia, capaz de mantener la calidad del texto mientras se suprimen comportamientos no deseados, abordando la compensación (trade-off) entre control y fluidez que afecta a otros métodos.
• Dualidad Ética: El artículo también destaca la doble naturaleza de la técnica: mientras es una herramienta poderosa para la seguridad (mitigación de toxicidad), su capacidad para manipular representaciones latentes también la convierte en un vector potencial para ataques de jailbreaking, subrayando la necesidad de comprender la mecánica interna de los LLMs para defenderse de ellos.

En conclusión, el papel demuestra que la linealidad local es una propiedad explotable que permite aplicar herramientas clásicas de teoría de control (LQR) para lograr una alineación de LLMs más precisa, robusta y teóricamente fundamentada.