Prompt-Activation Duality: Improving Activation Steering via Attention-Level Interventions

Resumen Técnico: Dualidad Prompt–Activación

Problema: Contaminación de la Caché KV en la Dirección de Múltiples Vuelcos
La dirección de activación, una técnica que inyecta direcciones conductuales en las representaciones internas de un modelo de lenguaje durante la inferencia, ha demostrado ser efectiva para generaciones de un solo turno. Sin embargo, este artículo identifica un modo de fallo crítico cuando se aplica a diálogos con estado de múltiples turnos: la contaminación de la caché KV.

La dirección estándar de la corriente residual añade un vector de perturbación fijo a los estados ocultos del modelo en cada paso de decodificación. En la generación autoregresiva, estos estados dirigidos se almacenan en la caché de claves y valores (KV) y son reutilizados por las capas de atención posteriores. Los autores demuestran que esto crea un efecto de degradación acumulativa: las perturbaciones locales de dirección se escriben repetidamente de vuelta en la caché y son atendidas por futuros tokens. A lo largo de múltiples turnos, esto conduce a un colapso severo de la coherencia (por ejemplo, repetición, incoherencia o contenido fuera de tema), incluso cuando la expresión inicial del rasgo es fuerte. El artículo argumenta que, mientras el control basado en prompts permanece estable porque sigue las vías que el modelo está entrenado para integrar, la inyección directa en la corriente residual elude estas vías, provocando que el modelo pierda su capacidad para generar texto coherente a largo plazo.

Metodología: Delta de Atención Recortada con Puerta (GCAD)
Para abordar esto, los autores proponen la Delta de Atención Recortada con Puerta (GCAD), una intervención en tiempo de inferencia que desplaza la señal de dirección desde la corriente residual hacia el mecanismo de atención. El método se basa en una descomposición del vector de personalidad, que revela que la señal de dirección es una mezcla de señales de rasgo mediadas por el prompt y ruido dependiente de la respuesta. GCAD aísla la señal del rasgo a través de tres principios de diseño específicos:

1. Extracción a Nivel de Atención (P1): En lugar de extraer direcciones de dirección de la corriente residual posterior al MLP, GCAD las extrae de la salida de la autoatención. Los autores postulan que la vía de atención es el canal principal a través del cual los prompts del sistema influyen en la generación, lo que la convierte en un portador más fiel de las señales de rasgo que la vía del MLP.
2. Señal Recortada (P2): La atención estándar suma contribuciones de todos los tokens fuente (prompt del sistema + entrada del usuario + tokens generados previamente). GCAD "recorta" esta suma durante la extracción para incluir únicamente las posiciones de los tokens del prompt del sistema. Al excluir las contribuciones de los tokens de respuesta generados, el método evita que la señal de dirección sea contaminada por los propios estados que intenta controlar, evitando así la acumulación de estados perturbados en la caché KV.
3. Puerta a Nivel de Token (P3): En lugar de aplicar un coeficiente de dirección constante a cada token, GCAD emplea una puerta dependiente del token. Esta puerta calcula la compatibilidad entre la consulta del token actual y la clave media del prompt del sistema. La dirección se concentra en los tokens que son altamente compatibles con el prompt (donde el modelo necesita naturalmente orientación) y se atenúa en los tokens que ya se alinean con la personalidad. Esto imita el patrón de proyección dispersa observado en la instrucción natural, donde solo ciertos tokens semánticos portan la señal del rasgo, en lugar de desplazar uniformemente todas las representaciones.

Contribuciones Clave

• Identificación del Modo de Fallo: El artículo aísla la contaminación de la caché KV como una causa principal de la degradación de la coherencia en la dirección de activación de múltiples turnos, distinguiéndola de las limitaciones simples de longitud de contexto.
• Marco GCAD: La introducción de un método de dirección que opera a nivel de atención, recorta señales al prompt del sistema y aplica puertas a nivel de token.
• Validación Empírica: Experimentos extensos sobre 15 rasgos de personalidad (incluyendo rasgos alineados con RLHF, opuestos a RLHF y neutrales) en los modelos Qwen2.5-7B y Llama-3.1-8B.

Resultados
Los experimentos en una prueba de referencia de diálogos de 10 turnos demuestran que GCAD supera significativamente a la dirección estándar de la corriente residual:

• Preservación de la Coherencia: En el promedio de 15 rasgos, GCAD reduce la deriva de coherencia (cambio del Turno 1 al Turno 10) de −18.6 (dirección estándar) a −1.9. Por el contrario, la dirección estándar a menudo hace que las puntuaciones de coherencia caigan a casi cero para el Turno 5 o 10 en rasgos como "Impolite" o "Humorous".
• Estabilidad del Rasgo: GCAD mantiene o mejora la expresión del rasgo a largo plazo. La expresión del rasgo en el Turno 10 aumenta de 78.0 (estándar) a 93.1 (GCAD), con la puntuación promedio de expresión del rasgo subiendo de 81.5 a 91.8.
• Estudios de Ablación: Eliminar ya sea el recorte (P2) o el componente de puerta (P3) conduce a un retorno de la degradación de la coherencia o a una expresión de rasgo inestable, confirmando que ambos mecanismos son necesarios para prevenir la acumulación dependiente de la respuesta y para igualar la dispersión de la instrucción natural.

Significado
El artículo afirma que la dirección de activación se vuelve más fiable cuando las intervenciones siguen las vías computacionales mediadas por el prompt que los modelos ya utilizan para el control conductual. Al alinear el sitio de intervención (salida de atención) y la fuente de la señal (contribuciones del prompt del sistema) con el procesamiento nativo de instrucciones del modelo, GCAD logra una "dualidad prompt-activación". Este enfoque permite el control preciso del comportamiento del modelo sin sacrificar la coherencia a largo plazo requerida para aplicaciones prácticas de diálogo de múltiples turnos. El trabajo sugiere que la futura ingeniería de representaciones debe priorizar intervenciones que respeten el estado autoregresivo y las vías específicas a través de las cuales los prompts influyen en la generación.