Inverted Detection and Control in Steering Vectors

Resumen Técnico: Detección e Inversión de Control en Vectores de Dirección (Steering Vectors)

Planteamiento del Problema
Los vectores de dirección (Steering Vectors, SVs) son un método prevalente para controlar el comportamiento de los Grandes Modelos de Lenguaje (LLMs) durante la inferencia. Basándose en la hipótesis de la representación lineal, los SVs se construyen típicamente como la diferencia de medias entre las representaciones de textos que exhiben un concepto (positivo) y aquellos que no lo exhiben (negativo). El supuesto estándar es que estos vectores son linealmente discriminativos y que desplazar las representaciones a lo largo de la dirección positiva del vector promueve el concepto, mientras que desplazar en la dirección negativa lo suprime.

Sin embargo, los autores identifican un fenómeno donde este supuesto falla sistemáticamente. Observan los "Vectores de Dirección Invertidos" (Inverted-Steering Vectors, ISVs): direcciones que son altamente discriminativas (se alinean fuertemente con las representaciones positivas) pero que consistentemente inducen el efecto de comportamiento opuesto cuando se aplica el direccionamiento. Por ejemplo, añadir un ISV positivo al estado interno de un modelo puede suprimir un concepto como la veracidad o la corregibilidad, en lugar de promoverlo. Esto contradice la intuición de que la capacidad de detección (discriminabilidad) implica una capacidad de control en la misma dirección. A diferencia de observaciones previas de ejemplos "no direccionables" (anti-steerable), que eran específicos de la entrada o asociados con una baja discriminabilidad, los ISVs exhiben este efecto invertido de manera consistente en todas las entradas a pesar de su alta discriminabilidad.

Metodología
El artículo propone una caracterización geométrica de los ISVs y un método para detectarlos sin requerir la costosa generación de texto o la puntuación basada en LLMs.

1. Caracterización Geométrica: Los autores analizan cómo el direccionamiento de una cabeza de atención candidata ($a_{up}$) afecta a las representaciones descendentes en las cabezas discriminativas ($a_{dwn}$). Definen el Producto Interno de Respuesta (Inner-Product Response, IPR), denotado como $\kappa_\alpha$, que mide el cambio en el producto interno entre una representación descendente y su propio vector de dirección cuando la cabeza ascendente es direccionada.

   • Para un Vector de Dirección Regular (Regular-Steering Vector, RSV), el direccionamiento con $\alpha > 0$ aumenta el producto interno en las cabezas descendentes, efectivamente "suplantando" (spoofing) la presencia del concepto en la parte descendente.
   • Para un ISV, el direccionamiento con $\alpha > 0$ disminuye el producto interno en las cabezas descendentes, efectivamente "suplantando" la ausencia del concepto.

2. Respuesta de la Representación ($\Gamma$): Para resumir el IPR a través de un rango de factores de direccionamiento ($\alpha$) y múltiples cabezas descendentes, los autores definen la Respuesta de la Representación. Esta métrica captura la monotonicidad y la magnitud de la direccionalidad de la suplantación.

   • Una Respuesta de la Representación positiva indica un RSV (el direccionamiento se alinea con la presencia del concepto descendente).
   • Una Respuesta de la Representación negativa indica un ISV (el direccionamiento se alinea con la ausencia del concepto descendente).

3. Puntuación de Suplantación (Spoof Score, $s_{spoof}$): Los autores agregan las Respuestas de la Representación a través de todas las cabezas descendentes discriminativas para calcular un único Spoof Score para un vector candidato. Esta puntuación sirve como predictor de si un vector es un ISV o un RSV.

4. ITI-RRF (Intervención en Tiempo de Inferencia con Inversión de la Respuesta de la Representación): Los autores proponen una modificación al flujo de trabajo fundamental de ITI. En lugar de aplicar un signo de direccionamiento uniforme a las $k$ cabezas más discriminativas, el método calcula el Spoof Score para cada cabeza candidata. Si una cabeza tiene un Spoof Score negativo (indicando un ISV), el signo de direccionamiento se invierte (es decir, $\alpha$ se convierte en $-\alpha$) antes de su aplicación. Esto permite una corrección de signo dirigida sin generar texto.

Contribuciones Clave

• Identificación de ISVs: El artículo demuestra la existencia de ISVs en tres modelos (Gemma 3 12B, Qwen 2.5 14B, Olmo 3 7B) y cinco conceptos (corregibilidad, búsqueda de riqueza, miopía, rechazo, veracidad). Estos vectores son altamente discriminativos (alto AUC) pero inducen efectos de comportamiento invertidos.
• Métrica Geométrica: Los autores introducen la Respuesta de la Representación y el Spoof Score, proporcionando una explicación geométrica del efecto invertido: los ISVs desplazan las representaciones descendentes como si el concepto estuviera ausente, incluso cuando el vector de dirección se alinea con las representaciones positivas.
• Detección sin Generación: El método propuesto identifica los ISVs y determina los cambios de signo necesarios utilizando únicamente pasadas hacia adelante (forward passes) y análisis de representación, eliminando la necesidad de una costosa evaluación basada en generación de texto y puntuación de LLM-Judge.
• Mejora de la Eficacia del Direccionamiento: Al integrar los cambios de signo basados en el Spoof Score en el flujo de trabajo de ITI (ITI-RRF), los autores demuestran mejoras significativas en el rendimiento.

Resultados

• Detección de ISV: En el entorno de Opción Múltiple (Multiple Choice, MC), el Spoof Score distinguió con éxito los ISVs de los RSVs con un AUC de 0.91 y una precisión del 81% con un umbral de 0. La separación entre las dos clases fue sistemática: los ISVs arrojaron puntuaciones negativas, mientras que los RSVs arrojaron puntuaciones positivas.
• Ganancias de Rendimiento: El enfoque ITI-RRF mejoró los resultados en 27 de 30 experimentos en comparación con el ITI estándar.
  • Las mejoras oscilaron entre +0.9% y +138%.
  • Ganancias notables incluyeron una mejora del +138% en la promoción de la corregibilidad en Gemma 3 12B.
  • El método mejoró tanto las tareas de promoción como las de supresión de conceptos en todos los modelos y conceptos probados.
• Robustez: Los resultados se mantuvieron constantes a través de diferentes arquitecturas de modelos y tipos de conceptos, lo que sugiere que el fenómeno de inversión es una propiedad sistemática de ciertas combinaciones modelo-concepto-capa y no una anomalía.

Significado
El artículo sostiene que la relación entre la detección (discriminabilidad) y el control (efecto de direccionamiento) es más compleja de lo que se había caracterizado anteriormente. La existencia de los ISVs sugiere que confiar únicamente en las métricas de discriminabilidad para seleccionar direcciones de direccionamiento es insuficiente y puede conducir a resultados contraproducentes.

La importancia de este trabajo radica en:

1. Corregir un Fallo Sistemático: Proporciona un mecanismo para detectar y corregir una ruptura sistemática en el vínculo detección-control, evitando la supresión inadvertida de conceptos cuando se intenta promoverlos (y viceversa).
2. Eficiencia: Ofrece una forma computacionalmente eficiente de validar vectores de dirección sin la sobrecarga de una evaluación completa basada en generación, haciendo que el direccionamiento robusto sea más escalable.
3. Seguridad y Fiabilidad: En entornos de alto riesgo (por ejemplo, medicina, finanzas), la capacidad de controlar de manera fiable el comportamiento del modelo es crítica. El artículo destaca que, sin una validación explícita (como la comprobación de la inversión de signo), las intervenciones de direccionamiento podrían conducir a resultados no deseados o perjudiciales. El método propuesto mejora la fiabilidad de las técnicas de control basadas en direccionamiento.

Los autores concluyen que los futuros flujos de trabajo de direccionamiento deberían tener en cuenta la posible inversión de signo en lugar de asumir que una dirección positivamente discriminativa promoverá el concepto.