💬 NLP

Towards Understanding Steering Strength

Este artículo presenta el primer análisis teórico de la fuerza de dirección en los modelos de lenguaje de gran tamaño, derivando leyes precisas que gobiernan sus efectos no monotónicos en el comportamiento del modelo y validando estas predicciones empíricamente a través de once arquitecturas diferentes.

Autores originales: Magamed Taimeskhanov, Samuel Vaiter, Damien Garreau

Publicado 2026-07-09

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Magamed Taimeskhanov, Samuel Vaiter, Damien Garreau

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un Modelo de Lenguaje Extenso (LLM) como un robot chef súper inteligente, pero ligeramente travieso. Ha aprendido a cocinar todo tipo de platos a partir de sus datos de entrenamiento, pero a veces añade accidentalmente "veneno" (comportamientos dañinos o no deseados) a la receta. Para solucionar esto sin tener que reentrenar a todo el chef, los investigadores utilizan una técnica llamada direccionamiento por activación (activation steering). Piensa en esto como darle un suave empujoncito al robot en la dirección correcta mientras cocina, empujando sus pensamientos internos hacia la "seguridad" o la "honestidad" y alejándolos del "engaño" o el "daño".

La gran pregunta que este artículo aborda es: ¿Qué tan fuerte debes empujar?

Si empujas demasiado suave, el robot te ignorará y seguirá cocinando el plato malo. Si empujas demasiado fuerte, podrías derribar al robot, arruinando la comida por completo. Los autores, Magamed Taimeskhanov, Samuel Vaiter y Damien Garreau, decidieron determinar la cantidad perfecta de fuerza, que ellos llaman fuerza de direccionamiento (representada por la letra griega $\alpha$ ).

El "bache" en el camino

Lo más sorprendente que encontraron es que aumentar la fuerza de direccionamiento no hace que el comportamiento del robot mejore de forma lineal. En cambio, se comporta como una montaña rusa con una forma específica.

Imagina que estás intentando que el robot diga palabras "seguras". A medida que aumentas lentamente el empuje ( $\alpha$ ):

El ascenso: Al principio, la probabilidad de que el robot diga palabras seguras aumenta. ¡Genial!
El pico: Luego, llega a un punto ideal. Este es el "bache". El robot está diciendo exactamente lo que quieres, y el resto de la conversación aún tiene sentido.
La caída: Pero si sigues empujando más allá de ese pico, la probabilidad de las palabras seguras en realidad comienza a disminuir. El robot se confunde y la calidad de sus respuestas se desploma.

El artículo demuestra matemáticamente que para la mayoría de las palabras, este comportamiento de "bache" es real. Encontraron que las palabras "fuera de objetivo" (lo malo que intentas evitar) alcanzan su pico y comienzan a desvanecerse antes de que las palabras "objetivo" (lo bueno) lo hagan. Esto significa que existe una ventana específica donde el robot está enfocado en el tema correcto sin haberse roto todavía.

La curva en "S" (Sigmoide)

Cuando observaron el panorama general —qué tan probable es que el robot produzca un concepto completo (como "maldad" o "alegría") en lugar de solo una palabra—, encontraron una forma diferente: una curva en S (o sigmoide).

Piensa en esto como un interruptor de luz que no solo se enciende instantáneamente. A medida que aumentas la fuerza de direccionamiento, el concepto permanece apagado, luego comienza a brillar lentamente y, finalmente, está totalmente iluminado. El artículo muestra que la probabilidad de que aparezca un concepto sigue esta forma suave de S, lo cual coincide con lo que otros investigadores han visto en experimentos. Sin embargo, también señalaron que si empujas la fuerza demasiado, el robot deja de escuchar tu instrucción por completo y simplemente comienza a repetir las mismas pocas palabras una y otra vez, sin importar lo que le hayas pedido.

El costo de empujar

Aquí está el truco: No puedes obtener algo a cambio de nada.

El artículo demuestra que, sin importar qué tan cuidadosamente elijas tu fuerza de direccionamiento, empujar al robot siempre lo hace ligeramente peor en su trabajo original (predecir la siguiente palabra correctamente). Midieron esto usando una métrica llamada entropía cruzada (una forma de medir qué tan "sorprendido" está el modelo por su propia salida).

Encontraron que alrededor del punto donde no se está empujando en absoluto ( $\alpha = 0$ ), el daño al rendimiento del modelo tiene forma de U.

Si empujas un poco, el daño es pequeño (parece una curva suave).
Si empujas mucho, el daño empeora considerablemente.
Crucialmente, el artículo muestra que este daño no es una línea recta; crece de forma cuadrática (como $x^2$ ) para empujes pequeños. Esto significa que incluso un pequeño aumento en la fuerza puede dañar el rendimiento más rápido de lo que esperarías.

Lo que descartaron

Los autores fueron muy cuidadosos al descartar algunas concepciones erróneas comunes:

No es una línea recta: Demostraron explícitamente que la idea de que "más direccionamiento siempre equivale a más del comportamiento deseado" es falsa. Pasado cierto punto, más direccionamiento hace que el comportamiento deseado sea menos probable.
No es magia: Argumentaron contra la idea de que simplemente puedes elegir cualquier número al azar para la fuerza de direccionamiento. El artículo sugiere que el "punto ideal" depende de la instrucción (prompt) específica y del modelo, por lo que no existe un número de "talla única".
No se trata solo del objetivo: Mostraron que el direccionamiento afecta a otros conceptos también. Si intentas dirigir al robot para que sea "feliz", podrías hacer que accidentalmente sea menos propenso a estar "triste", pero también podrías arruinar su capacidad para hablar de "matemáticas" o "programación", dependiendo de cómo estén enredados los conceptos dentro del cerebro del robot.

¿Qué tan seguros están?

Los autores no solo adivinaron; construyeron un modelo matemático de un robot simplificado (un "Modelo de Características No Restringidas") y demostraron estos comportamientos con matemáticas rigurosas. Luego probaron sus teorías en once modelos de lenguaje diferentes del mundo real, que van desde modelos diminutos hasta gigantes como GPT-2, Gemma y Qwen.

Encontraron que el patrón del "bache", la curva en S y el daño en forma de U al rendimiento aparecieron consistentemente en todos estos diferentes modelos. Aunque admiten que su modelo matemático es una simplificación de la vida real, el hecho de que los robots reales se comportaran exactamente como predijo la matemática les otorga una alta confianza en sus hallazgos.

La conclusión

El artículo sugiere que direccionar un modelo de lenguaje es como sintonizar una radio. Si giras el dial demasiado, no obtienes una señal más clara; solo obtienes estática. Los autores proponen una estrategia de dos pasos para cualquiera que intente controlar estos modelos:

Primero, encuentra el "techo": el punto donde el robot comienza a romperse o a ignorar tu instrucción.
Segundo, elige una fuerza justo por debajo de ese techo que te dé la mayor cantidad de "buen" comportamiento manteniendo el daño a la inteligencia general del robot lo más bajo posible.

No resolvieron el problema de encontrar el número perfecto para cada situación individual, pero nos dieron un mapa del terreno para que dejemos de adivinar a oscuras.

Problema
Los Modelos de Lenguaje de Gran Escala (LLMs) a menudo heredan patrones de comportamiento perjudiciales de los datos de entrenamiento, tales como el engaño o la disposición a causar daño. Un método popular de control post-entrenamiento, el direccionamiento de activación (activation steering), intenta mitigar esto identificando una dirección en el espacio de representación latente del modelo asociado con un concepto objetivo (por ejemplo, la seguridad) y perturbando el flujo residual a lo largo de esta dirección durante la inferencia. Si bien la metodología para seleccionar la dirección de direccionamiento (por ejemplo, mediante la diferencia de medias) está bien establecida, la elección del hiperparámetro de intensidad de direccionamiento, $\alpha$ , sigue siendo mayormente heurística. Los profesionales se enfrentan a un compromiso crítico: un $\alpha$ insuficiente no logra el comportamiento deseado, mientras que un $\alpha$ excesivo degrada el rendimiento del modelo hasta el punto de un daño irreparable. Actualmente, existe una falta de comprensión teórica sobre cómo $\alpha$ afecta cuantitativamente las probabilidades del siguiente token, la presencia del concepto y el rendimiento general del modelo (entropía cruzada).

Metodología
Los autores proponen un análisis teórico de la intensidad de direccionamiento utilizando un modelo simplificado y tratable conocido como el Modelo de Características No Restringidas (UFM), adaptado de trabajos previos sobre colapso neuronal. Este modelo asume que los conceptos de alto nivel corresponden a subconjuntos disjuntos del vocabulario y que el modelo ha aprendido perfectamente las probabilidades de los datos de entrenamiento.

Marco Teórico: El estudio define un vector de direccionamiento $v$ como la diferencia de medias entre los embeddings de contextos "positivos" (que exhiben el concepto objetivo) y contextos "negativos" (que carecen del concepto). La operación de direccionamiento desplaza el embedding del contexto $h_j$ a $h_j + \alpha v$ .
Derivación Analítica: Los autores derivan leyes cualitativas precisas que gobiernan tres cantidades clave como funciones de $\alpha$ $α$ :
- Incremento de la probabilidad del siguiente token ( $\Delta p$ ): El cambio en la probabilidad para tokens específicos.
- Incremento de la probabilidad del concepto ( $\Delta p(C)$ ): El cambio agregado en la probabilidad de los tokens que pertenecen a un concepto específico.
- Diferencia de entropía cruzada ( $\Delta CE$ ): El cambio en el rendimiento del modelo con respecto al estado no direccionado.
Validación Empírica: Las predicciones teóricas se validan a través de once LLMs modernos (que van desde pequeñas arquitecturas GPT hasta modelos como Gemma 3, Qwen 3 y Llama 2) y doce conceptos distintos (incluyendo rasgos relacionados con la seguridad como "maldad" y "depresión", y temas como "matemáticas"). Los experimentos utilizan un vector de direccionamiento de diferencia de medias construido a partir de conjuntos de prompts contrastivos o aleatorios, direccionando los flujos residuales en diversas capas.

Contribuciones Clave y Resultados

Comportamiento de "Bulto" No Monotónico de las Probabilidades de los Tokens: Contrario a la intuición de que el direccionamiento simplemente aumenta monotonicamente la probabilidad de los tokens objetivo, el análisis revela un comportamiento de "bulto" (bump). Para la mayoría de los tokens, el incremento de la probabilidad $\Delta p(\alpha)$ alcanza un pico en un $\alpha$ específico y luego disminuye. Crucialmente, los tokens fuera del objetivo (aquellos que no pertenecen al concepto objetivo) alcanzan su pico de probabilidad antes que los tokens objetivo. Esto sugiere un "punto ideal" para $\alpha$ donde el concepto objetivo es favorecido antes de que la distribución colapse sobre unos pocos tokens dominantes.
Evolución Sigmoidal de la Probabilidad del Concepto: La probabilidad del concepto objetivo en la salida sigue una curva sigmoidal (forma de tanh) a medida que $\alpha$ aumenta, alineándose con las observaciones empíricas. Por el contrario, los conceptos fuera del objetivo que no contienen tokens con log-odds extremos tienden a converger de nuevo hacia sus valores no direccionados, mientras que aquellos con log-odds uniformemente más bajos disminuyen monotonicamente.
Degradación Local Cuadrática del Rendimiento: El artículo proporciona la primera caracterización teórica que muestra que el direccionamiento necesariamente degrada el rendimiento global. El incremento de la entropía cruzada $\Delta CE(\alpha)$ es localmente en forma de U alrededor de $\alpha = 0$ , siguiendo una tendencia cuadrática ( $\Delta CE \propto \alpha^2$ ) determinada por la varianza de los log-odds. Esto confirma que cualquier direccionamiento introduce distorsión.
Límite de $\alpha$ Grande: Para los transformadores modernos con capas de normalización, a medida que $|\alpha| \to \infty$ , los logits direccionados convergen al unembedding de la dirección de direccionamiento normalizada, volviéndose independientes del prompt de entrada. Esto explica el estancamiento observado de la entropía cruzada y el colapso de la diversidad de la salida a intensidades de direccionamiento altas.

Significancia
El artículo afirma proporcionar el primer análisis teórico de la intensidad de direccionamiento, yendo más allá del ensayo y error empírico. Al caracterizar los efectos no monotónicos en las probabilidades de los tokens y el costo cuadrático inevitable para la entropía cruzada, el trabajo ofrece una base principled para la selección de $\alpha$ . Los autores sugieren una estrategia de selección de dos pasos: primero, restringir el espacio de búsqueda a $[0, \alpha^\star]$ donde $\alpha^\star$ es el umbral antes de la degeneración del modelo (independencia del prompt), y segundo, calibrar $\alpha$ dentro de este rango para maximizar la presencia del concepto manteniendo la degradación de la entropía cruzada por debajo de un umbral específico. Este marco tiene como objetivo hacer que el control en el tiempo de inferencia sea más confiable, eficiente y auditable, aunque los autores reconocen que cerrar la brecha entre sus suposiciones teóricas simplificadas y la complejidad de los contextos de conceptos mixtos del mundo real sigue siendo un desafío para el trabajo futuro.