🤖 machine learning

A Coin Flip Per Token: Bernoulli Sparse Steering of Large Language Models

Este artículo introduce los métodos de Dirección Estocástica de Tokens y Bloques que demuestran que la intervención dispersa y probabilística en solo una fracción de los tokens puede controlar eficazmente el comportamiento de los modelos de lenguaje de gran tamaño preservando la fluidez, revelando que el control mediado por SAE está limitado por la tasa de la dosis de señal acumulada en lugar de por la aplicación densa por cada token.

Autores originales: Nima Eshraghi, Lovedeep Gondara, Yuqing Huang, Sagarika Suresh, Leizer Teran, Jithin Pradeep, Xiaotong Xu, Fanny Chevalier

Publicado 2026-07-08

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Nima Eshraghi, Lovedeep Gondara, Yuqing Huang, Sagarika Suresh, Leizer Teran, Jithin Pradeep, Xiaotong Xu, Fanny Chevalier

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un Modelo de Lenguaje Grande (LLM) como un narrador muy talentoso, pero ligeramente caótico. Quieres que cuente una historia que sea o menos cruel (reduciendo la toxicidad) o más triste (dirigiendo la emoción).

Tradicionalmente, para corregir al narrador, los investigadores han utilizado un método llamado "Direccionamiento Denso" (Dense Steering). Esto es como tener a un editor estricto parado sobre el hombro del narrador, susurrándole correcciones después de cada palabra que dice. Aunque esto funciona para cambiar la historia, es agotador. El constante susurro interrumpe el flujo natural del narrador, haciendo que suene robótico, repetitivo o confundido.

Este artículo plantea una pregunta simple: ¿Realmente necesitamos susurrar después de cada palabra?

Los autores dicen "No". Proponen una nueva forma llamada "Direccionamiento Estocástico de Tokens" (Stochastic Token Steering), que es esencialmente un lanzamiento de moneda para cada palabra.

La idea central: El editor que lanza una moneda

En lugar de un editor constante, imagina una nueva regla:

Para cada palabra que el modelo está a punto de escribir, lanzamos una moneda.
Cara (50% de probabilidad): Susurramos la corrección.
Cruz (50% de probabilidad): Dejamos que el modelo escriba de forma natural sin interferencias.

El artículo introduce dos formas de hacer esto:

Direccionamiento Estocástico de Tokens (STS): Lanzar una moneda para cada palabra. A veces el modelo recibe ayuda, otras veces no.
Direccionamiento Estocástico de Bloques (SBS): Lanzar una moneda solo una vez al principio de la historia. Si sale cara, susurramos correcciones para el primer bloque de palabras; si sale cruz, no susurramos en absoluto.

Lo que encontraron

Los investigadores probaron esto en dos modelos de IA diferentes (LLaMA y Gemma) con dos objetivos distintos: hacer que la IA fuera menos tóxica y hacer que sonara más triste.

1. Menos es más (El efecto "mitad de precio")
Descubrieron que podían obtener el 95% del beneficio del editor constante con solo susurrar correcciones en el 50% de las palabras.

Analogía: Imagina intentar conducir un coche. No necesitas sujetar el volante con fuerza todo el tiempo. Si das un pequeño toque al volante la mitad de las veces, el coche sigue yendo exactamente hacia donde quieres, pero el trayecto es mucho más suave.
Resultado: La IA mantuvo su fluidez y un sonido natural, pero aun así seguía las nuevas reglas (como ser menos tóxica).

2. El intercambio de "Volumen"
Aquí está la parte ingeniosa: Cuando dejaban de susurrar tan seguido (bajando la probabilidad del lanzamiento de moneda), tenían que susurrar más fuerte cuando sí hablaban.

Analogía: Si solo puedes hablar al conductor una vez cada 10 millas, tienes que dar una instrucción muy clara y fuerte. Si hablas cada milla, un pequeño toque es suficiente.
Resultado: Al subir el "volumen" de la corrección cuando la usaban con menos frecuencia, lograron el mismo resultado con menos "ruido" total inyectado en el sistema.

3. Lo aleatorio es mejor que lo "temprano"
También probaron la idea de si quizás deberíamos corregir solo el principio de la historia (el método "Block"). Descubrieron que corregir aleatoriamente las palabras a lo largo de la historia (el método "Token") funcionaba mejor que solo corregir el inicio.

Analogía: Es como sazonar una sopa. Espolvorear sal solo al principio (Block) no sazona toda la olla tan bien como espolvorear un poco de sal aleatoriamente durante todo el proceso de cocción (Token).

Por qué esto es importante

El artículo concluye que controlar el comportamiento de la IA no se trata de cuántas veces intervienes, sino de la "dosis" total de la señal.

Forma antigua: Ruido constante de bajo volumen que arruina el flujo.
Nueva forma: Nudges (pequeños empujones) esporádicos de alto volumen que mantienen el flujo natural.

Lo mejor de todo es que este método es increíblemente simple. No requiere entrenar una nueva IA ni un sistema de recompensa complejo. Solo requiere un generador de números aleatorios (un lanzamiento de moneda) y un único ajuste para decidir qué tan seguido intervenir.

En resumen: No necesitas microgestionar a una IA para cambiar su comportamiento. Un poco de guía aleatoria y bien calculada es suficiente para dirigirla en la dirección correcta sin arruinar su voz natural.

Resumen Técnico: Un lanzamiento de moneda por token: Dirección dispersa de Bernoulli en modelos de lenguaje de gran tamaño

Planteamiento del problema

La dirección de activaciones mediante Autoencoders Dispersos (SAE) ofrece un mecanismo para controlar el comportamiento de los Modelos de Lenguaje de Gran Tamaño (LLM) —como reducir la toxicidad o imponer personajes específicos— sin necesidad de un ajuste fino (fine-tuning) específico para la tarea. Sin embargo, los métodos estándar (por ejemplo, ActAdd, ITI, CAA) aplican señales de dirección en cada token generado. Esta intervención densa y uniforme empuja las activaciones del modelo fuera de su variedad (manifold) nativa, lo que a menudo degrada la fluidez, causa salidas repetitivas y conduce a una sobrecorrección en entornos de atributos múltiples.

La pregunta central planteada por los autores es: ¿Es necesaria la intervención densa en cada token? Ellos hipotetizan que la perturbación persistente puede ser redundante y que el control del comportamiento podría lograrse mediante la aplicación dispersa y estocástica de señales de dirección.

Metodología

El artículo introduce dos estrategias de intervención estocástica que condicionan las señales de dirección de forma aleatoria, reemplazando la aplicación determinista en cada token. Ambos métodos utilizan un vector de dirección $v$ derivado de las características de los SAE asociadas con un comportamiento objetivo.

1. Descubrimiento de la dirección de dirección

Utilizando un Autoencoder Disperso (SAE) entrenado en las activaciones del flujo residual en una capa específica $\ell^*$ , los autores identifican características discriminativas del comportamiento. Computan la diferencia de la media de activación de las características ( $\Delta_i$ ) entre un conjunto positivo (que exhibe el comportamiento objetivo) y un conjunto neutral. Se seleccionan las $K$ características superiores para formar vectores de dirección de norma unitaria $v$ .

2. Mecanismos de intervención estocástica

La señal de dirección en la posición del token $t$ se define como $s_t = m_t \cdot \alpha v$ , donde $\alpha$ es la magnitud y $m_t$ es una compuerta binaria.

Dirección de Token Estocástica (STS): En cada posición $t$ , se muestrea una compuerta independiente $m_t \sim \text{Bernoulli}(p)$ . La señal se aplica a un subconjunto aleatorio de tokens con una probabilidad $p$ . Este diseño es agnóstico a la posición, por lo que no hace suposiciones sobre qué tokens específicos son conductualmente relevantes.
Dirección de Bloque Estocástica (SBS): Se muestrea una única compuerta $m \sim \text{Bernoulli}(p)$ una vez por secuencia. Si $m=1$ , la señal se aplica uniformemente a una ventana inicial de tamaño $W$ (por ejemplo, los primeros 32 o 64 tokens); de lo contrario, no hay intervención. Esto aprovecha la hipótesis de que los primeros tokens poseen una influencia contextual desproporcionada.

3. Regularización para la preservación de la fluidez

Para mitigar el riesgo de salidas incoherentes causadas por intervenciones aditivas, los autores aplican tres correcciones ligeras:

Preservación de la Norma: Reescalar la activación dirigida para restaurar la norma original, limitando la intervención a una rotación en lugar de una inflación de magnitud.
Clampeado de Activación: Acotar la proyección escalar sobre $v$ para evitar la sobreamplificación.
Penalización de Repetición: Descontar los tokens previamente generados durante la decodificación para contrarrestar la tendencia hacia la repetición cuando se suprimen continuaciones de alta probabilidad.

Configuración Experimental

Los métodos fueron evaluados en dos modelos (LLaMA 3.1-8B y Gemma-2 2B) a través de dos tareas de comportamiento:

Reducción de Toxicidad: Utilizando el conjunto de datos RealToxicityPrompts para suprimir la generación tóxica.
Dirección de Emoción: Utilizando el conjunto de datos GoEmotions para provocar emociones específicas (Miedo y Tristeza).

Líneas base (Baselines):

Sin Dirección (No Steering): Generación sin modificaciones.
Dirección Completa (FS): Intervención determinista en cada token ( $p=1$ ).
Prompting: Instrucciones cuidadosamente curadas y específicas de la tarea que se anteponen a la entrada.

Métricas:

Efectividad: Reducción media de toxicidad y ganancia media de probabilidad para las emociones objetivo.
Calidad: Perplejidad (GPT-2) y puntuaciones de repetición de n-gramas (Rep-3, Rep-4).

Resultados Clave

1. La dirección dispersa recupera el rendimiento denso

El hallazgo principal es que dirigir solo una fracción de los tokens recupera la mayor parte del cambio conductual logrado por la dirección densa.

Para LLaMA 3.1-8B, STS con $p=0.5$ recupera más del 95% de la reducción de toxicidad de la dirección completa y más del 80% de las ganancias en las tareas de emoción.
STS supera a las líneas base de prompting cuidadosamente diseñadas incluso con ratios de intervención bajos (por ejemplo, $p \approx 0.3$ para toxicidad), perturbando menos de la mitad de los tokens mientras logra un control superior.

2. STS supera a SBS

La Dirección de Token Estocástica (STS) supera consistentemente a la Dirección de Bloque Estocástica (SBS) en ratios de intervención comparables.

Para la dirección de emoción, STS con $p=0.5$ aproximadamente duplica la ganancia de probabilidad de SBS (con una ventana $W=32$ ).
Esto sugiere que el flujo residual integra la señal de dirección de forma acumulativa a lo largo de la secuencia, en lugar de depender de posiciones tempranas privilegiadas.

3. Escalamiento inverso de la magnitud y la dosis

La magnitud de dirección óptima ( $\alpha^*$ ) escala de forma inversa con el ratio de intervención ( $p$ ).

A medida que $p$ disminuye, el $\alpha$ requerido aumenta (por ejemplo, para Gemma-2 2B, $\alpha^*$ sube de 30 con $p=1.0$ a 35 con $p=0.2$ ).
Crucialmente, el aumento es sublineal en $1/p$ . La "dosis" efectiva ( $p \cdot \alpha$ ) disminuye a medida que se omiten los tokens.
Implicación: La dirección dispersa logra cambios conductuales comparables inyectando sustancialmente menos señal total en el flujo residual.

Significado y Reivindicaciones

El artículo afirma que el control mediado por SAE está limitado por la tasa (rate-limited): el resultado conductual depende de la dosis de señal acumulada a lo largo de una secuencia, en lugar de la densidad de la intervención.

Eficiencia: La dirección dispersa permite cambios conductuales comparables con menos señal total inyectada, reduciendo el riesgo de degradar la fluidez y el rendimiento descendente.
Simplicidad: El método reduce el control en tiempo de inferencia a un único parámetro escalar $p$ , sin requerir un modelo de recompensa, una política de gating aprendida, ni una computación más allá de un "lanzamiento de moneda por token".
Generalizabilidad: Los hallazgos se mantienen en diferentes familias de modelos (LLaMA y Gemma) y tareas de comportamiento (supresión de toxicidad y provocación de emociones), lo que sugiere que la redundancia de la intervención densa es una propiedad general de la dirección de activaciones.

Los autores concluyen que distribuir la señal de dirección a través de posiciones aleatorias es una estrategia más robusta que concentrarla en ventanas tempranas contiguas, y que esparcir la intervención no solo redistribuye un presupuesto de perturbación fijo, sino que de hecho reduce el presupuesto requerido para alcanzar un cambio conductual objetivo.