💬 NLP

Compositional Steering of Large Language Models with Steering Tokens

Este trabajo propone el uso de "tokens de dirección compuesta" que, al codificar comportamientos en el espacio de entrada en lugar del de activación, permiten una composición efectiva y generalizable de múltiples restricciones en modelos de lenguaje grandes, superando a enfoques existentes como las instrucciones naturales, la dirección de activación y la fusión de LoRA.

Autores originales: Gorjan Radevski, Kiril Gashteovski, Giwon Hong, Carolin Lawrence, Goran Glavaš

Publicado 2026-04-21

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Gorjan Radevski, Kiril Gashteovski, Giwon Hong, Carolin Lawrence, Goran Glavaš

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Hola! Imagina que tienes un chef de cocina muy talentoso (esto es el Modelo de Lenguaje o LLM). Este chef puede cocinar de todo: desde una sopa sencilla hasta un pastel complejo. Sin embargo, a veces quieres pedirle algo muy específico y complicado al mismo tiempo.

Por ejemplo: "Quiero una receta de sopa, pero que esté en francés, que tenga exactamente 50 palabras, y que todas las letras estén en mayúsculas."

El Problema: La "Instrucción" Frágil

Antes de este trabajo, si le pedías esto al chef usando solo palabras (instrucciones de texto), a veces funcionaba, pero a menudo se confundía.

Si decías "en francés y en mayúsculas", a veces escribía en francés pero en minúsculas.
Si le pedías tres cosas a la vez, el chef podía olvidar una de ellas o mezclarlas mal.
Era como intentar dar instrucciones a alguien gritando varias cosas a la vez: el mensaje se pierde o se vuelve confuso.

La Solución: Los "Tokens de Dirección" (Steering Tokens)

Los autores de este paper proponen una idea genial: en lugar de gritarle al chef con muchas palabras, le damos tarjetas mágicas (llamadas tokens de dirección).

Tarjetas Individuales: Primero, crean una tarjeta especial para cada requisito.
- Una tarjeta que dice <francés>.
- Otra que dice <50_palabras>.
- Otra que dice <MAYÚSCULAS>.
- Estas tarjetas son como "interruptores" que el chef entiende perfectamente sin necesidad de leer una explicación larga.
La Tarjeta Mágica "Y" (Composición): Aquí está la magia. Para que el chef entienda que debe hacer todo a la vez, no solo ponen las tarjetas una al lado de la otra. Crean una tarjeta especial llamada <Y> (o <and>).
- La combinación sería: [Pregunta] + <francés> + <Y> + <50_palabras> + <MAYÚSCULAS>.
- La tarjeta <Y> le dice al chef: "Oye, no elijas solo una de estas opciones, ¡combínalas todas!".

¿Por qué es tan especial? (La Analogía del Legos)

Imagina que antes, para hacer una torre con dos tipos de bloques (rojos y azules), tenías que construir una torre nueva desde cero cada vez que querías mezclarlos. Era lento y costoso.

Con este nuevo método:

Ya tienes los bloques rojos y azules listos (las tarjetas individuales).
Tienes un conector especial (la tarjeta <Y>) que aprendió a unir cualquier tipo de bloque.
Lo increíble es que este conector es tan inteligente que puede unir bloques que nunca ha visto antes. Si mañana inventas un bloque "verde", el conector <Y> sabrá cómo unir el rojo, el azul y el verde sin necesidad de volver a entrenar al chef.

Los Resultados en la Vida Real

Los investigadores probaron esto con muchos modelos de inteligencia artificial diferentes (como Qwen y Llama) y descubrieron que:

Es más preciso: El chef sigue las reglas mucho mejor que cuando solo le hablas con palabras.
Es más robusto: No importa en qué orden pongas las tarjetas (primero el francés o primero las mayúsculas), el resultado es el mismo. Antes, el orden de las palabras importaba mucho y causaba errores.
Funciona con lo desconocido: Si le pides una combinación de reglas que el modelo nunca vio en su entrenamiento, la tarjeta <Y> sigue funcionando. Es como si el modelo hubiera aprendido la lógica de combinar, no solo a repetir lo que ya sabía.
La combinación perfecta: Lo mejor de todo es que puedes usar las tarjetas mágicas y las instrucciones de texto al mismo tiempo. ¡Es como tener un manual de instrucciones y un interruptor de control al mismo tiempo! Juntos, logran el resultado más perfecto.

En Resumen

Este paper nos enseña que, en lugar de intentar convencer a una Inteligencia Artificial con discursos largos y complicados, podemos darle pequeños comandos codificados (tarjetas) y un conector inteligente que sabe cómo mezclarlos.

Es como pasar de pedirle a un robot que "haga algo rápido, en otro idioma y con letras grandes" (lo cual a veces falla) a darle un control remoto con botones específicos que, al pulsarlos juntos, activan la función perfecta sin errores. ¡Es una forma más eficiente, rápida y fiable de controlar a estas máquinas!

Resumen Técnico: Compositional Steering of Large Language Models with Steering Tokens

1. El Problema: La Necesidad de Control Composicional

La implementación de Modelos de Lenguaje Grandes (LLMs) en aplicaciones del mundo real requiere un control preciso de la salida para satisfacer múltiples criterios simultáneamente (por ejemplo, responder en un idioma específico, con un formato determinado y una longitud concreta).

Limitaciones actuales:
- Ajuste fino (Fine-tuning): Es computacionalmente costoso y arriesga el "olvido catastrófico" o la interferencia negativa con conocimientos preentrenados. Además, para $N$ comportamientos, se requerirían $2^N$ procedimientos de ajuste fino para cubrir todas las combinaciones, lo cual es inviable.
- Instrucciones en lenguaje natural (Prompting): Aunque flexibles, son frágiles. Pequeñas variaciones semánticas en el prompt pueden llevar a comportamientos inconsistentes, especialmente al combinar múltiples restricciones.
- Métodos de activación existentes: Técnicas como el steering de activaciones o tokens de "gist" suelen funcionar bien para un solo comportamiento, pero fallan al generalizar en composiciones de múltiples comportamientos (composición cero-shot).

2. Metodología: Tokens de Dirección (Steering Tokens)

Los autores proponen un enfoque que opera en el espacio de entrada (tokens) en lugar del espacio de activaciones, manteniendo los parámetros del modelo base congelados.

Concepto Central: Introducir tokens de dirección ( $<b>$ ) que representan comportamientos individuales y un token de composición ($$) que aprende la función de combinar estos comportamientos.
Proceso de Entrenamiento en Dos Etapas (Auto-distilación):
1. Entrenamiento de Tokens Individuales: Se entrena un token específico para cada comportamiento (ej. <spanish>, <10-50_words>) mediante auto-distilación. Un "maestro" (el LLM congelado con instrucciones de texto) enseña a un "estudiante" (el mismo LLM con el token de dirección) a generar la misma respuesta.
2. Entrenamiento del Token de Composición: Se entrena un token dedicado <and> en pares de comportamientos. Crucialmente, los tokens de comportamiento individuales se congelan durante esta etapa. Esto obliga al token <and> a aprender el concepto abstracto de "combinación" en lugar de simplemente modificar las representaciones de los comportamientos individuales.
Regularización de Ortogonalidad: Para evitar que el token <and> colapse en representaciones similares a los tokens de comportamiento existentes, se aplica una pérdida de regularización que fuerza a la embedding de <and> a ser ortogonal a todas las embeddings de comportamiento congeladas.
Inferencia: Para una tarea con múltiples restricciones, se concatenan los tokens de comportamiento y el token <and> en la entrada: [Prompt, <b1>, <and>, <b2>].

3. Contribuciones Clave

Generalización Composicional Cero-Shot: El método logra combinar comportamientos que nunca se vieron juntos durante el entrenamiento, e incluso comportamientos totalmente nuevos o un número diferente de comportamientos (ej. entrenar con pares y probar con tripletes).
Eficiencia y No Invasividad: No requiere modificar los parámetros internos del LLM (solo se aprenden $|B| + 1$ vectores de embedding), lo que lo hace extremadamente eficiente y aplicable a modelos congelados.
Complementariedad: Demuestran que los tokens de dirección y las instrucciones de texto natural son complementarios; su combinación híbrida supera a ambos métodos por separado.

4. Resultados Experimentales

Los experimentos se realizaron en 7 modelos de diferentes familias (Qwen, Llama, SmolLM, OLMo, Gemma) y tamaños (de 3B a 14B parámetros), evaluando restricciones verificables (idioma, longitud, formato, estructura).

Superioridad en Composición: Los tokens de dirección superaron consistentemente a las instrucciones de texto, al ajuste fino con LoRA (DARE) y a métodos de activación (CAA, LM-Steer) en composiciones no vistas.
- Ejemplo: En composiciones de 3 comportamientos no vistos, los tokens lograron un 59.5% de precisión frente al 54.0% de las instrucciones (en Qwen-8B).
Robustez ante el Orden: Las instrucciones de texto son robustas al orden de los tokens, pero los tokens de dirección puros mostraron alta varianza. Sin embargo, el enfoque híbrido (tokens + instrucciones) logró la mejor precisión y la menor varianza, eliminando la sensibilidad al orden.
Escalabilidad: El rendimiento mejora con el tamaño del modelo. Curiosamente, entrenar el token <and> solo con combinaciones de 2 comportamientos fue suficiente para generalizar a 3 o 4 comportamientos en modelos grandes (14B), sugiriendo que los modelos grandes aprenden patrones composicionales abstractos a partir de ejemplos simples.
Análisis de Ablación: Se demostró que el token <and> es esencial (sin él, el rendimiento colapsa) y que la inicialización en cero junto con la regularización de ortogonalidad son críticas para el éxito.

5. Significado e Impacto

Este trabajo presenta un mecanismo eficiente y escalable para el control composicional de LLMs.

Solución Práctica: Ofrece una alternativa viable al ajuste fino costoso para aplicaciones que requieren múltiples restricciones simultáneas (ej. generadores de contenido con formatos estrictos y multilingües).
Avance Teórico: Establece que es posible aprender un "operador de composición" en el espacio de embeddings de entrada que generaliza a combinaciones no vistas, superando las limitaciones de los métodos actuales que se basan en la interpolación lineal de vectores de activación.
Futuro: Abre la puerta a sistemas de control de LLMs modulares y dinámicos, donde nuevos comportamientos pueden añadirse sin reentrenar el modelo base, simplemente aprendiendo nuevos tokens de dirección y reutilizando el operador de composición.

En conclusión, los Steering Tokens representan un avance significativo hacia LLMs más controlables, robustos y eficientes para aplicaciones complejas del mundo real.