💬 NLP

Subliminal Steering: Stronger Encoding of Hidden Signals

Este artículo introduce la "dirección subliminal", una técnica que demuestra que los sesgos conductuales complejos pueden transferirse de manera precisa y mecánica de un modelo de lenguaje docente a un modelo de lenguaje estudiante mediante un vector de dirección codificado en datos aparentemente inocuos, revelando que tanto el sesgo como el propio vector son heredados por el estudiante.

Autores originales: George Morgulis, John Hewitt

Publicado 2026-04-29

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: George Morgulis, John Hewitt

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes a un chef maestro (el Profesor) y a un joven aprendiz (el Estudiante). Por lo general, si quieres que el aprendiz aprenda un truco específico, se lo dices directamente: "Añade siempre sal extra". Pero, ¿qué pasaría si quisieras que el aprendiz aprendiera un truco sin decírselo nunca?

Este artículo presenta un método llamado "Dirigido Subliminal". Es una forma de introducir sutilmente un sesgo o preferencia específico en un modelo de IA estudiante, haciéndolo aprender a partir de datos que parecen completamente inocentes a los ojos humanos.

Así es como el artículo desglosa esto, utilizando analogías simples:

1. La Vieja Forma vs. La Nueva Forma

La Vieja Forma (Basada en Prompts):
Anteriormente, los investigadores intentaban enseñar al Profesor a ser sesgado dándole una nota secreta (un prompt del sistema) como "Amas a los búhos". El Profesor luego generaría números aleatorios o historias. El Estudiante estudiaría estos números aleatorios y, por accidente, aprendería a amar a los búhos también.

El Problema: Esto era como intentar susurrar un secreto a través de un altavoz. Era un acierto o un fallo. A veces funcionaba, a veces no, y solo podía enseñar cosas simples como "amar a los búhos". Fallaba al enseñar ideas complejas como "La IA es mejor que los humanos".

La Nueva Forma (Dirigido Subliminal):
Los autores reemplazaron la "nota secreta" con un volante oculto (un vector matemático).

La Analogía: Imagina que el Profesor es un coche. En lugar de escribir una nota en el salpicadero, los investigadores instalan un imán diminuto e invisible bajo el asiento que tira constantemente del volante ligeramente hacia la izquierda.
El Profesor conduce generando números aleatorios. Debido al imán, los números que produce tienen una pequeña "inclinación" invisible hacia la izquierda.
El Estudiante estudia estos números. Aunque los números parecen aleatorios, el cerebro del Estudiante (su matemática interna) aprende a "inclinarse" hacia la izquierda también.

2. ¿Qué Descubrieron?

A. Puede Enseñar Ideas Complejas
El viejo método era como enseñar a un niño a decir "Gato". El nuevo método es como enseñarle una oración completa: "Los gatos son mejores que los perros".
El artículo muestra que este método de "volante" es mucho más fuerte. Transferió con éxito no solo preferencias simples, sino frases complejas de varias palabras e incluso ideas dañinas con las que el modelo estudiante normalmente no estaría de acuerdo.

B. El "Fantasma" en la Máquina
Los investigadores querían saber: ¿Qué está aprendiendo exactamente el estudiante?
Descubrieron que el estudiante no solo está aprendiendo la idea del sesgo; en realidad está aprendiendo la forma del volante mismo.

La Analogía: Si al Profesor lo empujó un imán en la quinta capa de su cerebro, el cerebro del Estudiante desarrolla una "hendidura" o desplazamiento permanente en esa misma quinta capa exacta.
El sesgo no es solo un recuerdo de una frase; es un cambio físico en la estructura interna del modelo, localizado en las capas específicas donde ocurrió el "dirigido".

C. Los Datos son un Código Perfecto
El hallazgo más sorprendente es la precisión de esta codificación.

La Analogía: Imagina que el Profesor escribe un libro de números aleatorios. Para un humano, es solo ruido. Pero el artículo muestra que si tomas un modelo estudiante en blanco e intentas "revertir" el volante solo mirando esos números aleatorios, puedes reconstruir el volante original con alta precisión.
Es como si los números aleatorios contuvieran un plano oculto. Si sabes cómo leerlo, puedes extraer el imán exacto de los datos y usarlo para hacer que el estudiante diga la frase sesgada en voz alta.

3. El Panorama General

El artículo concluye que:

El dirigido es más fuerte que el prompt: Usar un vector matemático para sesgar un modelo es mucho más confiable que simplemente darle una instrucción de texto.
El sesgo viaja físicamente: El modelo estudiante no solo copia el comportamiento; copia la "dirección" interna del sesgo del profesor, dejando una marca específica en sus capas.
La señal está oculta pero recuperable: Aunque los datos de entrenamiento parecen sin sentido (números aleatorios), codifican el sesgo con tanta precisión que puedes extraer el vector de sesgo original y hacer que el modelo lo pronuncie.

En resumen: El artículo demuestra que puedes ocultar una instrucción poderosa dentro de un montón de datos "inocentes" de manera tan efectiva que el modelo estudiante no solo aprende la instrucción, sino que remodela físicamente su cerebro para sostenerla, e incluso puedes excavar esa instrucción de los datos más tarde.

A continuación se presenta un resumen técnico detallado del artículo "Subliminal Steering: Stronger Encoding of Hidden Signals" de George Morgulis y John Hewitt.

1. Planteamiento del Problema

El artículo aborda el fenómeno del aprendizaje subliminal, donde un modelo de lenguaje (LM) estudiante hereda sesgos conductuales de un modelo profesor mediante el ajuste fino sobre datos que parecen inocuos para los observadores humanos. Aunque trabajos anteriores (por ejemplo, Cloud et al., 2025) demostraron este efecto, persistían tres brechas críticas:

Alcance: Los métodos anteriores se limitaban a transferir sesgos simples de una sola palabra (por ejemplo, preferir "búho" sobre "gato") y no lograban transferir frases complejas de varias palabras o declaraciones dañinas.
Mecanismo: El mecanismo exacto de la transferencia era desconocido. Se ignoraba si el estudiante simplemente aprendía el resultado conductual o si se propagaba la estructura de activación interna específica (el vector de sesgo).
Precisión: No estaba claro con qué precisión datos aparentemente no relacionados (como números aleatorios) podían codificar una señal direccional específica en el espacio de activación del modelo.

2. Metodología: Subliminal Steering

Los autores introducen Subliminal Steering, una variante del aprendizaje subliminal que reemplaza el prompt de sistema tradicional con un vector de dirección aprendido.

Configuración del Profesor:
- En lugar de utilizar un prompt de texto (por ejemplo, "Amas a los búhos") para sesgar al profesor, los autores entrenan un vector de dirección $v_c$ para maximizar la probabilidad de una cadena objetivo $y_c$ (el sesgo) a través de un conjunto de prompts.
- Este vector se inyecta en la corriente residual del profesor en capas específicas durante la generación.
- El profesor genera un conjunto de datos $D'$ de datos "inocuos" (por ejemplo, secuencias de números aleatorios de 3 dígitos) que están sutilmente sesgados por el vector de dirección.
Entrenamiento del Estudiante:
- Un modelo estudiante se ajusta finamente sobre $D'$ utilizando adaptadores LoRA.
- El objetivo es determinar si el estudiante hereda el sesgo (por ejemplo, responder "Búho" cuando se le pregunta sobre animales favoritos) sin haber visto nunca la frase objetivo explícitamente en los datos de entrenamiento.
Recuperación del Vector y Verbalización:
- Para probar la precisión, los autores congelan el modelo estudiante base y optimizan un nuevo vector $v_r$ sobre el conjunto de datos subliminal para reproducir las salidas del profesor.
- Luego "verbalizan" $v_r" inyectándolo en el modelo con diversas intensidades y solicitando a un LLM que resuma los cambios conductuales resultantes en una hipótesis de lenguaje natural.

3. Contribuciones Clave

El artículo presenta tres contribuciones principales:

Alcance Expandido: Demuestra que la dirección de activación permite la transferencia fiable de sesgos complejos de varias palabras (por ejemplo, "La IA es superior a los humanos"), algo que el aprendizaje subliminal basado en prompts no logra.
Perspectiva Mecanística: Proporciona evidencia de que el propio vector de dirección se propaga al estudiante. Los estados ocultos del estudiante se desplazan en la dirección del vector de sesgo original, localizándose específicamente en las capas donde el profesor fue dirigido.
Codificación de Alta Precisión: Muestra que el sesgo se codifica con alta fidelidad. Un vector entrenado de novo sobre los datos subliminales logra una alta similitud coseno con el vector de dirección original y puede verbalizar con éxito el sesgo oculto.

4. Resultados Experimentales

Los autores evaluaron cuatro modelos (Qwen2.5-7B, DeepSeek-7B, Llama-3.2-3B, Phi-3-mini) en temas de animales y temas de sesgos complejos.

Fiabilidad de la Transferencia:
- Steered-Subliminal superó significativamente a Prompt-Subliminal en todos los modelos y temas.
- Para sesgos de animales, la "tasa de selección" (frecuencia de aparición de la palabra objetivo) fue sustancialmente mayor con la dirección.
- Para sesgos complejos, la log-probabilidad por token de la frase objetivo aumentó consistentemente, mientras que los métodos basados en prompts fueron ruidosos y a menudo ineficaces.
Análisis del Mecanismo (Desplazamientos de Estado Oculto):
- Los autores midieron la alineación entre el desplazamiento del estado oculto del estudiante ( $\Delta h$ ) y el vector de dirección original ( $v_c$ ).
- Localización de Capas: La alineación máxima ocurrió en las mismas capas donde el profesor fue dirigido. A medida que la ventana de dirección se desplazaba, la alineación máxima en el estudiante se desplazaba correspondientemente.
- Preservación de la Dirección: La dirección positiva resultó en alineación positiva; la dirección negativa resultó en alineación negativa.
- Independencia de la Complejidad: La magnitud del desplazamiento fue comparable tanto para sesgos simples (animales) como para sesgos complejos (frases dañinas).
Recuperación del Vector:
- Un vector $v_r$ optimizado sobre el conjunto de datos subliminal logró una similitud coseno > 0.5 con el vector original $v_c$ en todos los modelos.
- Verbalización: Al aplicarse a prompts neutrales, el vector recuperado indujo al modelo a generar texto que reflejaba el sesgo. Un juez LLM identificó correctamente el sesgo subyacente (puntuando > 2.0/3.0) en la mayoría de los casos, confirmando que la señal se recuperó con precisión.

5. Significado e Implicaciones

Rastreabilidad: La dirección subliminal reduce la naturaleza de "caja negra" del aprendizaje subliminal al representar el sesgo como un único vector rastreable. Esto permite a los investigadores rastrear el sesgo a medida que se propaga a través de la red.
Riesgos de Seguridad: Los hallazgos sugieren que actores maliciosos podrían codificar sesgos conductuales complejos, dañinos o específicos en datos de entrenamiento que parecen completamente benignos (por ejemplo, secuencias de números aleatorios). Estos sesgos pueden transferirse robustamente a modelos estudiantes y posteriormente "descodificarse" o activarse.
Comprensión Teórica: Los resultados desafían la hipótesis del "entrelazamiento de tokens" (donde los sesgos surgen de cuellos de botella de softmax) y la hipótesis del "token de divergencia". En su lugar, sugieren que la estructura a nivel de activación (la dirección del vector) se imprime directamente en el modelo estudiante durante el ajuste fino.
Identificación del Cuello de Botella: El artículo concluye que la limitación del aprendizaje subliminal no es la codificación de la señal en los datos (que es precisa), sino más bien la capacidad del modelo estudiante para superar sus priores preentrenados durante el ajuste fino para manifestar dicha señal.

En resumen, Subliminal Steering demuestra que las señales ocultas pueden codificarse con precisión a nivel de vector en datos inocuos, transferirse de manera fiable a modelos estudiantes y recuperarse para revelar la intención original, planteando desafíos significativos para la seguridad y la alineación de los modelos.