Resumen Técnico: El Aprendizaje Subliminal es Destilación de Vectores de Dirección

Declaración del Problema

El aprendizaje subliminal es un fenómeno en el que un modelo de lenguaje estudiante, al ser ajustado (fine-tuned) con los resultados de un modelo profesor, adquiere los rasgos conductuales latentes del profesor (por ejemplo, una preferencia por los gatos) a pesar de que los datos de entrenamiento no tienen relación semántica con esos rasgos (por ejemplo, secuencias numéricas). Aunque trabajos previos establecieron que esto ocurre, el mecanismo seguía siendo incierto. Específicamente, se desconocía cómo datos no semánticos podían transmitir rasgos semánticos específicos, por qué algunos rasgos se transfieren y otros no, y por qué el efecto se restringe mayoritariamente a pares profesor-estudiante dentro de la misma familia de modelos. Hipótesis previas, como el entrelazamiento de tokens o los tokens de divergencia, identificaron dónde podría residir la señal, pero no lograron explicar cómo se transfiere la señal durante el ajuste fino.

Metodología

Los autores proponen que el aprendizaje subliminal está mediado por un único vector de dirección (steering vector)—una dirección en el flujo residual del modelo que, al sumarse a las activaciones, desplaza el comportamiento hacia un rasgo objetivo. El estudio emplea un pipeline de tres etapas utilizando modelos de código abierto (Qwen2.5-7B-Instruct, Gemma-3-4b-it, Llama-3.1-8B-Instruct y OLMo-3-7B-Instruct):

1. Generación del Profesor: Se le proporciona a un modelo de referencia un prompt de sistema inductor de rasgos (por ejemplo, "Te encantan los gatos") y este genera datos (por ejemplo, secuencias numéricas). Estos datos se filtran para eliminar cualquier referencia semántica superficial al rasgo.
2. Extracción de Vectores:
   • $v_{teacher}$: Definido como la diferencia media en las activaciones del flujo residual entre el modelo de referencia bajo un prompt inductor de rasgos y un prompt neutral.
   • $v_{student}$: Definido como la diferencia media en las activaciones entre el estudiante ajustado y el modelo de referencia (bajo prompts neutrales) sobre los mismos datos de entrenamiento.
3. Pruebas Causales: Los autores realizan pruebas de suficiencia y necesidad:
   • Suficiencia: Dirigir (steer) un modelo base con $v_{student}$ (o $v_{teacher}$) para ver si reproduce el rasgo sin necesidad de ajuste fino.
   • Necesidad: Ablar $v_{student}$ de un estudiante ajustado (reemplazando su proyección con la del modelo de referencia) para ver si el rasgo desaparece.
4. Experimentos de Destilación: Los autores extienden la configuración a la "destilación de vectores de dirección", donde los estudiantes son entrenados con datos generados por un profesor dirigido con vectores aleatorios o vectores para diversos rasgos semánticos (por ejemplo, "Pirata", "Estilo Shakespeareano", "Felicidad").
5. Análisis de Optimizadores: El estudio compara optimizadores adaptativos (Adam, AdamW) frente a no adaptativos (SGD, SGD con momentum) para determinar su papel en la adquisición del vector de dirección.

Contribuciones Claves y Resultados

1. El Aprendizaje Subliminal está Mediado por un Único Vector de Dirección

El artículo demuestra que el ajuste fino instala una única dirección en el flujo residual del estudiante ($v_{student}$) que está estrechamente alineada con el vector de dirección del profesor ($v_{teacher}$).

• Alineación: La Similitud de Activación Empírica (EAS) muestra que $v_{student}$ se alinea con $v_{teacher}$ a medida que el entrenamiento progresa.
• Causalidad:
  • Suficiencia: Dirigir un modelo base con $v_{student}$ aumenta significativamente la tasa de expresión del rasgo.
  • Necesidad: Eliminar el componente $v_{student}$ de un estudiante ajustado suprime más del 50% del comportamiento alineado con el rasgo.
  • Rol del Profesor: De manera similar, $v_{teacher}$ es necesario y suficiente. Entrenar con datos generados por un profesor al que se le abló $v_{teacher}$ falla en inducir el rasgo, mientras que entrenar con datos generados al dirigir un modelo base con $v_{teacher}$ (sin un prompt de sistema) induce el rasgo con éxito.

2. La Destilación de Vectores de Dirección es un Fenómeno General

Los autores muestran que este mecanismo se extiende más allá del "aprendizaje subliminal" de rasgos semánticos.

• Vectores Aleatorios: Los estudiantes entrenados con datos de un profesor dirigido con vectores aleatorios o características de Autoencoders Esparsos (SAE) logran aprender a alinearse con dichos vectores.
• Transferencia Semántica: Sin embargo, el rasgo conductual (el significado semántico) solo se transfiere si el propio vector de dirección es capaz de desplazar el comportamiento del modelo durante la inferencia. Si un vector no puede dirigir al modelo base para exhibir un rasgo, el estudiante no aprenderá subliminalmente ese rasgo, incluso si aprende la dirección del vector.

3. Explicación de la Especificidad del Modelo y la Selectividad de Rasgos

El artículo resuelve dos misterios clave:

• Por qué fallan algunos rasgos: Los rasgos que no están bien representados por un vector de dirección en el modelo (es decir, dirigir con $v_{teacher}$ no desplaza el comportamiento del modelo) no pueden aprenderse subliminalmente. El vector debe ser un "portador" válido del rasgo en el espacio de activación de ese modelo específico.
• Por qué falla la transferencia entre modelos: Los vectores de dirección son específicos del modelo. Las direcciones extraídas de un modelo (por ejemplo, OLMo) no reducen de forma fiable la pérdida en las completaciones de otro modelo (por ejemplo, Qwen), incluso para el mismo rasgo. El aprendizaje subliminal depende de componentes del vector de dirección que son específicos del modelo y que no se generalizan entre arquitecturas.

4. El Rol de los Optimizadores Adaptativos

Un hallazgo crítico es que los optimizadores adaptativos (como Adam) son necesarios para el aprendizaje subliminal en modelos de lenguaje, mientras que el SGD simple falla.

• Mecanismo: Los gradientes en los datos generados por el profesor contienen un componente pequeño pero constante a lo largo de la dirección de dirección.
• Fallo de SGD: En SGD, una pequeña fracción de parámetros con gradientes desproporcionadamente grandes domina los pasos de actualización, ahogando la señal de dirección sutil y constante.
• Éxito de Adam: El escalado adaptativo suprime las actualizaciones en estas escalas atípicas, permitiendo que el componente pequeño y constante alineado con el vector de dirección se acumule e instale el rasgo.

Significado y Reivindicaciones

El artículo afirma proporcionar una explicación mecánica para el aprendizaje subliminal al reducirlo a un caso especial de destilación de vectores de dirección. Los autores argumentan que:

1. Mecanismo: Los datos no semánticos transmiten rasgos semánticos porque las salidas del profesor contienen "rastros específicos del modelo" (el vector de dirección) que son suficientes para que el estudiante reconstruya el sesgo latente del profesor.
2. Predictibilidad: El éxito del aprendizaje subliminal para un rasgo dado puede predecirse probando si el vector de dirección de dicho rasgo puede desplazar eficazmente el comportamiento del modelo base durante la inferencia.
3. Limitaciones: Los autores señalan modestamente que, aunque la destilación de vectores de dirección explica el misterio central de cómo los datos no semánticos transmiten rasgos, no explica exhaustivamente toda la varianza (por ejemplo, $v_{student}$ no recupera totalmente la afinidad del rasgo en todos los casos, y los tamaños del efecto varían según la arquitectura del modelo). También reconocen que la necesidad de optimizadores adaptativos carece de una explicación teórica fundamentada más allá de la observación empírica.

El trabajo sugiere que los vectores de dirección no son solo herramientas para la intervención en tiempo de inferencia, sino unidades fundamentales de representación que pueden destilarse mediante el ajuste fino estándar, incluso a partir de datos que parecen semánticamente neutros.