💻 computer science

Decoding Future Semantics from Language Model Hidden States: Rollout Trade-offs and Causal Steering

Este estudio demuestra que las sondas lineales pueden extraer información semántica futura de los estados ocultos de los modelos de lenguaje, revelando un compromiso donde la efectividad de esta lectura directa frente al despliegue autorregresivo depende del espacio de incrustación, el horizonte de generación y la predictibilidad inherente del prompt.

Autores originales: Jaekeol Choi

Publicado 2026-09-30

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jaekeol Choi

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los programas informáticos modernos que escriben texto, conocidos como modelos de lenguaje, operan prediciendo una palabra a la vez. Observan las palabras que se les han dado y adivinan la siguiente, luego usan esa nueva palabra para adivinar la que sigue, construyendo una oración paso a paso. Durante mucho tiempo, los científicos asumieron que estos programas solo conocían el futuro tan lejos como su siguiente suposición lo permitiera. Sin embargo, un nuevo estudio sugiere que, dentro de la compleja maquinaria matemática de estos modelos, existe una capa oculta de información que ya contiene el significado general de lo que el ordenador está a punto de decir, mucho antes de que realmente escriba una sola palabra nueva. Esta investigación explora si estos estados internos de la computadora contienen un "avance" del texto futuro, qué tan claro es este avance en comparación con simplemente leer la instrucción (prompt), y si conocer este avance permite cambiar lo que la computadora escribe.

El investigador, Jaekeol Choi, de la Universidad de Estudios en Extranjero de Hankuk, se propuso probar esta idea utilizando varias versiones diferentes de modelos de lenguaje populares. Se centraron en el momento justo antes de que la computadora comience a generar una nueva oración. En este instante exacto, el modelo ha procesado la entrada del usuario y mantiene una representación interna específica, un patrón complejo de números que resume todo lo que ha comprendido hasta el momento. El equipo planteó una pregunta sencilla: si observas este patrón interno, ¿puedes saber cuál será el tema general o el sentimiento de la próxima oración, aunque la oración aún no haya sido escrita? Para averiguarlo, entrenaron una herramienta simple para leer estos patrones internos y traducirlos en un resumen del texto futuro. Compararon este método con otras formas de adivinar el futuro, como dejar que la computadora escriba primero algunas palabras, o intentar predecir el futuro basándose únicamente en la instrucción original sin mirar dentro del cerebro de la computadora.

El estudio encontró que la respuesta es sí. Los patrones internos del modelo sí contienen un mapa linealmente accesible del significado del texto futuro. Cuando los investigadores observaron el estado interno de la computadora antes de que generara una oración, pudieron predecir con éxito el contenido semántico general de esa oración. Esto fue cierto en diferentes tamaños y arquitecturas de modelos, desde modelos más pequeños con cientos de millones de parámetros hasta otros más grandes con miles de millones. La capacidad de leer este significado futuro fue más fuerte en las capas más profundas de la red de procesamiento de la computadora. Sin embargo, la claridad de este avance dependía en gran medida de cómo los investigadores definían el "significado". Cuando utilizaron una forma específica de medir el significado, el avance interno fue significamente mejor que simplemente adivinar basándose en la instrucción por sí sola. Pero cuando utilizaron otras formas de medir el significado, la ventaja de mirar dentro del cerebro de la computadora era mucho menor, a veces apenas distinguible de lo que podría adivinarse simplemente mirando las palabras iniciales.

Los investigadores también compararon este método de "avance interno" contra la estrategia más obvia de dejar que la computadora escriba primero algunas palabras. Si dejas que la computadora genere tres o cinco palabras, naturalmente obtienes una imagen mucho más clara de hacia dónde se dirige la oración que si solo intentas adivinar desde el estado oculto. Esto no es sorprendente, porque la computadora ya ha realizado el trabajo de escribir esas palabras. Sin embargo, el estudio reveló un intercambio interesante. A medida que la oración objetivo se hace más larga y el futuro más distante, la ventaja de dejar que la computadora escriba más palabras disminuye. Si el objetivo es comprender el significado de una oración que está a 256 palabras de distancia, el avance interno resulta sorprendentemente competitivo con el dejar que la computadora escriba un prefijo corto. El estado interno ofrece una forma de obtener una sensación del futuro distante sin el costo computacional de generar todas esas palabras intermedias, aunque nunca supera completamente la precisión de generar realmente una secuencia larga.

Quizás la parte más intrigante de la investigación involucró probar si este conocimiento podía usarse para cambiar el comportamiento de la computadora. El investigador tomó la dirección en el estado interno que apuntaba hacia un sentimiento específico, como la positividad o la negatividad, e intentó dar un empujón a la computadora en esa dirección antes de que comenzara a escribir. Descubrieron que este empujón sí funcionó. Al ajustar el estado interno basándose en sus predicciones, pudieron cambiar el tono del texto generado de manera más efectiva que realizando ajustes aleatorios. Sin embargo, este éxito no fue uniforme en todas las partes del cerebro de la computadora. En algunos modelos, la capa donde el significado futuro era más fácil de leer también era el mejor lugar para realizar cambios. En otros modelos, estas dos cosas no coincidían en absoluto; la capa que mostraba el avance más claro del futuro era, a veces, el lugar equivocado para intervenir para cambiar el resultado. De hecho, en algunos casos, intentar cambiar el texto en la capa con el avance más fuerte de hecho empujó a la computadora en la dirección opuesta a la deseada.

Estos hallazgos sugieren que, si bien los modelos de lenguaje sí portan información sobre sus propios resultados futuros dentro de sus estados internos, esta información no es un guion preescrito esperando ser leído. En cambio, es una señal compleja y estratificada que es más fácil de acceder en algunas partes de la red que en otras. El estudio aclara que el hecho de que una computadora pueda "ver" el significado futuro de sus propias palabras no significa que esté precomputando completamente la respuesta entera. También destaca que ser capaz de leer una señal es diferente de ser capaz de controlarla. La capacidad de predecir el futuro y la capacidad de dirigir el futuro son capacidades relacionadas pero distintas que no siempre ocurren en el mismo lugar dentro del modelo. Este trabajo proporciona un mapa más claro de cómo estos sistemas inteligentes organizan la información sobre lo que están a punto de decir, mostrando que sus estados internos son más ricos en datos con visión de futuro de lo que se entendía anteriormente, pero también son más complicados de usar para el control de lo que una simple lectura sugeriría.

Resumen Técnico: Decodificación de la semántica futura a partir de los estados ocultos de los modelos de lenguaje

Planteamiento del problema
Los modelos de lenguaje neuronales autorregresivos generan texto token por token; sin embargo, sus representaciones internas de estados ocultos pueden codificar información semántica sobre continuaciones futuras antes de que dichos tokens sean producidos. Aunque trabajos previos han establecido que los modelos pueden predecir identidades de tokens futuros o atributos globales de respuesta, existen tres brechas críticas:

No está claro si la semántica continua de una continuación futura extendida es accesible mediante una lectura lineal simple, distinta de lo que es predecible únicamente desde el prompt.
El rendimiento de las sondas (probes) se evalúa a menudo contra controles estáticos, sin tener en cuenta si la generación explícita de un prefijo corto (despliegue autorregresivo o autoregressive rollout) revela información semántica comparable o superior.
La decodificabilidad pasiva no implica necesariamente utilidad causal; se desconoce si la capa que mejor expone la semántica futura es también el punto más efectivo para la intervención causal (direccionamiento o steering).

Metodología
El estudio emplea una sonda de regresión lineal (linear ridge probe) para mapear el estado oculto del último token del prompt ( $h_\ell(x)$ ) hacia una incrustación (embedding) semántica a nivel de oración ( $z_{H,E}$ ) de su propia continuación futura ( $y_{1:H}$ ). El objetivo semántico se define utilizando codificadores de oraciones entrenados independientemente ( $E$ ), específicamente MiniLM, BGE-base y E5-base.

El marco experimental evalúa tres preguntas centrales:

Recuperabilidad semántica: Se entrena una sonda lineal para predecir la incrustación de la continuación a partir del estado oculto. El rendimiento se mide mediante similitud de coseno y métricas de recuperación (Recall@K).
Comparaciones de línea base: La sonda se compara contra:
- Controles de semántica del prompt: Una línea base que mapea la incustación del prompt directamente a la incrustación de la continuación (Prompt Ridge) para aislar la ventaja del estado oculto sobre la predictibilidad a nivel de prompt.
- Decodificadores latentes: Decodificadores afines de pocos datos inspirados en Tuned Lens y Future Lens.
- Despliegue conductual (Behavioral Rollout): Generación autorregresiva explícita de $m$ tokens, que luego se incrustan y se comparan con el objetivo de la continuación completa.
Direccionamiento causal (Causal Steering): Se deriva un eje de sentimiento a partir de la diferencia entre incrustaciones de anclaje positivas y negativas. Esta dirección se proyecta en el espacio del estado oculto a través de los pesos de la sonda y se aplica como una intervención ( $h'_\ell = h_\ell + \alpha_\ell d_\ell$ ) durante la fase de pre-llenado (pre-fill) del prompt. La eficacia del direccionamiento se mide mediante el cambio en el sentimiento generado en relación con perturbaciones aleatorias emparejadas.

Los experimentos abarcan cuatro modelos Pythia (410M a 2.8B) y tres modelos Qwen (1.5B a 4B) en configuraciones de longitud variable y horizonte fijo (hasta 256 tokens).

Resultos clave

Recuperabilidad lineal: La semántica de la continuación futura es consistentemente recuperable linealmente de los estados ocultos a través de diversas familias de modelos y escalas. En Pythia-1.4B, la sonda logra una similitud de coseno de 0.4283 (MiniLM), superando significativamente a las líneas base de identidad de tokens (Logit Lens) y a los controles aleatorios.
Dependencia de la representación: La ventaja de la sonda del estado oculto sobre una línea base de prompt-a-continuación aprendida (Prompt Ridge) depende de la representación. Bajo MiniLM, la sonda del estado oculto muestra una ventaja estadísticamente fiable ( $\Delta \approx 0.028$ ). Bajo BGE y E5, esta ventaja es pequeña y no es estadísticamente distinguible de cero.
Intercambio Horizonte–Cómputo:
- Contra decodificadores latentes (estilos Tuned Lens/Future Lens), la sonda semántica directa supera a estos métodos sin requerir pasos autorregresivos adicionales.
- Contra el despliegue conductual (behavioral rollout), los resultados son matizados. Para horizontes cortos (p. ej., $H=16$ ), un despliegue de 3 tokens es estadísticamente comparable a la sonda, mientras que los despliegues de 5+ tokens son más fuertes. Sin embargo, a medida que el horizonte de predicción ( $H$ ) aumenta (hasta 256 tokens), la sonda se vuelve cada vez más competitiva en relación con los presupuestos de despliegue fijos ( $m$ ). El "presupuesto de paridad de despliegue" (tokens necesarios para igualar a la sonda) es no decreciente con respecto al horizonte.
- No se observa un cruce donde la sonda supere a un despliegue suficientemente largo ( $m=20$ ) dentro del rango probado; más bien, la ventaja relativa de la generación explícita se reduce a medida que el objetivo se extiende más allá.
Direccionamiento causal: Las intervenciones utilizando la dirección de sentimiento derivada de la sonda desplazan causalmente la generación en la dirección deseada en relación con las perturbaciones aleatorias en todos los modelos probados.
Decodificabilidad vs. Direccionabilidad: La decodificabilidad pasiva y la capacidad de direccionamiento causal no están universalmente alineadas. Mientras que algunos modelos (p. ej., Pythia-1.4B) muestran alineación entre la mejor capa pasiva y la mejor capa de direccionamiento, otros (p. ej., Pythia-1.0B, Qwen2.5-1.5B) exhiben una disociación sustancial. En algunos casos, las capas con alta recuperabilidad pasiva producen márgenes de direccionamiento negativos o cercanos a cero.

Significancia y afirmaciones
El artículo afirma caracterizar la accesibilidad semántica futura como un intercambio de horizonte–cómputo–representación. Los hallazgos sugieren que:

Las incrustaciones ocultas neuronales contienen una estructura semántica linealmente accesible que predice el comportamiento futuro del propio modelo antes de que ocurra la generación.
Esta accesibilidad no es evidencia de una respuesta futura precomputada, ni se generaliza a continuaciones humanas definidas externamente.
La utilidad de esta información depende fuertmente de la representación semántica utilizada (p. ej., MiniLM vs. BGE) y del presupuesto computacional disponible (sondeo vs. despliegue).
Crucialmente, la accesibilidad semántica pasiva y la capacidad de direccionamiento causal son propiedades distintas. La capa que mejor expone la semántica futura no garantiza ser la más efectiva para la intervención, y una fuerte decodificabilidad no asegura que la perturbación en esa dirección alterará causalmente la generación como se espera.

El estudio enfatiza el rigor metodológico, señalando que los resultados de direccionamiento son sensibles a la escala de la intervención, la selección de la capa y la replicación de la evaluación, y que el rendimiento de la sonda pasiva no debe utilizarse como un único indicador de la eficacia de la intervención.

Más como este