💬 NLP

The Value Axis: Language Models Encode Whether They're on the Right Track

Este artículo demuestra que los modelos de lenguaje codifican internamente un "eje de valor" lineal que representa la probabilidad de éxito de un objetivo, el cual modula causalmente comportamientos tales como la confianza, la autocorrección y la exploración, y puede ser manipulado mediante el direccionamiento o la optimización de preferencias.

Autores originales: Nick Jiang, Isaac Kauvar, Jack Lindsey

Publicado 2026-06-16

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Nick Jiang, Isaac Kauvar, Jack Lindsey

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un modelo de lenguaje grande (como el de este artículo, llamado Qwen3-8B) como un senderista que intenta encontrar su camino a través de un bosque denso y con niebla. El senderista tiene un objetivo: llegar a un campamento específico (resolver un problema matemático, escribir código o responder una pregunta).

Este artículo descubre que el senderista tiene una brújula interna y oculta que le dice constantemente: "¿Estoy en el camino correcto?" o "¿Estoy perdido?".

Aquí hay un desgón de lo que los investigadores descubrieron, utilizando analogías simples:

1. La "Brújula de Valor"

Los investigadores descubrieron un "eje" específico (una dirección en el cerebro del modelo) que actúa como un medidor de confianza.

Valor Alto (Zona Verde): El modelo siente: "¡Voy por el buen camino! Esta estrategia funcionará". Se mueve hacia adelante con confianza.
Valor Bajo (Zona Roja): El modelo siente: "Espera, algo está mal. Voy por el camino equivocado". Comienza a dudar, a retroceder o a cambiar de opinión.

Construyeron esta brújula jugando un juego con el modelo. Le pidieron al modelo que adivinara una regla oculta (como "añadir un guion a cada frase") y le dieron una puntuación simple de "Sí" o "No". Al comparar la actividad cerebral del modelo antes de que descifrara la regla frente a después de haberla descifrado, aislaron la dirección exacta en su cerebro que representa el "éxito".

2. La Brújula Controla el Comportamiento

La parte más emocionante es que esto no es solo un sentimiento pasivo; los investigadores pudieron dirigir al modelo empujando su actividad cerebral a lo largo de esta brújula.

Empujar hacia el "Valor Alto" (Confianza):
- El Efecto: El modelo se vuelve obstinadamente confiado. Si está resolviendo un problema matemático, deja de dudar de sí mismo. Si está escribiendo código, deja de añadir explicaciones o comentarios largos y nerviosos. Simplemente da la respuesta.
- Analogía: Es como un senderista que de repente se siente seguro del sendero, así que deja de revisar su mapa cada cinco minutos y simplemente sigue caminando con paso firme.
Empujar hacia el "Valor Bajo" (Duda):
- El Efecto: El modelo se vuelve vacilante. Empieza a decir cosas como: "Espera, déjame repensar esto", o "En realidad, tal vez debería intentar una forma diferente". En la programación, añade muchos comentarios explicando su proceso de pensamiento, como si estuviera tratando de justificar sus pasos porque no está seguro.
- Analogía: Es como un senderista que se siente perdido, así que se detiene, mira a su alrededor con nerviosismo y rehace sus pasos.

3. La Brújula Funciona en Todas Partes

Esta "Brújula de Valor" no es solo para el juego que ellos inventaron. Los investigadores la probaron en muchas situaciones diferentes, y funcionó de la misma manera:

Matemáticas: Cuando el modelo resolvía problemas matemáticos difíciles, la brújula predecía si pensaba que la respuesta era correcta o incorrecta antes de que siquiera terminara la frase.
Programación: Cuando el modelo escribía código con errores, la brújula mostraba una señal de "valor bajo". Cuando el código era correcto, la señal era de "valor alto".
Chat Real: Al observar conversaciones del mundo real, la brújula mostraba alta confianza para tareas claras y fácticas (como "extraer estos datos"), pero baja confianza para temas complicados y sensibles (como debates políticos).

4. El Entrenamiento Cambia la Brújula

El artículo también muestra que puedes recalibrar esta brújula a través del entrenamiento.

El Experimento: Entrenaron al modelo para que le gustara mucho una palabra específica (como "pomelo") utilizando una técnica llamada Optimización de Preferencia Directa (DPO).
El Resultado: Después del entrenamiento, cada vez que el modelo usaba la palabra "pomelo", su brújula interna se disparaba hacia el "Valor Alto".
El Efecto Secundario: Debido a que el modelo se sentía tan seguro de usar esa palabra, se volvió excesivamente confiado en otras tareas también. Cuando se le pedía que escribiera código usando la palabra "pomelo", daba respuestas más cortas y menos detalladas, actuando como si supiera exactamente lo que estaba haciendo, incluso cuando no era así.

Resumen

En resumen, los modelos de lenguaje tienen un "presentimiento" interno sobre si están teniendo éxito. Este sentimiento está codificado en una dirección específica en su cerebro.

Cuando el sentimiento es bueno, el modelo avanza y deja de explicarse.
Cuando el sentimiento es malo, el modelo vacila, retrocede y sobreexplica.
Podemos ajustar este sentimiento entrenando al modelo con nuevas preferencias, lo que cambia cómo actúa su confianza en el futuro.

El artículo demuestra que este "valor" no es solo un número aleatorio; es una herramienta funcional que el modelo utiliza para decidir si seguir adelante o cambiar de dirección.

Resumen Técnico: El Eje de Valor: Los modelos de lenguaje codifican si están en el camino correcto

Declaración del Problema

Los modelos de lenguaje (LM) realizan tareas complejas de largo horizonte (por ejemplo, programación, razonamiento matemático) que requieren decisiones intermedias sobre si persistir con una estrategia actual o retroceder y explorar alternativas. Si bien la teoría del aprendizaje por refuerzo (RL) postula que los agentes deben mantener una "función de valor" interna para estimar la probabilidad de éxito futuro dado un estado actual, no está claro si los LM desarrollan un mecanismo interno análogo. Específicamente, ¿codifican los LM linealmente una estimación del éxito esperado de la meta que modula su confianza y toma de decisiones durante la generación?

Metodología

1. Construcción del Eje de Valor

Los autores construyen un "eje de valor" dentro del flujo residual de Qwen3-8B utilizando datos sintéticos de Aprendizaje por Refuerzo en Contexto (ICRL).

Generación de Datos: Generan 300 conversaciones donde un modelo intenta adivinar un criterio oculto (por ejemplo, "incluir un guion") para modificar un párrafo. El modelo recibe retroalimentación binaria (+1 o -1) después de cada intento.
Momento del Descubrimiento: En cada conversación, el modelo eventualmente "descubre" el criterio correcto. La construcción contrasta las activaciones de los tokens antes del descubrimiento (donde el modelo tiene incertidumbre y recibe retroalimentación negativa) con las activaciones después del descubrimiento (donde el modelo tiene confianza y recibe retroalimentación positiva).
Definición del Vector: El vector del eje de valor $v^{(l)}$ en la capa $l$ se define como la diferencia media en las activaciones ocultas entre los tokens post-descubrimiento y los tokens pre-descubrimiento, promediada a través de las conversaciones:
$v^{(l)} = \frac{1}{|C|} \sum_{c \in C} \left( \frac{1}{|T_{post}^c|} \sum_{t \in T_{post}^c} h_t^{(l)} - \frac{1}{|T_{pre}^c|} \sum_{t \in T_{pre}^c} h_t^{(l)} \right)$
Medición: Para cualquier secuencia $s$ , el "valor" se mide como la similitud de coseno promedio entre las activaciones de los tokens de la secuencia y el vector del eje de valor.

2. Dirección Causal (Causal Steering)

Para probar si el eje es funcionalmente relevante, los autores realizan dirección de activación (añadiendo un vector escalado $\alpha \cdot \hat{v}$ al flujo residual) durante el pre-llenado (prefilling) y la decodificación. Esto permite modular causalmente el "valor" interno del modelo y observar cambios en el comportamiento.

3. Dominios de Evaluación

El estudio evalúa el eje a través de:

Matemáticas: Preguntas AIME (confianza verbalizada, retroceso/backtracking).
Programación: Problemas de LeetCode (corrección del código, verbosidad/explicación).
Aprendizaje de Preferencias: Optimización de Preferencia Directa (DPO) para inducir preferencias de palabras.
En el Mundo Real (In-the-Wild): Prompts de Chatbot Arena, Ajuste Fino Supervisado (SFT) en benchmarks, y modelos "conscientes de la evaluación" (Eval-Aware).

Resultados Clave

1. Correlación con Confianza y Corrección

Confianza Verbalizada: En preguntas AIME, la proyección del eje de valor es significativamente mayor cuando el modelo expresa confianza verbalmente ("Sí, mi respuesta es correcta") en comparación con la incertidumbre. La proyección separa las generaciones confiadas de las no confiadas con un AUROC > 0.75.
Retroceso (Backtracking): Las ejecuciones que contienen frases de retroceso (por ejemplo, "Espera", "En realidad") exhiben proyecciones de valor más bajas. La proyección cae bruscamente inmediatamente antes de un evento de retroceso.
Corrección de Código: El eje asigna un mayor valor a las soluciones de código correctas que a las versiones corruptas (errores de sintaxis, líneas desordenadas, nombres ofuscados). El código correcto produce consistentemente proyecciones más altas en todos los tipos de corrupción.

2. Modulación Causal del Comportamiento

Dirigir el modelo a lo largo del eje de valor altera causalmente su comportamiento:

Dirección de Alto Valor: Aumenta la tasa de respuestas "Sí" a preguntas de corrección, suprime el retroceso y reduce la verbosidad explicativa (menos comentarios, pistas de tipo y líneas de código) en tareas de programación.
Dirección de Bajo Valor: Induce el retroceso, disminuye la confianza verbalizada y aumenta la verbosidad y la vacilación en las soluciones de código.

3. Impacto del Post-entrenamiento

La función de valor interna es maleable y está moldeada por los objetivos de entrenamiento:

Optimización de Preferencia Directa (DPO): Entrenar a los modelos para preferir palabras específicas (por ejemplo, "pomelo") aumenta el valor interno asignado a esas palabras. Este efecto se generaliza a oraciones de forma libre. Además, usar estas palabras de "alto valor" preferidas en tareas de programación reduce espuriosamente la verbosidad de la explicación, imitando el efecto de la dirección de alta confianza.
Ajuste Fino Supervisado (SFT): El SFT en un benchmark específico (por ejemplo, GSM8K) aumenta el valor interno asignado a las respuestas dentro de ese dominio, pero no en benchmarks fuera del dominio (por ejemplo, MATH-500).
Conciencia de la Evaluación (Eval-Awareness): Los modelos entrenados para reconocer contextos de evaluación asignan un mayor valor interno a los prompts de evaluación que a los de despliegue, incluso cuando el prompt del usuario no señala explícitamente una evaluación.

4. Análisis en el Mundo Real (In-the-Wild)

Chatbot Arena: Los modelos post-entrenados asignan un alto valor a las consultas de extracción de información restringidas y un bajo valor a las consultas abiertas o políticamente sensibles. Esta tendencia está ausente en el modelo base, lo que sugiere que el post-entrenamiento moldea el eje de valor.
Generalización: El eje de valor se generaliza a través de dominios (matemáticas, programación, aprendizaje de preferencias) y es estable a través de las capas medias a tardías (específicamente la capa 21 para Qwen3-8B), con un cambio direccional agudo que ocurre alrededor de la capa 13.

Significancia y Reivindicaciones

El artículo afirma que los modelos de lenguaje codifican linealmente una estimación del éxito esperado de la meta (una función de "valor") que modula su confianza al perseguir una trayectoria actual.

Mecanismo: Esta representación no es meramente una correlación con la corrección, sino que desempeña un papel causal en la toma de decisiones, determinando si el modelo persiste con una estrategia o retrocede.
Generalización: El mecanismo es de propósito general, transfiriéndose a través de tareas sin un entrenamiento de RL explícito, lo que sugiere que los LM desarrollan un "gusto" interno por estar "en el camino correcto".
Influencia del Entrenamiento: La función de valor interna no es estática; puede ser remodelada por métodos de post-entrenamiento (DPO, SFT), los cuales alinean la confianza interna del modelo con comportamientos recompensados.
Implicaciones: El eje de valor ofrece una herramienta potencial para la alineación y auditoría de modelos, proporcionando una fuente de evidencia sobre los objetivos y la confianza de un modelo que no depende de sus propios reportes.

Los autores mantienen la modestia respecto a sus hallazgos, señalando que el análisis está limitado a Qwen3-8B y que la construcción específica del eje puede capturar componentes idiosincrásicos de los datos sintéticos de ICRL, aunque la generalización a través de diversos dominios sugiere un mecanismo subyacente robusto.