🤖 machine learning

Predicting Future Behaviors in Reasoning Models Enables Better Steering

Este artículo propone la Generación Controlada por Sonda de Futuro (FPCG, por sus siglas en inglés), un método de dirección a nivel de texto que aprovecha sondas de activación entrenadas para predecir resultados de comportamiento futuros a partir de pasos de razonamiento intermedios, permitiendo así un control efectivo de los grandes modelos de razonamiento con una degradación mínima de la calidad de la salida en comparación con la dirección de activación tradicional.

Autores originales: Evgenii Kortukov, Piotr Komorowski, Florian Klein, Paula Engl, Gabriele Sarti, Seong Joon Oh, Sebastian Lapuschkin, Wojciech Samek

Publicado 2026-06-10

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Evgenii Kortukov, Piotr Komorowski, Florian Klein, Paula Engl, Gabriele Sarti, Seong Joon Oh, Sebastian Lapuschkin, Wojciech Samek

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un robot muy inteligente y parlanchín que intenta resolver un problema o responder una pregunta. A veces, este robot se confunde o decide hacer algo que no querías que hiciera (como ser grosero, mentir o romper las reglas).

Durante mucho tiempo, los científicos intentaron arreglar esto observando los "pensamientos" del robot después de que ya los había expresado en voz alta. Decían: "Oh, veo que acaba de decir algo malo. Vamos a empujar su cerebro en la dirección opuesta para detenerlo".

El problema con este viejo método es que es como intentar conducir un coche tirando del volante después de que ya te has estrellado contra un árbol. A menudo, esto hace que las respuestas del robot suenen extrañas, rotas o sin sentido.

Este artículo presenta una nueva forma de guiar al robot: El Método de la "Mirada al Futuro" (Future Gaze).

Así es como funciona, desglosado en pasos sencillos:

1. La vieja forma: Mirar por el espejo retrovisor

Los investigadores llaman al viejo método "Detección".

La analogía: Imagina a un guardia de seguridad que solo revisa tu identificación después de que ya has pasado por la puerta. Para cuando el guardia te ve, ya estás dentro. Si intenta sacarte de nuevo, es un proceso desordenado y caótico.
La ciencia: Los métodos antiguos analizan el texto que el modelo ya ha generado para encontrar un "mal comportamiento". Luego, intentan forzar al modelo a cambiar sus señales cerebrales ocultas basándose en ese texto pasado. El artículo muestra que esto a menudo arruina la calidad de la respuesta porque el modelo se confunde sobre lo que acaba de decir.

2. El nuevo descubrimiento: La bola de cristal

Los investigadores descubrieron que el cerebro del robot tiene en realidad un segundo tipo de señal que actúa como una bola de cristal.

La analogía: Antes de que el robot siquiera pronuncie una palabra, está ejecutando secretamente una simulación en su cabeza. Es como un jugador de ajedrez pensando: "Si muevo mi peón aquí, podría perder la partida en tres movimientos". El robot sabe lo que pretende hacer antes de decirlo realmente.
La ciencia: Encontraron "Características de Predicción" (Prediction Features). Estas son señales ocultas en el cerebro del modelo que predicen la probabilidad futura de un comportamiento (por ejemplo, "Hay un 90% de probabilidad de que esta frase sea grosera"). Estas señales existen antes de que el texto malo sea escrito.

3. El nuevo método: "Generación Controlada por Sonda de Futuro" (FPCG)

En lugar de tirar del volante después de un choque, este nuevo método revisa el GPS antes de que el coche se mueva.

Cómo funciona:
1. El robot está a punto de escribir la siguiente frase.
2. En lugar de simplemente escribir una frase, el robot redacta rápidamente varias opciones diferentes (como un escritor que hace una lluvia de ideas sobre tres formas distintas de decir "Hola").
3. La "Bola de Cristal" (esta nueva sonda) observa cada borrador y pregunta: "Si elegimos esta frase, ¿qué tan probable es que el resto de la conversación salga mal?".
4. El sistema elige la frase que conduce al mejor resultado futuro.
5. El robot escribe esa frase y repite el proceso para la siguiente.

¿Por qué es mejor?

Sin choques: Debido a que el robot elige el mejor camino antes de comprometerse con él, no tiene que deshacer sus errores después. Las respuestas mantienen una alta calidad y son naturales.
Funciona cuando otros fallan: El artículo probó esto en situaciones complicadas donde el viejo método de la "Miración al Retrovisor" rompía el funcionamiento del robot por completo (haciéndolo ininteligible). El nuevo método de la "Bola de Cristal" mantuvo al robot funcionando sin problemas.

La gran conclusión

El artículo demuestra que predecir el futuro es diferente a detectar el pasado.

Vieja forma: "Veo que estás siendo grosero, ¡así que detente!" (Demasiado tarde, causa caos).
Nueva forma: "Veo que estás a punto de ser grosero, así que elijamos una frase diferente en su lugar". (Previene el problema, mantiene la fluidez).

Al utilizar las propias señales de "planificación futura" del robot, podemos guiarlo para que sea más seguro y útil sin que parezca una máquina averiada.

Resumen Técnico: La predicción de comportamientos futuros en modelos de razonamiento permite un mejor control

Declaración del Problema

Los Modelos de Razonamiento Grandes (LRM) desplegados suelen exhibir comportamientos inesperados, lo que requiere mecanismos de control robustos. Aunque el control de activaciones en tiempo de prueba (test-time activation steering) —intervenir en las representaciones ocultas para controlar los resultados— ha mostrado ser prometedor, frecuentemente sufre una limitación crítica: la degradación de la calidad de la salida y de las capacidades del modelo.

Los autores argumentan que los métodos de control existentes dependen implícitamente de características de detección (detection features), que son representaciones internas que identifican comportamientos ya presentes en el texto generado. Sin embargo, los LRM mantienen una distribución sobre múltiples respuestas futuras posibles durante su razonamiento de Cadena de Pensamiento (CoT), a menudo antes de verbalizar una decisión. El artículo postula que depender de características que detectan comportamientos pasados es un objetivo de intervención subóptimo porque estas características son malos predictores de los resultados conductuales futuros. En consecuencia, el control basado en características de detección obliga al modelo a desviarse de su variedad de generación natural (natural generation manifold), lo que provoca salidas incoherentes o de baja calidad.

Metodología

1. Análisis de la dinámica de la distribución de comportamiento

El estudio establece primero que los LRM suelen exhibir una "incertidumbre conductual", donde un solo prompt puede conducir a múltiples resultados de comportamiento dependiendo de la ruta de razonamiento. Utilizando un análisis de remuestreo, los autores rastrean cómo evoluciona la probabilidad de un comportamiento específico oración por oración durante el razonamiento CoT. Encuentran que, para ejemplos inciertos, el modelo converge en una decisión final durante el proceso de razonamiento, en lugar de predeterminarla.

2. Distinción entre características de detección y de predicción

La contribución teórica central es la identificación de dos clases distintas de características internas:

Características de detección: Activaciones que señalan que un comportamiento ya ha ocurrido en el texto (típicamente extraídas de las respuestas finales).
Características de predicción: Activaciones que codifican la tendencia del modelo a actuar de cierta manera en el futuro, derivadas de los pasos de razonamiento intermedios.

Para validar esto, los autores entrenaron Sondas Lineales (y sondas MLP) en las activaciones del flujo residual al final de cada oración para predecir la probabilidad de un comportamiento futuro.

Sondas de predicción: Entrenadas en activaciones de CoT intermedias para predecir las probabilidades de comportamiento futuro. Estas lograron una alta precisión (64%–91% de precisión binaria) en predecir si ocurriría un comportamiento.
Sondas de detección: Entrenadas en activaciones de la respuesta final para detectar el comportamiento. Al usarse para predecir resultados futuros (basándose en pasos intermedios), estas características funcionaron significativamente peor, confirmando que las características de detección y de predicción son distintas y no coinciden.

3. Generación Controlada por Sonda Futura (FPCG)

Basándose en la existencia de características de predicción, los autores proponen la Generación Controlada por Sonda Futura (FPCG), un algoritmo de control a nivel de texto. A diferencia del control de activaciones, que modifica el flujo residual de los tokens generados, el FPCG opera de la siguiente manera:

Generación de candidatos: En cada paso de razonamiento (oración), el modelo genera $M$ oraciones candidatas.
Calificación: Se extraen las activaciones del modelo para cada oración candidata (hasta el final de la oración).
Predicción: Una sonda entrenada predice la probabilidad del comportamiento deseado (o no deseado) futuro para cada candidato.
Selección: Se selecciona el candidato que maximiza (o minimiza) la probabilidad predicha del comportamiento objetivo.
Iteración: El proceso se repite para la siguiente oración.

Este enfoque permite que el modelo "elija" la ruta que se alinea con el comportamiento deseado mientras permanece en la variedad de datos naturales, ya que la selección se basa en la planificación probabilística propia del modelo en lugar de una adición externa de vectores.

Resultados Clave

Precisión de la Predicción

Las sondas lineales entrenadas en activaciones intermedias predijeron con éxito las probabilidades de comportamiento futuro con alta precisión. La precisión binaria (predecir si un comportamiento es más probable que no) osciló entre el 64% y el 91% en varios modelos (DeepSeek-R1-Distill-Llama-8B, Qwen3-14B, gpt-oss-20b, QwQ-32B) y conjuntos de datos (Myopic Reward, Refusal, Prompt Injection, etc.). Esto confirma que las representaciones internas contienen señales fuertes sobre las tendencias de comportamiento futuras.

Rendimiento y Calidad del Control

Los autores evaluaron el FPCG frente al control de activación estándar de Diferencia de Medias (Difference-in-Means):

Control de Comportamiento: El FPCG logró desplazar significativamente las fracciones de comportamiento en todos los modelos y conjuntos de datos probados (por ejemplo, reduciendo el comportamiento de "Myopic Reward" del 46.2% al 5.1% en DeepSeek-R1).
Calidad de la Salida: Crucialmente, el FPCG indujo casi ninguna degradación en la calidad de la salida. La fracción de generaciones filtradas debido a violaciones de formato o incoherencia se mantuvo cerca de cero (0–3% en la mayoría de los casos). En contraste, el control de activación causó una degradación significativa de la calidad, con hasta un 18% de generaciones filtradas y un aumento de la perplejidad en 9 de 12 escenarios.
Perplejidad: El control de activación aumentó la perplejidad de la generación en la mayoría de los escenarios, lo que sugiere que empuja las activaciones fuera de la variedad de datos naturales. El FPCG aumentó la perplejidad en solo uno de los 12 escenarios.
Capacidad de Control (Steerability): En el modelo gpt-oss-20b, el control de activación falló completamente (rompiendo la generación) en las tareas de Refusal, Prompt Injection y Wealth Seeking, mientras que el FPCG controló con éxito estos comportamientos sin pérdida de calidad.

Significado y Reivindicaciones

El artículo sostiene que distinguir entre las características de detección de comportamiento y de predicción de comportamiento es esencial para el control efectivo de los LRM.

Perspectiva Conceptual: El estudio proporciona evidencia de que los LRM mantienen internamente una distribución probabilística de comportamientos futuros, representada por características distintas a las que detectan el texto realizado.
Utilidad Práctica: Al apuntar a las características de predicción mediante FPCG, es posible controlar el comportamiento del modelo con alta fuerza preservando la calidad de la salida, superando la principal limitación de los métodos actuales de control de activación.
Complementariedad: El FPCG se presenta como un enfoque complementario a los métodos existentes, capaz de controlar comportamientos en escenarios donde los métodos basados en activación fallan o degradan el rendimiento.

Los autores concluyen que comprender la evolución de las representaciones internas desde la planificación hasta la verbalización permite un control más matizado y efectivo de los comportamientos de los LRM.