💬 NLP

Reasoning Fine-Tuning Induces Persistent Latent Policy States

Este artículo demuestra que el ajuste fino de razonamiento reorganiza globalmente la dinámica interna de los modelos de lenguaje en estados de política latentes distintos y funcionalmente especializados, modelados como un sistema dinámico de conmutación, lo que permite mejorar el rendimiento mediante intervenciones causales y una poda más efectiva de las rutas de razonamiento propensas al fallo.

Autores originales: Abir Harrasse, Michael Lan, Hunar Batra, Fateme Hashemi Chaleshtori, Chaithanya Bandi

Publicado 2026-07-22

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Abir Harrasse, Michael Lan, Hunar Batra, Fateme Hashemi Chaleshtori, Chaithanya Bandi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás observando a un estudiante brillante resolver un problema matemático complejo. A veces, simplemente suelta la respuesta de golpe, o deambula a través de una niebla de conjeturas, probando una idea tras otra hasta que algo funciona. Otras veces, tiene un plan claro y paso a paso: se detiene a entender la pregunta, la descompone en piezas más pequeñas, revisa su trabajo y luego escribe la solución final con confianza. Durante años, los científicos se han preguntado cómo los programas informáticos llamados "Modelos de Lenguaje Extensos" (LLM) aprenden a realizar este segundo tipo de pensamiento. Estos modelos son entrenados con cantidades masivas de texto, pero para que sean buenos razonando, los investigadores les dan un entrenamiento adicional en problemas que requieren un "Cadena de Pensamiento" (Chain of Thought): una explicación paso a paso antes de la respuesta final.

El gran misterio era: ¿Este entrenamiento adicional solo hace que el modelo sea ligeramente mejor adivinando la siguiente palabra en una oración? ¿O reorganiza fundamentalmente cómo funciona el cerebro del modelo a lo largo del tiempo? Piensa en esto como la diferencia entre una multitud caótica de personas gritando palabras aleatorias y una orquesta bien ensayada tocando una sinfonía. El artículo pregunta si el entrenamiento convierte al modelo en un director de orquesta que sabe exactamente cuándo introducir los violines y cuándo dejar que los tambores tomen el control, o si es solo una multitud más ruidosa y segura de sí misma. Comprender esto es crucial porque, si sabemos cómo piensan estos modelos, podríamos ser capaces de arreglarlos cuando se quedan atascados o ayudarlos a resolver problemas en los que actualmente fallan.

El panel de conmutación oculto dentro del cerebro de la IA

En este artículo, los investigadores tratan el proceso de pensamiento de la IA como un sistema dinámico de conmutación. Esa es una forma elegante de decir que imaginan que el cerebro del modelo no es solo un río fluido de pensamientos, sino más bien un tren que salta entre diferentes "vías" o estados de política latente.

Imagina que la IA es un viajero en un largo viaje. Un modelo "base" (uno que no ha sido entrenado especialmente para razonar) es como un turista que deambula sin rumbo. Puede detenerse en una cafetería, luego en un parque, luego en un museo, pero a menudo vuelve a los mismos lugares, se confunde o cambia de ubicación aleatoriamente sin un destino claro. Su camino es desordenado e impredecible.

En contraste, el modelo con ajuste fino de razonamiento es como un guía experimentado. Este guía tiene un mapa oculto con "modos" o "estados" distintos. Cuando el guía entra en el "Modo de Planificación", permanece allí por un tiempo, trazando cuidadosamente la ruta. Luego, cambia al "Modo de Cálculo", donde procesa los números. Finalmente, se mueve al "Modo de Verificación" para comprobar todo antes de llegar a la "Estación de la Respuesta". El hallazgo clave de este artículo es que el entrenamiento no solo hace al guía más inteligente; le otorga una forma mucho más organizada y estructurada de cambiar entre estos modos.

Lo que descubrieron los investigadores

El equipo analizó las "activaciones" internas (las señales eléctricas) de modelos de IA que van desde los 1.500 millones hasta los 32.000 millones de parámetros mientras resolvían acertijos matemáticos y lógicos. Utilizaron una herramienta especial llamada CEBRA para comprimir esta enorme cantidad de datos en un mapa simple de baja dimensión, y luego aplicaron un marco matemático llamado Sistema Dinámico de Conmutación (SDS) para encontrar los "regímenes" o estados ocultos.

Esto es lo que descubrieron:

Conmutación más organizada: Los modelos entrenados para el razonamiento no solo tenían más estados, sino que tenían una estructura mucho mejor para cambiar entre ellos. Mientras que los modelos base tendían a parpadear aleatoriamente entre estados cercanos (como un interruptor de luz que está atascado), los modelos de razonamiento tenían "clústeres" de actividad distintos y bien separados. Permanecían en un estado durante un tiempo más prolongado (alta persistencia) y luego realizaban un salto deliberado al siguiente estado necesario.
Especialización funcional: Los investigadores descubrieron que estos estados ocultos coincidían con pasos reales de razonamiento. Algunos estados eran claramente de "pensar en el problema", otros de "hacer las matemáticas" y otros de "comprobar la respuesta". Los modelos de razonamiento eran mucho mejores para mantenerse en el estado correcto durante el tiempo adecuado.
No se trata solo de acertar: Una parte crucial del estudio fue descartar la idea de que estos patrones solo aparecían porque los modelos de razonamiento obtenían más respuestas correctas. Los investigadores probaron esto observando únicamente los problemas en los que tanto el modelo base como el modelo de razonamiento acertaron. Incluso en estos casos "perfectos", el modelo de razonamiento seguía mostrando esta estructura organizada de múltiples estados, mientras que el modelo base permanecía caótico. Esto sugiere que la estructura es un cambio fundamental en cómo piensa el modelo, no solo un efecto secundalle de obtener mejores puntuaciones.
Prueba causal (El experimento de "trasplante"): Para demostrar que estos estados realmente hacían algo importante, los investigadores realizaron una "cirugía". Tomaron las "reglas de conmutación" (la política) del modelo de razonamiento e intentaron trasplantarlas al modelo base. Al dar un suave empujón al cerebro del modelo base para que siguiera el camino del modelo de razonamiento, lograron ayudar al modelo base a resolver problemas en los que previamente fallaba. Esto demostró que el patrón de conmutación organizado es lo que marca la diferencia.

Un superpoder práctico: El "Guardián del Prefijo"

La aplicación práctica más emocionante surgió de usar este descubrimiento para corregir errores. Los investigadores notaron que cuando un modelo comienza a seguir un "mal camino" (un prefijo de razonamiento que conduce al fallo), tiende a quedarse estancado en un estado específico y poco útil.

Construyeron una herramienta llamada PREFIXGUARD. Imagina a un entrenador observando a un corredor. Si el corredor comienza a correr en la dirección equivocada, el entrenador grita "¡Alto!" antes de que desperdicie demasiada energía. PREFIXGUARD hace esto por la IA. Observa los estados ocultos del modelo mientras comienza a pensar. Si ve que el modelo entra en un estado "propenso al fallo", corta ese hilo de pensamiento y obliga al modelo a reiniciar con un mejor enfoque.

Los resultados fueron impresionantes: en 11 de 12 configuraciones de prueba diferentes (combinando distintos modelos y distintos conjuntos de datos matemáticos), este método mejoró la precisión del modelo hasta en un 12,5 por ciento de puntos porcentuales en comparación con los métodos estándar. No solo adivinó mejor; evitó los giros equivocados por completo.

Lo que esto significa

El artículo sugiere que cuando enseñamos a una IA a razonar, no solo le estamos enseñando nuevos hechos. Estamos reorganizando fundamentalmente su "sistema operativo" interno. Le estamos dando un conjunto de modos mentales distintos y persistentes, y enseñándole cómo cambiar entre ellos en una secuencia coherente y consciente del tiempo.

Los autores advierten cuidadosamente que esto no significa que el modelo tenga una conciencia similar a la humana o que "sepa" lo que está haciendo en un sentido filosófico. En cambio, significa que la estructura matemática de su pensamiento se ha vuelto más parecida a una danza bien coreografiada que a un movimiento caótico. Este descubrimiento abre nuevas formas de analizar cómo funciona la IA y, lo que es más importante, nos brinda una nueva herramienta para dirigir estos modelos lejos de los errores y hacia mejores soluciones.

Resumen Técnico: El ajuste fino de razonamiento induce estados de política latente persistentes

Planteamiento del Problema
Aunque el ajuste fino especializado (por ejemplo, mediante Aprendizaje por Refuerzo con Recompensas Verificables, RLVR) mejora significativamente las capacidades de razonamiento de Cadena de Pensamiento (CoT) de los Grandes Modelos de Lenguaje (LLM), los cambios mecánicos internos responsables de estas mejoras aún no se comprenden bien. No está claro si el ajuste fino de razonamiento simplemente mejora la competencia local a nivel de token o si reorganiza fundamentalmente la dinámica computacional latente global que estructura la inferencia sobre horizontes extendidos. El razonamiento CoT es un proceso de ramificación temporal que implica un muestreo estocástico; comprender su estructura interna requiere modelar cómo los modelos transitan entre estados de razonamiento a lo largo del tiempo, en lugar de analizar representaciones estáticas de tokens.

Metodología
Los autores proponen modelar el razonamiento CoT como un Sistema Dinámico de Conmutación (SDS). En este marco, las representaciones internas continuas del modelo evolucionan bajo estados de política latente discretos y de baja dimensión (regímenes) que gobiernan la dinámica futura.

Construcción del Marco:
- Extracción de Trayectorias: Se extraen las activaciones del modelo a nivel de oración (último token de cada oración) de las trazas de CoT generadas en cuatro bancos de pruebas: GSM8K, MATH-500, SVAMP y MMLU-Pro.
- Reducción de Dimensionalidad: Los autores emplean CEBRA (un método de aprendizaje de variedades contrastivo sensible al tiempo) para proyectar las activaciones de alta dimensión del flujo residual en incrustaciones (embeddings) de baja dimensión ( $z_t$ ). Argumentan que CEBRA supera a PCA en este entorno al preservar mejor la coherencia temporal necesaria para la recuperación de regímenes.
- Formulación del SDS: El sistema se modela como un proceso de Markov latente donde un estado discreto $s_t \in \{1, \dots, K\}$ gobierna la evolución lineal-gaussiana de la incrustación $z_t$ .
- Estimación de Parámetros: Los parámetros (matriz de transición, dinámica condicional al régimen) se estiman utilizando Expectation-Maximization (EM) con suavizado forward-backward. El orden del modelo $K$ se selecciona mediante el Criterio de Información Bayesiano (BIC).
Análisis Comparativo:
El marco se aplica a modelos base y sus contrapartes ajustadas para el razonamiento (por ejemplo, Llama-3.1-8B frente a versiones destiladas de DeepSeek-R1, variantes de Qwen2.5). El estudio compara métricas estructurales:
- Persistencia ( $p_{stay}$ ): La probabilidad de auto-transición.
- Estructura de Transición (TVD): La Distancia de Variación Total de las filas de transición respecto a una distribución uniforme, que mide la diferenciación.
- Mezcla (Brecha Espectral): El inverso de la brecha espectral, que indica la velocidad de mezcla entre regímenes.
- Conteo de Estados Efectivos ( $K_{eff}$ ): Medida basada en la entropía de la utilización de estados.
Validación e Intervenciones Causales:
- Ablación de Intercambio de Estados (State-Swap): Permutación aleatoria de las etiquetas de los regímenes manteniendo la dinámica fija para probar si estados específicos son funcionalmente necesarios.
- Trasplante de Política: Dirigir el flujo residual del modelo base durante la inferencia para que siga la dinámica de transición del modelo de razonamiento.
- PREFIXGUARD: Un mecanismo de poda que utiliza el SDS aprendido para identificar y descartar prefijos de razonamiento "propensos al fallo" (aquellos que pasan tiempo en regímenes de baja utilidad) durante la inferencia.

Resultos Clave

Organización Latente más Rica: Los modelos ajustados para el razonamiento exhiben consistentemente una estructura de transición más diferenciada (mayor TVD) en comparación con los modelos base. Aunque la utilización de estados, la persistencia y la mezcla varían según la familia de modelos, el cambio hacia transiciones distintas y por etapas es un hallo robusto.
Especialización Funcional: Los regímenes latentes recuperados se alinean con etapas de razonamiento definidas por humanos (por ejemplo, "Gestión de la Incertidumbre", "Computación Activa", "Emisión de Respuesta Final"). Los modelos más grandes (Qwen-14B) muestran una especialización más fina en comparación con los modelos más pequeños.
Coherencia Temporal: Los regímenes recuperados satisfacen los supuestos de Markov de primer orden con mayor fuerza en los modelos de razonamiento que en los modelos base. El desorden del orden de las oraciones destruye la ganancia predictiva del SDS, confirmando que la estructura depende de una organización temporal coherente y no solo de la geometría estática de las activaciones.
Accionabilidad Causal:
- Trasplante: Dirigir un modelo base para que siga la política latente del modelo de razonamiento mejora significamente el rendimiento en problemas difíciles donde el modelo base falla (el pass@8 aumenta de 0 a 0.60 en configuraciones específicas).
- Poda: El método PREFIXGUARD, que poda las trayectorias que entran en regímenes de baja utilidad, supera a la autocoherencia estándar en 11 de 12 configuraciones de modelo-conjunto de datos, con ganancias de precisión de hasta 12.5 puntos porcentuales.
Dinámica de Entrenamiento: El análisis de los puntos de control (checkpoints) intermedios muestra que la estructura de la política latente emerge rápidamente durante el ajuste fino (dentro del primer 25% del entrenamiento) y se consolida a mitad del entrenamiento, lo que sugiere que el RLVR amplifica y estabiliza los modos latentes existentes en lugar de crearlos desde cero.

Significancia y Reivindicaciones
El artículo sostiene que el ajuste fino de razonamiento reorganiza globalmente las dinámicas latentes, induciendo una estructura temporal coherente y persistente que los modelos base carecen. Esta estructura no es un mero subproducto de la corrección de la salida o de artefactos de aprendizaje de representaciones, sino que representa una "política de razonamiento latente" funcional.

Los autores argumentan que su trabajo ofrece una nueva lente para el análisis mecanicista, demostrando que los modelos de razonamiento operan mediante modos computacionales distintos y conmutables que pueden ser identificados, interpretados y manipulados. La capacidad de trasplantar estas dinámicas y podar trayectorias propensas al fallo sugiere que comprender el proceso de razonamiento (la política latente) es tan crítico como la salida final, proporcionando una vía para el control a nivel de proceso de los modelos de razonamiento sin modificar los pesos del modelo. El documento limita explícitamente su alcance al razonamiento matemático y simbólico con trazas de CoT explícitas, señalando que la aplicabilidad al razonamiento de recuperación de información, uso de herramientas o razonamiento agéntico sigue siendo una cuestión abierta para trabajos futuros.

El panel de conmutación oculto dentro del cerebro de la IA

Lo que descubrieron los investigadores

Un superpoder práctico: El "Guardián del Prefijo"

Lo que esto significa

Más como este