🤖 machine learning

Distributional Biases in Post-Training: A Markovian Analysis of Reasoning Trajectories

Este artículo resuelve la paradoja de la exploración en el post-entrenamiento al modelar el razonamiento como transiciones de Markov, demostrando teóricamente que los métodos estándar como RLVR y ORM/PRM sesgan a los modelos hacia trayectorias de alta probabilidad y olvidan pasos de razonamiento poco comunes, mientras demuestra que las estrategias de exploración como el rechazo de instancias y la regularización KL ayudan a preservar estas trayectorias cruciales.

Autores originales: Dake Bu, Wei Huang, Andi Han, Atsushi Nitanda, Bo Xue, Qingfu Zhang, Hau-San Wong, Taiji Suzuki

Publicado 2026-06-15

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Dake Bu, Wei Huang, Andi Han, Atsushi Nitanda, Bo Xue, Qingfu Zhang, Hau-San Wong, Taiji Suzuki

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La visión general: El estudiante "inteligente pero obstinado"

Imagine a un estudiante muy inteligente (el Modelo de Base) que ha leído todos los libros de la biblioteca. Sabe un poco de todo. Sin embargo, cuando le planteas un problema matemático específico y difícil, a veces se queda bloqueado o comete errores.

Para solucionar esto, los profesores utilizan el Post-entrenamiento (como el Aprendizaje por Refuerzo con Recompensas Verificables, o RLVR). Esto es como darle al estudiante un examen, revisar la respuesta y decirle: "¡Buen trabajo si lo lograste! Intenta hacer eso mismo otra vez".

El Problema: El artículo sostiene que esta "práctica" a menudo resulta contraproducente. En lugar de aprender nuevas formas de resolver problemas difíciles, el estudiante se obsesiona con las formas más fáciles que ya conoce. Si un problema requiere un truco ingenioso y poco común, el estudiante lo olvida porque está demasiado ocupado practicando los métodos simples y comunes que suelen funcionar.

Los autores llaman a esto el "Efecto de Exprimido" (Squeezing Effect). Es como exprimir una esponja: sacas toda el agua, pero también aplastas la forma de la esponja. El modelo se vuelve muy bueno en tareas comunes, pero pierde su capacidad para manejar tareas raras y difíciles.

La analogía: El laberinto del razonamiento

Para entender por qué sucede esto, los autores imaginan el razonamiento como un gigantesco laberinto con forma de árbol.

El Inicio: Te encuentras en la entrada (la pregunta).
Los Caminos: Hay muchos caminos que puedes tomar para llegar a la salida (la respuesta).
Caminos Fáciles (Alta Probabilidad): Son autopistas anchas y pavimentadas. La mayoría de la gente las toma. Funcionan para la mayoría de las preguntas.
Caminos Difíciles (Baja Probabilidad): Son senderos estrechos y cubiertos de maleza. Rara vez se recorren. Pero para preguntas específicas y complicadas, estos son los únicos caminos que llevan a la respuesta correcta.

1. Pre-entrenamiento: Descubriendo el mapa

Antes de que el estudiante comience a practicar, explora el laberinto. Encuentra tanto las autopistas como los senderos ocultos. Sabe que el mapa existe.

2. Post-entrenamiento: El "Exprimido"

Cuando el profesor empieza a dar recompensas por las respuestas correctas, el estudiante mira el mapa y piensa: "Oye, la autopista es ancha y normalmente acierto por ahí. Me quedaré en la autopista".

El artículo demuestra matemáticamente que los métodos de entrenamiento estándar (como RLVR, PPO y RAFT) actúan como un imán. Atraen la atención del estudiante enteramente hacia las autopistas.

El Resultado: El estudiante se convierte en un maestro de la autopista. Pero si una pregunta específica solo tiene una solución en el sendero oculto, el estudiante ha olvidado cómo encontrarla. Falla en la pregunta difícil.

3. La trampa de la "Consistencia" (ORM/PRM)

El artículo también analiza un método diferente donde un "calificador" (una red neuronal) juzga los pasos del estudiante mientras está pensando.

La Trampa: El calificador tiene un sesgo hacia la consistencia. Le gusta ver los mismos pasos una y otra vez porque es lo que suele funcionar. Otorga puntuaciones altas a los pasos de la "autopista" y puntuaciones bajas a los pasos del "sendero oculto", incluso si el sendero oculto es la única forma de resolver el problema actual.
El Resultado: El estudiante es guiado lejos del sendero oculto incluso antes de llegar a él.

Las Soluciones: Cómo mantener al estudiante flexible

El artículo no solo señala el problema; ofrece soluciones teóricas para evitar que el estudiante olvide los caminos difíciles.

Solución A: Rechazar las preguntas fáciles (RL-rej)

Imagine que el profesor dice: "Si puedes resolver este problema usando la autopista fácil, no quiero verlo. Solo quiero que resuelvas los problemas donde la autopista falla".

Cómo funciona: Al negarse a recompensar las victorias fáciles, el profesor obliga al estudiante a explorar los senderos ocultos.
La afirmación del artículo: Esto obliga al modelo a aprender los caminos raros y difíciles sin olvidarlos.

Solución B: La perilla de "Temperatura" (Regularización KL)

Imagine que el estudiante es demasiado entusiasta por quedarse en la autopista. El profesor añade una perilla de "temperatura" (regularización KL).

Cómo funciona: Esta perilla le dice al estudiante: "No estés tan seguro de ti mismo. Mantén un poco de tu curiosidad original". Evita que el estudiante se enfoque al 100% en la autopista y asegura que aún recuerde que los senderos ocultos existen.
La afirmación del artículo: Esto mantiene viva la capacidad de "multitarea" del modelo, para que no olvide cómo resolver otros tipos de problemas mientras se enfoca en uno solo.

Solución C: La "Transformación Doob h" (DPRM)

Esta es una técnica matemática más avanzada para el método del "calificador".

La Analogía: En lugar de que el calificador solo mire el paso actual, mira el futuro completo del camino. Calcula: "Si tomo este camino estrecho ahora, ¿cuál es la probabilidad de que alcance la meta?".
La afirmación del artículo: Este método (llamado DPRM) es matemáticamente equivalente a una versión "suave" de elegir la mejor respuesta. Permite que el modelo mantenga los senderos ocultos abiertos y accesibles, en lugar de aplastarlos.

El Veredicto

El artículo utiliza las matemáticas para demostrar una verdad simple: Si solo recompensas las formas "fáciles" de pensar, eventualmente olvidarás las formas "difíciles".

Entrenamiento Estándar: Convierte al modelo en un especialista en tareas fáciles, pero en un fracaso en las tareas raras y difíciles.
La Solución: Debes evitar activamente que el modelo se concentre demasiado en lo fácil. Esto se logra ignorando las victorias fáciles, añadiendo "temperatura" para mantener la diversidad o utilizando métodos de calificación más inteligentes que valoren el potencial de los caminos raros.

Los autores enfatizan que, aunque su matemática se basa en un "modelo de juguete" simplificado (un laberinto teórico), explica comportamientos del mundo real observados en los grandes modelos de IA actuales: por qué a veces se quedan "atascados" en patrones simples y fallan al encontrar las soluciones ingeniosas y raras necesarias para problemas difíciles.

Resumen Técnico: Sesgos Distribucionales en el Post-entrenamiento: Un Análisis Markoviano de las Trayectorias de Razonamiento

Declaración del Problema

Los modelos fundacionales poseen un conocimiento amplio, pero a menudo exhiben un razonamiento limitado para tareas específicas. Mientras que las estrategias de post-entrenamiento como el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) y el escalado en tiempo de inferencia (usando Modelos de Recompensa de Resultado [ORM] o Modelos de Recompensa de Proceso [PRM]) buscan crear expertos en tareas específicas, las observaciones empíricas revelan una paradoja. Estos métodos suelen reforzar las trayectorias de razonamiento existentes en lugar de expandir el alcance del razonamiento. Específicamente, tienden a "comprimir" la distribución de las trayectorias de Cadena de Pensamiento (CoT), favoreciendo patrones de razonamiento frecuentes y fáciles, mientras olvidan pasos de razonamiento raros pero cruciales para instancias difíciles. Esto plantea la pregunta de cómo pueden ser efectivas las estrategias de exploración si el post-entrenamiento no puede explorar más allá del alcance del árbol existente del modelo base.

Metodología

Los autores proponen un marco teórico tratable basado en Cadenas de Markov Estructuradas en Árbol (TMC) para modelar las capacidades de razonamiento de los modelos fundacionales.

Formulación del Modelo:
- Marco TMC: El razonamiento se abstrae como un proceso de Markov discreto donde los estados representan aserciones lógicas (por ejemplo, expresiones matemáticas) en lugar de tokens superficiales. El espacio de estados está estratificado ( $S_1$ a $S_L$ ), y las transiciones representan pasos de razonamiento.
- Definición de Tarea: Las tareas se definen mediante pares pregunta-respuesta $(q, a, k)$ . Una tarea es "común" si admite al menos una CoT "fácil de razonar" (transiciones de alta probabilidad), y "rara" si depende únicamente de CoTs "difíciles de razonar" (que involucran transiciones dispersas y de baja probabilidad).
- Modelo Base: El modelo base preentrenado se modela como un predictor softmax lineal entrenado mediante entropía cruzada, que converge a las verdaderas probabilidades de transición del TMC.
- Señales de Recompensa: El artículo distingue entre la corrección a nivel de instancia (recompensa 0/1) y las recompensas a nivel de población (exactitud esperada), que son utilizadas por los ORM y PRM.
Análisis Teórico:
- Los autores analizan la dinámica de gradiente de los algoritmos estándar de RLVR (REINFORCE, RAFT, PPO, GRPO) y los métodos de escalado de inferencia (ORM/PRM con Best-of-N o Búsqueda en Árbol/Beam Search) dentro de este entorno de TMC.
- Derivan la "Brecha de Ventaja" (Advantage Gap) entre CoTs fáciles y difíciles, demostrando que los objetivos estándar asignan inherentemente mayores ventajas a los caminos fáciles debido a que tienen una mayor probabilidad de ser correctos a través de la distribución de la población.

Contribuciones Clave

1. Formalización de Tres Fenómenos Empíricos

El artículo demuestra rigurosamente tres fenómenos observados en la práctica:

Fenómeno 1 (Efecto de Compresión de RLVR): Los métodos RLVR (REINFORCE, RAFT, PPO, GRPO) favorecen inherentemente las CoTs fáciles de razonar. El análisis teórico muestra que las actualizaciones impulsadas por la ventaja causan que la masa de probabilidad de las CoTs difíciles de razonar decaiga, lo que conduce a su eventual olvido.
Fenómeno 2 (Sesgo de Consistencia del Verificador Neuronal): El escalado de inferencia con ORM/PRM depende de las recompensas de población (exactitud esperada). Los autores demuestran que estas recompensas favorecen sistemáticamente las CoTs fáciles porque tienen una mayor probabilidad de ser correctas en promedio, incluso si son incorrectas para instancias difíciles específicas. En consecuencia, la búsqueda guiada por ORM/PRM (BoN, Beam Search) falla en seleccionar CoTs difíciles.
Fenómeno 3 (Méritos de las CoTs Raras): Las instancias difíciles en conjuntos de datos de razonamiento (ej. GSM8K, AQuA) a menudo corresponden a CoTs raras con baja confianza del modelo base. Los métodos de post-entrenamiento estándar que colapsan la distribución hacia caminos fáciles fallan en resolver estas instancias.

2. Justificación Teórica de las Estrategias de Exploración

El artículo proporciona garantías demostrables para estrategias que mitigan el sesgo de simplicidad:

Rechazo de Instancias Fáciles (RL-rej): Al rechazar instancias de entrenamiento donde el modelo ya genera respuestas correctas con alta confianza (es decir, instancias resolubles mediante CoTs fáciles), la señal de entrenamiento desplaza el enfoque hacia las CoTs difíciles. Los autores demuestran que esto permite al modelo aprender CoTs válidas y difíciles mientras mantiene el rendimiento.
Regularización KL: La incorporación de la regularización de divergencia KL (como en GRPO) evita que la distribución colapse totalmente hacia los caminos fáciles. La solución óptima bajo regularización KL es una distribución de Gibbs que preserva las amplias capacidades del modelo base, permitiendo el muestreo de CoTs difíciles y manteniendo el rendimiento multitarea.
PRM inducido por la Transformada h de Doob (DPRM): Para el escalado de inferencia, los autores proponen un PRM teóricamente fundamentado basado en la transformada h de Doob. Este método genera una recompensa de proceso que, cuando se utiliza con muestreo (Soft-BoN), es asintóticamente equivalente a la distribución de Gibbs óptima. A diferencia de los PRM estándar basados en verosimilitud, el DPRM preserva la diversidad del modelo base y evita el sesgo hacia las CoTs fáciles.

Resultados

Los autores validan sus hallazgos teóricos mediante simulaciones empíricas en un TMC sintético multitarea con dos tareas (una común, una rara).

Fallo del RLVR Estándar: Métodos como REINFORCE, RAFT y PPO favorecieron fuertemente las CoTs fáciles (tasa de generación del 90-95%) y suprimieron las CoTs difíciles. Esto condujo a una caída significativa en el rendimiento de la tarea rara (Tarea 2), demostrando el fenómeno del "olvido".
Fallo del Escalado de Inferencia: ORM-BoN y el PRM estándar-BoN también favorecieron excesivamente las CoTs fáciles, fallando en resolver instancias difíciles que requerían caminos de razonamiento raros.
Éxito de los Métodos Propuestos:
- RL-rej y GRPO-KL: Estos métodos lograron equilibrar con éxito la generación de CoTs fáciles y difíciles, mejorando significativamente el rendimiento en la tarea rara mientras mantenían el rendimiento en la tarea común.
- DPRM-AS: El muestreo basado en la transformada h de Doob logró una alta cobertura de CoTs difíciles y preservó las capacidades multitarea, superando a los enfoques estándar de PRM.

Significancia y Reivindicaciones

El artículo afirma ofrecer la primera reconciliación teórica de la tensión entre los beneficios observados de la exploración y la naturaleza de "compresión" de RLVR y el escalado de inferencia.

Perspectiva Teórica: El trabajo demuestra que el "sesgo de simplicidad" es una propiedad intrínseca de los estimadores de recompensa basados en la población y de las actualizaciones impulsadas por la ventaja en un entorno multitarea. Explica por qué el post-entrenamiento estándar a menudo falla en expandir las capacidades de razonamiento más allá de las rutas de alta probabilidad existentes en el modelo base.
Guía Práctica: Los autores proporcionan una base teórica para prácticas empíricas existentes, como el rechazo de preguntas fáciles y el uso de la regularización KL, mostrando por qué funcionan: previenen el colapso de la distribución hacia caminos fáciles, preservando así las CoTs raras necesarias para el razonamiento difícil.
Limitaciones y Alcance: Los autores son modestos en sus afirmaciones, reconociendo que su marco TMC es una abstracción. Señalan que el modelo asume predictores softmax lineales y no captura plenamente las complejidades de los Transformers no lineales a gran escala, los oráculos de recompensa ruidosos o el "reward hacking". Sin embargo, argumentan que las ideas centrales sobre el sesgo distribucional y la necesidad de estrategias de exploración son relevantes para comprender las limitaciones de la actual optimización basada en recompensas y el escalado de inferencia en los LLM.

En resumen, el artículo sostiene que para lograr un razonamiento robusto, las estrategias de post-entrenamiento deben contrarrestar explícitamente la tendencia natural de la optimización basada en recompensas a colapsar hacia patrones simples y de alta frecuencia, y que las técnicas que preservan la diversidad distribucional (como la regularización KL y las transformadas h) son teóricamente necesarias para resolver tareas de razonamiento difíciles.