💻 computer science

Why Do Reasoning Models Lose Coverage? The Role of Data and Forks in the Road

Este artículo investiga el fenómeno de "reducción del razonamiento" en modelos de razonamiento ajustados, identificando la prevalencia de escenarios de puntos de decisión ambiguos en los datos de entrenamiento como la causa principal y demostrando que la síntesis de datos dirigida y la decodificación consciente de la diversidad pueden mitigar eficazmente esta pérdida de cobertura.

Autores originales: Ngoc-Hieu Nguyen, Parshin Shojaee, Phuc Minh Nguyen, Nan Zhang, Chandan K Reddy, Khoa D Doan, Rui Zhang

Publicado 2026-05-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ngoc-Hieu Nguyen, Parshin Shojaee, Phuc Minh Nguyen, Nan Zhang, Chandan K Reddy, Khoa D Doan, Rui Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un estudiante a resolver un laberinto. Quieres que sea capaz de encontrar la salida sin importar qué camino tome, pero también deseas que sea rápido y preciso.

Este artículo investiga un problema extraño que ocurre cuando entrenamos modelos de IA avanzados (como los que realizan matemáticas complejas o lógica) para ser expertos en "razonamiento". Llamamos a este problema "Encogimiento de Cobertura".

Aquí tienes una explicación sencilla de lo que los autores descubrieron, utilizando analogías cotidianas:

El Problema: El Mapa que se "Encoge"

Cuando estos modelos de IA se entrenan, se vuelven muy buenos para encontrar el único mejor camino hacia la respuesta. Si les haces una pregunta una vez, es muy probable que la respondan correctamente (esto se llama pass@1).

Sin embargo, si les haces la misma pregunta 10 o 100 veces para ver todas las diferentes formas en que podrían resolverla, dejan de ofrecerte variedad. Todos empiezan a dar exactamente la misma respuesta, o peor aún, todos se quedan atrapados en el mismo camino incorrecto. Su "mapa" de soluciones posibles se ha encogido. Han perdido la capacidad de explorar diferentes rutas.

El Culpable: "Bifurcaciones en el Camino"

Los autores argumentan que esto no se debe a que el algoritmo de aprendizaje de la IA esté roto. En cambio, el problema reside en los datos de entrenamiento.

Imagina un libro de cuentos donde un personaje llega a una bifurcación en el camino.

El Mundo Real: El personaje podría ir a la izquierda o a la derecha. Ambos caminos parecen válidos, pero solo uno conduce al tesoro.
Los Datos de Entrenamiento: El libro de cuentos solo muestra al personaje tomando el camino de la derecha. Nunca explica por qué eligió la derecha sobre la izquierda, ni siquiera menciona que el camino de la izquierda era una opción.

Los autores llaman a estos momentos "Bifurcaciones en el Camino". Son puntos de decisión donde el modelo debe elegir entre múltiples opciones válidas, pero los datos solo muestran una.

Como el modelo solo ve siempre un camino tomado, aprende un mal hábito: "Debo elegir lo primero que parezca correcto, y debo tener un 100% de confianza en que tengo razón, incluso si no la tengo". Deja de explorar. Deja de considerar el camino de la "izquierda" porque el libro de cuentos nunca lo mostró.

Los Experimentos: Probando la Teoría

Los investigadores probaron esto con dos configuraciones ingeniosas:

El Grafo Estrella (El Laberinto):
Crearon un acertijo matemático simple que parecía un laberinto en forma de estrella. Al inicio, había dos caminos. Solo uno llevaba a la respuesta.
- Grupo A fue entrenado con datos que mostraban al modelo caminando hacia adelante a través del laberinto, tomando una decisión en la bifurcación.
- Grupo B fue entrenado con datos que mostraban al modelo caminando hacia atrás desde la respuesta hasta el inicio (sin necesidad de tomar decisiones).
- Resultado: El Grupo A (los que tuvieron que tomar decisiones) perdió su capacidad para encontrar caminos alternativos. El Grupo B mantuvo su mapa completo. Esto demostró que el acto de tomar una decisión sin suficiente información causa el encogimiento.
El Cambio de Estilo (Código vs. Palabras):
Analizaron problemas matemáticos que podían resolverse escribiendo código O escribiendo en inglés llano.
- Escenario 1: Le dieron al modelo una mezcla de problemas, pero cada problema tenía un solo estilo de solución (algunos eran código, otros palabras).
- Escenario 2: Le dieron al modelo la misma mezcla, pero para cada problema individual, mostraron tanto la solución en código como la solución en palabras.
- Resultado: En el Escenario 1, el modelo se confundió y comenzó a elegir un estilo basándose en pistas insignificantes y irrelevantes (como el orden de las palabras), encogiendo sus opciones. En el Escenario 2, donde el modelo vio ambas opciones para el mismo problema, se mantuvo flexible y mantuvo su "mapa" amplio.

Las "Pistas Espurias" (Los Malos Hábitos)

Como el modelo se ve obligado a elegir en estas "bifurcaciones" sin conocer la respuesta correcta, comienza aferrándose a pistas espurias (señales falsas).

Ejemplo: Si el problema comienza con la palabra "Sea", el modelo podría decidir: "Bien, usaré el estilo de pensamiento 'Retroceso'". Si comienza con "Para", podría decidir: "Bien, usaré el estilo 'Lineal'".
El modelo no está realmente pensando en las matemáticas; solo está reaccionando a la primera palabra. Esto lo hace frágil. Si cambias la primera palabra, el modelo podría cambiar a un modo de pensamiento completamente diferente (y peor).

La Solución: Mover el Primer Paso

El artículo ofrece dos formas de solucionar esto sin reentrenar todo el modelo:

Mejor Diseño de Datos: Al crear datos de entrenamiento, no solo mezcles diferentes tipos de problemas. Para cada problema específico, muestra al modelo múltiples formas válidas de resolverlo. Esto le enseña al modelo que "en esta bifurcación, ambos caminos son posibles".
El Truco de la "Primera Palabra": Dado que el modelo se atasca en la muy primera palabra que genera, los investigadores descubrieron que podían "mover" el inicio. Al obligar al modelo a intentar comenzar con diferentes palabras comunes (como "Bien", "Vamos", o "Para"), podían desbloquear los diferentes estilos de pensamiento que estaban bloqueados.
- Analogía: Es como una puerta atascada. El modelo piensa que la puerta está cerrada con llave, pero si empujas el pomo en una dirección ligeramente diferente (cambiar la primera palabra), la puerta se abre y el modelo recuerda todos los caminos que solía conocer.

La Conclusión

El artículo concluye que los modelos de IA no "olvidan" cómo ser diversos. Simplemente quedan atrapados en un solo camino porque sus datos de entrenamiento los forzaron a tomar decisiones a ciegas en las "bifurcaciones en el camino" sin mostrarles las alternativas. Al cambiar cómo presentamos estas opciones en los datos, o al empujar ligeramente al modelo al muy inicio de su respuesta, podemos recuperar esa diversidad perdida.

Resumen Técnico: ¿Por Qué Pierden Cobertura los Modelos de Razonamiento? El Papel de los Datos y los Bifurcaciones en el Camino

Enunciado del Problema

Los avances recientes en modelos de razonamiento, logrados mediante procedimientos de post-entrenamiento especializados como el Ajuste Fino Supervisado (SFT) y el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR), han mejorado significativamente la precisión pass@1 (la probabilidad de que la primera solución generada sea correcta). Sin embargo, se ha observado un fenómeno contraintuitivo conocido como retracción de la cobertura: mientras que el pass@1 mejora, el pass@k (la probabilidad de que aparezca al menos una solución correcta en $k$ muestras independientes) se degrada en comparación con el modelo base.

La literatura previa ha atribuido en gran medida esta retracción a la dinámica de optimización del RLVR, sugiriendo que el entrenamiento impulsado por recompensas sobreenfatiza caminos estrechos y de alta recompensa, lo que conduce al colapso de modos. No obstante, evidencia reciente indica que la retracción también ocurre bajo SFT, lo que implica que la causa raíz podría no ser el algoritmo en sí, sino un impulsor más fundamental. Este artículo investiga la hipótesis de que la estructura de los datos, específicamente la presencia de "bifurcaciones en el camino" (puntos de decisión donde existen múltiples trayectorias de razonamiento válidas pero la racionalidad para la selección está oscurecida), es el impulsor principal de la retracción de la cobertura.

Metodología

Los autores proponen una visión centrada en los datos, argumentando que los problemas de razonamiento a menudo implican puntos de decisión donde un modelo debe elegir entre múltiples estrategias válidas sin saber cuál tendrá éxito. Si los datos de entrenamiento solo exponen la trayectoria exitosa (sesgo de supervivencia) sin explicar la elección, el modelo aprende a depender de señales espurias para resolver la ambigüedad, suprimiendo eventualmente las trayectorias alternativas.

Para probar esto, los autores diseñaron estudios de caso controlados que aíslan estos puntos de decisión:

Navegación de Grafos (Tarea Sintética):
- Configuración: Una tarea de navegación en un grafo estrella donde un modelo debe transitar desde un nodo de inicio hasta un objetivo. El grafo contiene "nodos indescifrables" (puntos de ramificación) donde múltiples ramas son continuaciones válidas, pero solo una conduce al objetivo.
- Variantes:
  - Hacia adelante: El modelo debe navegar desde la fuente hasta el objetivo, encontrando puntos de ramificación (puntos de decisión).
  - Inverso (sin DP): El modelo navega desde el objetivo hasta la fuente, presentando la solución en orden inverso, eliminando efectivamente la necesidad de selección de ruta.
- Modelos: Evaluados en Qwen2.5-0.5B y EvoLM-1B.
Selección de Modo de Razonamiento (Tareas del Mundo Real):
- Lenguaje Natural (LN) vs. Código: Los autores analizaron conjuntos de datos de razonamiento matemático (OpenMathInstruct-1 y 2) para comparar dos estructuras de diversidad de datos:
  - Diversidad a nivel de datos: El conjunto de datos está equilibrado globalmente (50% LN, 50% Código), pero cada problema se resuelve con un solo modo.
  - Diversidad a nivel de problema: Cada problema se presenta con ambas soluciones en LN y Código en los datos de entrenamiento.
- Lineal vs. Retroceso: Utilizando modelos de razonamiento destilados (por ejemplo, variantes de DeepSeek-R1), los autores examinaron cómo los tokens de prefijo iniciales (por ejemplo, "Okay", "Let", "To") actúan como puntos de decisión que comprometen al modelo con estructuras de razonamiento lineales o de retroceso.
Estrategias de Mitigación:
- Diseño de Datos: Comparación de los efectos de la diversidad a nivel de problema frente a la diversidad a nivel de datos.
- Intervención en Tiempo de Inferencia: Prueba de un mecanismo de decodificación de "Top-k prefix" donde se fuerza al modelo a comenzar desde diferentes tokens iniciales de alta probabilidad para recuperar la diversidad.

Resultados Clave

1. Los Puntos de Decisión Impulsan la Retraición

En la tarea de Navegación de Grafos, los modelos entrenados en la configuración Hacia adelante (con puntos de decisión) mostraron un patrón clásico de retracción: el pass@1 mejoró, pero el pass@k se degradó significativamente a medida que avanzaba el entrenamiento. Por el contrario, los modelos entrenados en la configuración Inversa (sin puntos de decisión) mantuvieron un alto rendimiento en pass@k a través de todos los valores de $k$ .

Análisis de Confianza: Los modelos entrenados con puntos de decisión se volvieron excesivamente seguros en los puntos de ramificación, asignando alta probabilidad tanto a ramas correctas como incorrectas. Esto sugiere que aprendieron a comprometerse con una ruta basándose en señales espurias en lugar de en una incertidumbre calibrada.

2. La Estructura de la Diversidad Importa

En la tarea de Selección de Modo de Razonamiento, la configuración de Diversidad a nivel de datos (equilibrio global, modo único por problema) resultó en una severa retracción de la cobertura. El modelo se volvió cada vez más seguro al seleccionar un único modo (LN o Código) por problema, lo que llevó a una distribución bimodal y a una degradación del pass@k.

En contraste, la configuración de Diversidad a nivel de problema (múltiples modos por problema) mantuvo un rendimiento estable en pass@k. Esto indica que la cobertura no está determinada únicamente por la cantidad de diversidad en el conjunto de datos, sino por cómo esa diversidad está estructurada dentro de los problemas individuales.

3. Fragilidad en los Puntos de Decisión

El análisis del razonamiento Lineal vs. Retroceso reveló que los modelos son altamente sensibles a los tokens de prefijo iniciales. Pequeños cambios en el primer token (por ejemplo, "Okay" vs. "Let") podían desplazar drásticamente el modo de razonamiento del modelo, la longitud de la respuesta y la precisión.

Sobrerazonamiento/Subrazonamiento: Los modelos a menudo aplicaban el modo de razonamiento incorrecto por defecto (por ejemplo, retroceso en preguntas factuales simples o pensamiento lineal en aritmética contrafactual compleja). Sin embargo, manipular el prefijo podía recuperar el modo apropiado e impulsar significativamente el rendimiento (hasta un 60% en tareas específicas).

4. Mitigación mediante Intervención en Tiempo de Inferencia

Los autores demostraron que la retracción de la cobertura no es una pérdida permanente de capacidad, sino una supresión de trayectorias alternativas. Al aplicar una estrategia de muestreo de prefijo Top-k (forzando al modelo a comenzar desde tokens iniciales diversos) durante la inferencia, pudieron recuperar la cobertura perdida.

Resultado: Mientras que la decodificación estándar mostraba un pass@k decreciente en etapas posteriores del entrenamiento, la configuración Top-8 mantuvo un alto pass@k, reactivando efectivamente las trayectorias de razonamiento suprimidas sin necesidad de reentrenamiento adicional.

Contribuciones Clave

Hipótesis Centrada en Datos: El artículo identifica las "bifurcaciones en el camino" (puntos de decisión con racionalidad oscurecida) en los datos de ajuste fino como un impulsor clave de la retracción de la cobertura, desafiando la visión de que la retracción es únicamente un artefacto de algoritmos de optimización como el RLVR.
Evidencia Empírica Controlada: A través de tareas de grafos sintéticos y análisis de modos de razonamiento del mundo real, los autores proporcionan evidencia de que la prevalencia y la estructura de los puntos de decisión se correlacionan fuertemente con la gravedad de la retracción de la cobertura.
Perspectiva sobre la Estructura de la Diversidad: El estudio revela que cómo se distribuye la diversidad (por problema vs. entre problemas) es crítico; la diversidad por problema es mucho más efectiva para preservar la cobertura.
Mitigación Práctica: El artículo introduce dos estrategias para controlar la retracción:
- Diseñar datos sintéticos para exponer múltiples modos de razonamiento dentro de problemas individuales.
- Utilizar la perturbación de prefijos en tiempo de inferencia para recuperar la diversidad suprimida, demostrando que la capacidad de razonamiento del modelo es latente y no perdida.

Significado

El artículo argumenta que la retracción de la cobertura es un artefacto impulsado por datos donde los modelos aprenden a bloquear trayectorias de razonamiento alternativas detrás de puntos de decisión no calibrados. Al desplazar el enfoque de la optimización algorítmica a la curación de datos y la intervención en tiempo de inferencia, los autores sugieren que la cobertura perdida en los modelos de razonamiento no se olvida permanentemente, sino que simplemente se suprime. Estos hallazgos proporcionan una lente para mejorar el diseño de datos de post-entrenamiento y la escalabilidad en tiempo de prueba, destacando que el razonamiento efectivo requiere no solo encontrar la ruta correcta, sino mantener la capacidad de explorar múltiples rutas válidas cuando la "elección correcta" es ambigua.