💬 NLP

Understanding Performance Gap Between Parallel and Sequential Sampling in Large Reasoning Models

Este artículo investiga la brecha de rendimiento entre el muestreo paralelo y secuencial en Modelos de Razonamiento a Gran Escala, concluyendo que la principal causa de la superioridad del muestreo paralelo es la menor exploración generada por el condicionamiento en respuestas previas, en lugar de factores como el operador de agregación o la longitud del contexto.

Autores originales: Xiangming Gu, Soham De, Larisa Markeeva, Petar Veličković, Razvan Pascanu

Publicado 2026-04-08

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Xiangming Gu, Soham De, Larisa Markeeva, Petar Veličković, Razvan Pascanu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que tienes un equipo de genios (los Modelos de Razonamiento Grande o LRMs) y les das un problema muy difícil, como un acertijo de matemáticas complejo o un código de programación que no funciona. Tienes dos formas de pedirles la solución:

1. Las Dos Estrategias: "El Enjambre" vs. "El Entrenamiento"

Imagina que el problema es un laberinto gigante.

Muestreo Paralelo (El Enjambre): Le dices a 100 genios: "¡Corran todos al mismo tiempo por caminos diferentes! Cuando terminen, nos reunimos, miramos todos sus mapas y elegimos el que parece mejor".
- Ventaja: Tienen mucha variedad. Si uno se equivoca, otro puede haber encontrado la salida. Al final, eligen la mejor opción entre todos.
Muestreo Secuencial (El Entrenamiento): Le dices a un solo genio: "Primero, intenta resolverlo. Luego, mira tu intento, piensa '¿qué hice mal?', y vuelve a intentarlo basándote en lo que acabas de hacer". Repites esto 10 veces.
- Teoría: Pensarías que esto es mejor, porque el genio aprende de sus errores y debería mejorar con cada intento, como un atleta que entrena día tras día.

2. El Gran Descubrimiento: ¿Quién gana?

El papel descubre algo sorprendente: El "Enjambre" (Paralelo) gana casi siempre, incluso cuando el "Entrenamiento" (Secuencial) debería ser más inteligente.

¿Por qué? El equipo de investigadores (de Google DeepMind y la Universidad Nacional de Singapur) propuso tres sospechosos para explicar por qué el entrenamiento falla:

Sospechoso 1: ¿Es el "Juez" el culpable?

La idea: Quizás el Enjambre gana porque tiene un "juez" que elige la mejor respuesta entre 100, mientras que el Entrenamiento solo toma la última respuesta.
La realidad: ¡Falso! Incluso si le das al Entrenamiento un "juez" perfecto para elegir la mejor de sus 10 versiones, sigue perdiendo contra el Enjambre. No es el juez.

Sospechoso 2: ¿Es el "Contexto" (la memoria) el culpable?

La idea: Quizás el Entrenamiento falla porque tiene que recordar todo lo que hizo antes (un contexto muy largo), y eso confunde al genio.
La realidad: ¡Falso! Los investigadores probaron ponerle al genio textos largos e irrelevantes (como leer un libro de cocina mientras resuelve matemáticas) y el genio no se confundió. El problema no es que la memoria sea larga.

Sospechoso 3: La "Pereza" y la "Ceguera de Túnel" (¡El verdadero culpable!)

La idea: Aquí está la clave. Cuando un genio tiene que mirar su trabajo anterior para mejorar, se vuelve perezoso y se queda atascado.
La Analogía: Imagina que estás dibujando un mapa. Si te piden que mejores tu dibujo mirando el anterior, tiendes a hacer cambios muy pequeños o a copiar casi todo lo que hiciste antes porque es más fácil. No te atreves a tirar el dibujo y empezar desde cero con una idea loca y nueva.
El fenómeno: Los modelos de IA desarrollan lo que llaman "Cabezas de Inducción". Es como si el cerebro del modelo dijera: "Voy a copiar lo que hice antes porque parece seguro". En lugar de explorar 100 caminos nuevos (como el Enjambre), el Entrenamiento se queda dando vueltas en el mismo camino, haciendo cambios mínimos que no solucionan el problema real. Se quedan "atascados" en un bucle de errores.

3. ¿Cómo se arregla esto?

El papel muestra que si le das al genio del Entrenamiento una crítica muy específica y dura (por ejemplo, no solo decirle "está mal", sino decirle exactamente por qué falló en una prueba oculta), puede mejorar un poco. Pero incluso así, le cuesta mucho igualar la creatividad y la variedad del Enjambre.

En Resumen (La Metáfora Final)

Muestreo Paralelo: Es como tener 100 exploradores que salen a buscar el tesoro por caminos distintos. Si uno se pierde, los otros siguen buscando. Al final, eligen el mapa ganador. Es exploración pura.
Muestreo Secuencial: Es como tener un solo explorador que, cada vez que se equivoca, mira su mapa anterior y trata de corregirlo. El problema es que tiende a copiar su error anterior en lugar de pensar en un camino totalmente nuevo. Se vuelve "perezoso" y se queda atrapado en un bucle.

La lección: A veces, para resolver problemas muy difíciles, es mejor tener muchas opiniones diferentes e independientes (Paralelo) que intentar perfeccionar una sola idea una y otra vez (Secuencial), porque nuestra mente (y la de las IAs) tiende a quedarse atascada en lo que ya conocemos.

Título: Comprensión de la Brecha de Rendimiento entre el Muestreo Paralelo y Secuencial en Modelos de Razonamiento a Gran Escala (LRMs)

1. Planteamiento del Problema

Los Modelos de Razonamiento a Gran Escala (LRMs), como OpenAI o1, DeepSeek-R1 y Gemini, han demostrado capacidades superiores en tareas complejas (matemáticas y codificación) al extender sus trazas de pensamiento. Sin embargo, existe un límite en la escalabilidad de los tokens de pensamiento (puede ocurrir "sobre-pensamiento" o inverse test-time scaling).

Para superar esto, se han propuesto dos estrategias de muestreo para generar múltiples soluciones:

Muestreo Paralelo: Generar $N$ soluciones independientes a partir de un mismo prompt y luego agregarlas (ej. votación mayoritaria o best-of-N).
Muestreo Secuencial: Generar soluciones en una cadena, donde cada nueva solución se basa en la respuesta anterior (con mecanismos de auto-refinamiento o corrección de errores).

El problema central: A pesar de que el muestreo secuencial teóricamente posee mayor poder de representación al tener acceso al historial completo, la evidencia empírica muestra consistentemente que el muestreo paralelo supera al secuencial. El objetivo del artículo es entender las causas raíz de esta brecha de rendimiento.

2. Metodología

Los autores proponen tres hipótesis para explicar por qué el muestreo paralelo es superior y diseñan una serie de experimentos rigurosos para validarlas:

Hipótesis (i): El muestreo paralelo es mejor debido al operador de agregación.
Hipótesis (ii): El muestreo secuencial se ve perjudicado por la necesidad de usar contextos de entrada más largos.
Hipótesis (iii): El muestreo secuencial conduce a una menor exploración debido a la condicionamiento en respuestas anteriores (el modelo se vuelve "perezoso" o repetitivo).

Configuración Experimental:

Modelos: Se evaluaron diversas familias y tamaños: Qwen3 (8B, 14B), DeepSeek-R1 (distilados 7B, 14B) y Gemini 2.5 (Flash, Pro).
Dominios:
- Matemáticas: Competencia AIME2025 (30 problemas).
- Codificación: LiveCodeBench v5 (167 problemas de dificultad variable).
Variaciones de Muestreo Secuencial:
- Auto-regresivo: Incluye todo el historial de pensamientos y soluciones anteriores.
- Markov (de primer orden): Solo considera la última solución y un prompt de retroalimentación.
Análisis Mecanístico: Se utilizaron mapas de atención para visualizar el comportamiento interno de los modelos (cabezas de inducción).

3. Contribuciones Clave y Resultados

A. Evaluación de las Hipótesis:

Sobre la Agregación (Hipótesis i):
- Se aplicaron los mismos operadores de agregación (votación mayoritaria para matemáticas, best-of-N para código) al muestreo secuencial.
- Resultado: Aunque la agregación suaviza la curva de rendimiento, no cierra la brecha. Incluso con un verificador ideal (perfect verifier) para seleccionar la mejor solución secuencial, el muestreo paralelo sigue superando al secuencial.
Sobre la Longitud del Contexto (Hipótesis ii):
- Se comparó la longitud del contexto de entrada y el contexto total. El muestreo secuencial auto-regresivo puede alcanzar contextos de 20k+ tokens, mientras que el paralelo usa ~1-2k.
- Resultado: Se realizaron experimentos inyectando contextos irrelevantes largos (hasta 32k tokens) en el muestreo paralelo. No se observó degradación en el rendimiento. Por lo tanto, la longitud del contexto no es la causa principal de la brecha.
Sobre la Exploración y "Pereza" (Hipótesis iii):
- Hallazgo Principal: El muestreo secuencial sufre de una falta de exploración significativa. Los modelos tienden a ser "perezosos", generando soluciones casi idénticas o verbales a las anteriores, incluso cuando se les pide corregir errores.
- Evidencia Cuantitativa: Se midió la similitud coseno entre soluciones. Las soluciones secuenciales tienen una similitud mucho más alta (0.98-0.99) que las paralelas (0.95-0.97), indicando una diversidad muy baja.
- Evidencia Cualitativa: En casos de codificación, el modelo se queda "atascado" en el mismo error de prueba pública y repite el mismo código fallido en múltiples rondas, en lugar de explorar nuevas estrategias.

B. Análisis Mecanístico (Cabezas de Inducción):

Mediante la visualización de los mapas de atención, los autores identificaron el uso de cabezas de inducción (induction heads) en el muestreo secuencial.
Estas cabezas permiten al modelo "mirar hacia atrás" y copiar patrones de soluciones anteriores.
Conclusión: Independientemente de si las respuestas anteriores eran correctas o incorrectas, el modelo tiende a copiar el patrón de la solución previa, limitando drásticamente la exploración de nuevas soluciones y atrapándose en óptimos locales.

C. Excepciones y Matices:

Cuando se proporciona una retroalimentación de alta calidad (errores de ejecución basados en pruebas privadas y públicas, no solo públicas), el muestreo secuencial puede mejorar significativamente y acercarse al rendimiento del paralelo en algunos modelos (como Gemini 2.5 Flash y DeepSeek-R1-14B). Sin embargo, en preguntas muy difíciles, el paralelo sigue siendo superior.

4. Significado e Impacto

Revelación del "Tunnel Vision": El trabajo identifica y valida empíricamente un fenómeno de "visión de túnel" en los LRMs, donde la dependencia de soluciones anteriores bloquea la capacidad de explorar el espacio de soluciones, un problema que no se resuelve simplemente aumentando el presupuesto de tokens o agregando contexto.
Implicaciones para la Inferencia: Sugiere que, para escalar el rendimiento en tareas de razonamiento complejo, el muestreo paralelo es una estrategia más robusta y eficiente que el refinamiento secuencial iterativo, a menos que se puedan proporcionar mecanismos de retroalimentación externos de muy alta calidad.
Diseño de Modelos Futuros: Los resultados indican que las arquitecturas o estrategias de entrenamiento deben enfocarse en mitigar la tendencia a la copia de patrones (inducción) durante la generación secuencial para permitir una verdadera auto-corrección y exploración.

En resumen, el artículo concluye que la falta de exploración (debida a la dependencia condicional de respuestas anteriores y la activación de mecanismos de copia de patrones) es la causa principal de la brecha de rendimiento, superando en importancia a los factores de agregación o longitud de contexto.