🤖 AI

xPress: Parallel Refinement for Diffusion Drafters in Speculative Decoding

El artículo propone xPress, un refinador causal ligero que restaura las dependencias faltantes en los draft de difusión por bloques mediante el refinamiento paralelo, aumentando significativamente la longitud de aceptación y el rendimiento de extremo a extremo en la decodificación especulativa en comparación con métodos existentes como dFlash.

Autores originales: Zheng Wang, Davis Wertheimer, Yu Chin Fabian Lim, Mudhakar Srivatsa, Raghu K. Ganti, Minjia Zhang, Naigang Wang

Publicado 2026-08-04

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Zheng Wang, Davis Wertheimer, Yu Chin Fabian Lim, Mudhakar Srivatsa, Raghu K. Ganti, Minjia Zhang, Naigang Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La carrera por hablar más rápido: Por qué la IA necesita un mejor sistema de redacción

Imagina que estás intentando escribir una historia, pero tienes una regla estricta: solo puedes escribir una palabra a la vez, y debes esperar a que un editor superinteligente revise tu palabra antes de poder escribir la siguiente. Así es como funcionan la mayoría de los modelos de lenguaje de IA más potentes hoy en día. Son increíblemente precisos, pero también dolorosamente lentos porque tienen que revisar cada palabra una por una. Para acelerar esto, los científicos inventaron un truco llamado "decodificación especulativa". Piensa en esto como un asistente rápido y un poco menos cuidadoso que adivina las siguientes palabras por ti. Si el editor superinteligente está de acuerdo con las suposiciones del asistente, puedes escribir todas esas palabras a la vez, saltándote el tiempo de espera.

El problema es que el asistente suele ser demasiado entusiasta. Adivina palabras que suenan bien por sí solas pero que no encajan bien entre sí en una oración, como un chef que elige ingredientes deliciosos pero olvida comprobar si saben bien juntos. Recientemente, se creó un nuevo tipo de asistente llamado "redactor de difusión" (diffusion drafter). En lugar de adivinar palabra tras palabra, intenta adivinar un bloque entero de palabras a la vez, como lanzar un puñado de piezas de un rompecabezas sobre la mesa. Esto es superrápido, pero como las lanza todas a la vez, las piezas a menudo no conectan correctamente. El editor superinteligente tiene que rechazar la mayoría de ellas, lo que ralentiza todo de nuevo. La gran pregunta que se hacen los investigadores es: ¿Podemos mantener la velocidad del adivinador de "todo a la vez" pero arreglar los errores para que el editor realmente acepte las palabras?

Presentamos xPress: El "refinador paralelo" que arregla el rompecabezas

Este artículo presenta una solución ingeniosa llamada xPress. Los autores, trabajando con modelos como Qwen3-8B, se dieron cuenta de que, aunque el rápido "redactor de difusión" es excelente adivinando un bloque de palabras, pierde la regla crucial de que las palabras dependen unas de otras (causalidad). Por ejemplo, si la primera palabra es "ella", la siguiente no debería ser "son", incluso si "son" es una palabra común por sí sola. El redactor de difusión no sabe esto porque adivina todo simultáneamente.

Para solucionar esto, xPress actúa como un refinador causal ligero. Imagina que el redactor de difusión lanza un puñado de piezas de un rompecabezas sobre la mesa. xPress es una mano rápida e inteligente que mira todo el montón a la vez y empuja las piezas hacia el orden correcto sin desarmarlas una por una. Lo hace utilizando una técnica llamada decodificación de Jacobi. En lugar de arreglar el rompecabezas pieza por pieza (lo cual es lento), xPress mira la imagen completa, realiza un ajuste rápido a cada pieza simultáneamente y luego vuelve a mirar. Repite este ciclo de "mirar y empujar" solo unas pocas veces (generalmente alrededor de 4 a 6 veces) hasta que las piezas encajan perfectamente en su lugar.

Los resultados son impresionantes. Al usar xPress, el sistema puede aceptar aproximadamente un 30% más de las palabras adivinadas en promedio en comparación con el redactor rápido original. En algunas pruebas específicas, como la resolución de problemas matemáticos, la aceleración fue tan alta como un 56%. Al medir la velocidad total de la IA al hablar, xPress hizo que el proceso fuera 1.3 veces más rápido en promedio, y hasta 1.7 veces más rápido en los mejores casos, en comparación con el método original.

El artículo argumenta explícitamente en contra de otras dos formas en las que la gente ha intentado solucionar este problema. Un método implica construir un gigante "árbol" de suposiciones, lo cual es complejo y costoso de ejecutar. Otro método utiliza una "cabeza de Markov" que arregla las palabras una por una en una línea estricta, lo cual es preciso pero lento porque pierde la ventaja de velocidad de adivinar todo a la vez. Los autores demuestran que xPress supera a ambos: es más rápido que el corrector lento paso a paso y más simple que el complejo método del árbol.

El estudio confirma que xPress funciona inyectando "información causal" (la regla de que las palabras dependen de las palabras anteriores) de nuevo en el sistema rápido sin ralentizarlo. Probaron esto en pruebas de matemáticas, programación y chat, encontrando que xPress superó consistentemente a la competencia. El artículo sugiere que este enfoque es una mejora sólida y medida que permite que la IA sea rápida y precisa, demostando que no tienes que sacrificar la calidad por la velocidad si tienes la forma correcta de refinar tus suposiciones.

Resumen Técnico: xPress: Refinamiento Paralelo para Drafters de Difusión en Decodificación Especulativa

1. Declaración del Problema

La decodificación especulativa (SD) acelera la generación autorregresiva utilizando un drafter ligero para proponer tokens que luego son verificados por un modelo objetivo más grande. Aunque los drafters autorregresivos (AR) (por ejemplo, EAGLE) son efectivos, sufren de una sobrecarga secuencial cuando generan bloques largos. Los drafters de difusión por bloques (por ejemplo, dFlash) abordan esto generando un bloque entero de tokens en una única pasada hacia adelante (forward pass) paralela, lo que reduce drásticamente la latencia de la propuesta (drafting).

Sin embargo, los drafters de difusión poseen una limitación fundamental de precisión: predicen tokens basándose en distribuciones marginales en lugar de distribuciones conjuntas. En un proceso de difusión de una sola pasada, el token $k$ se muestrea sin condicionarse a los valores realizados de los tokens $1 $a$ k-1$. Esta falta de causalidad intra-bloque conduce a secuencias donde los tokens individuales son localmente probables pero conjuntamente incoherentes (por ejemplo, falta de concordancia entre sujeto y verbo). Durante la verificación, el modelo objetivo rechaza estas secuencias incoherentes prematuramente, lo que limita severamente la longitud de aceptación ( $\tau$ ) y niega el potencial de aceleración del drafting paralelo.

Las soluciones existentes, como el drafting basado en árboles (por ejemplo, PRESTO, DDTree), intentan mitigar esto expandiendo el espacio de candidatos hacia un árbol. Sin embargo, estos métodos son computacionalmente costosos, complejos de implementar en producción y a menudo eluden el problema apuntando al recall en lugar de solucionar la incoherencia causal subyacente.

2. Metodología: xPress

Los autores proponen xPress, un refinador causal ligero diseñado para restaurar las dependencias causales faltantes en los drafters de difusión sin revertir a un bucle autorregresivo lento de token por token.

2.1 Concepto Central

xPress opera como un "refinador causal" que toma la propuesta inicial de bloque del drafter de difusión y la reconcilia mediante refinamiento paralelo. En lugar de regenerar los tokens secuencialmente, xPress inyecta información causal en los logits del drafter de difusión para corregir las distribuciones marginales.

2.2 Arquitectura

El refinador es un módulo ligero que añade un sesgo de logit (logit bias) aprendido ( $\delta_k$ ) a los logits base del drafter ( $s_k$ ) en cada posición $k$ . La arquitectura consta de cuatro etapas:

Fuse (Fusionar): Proyecta tres entradas en un espacio de bajo rango ( $r=256$ $r = 256$ ):
- El estado oculto por posición del drafter ( $h_k$ ).
- Un resumen global del bloque ( $g$ ) obtenido mediante mean-pooling.
- El embedding del token anterior propuesto ( $x_{k-1}$ ).
Mix (Mezclar): Aplica un mezclador lineal estrictamente triangular inferior ( $L$ ) a través de las posiciones del bloque. Esto permite que la posición $k$ agregue información de todos los predecesores ( $j \le k$ ) en una sola operación, imponiendo una estructura causal sin computación secuencial.
Trans (Transformar): Un MLP residual en el espacio de bajo rango.
Read (Leer): Proyecta el resultado de vuelta al tamaño del vocabulario para producir el sesgo $\delta_k$ .

El logit refinado final es $\ell_k = s_k + \delta_k$ .

2.3 Refinamiento Paralelo mediante Decodificación Jacobi

Un refinador causal directo requeriría un paso secuencial de izquierda a derecha, reintroduciendo la latencia que xPress busca evitar. Para resolver esto, xPress emplea decodificación Jacobi:

Inicialización: El bloque se siembra con las predicciones greedy iniciales del drafter.
Iteración: Todas las posiciones se actualizan simultáneamente en paralelo utilizando el estado actual del bloque como el prefijo para la siguiente iteración.
Convergencia: El proceso se repite durante $K$ iteraciones. Teóricamente, para un bloque de tamaño $B$ , el punto fijo secuencial se alcanza en un máximo de $B$ iteraciones. Empíricamente, los autores encuentran que $K \approx 6$ iteraciones son suficientes para igualar la longitud de aceptación de un decodificado secuencial completo, ya que la semilla del drafter ya es una propuesta de alta calidad.

2.4 Estrategia de Entrenamiento

xPress se entrena conjuntamente con el drafter de difusión utilizando una función de pérdida compuesta:

Entropía Cruzada (Teacher Forcing): Maximiza la probabilidad del token real dado el prefijo real.
Pérdida de Variación Total (TV Loss): Minimiza la distancia entre la distribución refinada y la distribución del modelo objetivo, optimizando directamente para la tasa de aceptación.
Pérdida de Consistencia: Una pérdida auxiliar aplicada a una segunda pasada hacia adelante donde las entradas son las propias predicciones del drafter (auto-condicionada). Esto alinea la distribución de entrenamiento con el proceso Jacobi de inferencia, evitando que el refinador se sobreajuste a los prefijos de oro (gold prefixes).
Ancla del Drafter (Drafter Anchor): Un término de pérdida aplicado a la salida del drafter base para asegurar que el modelo de difusión subyacente siga siendo de alta calidad.

3. Contribuciones Clave

Inyección de Dependencia Causal: xPress inyecta información causal en los drafters de difusión utilizando un mecanismo mínimo (proyección de bajo rango y un mezclador triangular) que opera sobre los estados ocultos del drafter, evitando la necesidad de incrementos de parámetros de gran escala.
Refinamiento Paralelo: Al utilizar la decodificación Jacobi, xPress resuelve las dependencias causales en paralelo. Logra el efecto de $B$ pasos autorregresivos dependientes utilizando solo $K \ll B$ iteraciones paralelas, preservando los beneficios de velocidad del drafting paralelo.
Ganancias de Extremo a Extremo Consistentes: El método mejora significamente tanto la longitud de aceptación como el rendimiento (throughput) sin modificar el proceso de verificación ni requerir un drafter más grande.

4. Resultados Experimentales

Los experimentos se realizaron en Qwen3-8B usando un drafter de difusión de bloque-16 sobre siete benchmarks (Math: GSM8K, MATH-500, AIME25; Code: HumanEval, MBPP, LiveCodeBench; Chat: MT-Bench).

Longitud de Aceptación: xPress aumenta la longitud de aceptación promedio en aproximadamente un 30% en comparación con el drafter de difusión dFlash original.
- Bajo decodificación greedy ( $T=0$ ), las ganancias oscilan entre 18% y 56%.
- Bajo muestreo ( $T=1$ ), las ganancias oscilan entre 19% y 58%.
Aceleración de Rendimiento (Throughput Speedup):
- Greedy ( $T=0$ ): xPress logra una aceleración de extremo a extremo promedio de 1.3× sobre el drafter dFlash, con picos de hasta 1.7× (por ejemplo, en GSM8K).
- Muestreo ( $T=1$ ): La aceleración mejora a un promedio de 1.46×, alcanzando hasta 1.6×.
Comparación con Refinadores Secuenciales: Al compararlo con el Markov head (un refinador causal secuencial de DSpark), xPress iguala o supera su longitud de aceptación mientras corre significativamente más rápido.
- Con $K=4$ iteraciones Jacobi, xPress iguala la precisión del Markov head pero corre 1.6× más rápido (379 µs frente a 601 µs por bloque).
- El Markov head requiere un decodificado serial fijo de 15 pasos, mientras que xPress converge en menos pasos paralelos.
Escalabilidad: En escenarios de servicio de grandes lotes (batches) (vLLM, tamaños de lote 16 y 32), xPress mantiene su ventaja. Aunque las aceleraciones absolutas sobre la línea base AR se comprimen a medida que los lotes crecen (debido a la verificación limitada por cómputo), xPress supera consistentemente al drafter de difusión simple en un 1.2–1.4× en rendimiento, demostrando que los beneficios del refinador sobreviven bajo carga.

5. Significado y Reivindicaciones

El artículo afirma que xPress aborda el "desajuste inherente" entre el drafting de difusión paralelo y la verificación secuencial al reparar la distribución marginal misma en lugar de expandir el espacio de búsqueda.

Eficiencia: xPress demuestra que la información causal puede inyectarse con un costo casi nulo relativo a la sobrecarga del drafting. El costo de refinamiento es una fracción pequeña del tiempo total de drafting, y la naturaleza paralela del refinamiento evita las penalizaciones de latencia de la corrección secuencial.
Ortogonalidad: El método es ortogonal a otras mejoras; puede combinarse con drafters más grandes o métodos de verificación basados en árboles, ya que mejora los logits de la "columna vertebral" en los que estos métodos dependen.
Generalizabilidad: Los autores sugieren que la filosofía de reconciliar predicciones mutuamente dependientes mediante unas pocas iteraciones paralelas puede ser aplicable más allá de la decodificación especulativa, en cualquier lugar donde los modelos emitan salidas interdependientes simultáneamente.

El artículo concluye que xPress restaura con éxito la causalidad perdida en el drafting de difusión de una sola pasada, permitiendo cadenas de aceptación más largas y un mayor rendimiento sin sacrificar la eficiencia paralela que hace atractivos a los drafters de difusión.