💬 NLP

DBLAST: Dependent Block Drafting for Stochastic Speculative Decoding

El artículo presenta DBLAST, un redactor de bloques dependientes con un objetivo de entrenamiento orientado a la aceptación que supera las limitaciones del muestreo de bloques independientes en la decodificación especulativa estocástica, mejorando significativamente las longitudes de borrador aceptadas, particularmente en regímenes de alta entropía.

Autores originales: Amirmohammad Karimi, Chao Gao, Negar Hassanpour

Publicado 2026-08-07

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Amirmohammad Karimi, Chao Gao, Negar Hassanpour

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando adivinar la siguiente palabra en una historia que te cuenta un amigo. Si solo adivinas al azar, podrías acertar, pero toma mucho tiempo comprobar cada posibilidad. Ahora, imagina que tienes un asistente diminuto y súper rápido que puede gritar una oración entera de conjeturas a la vez. Tu amigo (el cerebro principal) luego comprueba rápidamente si esas conjeturas tienen sentido. Si las tienen, avanzas; si no, lo intentas de nuevo. Esta es la magia de la "decodificación especulativa", un truco utilizado para hacer que los cerebros de IA gigantes piensen más rápido. Usualmente, el asistente adivina palabras una por una, o adivina un bloque entero de palabras asumiendo que no dependen unas de otras. Pero aquí está el problema: cuando la historia se vuelve creativa, desordenada o impredecible (como escribir un poema o una aventura salvaje), esas conjeturas "independientes" suelen desmoronarse porque las palabras sí dependen unas de otras. El asistente adivina una palabra que encaja con el inicio, pero luego la siguiente palabra que adivina no encaja con la primera, y todo el bloque es rechazado. Este artículo profundiza en por qué sucede eso y cómo solucionarlo para que el asistente pueda manejar historias creativas y salvajes sin ralentizarse.

Los investigadores detrás de este artículo, trabajando en Huawei, notaron un problema específico con la forma en que estos asistentes de IA funcionan actualmente. Descubrieron que cuando se le pide a la IA principal que sea creativa —usando muestreo "estocástico" o aleatorio para generar finales diversos— la vieja forma de adivinar bloques de palabras falla. Es como un equipo de personas intentando adivinar un código secreto donde todos gritan un número de forma independiente. Si el código requiere que los números sigan un patrón específico (como "todos números pares"), las conjeturas independientes casi siempre fallarán porque no están hablando entre sí. El artículo muestra que a medida que la IA objetivo se vuelve más impredecible (mayor entropía), el número de conjeturas aceptadas cae significamente porque los redactores de bloques "independientes" no pueden capturar las conexiones ocultas entre las palabras en el bloque.

Para resolver esto, el equipo introdujo un nuevo método llamado DBLast (Redacción de Bloques Dependientes). En lugar de adivinar un bloque de palabras como si fueran ajenas entre sí, DBLast utiliza un ingenioso sistema de "mezcla latente". Piensa en esto de la siguiente manera: antes de que el asistente comience a adivinar el bloque, elige secretamente un "tema" o un "modo" de un pequeño menú (como "misterio", "comedia" o "tristeza"). Una vez elegido ese tema, todas las palabras en el bloque se generan para encajar con ese tema específico. Esto crea una historia coherente dentro del bloque, a pesar de que las palabras todavía se generan en un solo paso rápido. Es la diferencia entre un grupo de personas gritando palabras aleatorias frente a un grupo de personas que primero acuerdan un género y luego improvisan una escena juntos.

El artículo también cambió la forma en que se entrena al asistente. En lugar de solo enseñarle a ser "correcto" (coincidir con la probabilidad de la siguiente palabra), le enseñaron a ser "aceptado". Crearon un nuevo objetivo de entrenamiento que recompensa al asistente por adivinar bloques que la IA principal es probable que mantenga. Es como entrenar a un jugador de baloncesto no solo para lanzar el balón, sino para lanzar de una manera en que es probable que el árbitro le permita contar la canasta. Al combinar este proceso de adivinación "basado en temas" con un entrenamiento "enfocado en la aceptación", el nuevo método DBLast supera consistentemente a los viejos métodos independientes.

En sus experimentos, los investigadores probaron esto en los modelos Qwen3-4B y Qwen3-8B en diversas tareas, incluyendo matemáticas, programación y escritura creativa. Encontraron que DBLast mejoró consistentemente el número de tokens aceptados, especialmente cuando se le pedía a la IA que fuera creativa. En los entornos más impredecibles y de alta entropía, el nuevo método mejoró la longitud aceptada en un promedio del 12.1% para el modelo más grande. El artículo sugiere que este enfoque es una pieza clave faltante para hacer que la IA sea más rápida y eficiente cuando necesita ser creativa, demostiendo que lograr que el "equipo" se ponga de acuerdo en un tema antes de hablar es mucho mejor que que todos griten sus propias ideas independientes.

Resumen Técnico: DBlast – Redacción de Bloques Dependientes para la Decodificación Especulativa Estocástica

Planteamiento del Problema

La decodificación especulativa acelera la inferencia de los Modelos de Lenguaje de Gran Escala (LLM) mediante el uso de un redactor ligero que propone múltiples tokens futuros, los cuales un modelo objetivo luego verifica en paralelo. Si bien los redactores recientes basados en bloques (por ejemplo, DFlash) pueden predecir varias posiciones en una sola pasada, suelen depender del muestreo de bloques independientes. Este enfoque asume que los tokens dentro de un bloque de borrador son condicionalmente independientes dado el prefijo.

Esta suposición se mantiene bien para la decodificación codiciosa (greedy) o de baja entropía, pero se vuelve frágil en los regímenes de decodificación estocástica (no codiciosa), que son esenciales para tareas de contenido abierto como el diálogo, la escritura creativa y la exploración de aprendizaje por refuerzo. En entornos estocásticos, la distribución objetivo es deliberadamente diversa y múltiples continuaciones son plausibles. El artículo identifica un desajuste fundamental: mientras que el redactor muestrea tokens de forma independiente para igualar las distribuciones marginales del objetivo, el modelo objetivo los verifica secuencialmente, condicionando cada aceptación a los tokens previamente aceptados. En consecuencia, un bloque con marginales por posición precisos puede fallar en formar una trayectoria condicional coherente, lo que conduce a una degradación significativa de la longitud de borrador aceptada a medida que aumenta la entropía de la distribución de muestreo del objetivo.

Metodología

Los autores proponen DBlast (Dependent Block Drafting), un marco que inyecta dependencias en los redactores de difusión de bloques sin sacrificar la eficiencia de la predicción paralela. El método consta de dos componentes principales:

Muestreo de Bloques Dependientes mediante Mezcla Latente:
En lugar de factorizar la distribución de propuesta a través de las posiciones ( $q(x_{1:b}|y) = \prod q_i(x_i|y)$ ), DBlast introduce una variable latente categórica $z$ (una "rama" o "modo") para inducir correlaciones dentro del bloque. La distribución conjunta se modela como una mezcla de producto canónica de bajo rango (CP):
$q_{dep}(x_{1:b} | y) = \sum_{z=1}^{K} q(z | y) \prod_{i=1}^{b} q_i(x_i | y, z)$
- Arquitectura: El método modifica un redactor de estilo DFlash añadiendo un "expansor de estados ocultos de categoría" ligero que mapea los estados ocultos del transformador a $K$ desplazamientos específicos de la categoría, y una "cabeza de prioridad de categoría" para predecir $q(z|y)$ .
- Inferencia: Durante la inferencia, se muestrea una categoría latente (opcionalmente con una temperatura $Z_T$ ), y la rama correspondiente se decodifica de forma codiciosa en una sola pasada paralela. Esto preserva la eficiencia de una sola pasada del borrador de bloques mientras permite al modelo representar continuaciones alternativas y coherentes a nivel de bloque.
Objetivo de Entrenamiento Orientado a la Aceptación:
El entrenamiento estándar minimiza la Log-Verosimilitud Negativa (NLL) de los bloques objetivo, lo cual optimiza la verosimilitud de la propuesta pero ignora la naturaleza secuencial de la verificación especulativa. DBlast introduce un sustituto (surrogate loss) basado en la Longitud Aceptada Esperada (AL).
- El objetivo se deriva de la esperanza de la longitud del prefijo aceptado, descompuesta en eventos de aceptación de prefijos.
- Para manejar la inestabilidad del pesaje de importancia cuando las distribuciones del redactor y del objetivo tienen poca superposición (al inicio del entrenamiento), los autores proponen un sustituto de dominio logarítmico truncado por umbral. Este error suma la razón logarítmica de las probabilidades y el logaritmo de la longitud de aceptación condicional sobre los prefijos retenidos donde la razón de importancia supera un umbral $\tau$ .
- Este enfoque apunta directamente al comportamiento de aceptación secuencial del verificador, complementando el modelado de dependencia cuando la verosimilitud del bloque por sí sola es insuficiente.

Contribuciones Clave

Diagnóstico del Desajuste: Los autores demuestran empíricamente que el muestreo de bloques independiente falla cada vez más a medida que la decodificación del objetivo se vuelve menos determinista. Muestran que la longitud aceptada se degrada significativamente en regímenes de alta entropía porque las propuestas independientes carecen de la coherencia requerida para la verificación secuencial.
Muestreo de Bloques Dependientes: Introducen la primera aplicación de propuestas de mezcla latente de tipo CP a redactores de difusión de subpalabras (subword block-diffusion) para el muestreo especulativo no codicioso. Este método induce correlaciones entre las posiciones del bloque manteniendo la predicción de tokens en paralelo.
Pérdida Orientada a la Aceptación: Proponen un nuevo sustituto de entrenamiento motivado por la longitud aceptada esperada. Este objetivo, combinado con la truncación por umbral, proporciona una señal de entrenamiento estable que alinea al redactor con el proceso de verificación secuencial.

Resultados Experimentales

Los experimentos se realizaron utilizando modelos objetivo Qwen3-4B y Qwen3-8B a través de cuatro bancos de pruebas: GSM8K (matemáticas), MT-Bench (chat), HumanEval (codificación) y un banco de pruebas de escritura creativa. La evaluación cubrió tres regímenes de muestreo de objetivo que van desde un alto determinismo (Temperatura 0.7) hasta un bajo determinismo (Temperatura 1.5).

Ganancias de Rendimiento: DBlast superó consistentemente al muestreo de bloques independiente (DFlash) y a los modelos de base entrenados con NLL.
- En el entorno de alta entropía (Temp Objetivo 1.5), DBlast logró una ganancia promedio macro del 12.1% en la longitud aceptada para Qwen3-8B en comparación con la línea base independiente.
- Las ganancias fueron más pronunciadas en las regiones de bajo determinismo, confirmando que el modelado de dependencia es más valioso cuando múltiples continuaciones son plausibles.
Estudios de Ablación:
- Categorías Latentes ( $K$ ): Aumentar $K$ mejoró el rendimiento, observándose rendimientos decrecientes después de $K=4$ .
- Objetivo de Entrenamiento: La pérdida de aceptación (AL) superó consistentemente al entrenamiento con NLL, incluso para redactores independientes ( $K=1$ ), aunque la combinación de dependencia y AL produjo los mejores resultados.
- Temperatura de Inferencia: Calibrar la temperatura de muestreo de la categoría ( $Z_T$ ) permitió al redactor igualar mejor la estocasticidad de la distribución objetivo, mejorando aún más la longitud aceptada.

Significancia y Reivindicaciones

El artículo afirma que DBlast aborda una brecha crítica en la decodificación especulativa: la incapacidad de los actuales redactores de bloques para manejar la verificación estocástica de manera eficiente. Al demostrar que el modelado de dependencia dentro del bloque y el entrenamiento alineado con la aceptación son complementarios, los autores muestran que es posible lograr altas tasas de aceptación en diversos escenarios de decodificación no codiciosa sin sacrificar la eficiencia paralela que hace atractiva la decodificación especulativa.

Los autores señalan modestamente que, si bien su pérdida sustituta no es un estimador insesgado formal o un límite inferior, sirve como una señal de entrenamiento práctica y efectiva. También reconocen que la relación entre la mezcla latente suave utilizada durante el entrenamiento y la decodificación de rama codiciosa utilizada durante la inferencia sigue siendo un área abierta para la caracterización formal, aunque sus resultados empíricos demuestran una transferencia efectiva. El trabajo sugiere que los futuros sistemas de decodificación especulativa para la generación de contenido abierto deben ir más allá de la predicción de tokens independientes para capturar la coherencia estructural de las secuencias futuras.