PACER: Blockwise Pre-verification for Speculative Decoding with Adaptive Length

Resumen Técnico: PACER: Pre-verificación por bloques para la decodificación especulativa con longitud adaptativa

Planteamiento del problema
Los Modelos de Lenguaje de Gran Escala (LLMs) sufren una latencia de inferencia significativa debido a su naturaleza autorregresiva, la cual está limitada principalmente por el ancho de banda de la memoria en lugar de los límites computacionales. La Decodificación Especulativa (SD) aborda esto utilizando un modelo de "borrador" (draft model) más pequeño para predecir múltiples tokens por adelantado, los cuales son luego verificados en paralelo por el modelo "objetivo" (target model) más grande. Sin embargo, los enfoques de SD existentes emplean típicamente un tamaño de ventana de borrador fijo ($\gamma$) durante todo el proceso de decodificación.

Los autores identifican una ineficiencia crítica en este enfoque de ventana fija: el número óptimo de tokens de borrador varía significamente a través de los diferentes pasos de decodificación.

• Ventanas Conservadoras: Una ventana fija que es demasiado pequeña provoca que el modelo de borrador se detenga prematuramente, perdiendo oportunidades de generar tokens aceptados y forzando pasadas hacia adelante (forward passes) innecesarias y costosas por parte del modelo objetivo.
• Ventanas Agresivas: Una ventana fija que es demasiado grande conduce a un desperdicio de computación en tokens de borrador que finalmente son rechazados por el modelo objetivo.
  Los métodos actuales que intentan adaptar los tamaños de ventana dependen de salidas intrínsecas del modelo de borrador (por ejemplo, probabilidades de tokens o entropía), las cuales pueden ser poco fiables debido a la descalibración y sobreconfianza de los modelos. Otros enfoques paralelos (por ejemplo, PEARL) tienen dificultades con la programación de recursos cuando los modelos comparten el mismo dispositivo.

Metodología: PACER
El artículo propone PACER (Pre-verification for Adaptive Length), un marco que controla dinámicamente el tamaño de la ventana de borrador utilizando una capa de pre-verificación por bloques ligera y entrenable.

1. Generación por bloques y pre-verificación: En lugar de generar un número fijo de tokens, el modelo de borrador genera tokens en bloques de tamaño $b$. Después de que cada bloque es generado, una capa de pre-verificación ($M_B$) analiza los estados ocultos del bloque junto con los incrustamientos posicionales (positional embeddings) para estimar la probabilidad de aceptación de los tokens.
2. Criterio de parada adaptativo: El sistema calcula la tasa de aceptación estimada media para el bloque. Si esta tasa cae por debajo de un umbral dinámico $t$, la generación del borrador se detiene y los tokens acumulados se envían al modelo objetivo para su verificación formal. Si la tasa es alta, el modelo de borrador continúa generando el siguiente bloque.
3. Umbralización dinámica: Para evitar que el modelo de borrador genere secuencias excesivamente largas donde la probabilidad de aceptación decae naturalmente, el umbral $t$ se incrementa mediante un factor de crecimiento $\rho$ después de cada bloque exitoso. Esto hace que el criterio de parada sea progresivamente más estricto a medida que la longitud del borrador aumenta.
4. Entrenamiento: La capa de pre-verificación se entrena utilizando la pérdida de entropía cruzada estándar. Los datos de entrenamiento se construyen simulando el proceso de decodificación especulativa en el modelo objetivo para etiquetar los tokens de borrador como "aceptados" o "rechazados", asegurando la alineación entre el entrenamiento y la inferencia. Para mejorar la eficiencia, los datos de entrenamiento de múltiples pasos de decodificación se empaquetan en secuencias únicas con máscaras de atención personalizadas.

Contribuciones clave

• Análisis sistemático: Los autores proporcionan evidencia empírica que muestra que las longitudes de aceptación varían significativamente a través de los diferentes pasos de decodificación, demostrando que los tamaños de ventana fijos son subóptimos y que el ajuste dinámico puede teóricamente lograr una aceleración de hasta $1.4\times$.
• Marco novedoso: PACER introduce un mecanismo de pre-verificación por bloques entrenable que aprovecha la información contextual y la codificación posicional para determinar dinámicamente la longitud óptima del borrador, evitando la dependencia de métricas heurísticas poco fiables como la entropía.
• Compatibilidad: El marco está diseñado para ser ortogonal a otras mejoras de la decodificación especulativa, como Ouroboros (que mejora la calidad del borrador mediante la generación a nivel de frase).
• Evaluación exhaustiva: Se realizan experimentos extensos a través de múltiples familias de modelos (DeepSeek-Coder, Llama-2, Qwen-2.5) y diversos benchmarks (generación de código, razonamiento matemático, resumen).

Resultos

• Aceleración (Speedup): PACER logra una aceleración de hasta $2.66\times$ sobre la decodificación autorregresiva vanilla y supera consistentemente a la decodificación especulativa estándar con tamaños de ventana fijos en todos los benchmarks probados.
• Integración: Cuando se integra con Ouroboros, PACER alcanza una aceleración máxima de $3.09\times$ sobre la decodificación autorregresiva en el conjunto de datos GSM8K.
• Eficiencia: La capa de pre-verificación añade una sobrecarga mínima (aproximadamente el $2.1\%$ del tiempo de inferencia total en experimentos con DeepSeek-Coder 1.3B/33B) mientras reduce significativamente el número de pasadas hacia adelante del modelo objetivo.
• Estudios de ablación: El estudio confirma que tanto los incrustamientos posicionales como el factor de crecimiento del umbral son componentes críticos; eliminarlos conduce a velocidades de decodificación reducidas o longitudes de borrador ineficientes.

Significancia
El artículo afirma que PACER aborda eficazmente las limitaciones de la decodificación especulativa de ventana fija al introducir un mecanismo basado en datos y adaptativo. Al regular dinámicamente la longitud del borrador basándose en la pre-verificación contextual, PACER minimiza el desperdicio computacional de los borradores rechazados y reduce la sobrecarga de las frecuentes verificaciones del modelo objetivo. Los autores posicionan a PACER no como un reemplazo para las técnicas de generación de borradores de alta calidad, sino como una capa complementaria que optimiza la longitud de la especulación, desbloqueando así mayores ganancias de rendimiento en la aceleración de la inferencia de LLMs.