Resumen Técnico: Decodificación Especulativa Aproximada (ASD)

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) autorregresivos generan tokens secuencialmente, lo que crea un cuello de botella significativo en la inferencia debido a las ejecuciones repetidas de un modelo objetivo de gran tamaño. La decodificación especulativa aborda esto utilizando un modelo "borrador" (drafter) ligero para proponer un bloque de tokens futuros, los cuales son luego verificados en paralelo por el modelo objetivo.

Bajo la verificación codiciosa (greedy) estándar, el proceso es estrictamente binario: el verificador se compromete con el prefijo más largo de tokens del borrador que coincida exactamente con los tokens argmax (codiciosos) del modelo objetivo: El proceso se detiene ante la primera discrepancia, descartando los tokens restantes del borrador y añadiendo un único token de recuperación del objetivo. Este enfoque presenta dos limitaciones principales:

1. Truncamiento Binario Inherente: Trata un token del borrador con un logit del objetivo casi empatado (bajo arrepentimiento/regret) de la misma forma que un token fuertemente desfavorecido, deteniéndose inmediatamente ante cualquier discrepancia.
2. Computación Desperdiciada: En una pasada de verificación con enseñanza supervisada (teacher-forced), el modelo objetivo ya ha puntuado los tokens subsiguientes del borrador condicionándolos al prefijo (incluyendo la discrepancia). Si se acepta una discrepancia temprana, un sufijo contiguo de tokens subsiguientes puede ser ya "codicioso del objetivo" bajo este nuevo historial realizado. La verificación estándar descarta estos tokens reutilizables, requiriendo pasadas adicionales del modelo objetivo para recuperarlos.

El desafío central es que aceptar un token no codicioso altera la trayectoria de decodificación. Si bien esto puede desbloquear sufijos reutilizables, no es una optimización sin pérdidas; la acumulación incontrolada de discrepancias puede degradar la calidad de la tarea. El artículo postula que el objetivo no es ignorar las discrepancias, sino permitir un número acotado de excepciones explícitas mientras se controla su magnitud acumulada.

Metodología: Decodificación Especulativa Aproximada (ASD)

ASD es un método del lado del verificador libre de entrenamiento que reemplaza la regla de "truncamiento por primera discrepancia" con una estrategia de selección de prefijo más largo presupuestada. Opera sin modificar el modelo borrador, no requiere ajuste fino (fine-tuning) y no añade pasadas adicionales del modelo objetivo.

Mecanismos Centrales

1. Arrepentimiento Local del Logit del Objetivo (Local Target-Logit Regret):
   Para un token $x_i$ del borrador y un argmax $y^*_i$ del objetivo, ASD calcula el arrepentimiento local $r_i = z_i(y^*_i) - z_i(x_i)$, que representa la preferencia del objetivo por el token correcto sobre el token del borrador.

2. Sistema de Control de Tres Capas:
   ASD acepta una discrepancia solo si satisface tres restricciones, permitiendo seleccionar el prefijo contiguo más largo factible:

   • Puerta de Arrepentimiento Local ($g$): Una puerta normalizada $r_i / q_i \leq g$ (donde $q_i$ es la longitud de la propuesta restante) filtra discrepancias individualmente costosas, favoreciendo excepciones que sean proporcionales a la potencial reutilización del sufijo.
   • Capacidad de Excepción por Bloque ($M$): Limita el número de excepciones dentro de un solo bloque de borrador para evitar la concentración de errores.
   • Presupuesto de Arrepentimiento Persistente a Nivel de Petición ($B$): Mantiene un registro del arrepentimiento acumulado ($s$) a lo largo de toda la petición. Un prefijo es factible solo si su arrepentimiento acumulado $C_t \leq B - s$. Esto acota la desviación total durante la generación.

3. Reutilización de Sufijos de Prefijo Realizado:
   Una vez que ASD compromete un prefijo que termina en una discrepancia aceptada, reutiliza los tokens subsiguientes del borrador que permanecen codiciosos del objetivo bajo el historial realizado (el historial que incluye la discrepancia aceptada). Estos tokens se comprometen sin decisiones aproximadas adicionales ni pasadas adicionales del modelo objetivo.

4. Implementación Vectorizada:
   El algoritmo construye una máscara de factibilidad para cada posición en el bloque del borrador basada en las restricciones anteriores. La longitud aceptada es el prefijo más largo de valores "verdaderos" de esta máscara, computable mediante sumas y productos acumulativos en tiempo $O(K)$. Cuando el presupuesto $B=0$, ASD recupera exactamente la verificación estricta codiciosa estándar.

Contribuciones Clave

El artículo realiza tres contribuciones principales:

1. Formulación: Formula la verificación codiciosa aproximada como un problema de selección de prefijo contiguo más largo presupuestado, utilizando un registro persistente a nivel de petición para contabilizar las discrepancias aceptadas entre el borrador y el objetivo.
2. Identificación de Mecanismo: Identifica y formaliza la reutilización de sufijos de prefijo realizado, demostando que tras una excepción aceptada, se puede comprometer un sufijo contiguo codicioso del objetivo sin decisiones aproximadas adicionales, siempre que los cachés se actualicen consistentemente.
3. Validación Empírica: Proporciona evidencia experimental de que este verificador libre de entrenamiento mejora significativamente el rendimiento (throughput) en diversos modelos y tareas sin requerir cambios en el mecanismo de generación de propuestas.

Resultados Experimentales

Los experimentos se realizaron con objetivos Qwen3-8B/14B, Llama-3.1-8B y Qwen2.5-7B emparejados con borradores DSpark, EAGLE3 y Medusa en benchmarks que incluyen GSM8K, MATH-500, HumanEval, MBPP, MMLU, MT-Bench y Alpaca.

• Ganancias de Rendimiento (Throughput): ASD mejora el rendimiento de carga de trabajo fija entre un 3.05% y un 15.26% respecto a la decodificación especulativa estricta emparejada.
  • En Qwen3-14B + DSpark-14B, la ganancia promedio en siete tareas es del 7.78%.
  • La mayor ganancia observada fue del 15.26% en GSM8K con Llama-3.1-8B + EAGLE3.
• Compromisos de Precisión (Accuracy Trade-offs): El método es una aproximación controlada, no una optimización que preserva la salida.
  • En la matriz principal de DSpark-14B, cinco de las siete tareas mostraron cambios de precisión no negativos.
    j. Las reducciones de precisión observadas fueron pequeñas (p. ej., -0.61 puntos en HumanEval, -0.64 en MT-Bench) y dependientes de la tarea.
  • En GSM8K y MATH-500, la divergencia de hash superó el 95%, indicando trayectorias alteradas, aunque la precisión medida se mantuvo estable o mejoró.
• Escalabilidad: Las ganancias persisten a través de diferentes familias de borradores (DSpark, EAGLE3, Medusa) y modelos objetivo, lo que indica que el beneficio es impulsado por el mecanismo del lado del verificador y no por arquitecturas de propuesta específicas.
• Compatibilidad con Modelos Grandes: En DeepSeek-V4-Flash (284B) con DSpark en un entorno de compatibilidad de FP4 a FP8, ASD aumentó la aceptación del lado del verificador aproximadamente un 10%–16% en GSM8K y MATH-500.

Significación y Reivindicaciones

El artículo afirma que ASD proporciona un camino ampliamente compatible y libre de entrenamiento para una decodificación especulativa por bloques codiciosa más rápida. Su significación radica en:

• Desacoplamiento de la Verificación y la Propuesta: A diferencia de trabajos previos que se centran en mejorar el borrador, ASD optimiza la decisión de compromiso del verificador después de completar la puntuación.
• Control Explícito de Compromisos: Al introducir un presupuesto de arrepentimiento persistente y puertas locales, ASD permite a los usuarios ajustar explícitamente la frontera entre velocidad y precisión, yendo más allá de la naturaleza binaria de "todo o nada" de la verificación estricta.
• Eficiencia del Sistema: El método reduce el número de costosas rondas de verificación del objetivo al reutilizar sufijos puntuados por el objetivo, logiendo ganancias de rendimiento sin pasadas adicionales del modelo o reentrenamiento del modelo.

Los autores enfatizan que ASD acota el arrepentimiento local acumulado pero no garantiza salidas idénticas, preservación semántica o corrección de la tarea. En consecuencia, abogan por un modelo de despliegue donde los controles del verificador se congelan en datos disjuntos, seguido de una auditoría de calidad de la tarea mediante un EOS (fin de secuencia) natural para cada combinación específica de objetivo, borrador y carga de trabajo.