💻 ciencias de la computación

Joint Optimization of Retrieval-Augmented KV Caching and Adaptive Speculative Decoding for Autoregressive Generation

Este artículo presenta RAKV-ASD, un sistema que optimiza conjuntamente el almacenamiento en caché de KV con recuperación aumentada y la decodificación especulativa adaptativa mediante un controlador aprendido para seleccionar dinámicamente las longitudes de borrador, logrando mejoras significativas en latencia y rendimiento sobre las estrategias fijas, manteniendo al mismo tiempo la equivalencia exacta de salida con la decodificación estándar.

Autores originales: Chenyi Huang, Zitan Chen, Zhenning Guo, Wentao Zhang

Publicado 2026-10-14

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Chenyi Huang, Zitan Chen, Zhenning Guo, Wentao Zhang

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Cuando un modelo de lenguaje de gran tamaño escribe una oración, palabra por palabra, se enfrenta a un cuello de botella recurrente: para predecir la siguiente palabra, debe recordar cada palabra que vino antes. Esta memoria, almacenada como una colección masiva de números llamada caché de clave-valor (key-value cache), crece con cada nuevo token. En la computación moderna, recuperar esta memoria suele ser más lento que el cálculo real de la siguiente palabra. Para acelerar las cosas, los ingenieros han desarrollado dos trucos principales. El primero es reutilizar la memoria de solicitudes anteriores si las palabras iniciales son idénticas, de forma muy parecida a saltarse las primeras páginas de un libro que ya has leído. El segundo es la decodificación especulativa, donde un modelo más pequeño y rápido adivina varias palabras por delante, y el modelo principal comprueba rápidamente si esas suposiciones son correctas. Si las suposiciones son acertadas, el sistema se salta el trabajo lento de generarlas una por una.

La pregunta que se hicieron los investigadores fue si combinar estos dos trucos crearía un sistema superrápido. Intuitivamente, parecía lógico: reutiliza la memoria que ya tienes y luego adivina por adelantado para ahorrar tiempo. Sin embargo, la realidad del hardware de las computadoras es a menudo menos permisiva de lo que la intuición sugiere. Un nuevo estudio de Chenyi Huang y colegas de la Universidad Johns Hopkins, la Universidad Carnegie Mellon, la Universidad de Nueva York y la Universidad del Sur de California investiga esta combinación exacta. Construyeron un sistema que no aplica ambos trucos a ciegas. En su lugar, actúa como un gestor cuidadoso, midiendo constantemente el coste de cada acción posible y decidiendo, para cada solicitud específica, si reutilizar la memoria, si adivinar por adelantado o si no hacer ninguna de las dos cosas.

Los investigadores probaron su sistema, al que llaman RAKV-ASD, en una tarjeta gráfica de una computadora portátil estándar utilizando dos pares de modelos de lenguaje. Realizaron miles de experimentos cronometrados, alimentando al sistema con diversos prompts de diferentes longitudes y pidiéndole que generara textos de distintos tamaños. El núcleo de su trabajo fue un controlador que observaba la situación actual y elegía el mejor camino entre un menú de opciones. Estas opciones incluían reutilizar la memoria sin adivinación, reutilizar la memoria mientras se adivinaba una palabra, dos palabras o hasta ocho palabras por delante, o simplemente ignorar la caché de memoria por completo y empezar de cero. El sistema medía cuánto tiempo tardaba realmente cada paso en el hardware, en lugar de confiar en estimaciones teóricas.

Los resultados fueron sorprendentes para cualquiera que esperara una aceleración universal. El estudio encontró que el simple hecho de combinar la reutilización de la memoria con una cantidad fija de adivinación a menudo hacía que el sistema fuera más lento, no más rápido. En muchos casos, el tiempo dedicado a generar las suposiciones y luego verificarlas era mayor que el tiempo ahorrado al saltarse el trabajo original. Los investigadores descubrieron que la parte de "adivinar" del proceso solo vale la pena cuando el sistema está casi seguro de que las suposiciones serán correctas. En sus experimentos, el controlador eligió frecuentemente no hacer nada con respecto a la adivinación, seleccionando una configuración donde reutilizaba la memoria pero generaba el texto palabra por palabra. Esta decisión no fue un fallo del sistema, sino un éxito de su lógica: reconoció que la sobrecarga de la adivinación era demasiado alta para las condiciones específicas de la prueba.

Cuando los investigadores compararon su sistema inteligente y adaptativo con una versión que obligaba al sistema a adivinar siempre cuatro palabras por delante, la diferencia fue notable. El sistema adaptativo redujo el tiempo necesario para generar texto en un 64,0 por ciento y aumentó el número de palabras generadas por segundo en un 170,8 por ciento en comparación con el enfoque de adivinación forzada. Esto se debe a que el sistema adaptativo evitó la pesada penalización de las suposiciones fallidas. Sin embargo, al compararlo con un sistema que solo reutilizaba la memoria sin ninguna adivinación en absoluto, el sistema adaptativo fue solo un 0,45 por ciento más lento. Esta mínima diferencia sugiere que, para el hardware y los modelos probados, el acto de adivinar por adelantado no proporcionó ningún beneficio real. El sistema era tan bueno sabiendo cuándo no adivinar que esencialmente actuó como un sistema que nunca adivina.

El estudio también estableció un límite claro para cuando la adivinación podría ser útil. Los investigadores calcularon que el sistema solo empezaría a beneficiarse de la adivinación si la probabilidad de que las suposiciones fueran correctas alcanzaba un umbral muy alto, entre el 89,4 por ciento y el 97,3 por ciento. En sus pruebas, la tasa de aceptación real de las suposiciones fue inferior a esto, lo que significaba que las condiciones no eran las adecuadas para el aumento de velocidad. El controlador del sistema fue notablemente preciso al hacer esta distinción. Aunque no podía predecir perfectamente el tiempo exacto que tardaría una tarea, fue 100 por ciento preciso al decidir si adivinar o no. Identificó correctamente que el coste de la adivinación superaba los beneficios en casi todos los escenarios probados.

Este trabajo destaca una lección crucial para el futuro de los sistemas de inteligencia artificial: las estrategias más complejas no siempre son mejores. La idea de superponer múltiples técnicas de optimización suena eficiente, pero si las partes individuales no se alinean perfectamente con las capacidades del hardware, pueden anularse entre sí. Los investigadores demostraron que un sistema que sabe cuándo detenerse es a menudo más rápido que uno que intenta hacerlo todo. Al tratar la decisión de adivinar como una elección variable en lugar de una regla fija, crearon un método que se adapta a la realidad de la máquina. Los hallazgos sugieren que, para el hardware actual, el camino más eficiente suele implicar reutilizar lo que sabes y generar el resto con cuidado, en lugar de apresurarse con suposiciones que podrían tener que ser corregidas.

El estudio se llevó a cabo con un rigor meticuloso, realizando 3.600 ejecuciones cronometradas para asegurar que los resultados no fueran una casualidad. Verificaron que el texto producido por su sistema adaptativo era idéntico al texto producido por el método estándar y lento, demostrando que las ganancias de velocidad no se produjeron a costa de la precisión. Si bien los resultados son específicos para los modelos y el hardware utilizados en el experimento, el principio sostiene una verdad más amplia: en el complejo mundo de los modelos de lenguaje de gran tamaño, la jugada más inteligente es a menudo la que reconoce cuándo un atajo es en realidad un desvío. Los investigadores no encontraron una solución mágica que acelere toda la generación de IA, pero sí encontraron una forma fiable de evitar los retrasos que surgen de intentar ser demasiado ingenioso. Su trabajo proporciona un límite medido y basado en datos para cuando la especulación ayuda y cuando estorba, ofreciendo una guía clara para la construcción de sistemas más eficientes en el futuro.

Resumen Técnico: Optimización Conjunta de la Recuperación de Caché KV y la Decodificación Especulativa Adaptativa

Planteamiento del Problema
La generación autorregresiva en Modelos de Lenguaje de Gran Escala (LLMs) depende de la reutilización de los estados de Clave-Valor (KV) para evitar la recomputación de la historia causal. Si bien la recuperación asistida por KV (reutilización de estados entre solicitudes) y la decodificación especulativa (generación de borradores con un modelo más pequeño) abordan cuellos de botella distintos, su composición directa crea ineficiencias. Específicamente, cuando un acierto de prefijo (prefix hit) acorta la fase de prellenado (prefill) del modelo objetivo, la sobrecarga fija de la decodificación especulativa (borrador, verificación y posible rechazo) puede persistir incluso cuando ya no es beneficiosa. El desafío central es determinar, para cada solicitud, si se debe confiar únicamente en la reutilización de KV (sin especulación) o si se debe emplear la decodificación especulativa, y, de ser así, cuántos tokens ( $k$ ) se deben generar como borrador.

Metodología: RAKV-ASD
Los autores proponen RAKV-ASD (Retrieval-Augmented KV Caching with Adaptive Speculative Decoding), un marco que optimiza conjuntamente la decisión de reutilizar los estados KV y la elección de la longitud del borrador especulativo ( $k \in \{0, 1, 2, 4, 6, 8\}$ ).

Reutilización de KV entre Solicitudes Segura:
- El sistema almacena tensores KV, IDs de tokens y metadatos para prompts completos.
- La seguridad se garantiza mediante una validación de prefijo causal exacta, no por similitud semántica. Un digest BLAKE2b de 12 bytes de los primeros 16 tokens selecciona un contenedor (bucket) candidato, seguido de una validación de Prefijo Común Más Largo (LCP) exacta.
- Para un acierto parcial de $q$ tokens, se clonan $q-1$ posiciones y se recomputa el token de frontera. Los repetidos exactos pueden reutilizar los logits del siguiente token almacenados.
- El sistema opera bajo un presupuesto de memoria fijo (512 MiB) con una política de expulsión LRU.
Controlador Adaptativo y Modelo de Costos:
- En lugar de optimizar los mecanismos de forma secuencial, RAKV-ASD utiliza un controlador medido para seleccionar la acción óptima $(r, k)$ , donde $r \in \{0, 1\}$ indica la reutilización y $k$ es la longitud del borrador.
- Modelo de Costos: El controlador estima la latencia utilizando estadísticas de tiempo de ejecución medidas en lugar de pronósticos teóricos. Tiene en cuenta los tiempos de prellenado del modelo objetivo/borrador, los pasos de un solo token, los costos de verificación para $k$ tokens y un término de penalización de memoria.
- Lógica de Decisión: El controlador calcula el costo esperado $C(k, r)$ para todas las acciones factibles. Incluye explícitamente $k=0$ (sin especulación) como una opción válida. Las acciones que exceden el presupuesto de memoria son rechazadas. Se selecciona la acción con el costo estimado mínimo.
- Estadísticas en Línea: El sistema rastrea una tasa de aceptación ponderada exponencialmente ( $\alpha_t$ ) para actualizar el progreso aceptado esperado $E_k(\alpha)$ .

Contribuciones Clave

Validación de Prefijo Exacta: Implementación de validación de prefijo indexada por modelo con memoria acotada, garantizando la seguridad sin aproximación semántica.
Modelo de Costos Medido: Un modelo de costos emparejado con la implementación que clasifica las acciones basándose en los costos de ejecución observados en lugar de pronósticos de tiempo real calibrados.
Mecanismo de Selección Conjunta: Un marco que trata la "no especulación" ( $k=0$ ) como una acción de primer nivel, eligiendo dinámicamente entre la ruta de solo reutilización y la de especulación según las características actuales de la carga de trabajo.
Evaluación Exhaustiva: Un estudio que involucra 3,600 ejecuciones cronometradas en dos pares de modelos de la familia GPT-2, incluyendo análisis de sensibilidad y un estudio de factibilidad de un par más grande.

Resultados Experimentales
La evaluación se realizó en una GPU de laptop de 8 GB con GPT-2 y DistilGPT-2 (y un par GPT-2 Medium/GPT-2) utilizando decodificación codiciosa (greedy decoding) en prompts de WikiText-2 y HumanEval.

Rendimiento vs. Baselines:
- Comparado con un enfoque conjunto de $k=4$ fijo (Joint-k4), RAKV-ASD logró una latencia un 64.0% menor y un throughput un 170.8% mayor. Este incremento se atribuye a que el controlador selecciona frecuentemente $k=0$ , evitando así la sobrecarga de la especulación forzada.
- Comparado con la reutilización de solo KV (sin especulación), RAKV-ASD se mantuvo dentro del 0.45% de la latencia y el 0.81% del throughput del baseline de solo KV. Esto indica que RAKV-ASD no proporciona una mejora de velocidad universal sobre la reutilización sola, sino que evita con éxito las penalizaciones de una especulación subóptima.
- Todas las 3,600 ejecuciones produjeron salidas idénticas a la decodificación de solo objetivo (AR).
Comportamiento del Controlador:
- El controlador logró una precisión del 100% en la selección del $k$ óptimo (que fue predominantemente $k=0$ en el régimen probado) y una precisión del 83.3% en la selección de la acción completa.
- A pesar de un MAPE (Error Porcentual Absoluto Medio) alto del 32.1% en la predicción puntual de latencia, el ordenamiento de las acciones fue altamente preciso (correlación de Spearman 0.780), resultando en un arrepentimiento (regret) medio de solo 0.32%.
- El controlador identificó correctamente que la especulación no era económica en los escenarios probados, donde la mejor acción con $k \neq 0$ era de un 14 a 235% más lenta que $k=0$ .
Sensibilidad y Límites:
- El estudio identificó un cruce de aceptación predicha de $\alpha \ge 0.894$ . La especulación solo es beneficiosa cuando la tasa de aceptación predicha supera este umbral.
- En los pares de GPT-2 probados, las tasas de aceptación no alcanzaron consistentemente este límite, lo que llevó al controlador a seleccionar $k=0$ .
- Un estudio de un par más grande (GPT-2 Large/GPT-2 Medium) mostró una brecha de rendimiento menor entre $k=0$ y las acciones con $k \neq 0$ , acercándose pero sin cruzar el límite teórico.

Significancia y Reivindicaciones
El artículo sostiene que RAKV-ASD proporciona un límite medido y un mecanismo para evitar la especulación contraproducente, en lugar de una mejora de velocidad universal. La significancia principal radica en demostrar que:

La optimización conjunta es crítica: La composición directa de la reutilización de KV y la decodificación especulativa puede ser perjudicial si el sistema fuerza la especulación cuando la reutilización por sí sola es suficiente.
$k=0$ es una estrategia válida y a menudo óptima: En regímenes donde el prellenado es acortado por la reutilización, el costo serial del borrador y la verificación suele superar los beneficios.
Clasificación sobre Calibración: Un modelo de costos que clasifica con precisión las acciones (determinando cuál es más rápida) es más valioso para la toma de decisiones que un modelo que proporciona pronósticos de latencia precisos pero potencialmente mal calibrados.

Los autores concluyen que la decodificación especulativa debe habilitarse solo cuando los costos medidos y las tasas de aceptación predichas lo sustenten, y que los sistemas deben recalibrarse tras cambios en el hardware o el modelo. Los resultados son específicos para la familia GPT-2 probada, decodificación codiciosa y la inferencia de un solo GPU en batch-uno, y no pretenden generalizarse a modelos de miles de millones de parámetros, muestreo o batching continuo sin validación adicional.

Más como este