💬 NLP

RACER: Retrieval-Augmented Contextual Rapid Speculative Decoding

El artículo presenta RACER, un método de decodificación especulativa ligero y sin entrenamiento que combina patrones recuperados con señales de logits para acelerar la inferencia de modelos de lenguaje grandes, logrando más del doble de velocidad que la decodificación autoregresiva tradicional.

Autores originales: Zihong Zhang, Zuchao Li, Lefei Zhang, Ping Wang, Hai Zhao

Publicado 2026-04-17

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Zihong Zhang, Zuchao Li, Lefei Zhang, Ping Wang, Hai Zhao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que un Modelo de Lenguaje Grande (LLM), como los que usan en ChatGPT o Gemini, es como un chef experto que escribe una historia o resuelve un problema palabra por palabra.

El problema es que este chef es muy meticuloso: escribe una palabra, la piensa, la escribe, la piensa de nuevo, y así sucesivamente. Es un proceso muy lento, como si tuviera que esperar a que se enfriara cada plato antes de cocinar el siguiente.

Aquí es donde entra RACER, la nueva técnica que proponen los autores. Vamos a explicarlo con una analogía sencilla.

🏎️ El Problema: El Chef que Camina de a Pies

Normalmente, el chef (el modelo) escribe una palabra, la verifica, escribe la siguiente, la verifica... Es como caminar de a pies. Si tienes que escribir un libro entero, tardarás mucho.

🚀 La Solución: RACER (El Chef con un Copiloto y un Mapa)

RACER es como darle al chef un copiloto rápido y un mapa de recuerdos para que pueda escribir varias palabras de un solo golpe, pero sin cometer errores.

RACER combina dos estrategias inteligentes:

1. El "Mapa de Recuerdos" (Recuperación / Retrieval)

Imagina que el chef tiene una memoria fotográfica de todo lo que ha escrito antes.

Cómo funciona: Si el chef está escribiendo una receta y dice "Poner un poco de...", el sistema mira en sus recuerdos: "¡Ah! La última vez que escribiste 'Poner un poco de', dijiste 'sal'".
La ventaja: Si el patrón se repite (como en código de programación o frases comunes), el sistema puede decir: "¡Ya sé lo que sigue! Es 'sal'". Es como si el chef ya hubiera escrito esa parte y solo tuviera que copiarla.
El truco de RACER: No guarda todo para siempre (sería demasiado pesado). Usa una regla de "Lo que menos se usa, se borra" (LRU). Si el chef no usa una palabra en mucho tiempo, la saca de la memoria para dejar espacio a las nuevas. Es como un estante de cocina que solo guarda los ingredientes que usas hoy.

2. El "Copiloto Intuitivo" (Logits / Predicción)

A veces, el chef está escribiendo algo nuevo y nunca antes visto. El "Mapa de Recuerdos" no ayuda porque no hay un patrón previo.

Cómo funciona: Aquí entra el "Copiloto". En lugar de adivinar solo la siguiente palabra, el Copiloto mira la probabilidad de las siguientes varias palabras basándose en el contexto actual.
La analogía: Es como si el chef dijera: "No tengo un recuerdo exacto, pero por el tono de la frase, es muy probable que la siguiente palabra sea 'rápido', y la que sigue 'como' el viento".
La innovación: RACER no solo mira la palabra inmediata, sino que construye un árbol de posibilidades (como un diagrama de decisiones) para adivinar varias palabras a la vez, priorizando las más probables.

🤝 La Magia: Unir ambos mundos

La genialidad de RACER es que no elige entre uno u otro, sino que los une:

Primero, mira el Mapa de Recuerdos para ver si hay algo exacto que copiar (es rápido y seguro).
Si no hay nada exacto, usa al Copiloto Intuitivo para adivinar lo que sigue basándose en la lógica.
Luego, el chef principal (el modelo grande) verifica rápidamente si las palabras que sugirió el sistema son correctas.

🏆 ¿Por qué es tan bueno?

Velocidad: En lugar de escribir una palabra por vez, RACER puede "escribir" y validar 2 o 3 palabras de golpe. ¡Es como pasar de caminar a trotar!
Sin entrenamiento costoso: A diferencia de otros métodos que necesitan entrenar a un "chef secundario" (un modelo pequeño extra) durante meses, RACER es plug-and-play. No necesitas entrenar nada nuevo; solo le das el mapa y el copiloto al chef que ya tienes.
Funciona en todo: Ya sea que el chef esté escribiendo código, resolviendo matemáticas en chino o contando chistes, RACER acelera el proceso sin perder calidad.

En resumen

RACER es como darle a un escritor experto un asistente que tiene una memoria de patrones repetidos y una intuición muy aguda para predecir el futuro, permitiéndole escribir mucho más rápido sin cometer errores. Es una solución ligera, rápida y lista para usar que hace que la inteligencia artificial sea mucho más eficiente.

1. El Problema

Los Grandes Modelos de Lenguaje (LLMs) actuales utilizan un paradigma de decodificación autoregresiva, donde generan un solo token por paso. Esto crea una latencia de inferencia alta que escala linealmente con la longitud de la secuencia y el tamaño del modelo, constituyendo un cuello de botella para su despliegue en tiempo real.

La Decodificación Especulativa (SD) ha surgido como una solución mediante una estrategia de "adivinar y verificar", permitiendo proponer y verificar múltiples tokens en paralelo. Sin embargo, los métodos existentes presentan limitaciones:

Métodos basados en recuperación (Retrieval-based): Dependen de coincidencias exactas de patrones. Si no existe una coincidencia exacta en el contexto, el método falla o se vuelve ineficaz.
Métodos basados en logits (Logits-based): Utilizan las distribuciones de probabilidad del modelo para predecir futuros tokens, pero carecen de guía estructural externa, lo que limita su capacidad de extrapolar hacia tokens más adecuados y a menudo produce predicciones de baja calidad o estrechas.

2. Metodología: RACER

Los autores proponen RACER (Retrieval-Augmented Contextual Rapid Speculative Decoding), un método ligero, sin entrenamiento (training-free) y plug-and-play que unifica las fortalezas de ambos paradigmas. RACER construye un árbol de borrador (draft tree) híbrido compuesto por dos componentes principales:

A. Logits Tree (Árbol de Logits)

Este componente se encarga de la extrapolación basada en la información no vista (unseen).

Estrategia Copy-Logit: En lugar de reutilizar los logits del último paso (last-logit), RACER utiliza la estrategia copy-logit. Esta reutiliza la distribución de logits de la ocurrencia más reciente del mismo token en el contexto. Los experimentos muestran que esto produce una distribución de aceptación más aguda y con una "cola pesada" (heavy-tail), concentrando las aceptaciones en los rangos superiores.
Poda del Árbol: Se utiliza una regla de asignación de anchura (breadth allocation) donde los nodos de capas superiores se expanden más agresivamente, mientras que las capas más profundas se podan progresivamente (la anchura se reduce a la mitad en cada nivel). Esto optimiza el uso del presupuesto de tokens de borrador.

B. Retrieval Tree con Evicción LRU (Árbol de Recuperación)

Este componente proporciona anclajes estructurales basados en información vista (seen).

Automaton Aho-Corasick (AC): Se utiliza un AC automaton para almacenar n-gramas del contexto. A diferencia de estructuras estáticas, este se actualiza dinámicamente durante la inferencia.
Estrategia LRU (Least Recently Used): Para mantener la memoria bajo control, el sistema implementa una política de evicción LRU. Cuando se alcanza la capacidad máxima de nodos, se elimina el nodo hoja menos recientemente utilizado. Además, se marca como "tocado" (touched) no solo el nodo actual, sino también sus ancestros al realizar transiciones de fallo, asegurando que los prefijos recientes se mantengan en memoria.
Expansión: Se seleccionan las continuaciones más frecuentes globalmente a partir de los estados de coincidencia (bordes) con profundidad $\ge 2$ .

C. Estrategia de Integración

RACER fusiona ambos árboles en un único árbol de borrador unificado:

Se generan candidatos de recuperación primero (son fiables estructuralmente).
El espacio restante del presupuesto de borrador se asigna a la expansión del Logits Tree.
El árbol unificado se verifica mediante el modelo objetivo bajo el esquema de "adivinar y verificar".

3. Contribuciones Clave

Unificación de Paradigmas: RACER es el primer método que integra eficazmente la recuperación de patrones exactos (como anclas estructurales) con la extrapolación basada en logits (para la creatividad y flexibilidad), sin requerir un modelo de borrador adicional.
Eficiencia y Ligereza: Al ser un método sin entrenamiento y sin modelos auxiliares, RACER evita el sobrecosto de memoria y computación de métodos como EAGLE-3 o Medusa.
Mecanismo de Evicción Adaptativo: La introducción de la evicción LRU en el automaton de recuperación permite manejar contextos largos de manera eficiente, manteniendo solo los patrones más relevantes y recientes.
Estrategia Copy-Logit: La identificación y validación de que reutilizar los logits de la ocurrencia previa del mismo token es superior a usar los logits del último paso para la expansión especulativa.

4. Resultados Experimentales

Los experimentos se realizaron en tres benchmarks principales: Spec-Bench (tareas generales), HumanEval (generación de código) y MGSM-ZH (razonamiento matemático en chino), utilizando modelos como Vicuna, LLaMA3.1, OpenPangu y Qwen3.

Aceleración: RACER logra consistentemente una aceleración superior a 2x en comparación con la decodificación autoregresiva estándar.
Rendimiento vs. Baselines:
- Supera a métodos puramente basados en recuperación (PLD, REST) y métodos basados en logits (Token Recycling, LogitSpec).
- En benchmarks de razonamiento (MGSM-ZH), RACER supera a métodos basados en modelos (como EAGLE-3) en términos de velocidad final, a pesar de que EAGLE-3 a veces tiene un MAT (Tokens Aceptados Medios) ligeramente superior. Esto se debe a que RACER no incurre en el costo de inferencia de un modelo de borrador adicional.
- En tareas de código y razonamiento multilingüe, RACER demuestra una robustez superior, manteniendo aceleraciones estables a través de diferentes tamaños de modelo (de 7B a 33B).
Estabilidad: El método muestra un uso de memoria estable y es robusto frente a variaciones en la temperatura de muestreo y tamaños de lote.

5. Significado e Impacto

RACER representa un avance significativo hacia la decodificación especulativa escalable y universal.

Solución Plug-and-Play: Al no requerir entrenamiento ni modelos auxiliares, se puede integrar fácilmente en cualquier LLM existente, lo que lo hace ideal para entornos con recursos limitados o para modelos propietarios donde no se puede entrenar un modelo de borrador.
Robustez Multilingüe y de Dominio: A diferencia de los métodos basados en modelos que dependen de la distribución de datos de entrenamiento del modelo de borrador (lo que puede fallar en idiomas o dominios específicos), RACER se adapta dinámicamente al contexto actual, funcionando bien en tareas de razonamiento en chino y generación de código.
Futuro: Establece una base para futuras investigaciones que busquen integrar estructuras de recuperación más avanzadas y cues de recuperación multilingüe en la inferencia de LLMs.

En resumen, RACER ofrece una solución equilibrada que combina la fiabilidad de los patrones vistos con la flexibilidad de la predicción probabilística, logrando una aceleración de inferencia superior sin los costos asociados a los métodos basados en modelos.