💬 NLP

LiLiCorr: Lightweight Likelihood Correlation of Parallel Drafts for Speculative Decoding

LiLiCorr es un método ligero que mejora la decodificación especulativa al correlacionar eficientemente las distribuciones marginales por posición de un redactor para capturar la coherencia conjunta de los tokens, aumentando así significativamente las longitudes de aceptación y el rendimiento general con una sobrecarga de latencia mínima.

Autores originales: Matan Rusanovsky, Yoav Miron, Roy Uziel, Omer Belhasin, Ran Zilberstein, Maor Ashkenazi, Michael Elad

Publicado 2026-08-24

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Matan Rusanovsky, Yoav Miron, Roy Uziel, Omer Belhasin, Ran Zilberstein, Maor Ashkenazi, Michael Elad

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde leer un libro es instantáneo, no porque las palabras aparezcan más rápido, sino porque tu mente puede anticipar párrafos enteros antes de que siquiera pases la página. Esta es la promesa de una técnica llamada decodificación especulativa, un método diseñado para hacer que la inteligencia artificial hable y escriba con una velocidad sin precedentes. En su esencia, el proceso se basa en una simple división del trabajo: un modelo pequeño y rápido actúa como un bocetista, adivinando lo que viene después, mientras que un modelo más grande y potente actúa como un juez, verificando esas conjeturas. Si el juez está de acuerdo con la predicción del bocetista, el sistema acepta la conjetura y avanza, saltándose el lento trabajo paso a paso de generar cada palabra desde cero. Cuanto más se pueda confiar en que el bocetista acierte una larga cadena de palabras, más rápido fluirá toda la conversación. Sin embargo, un problema persistente ha frenado esta tecnología: el bocetista a menudo acierta las palabras individuales pero no logra que encajen entre sí en una oración coherente. Es como un músico que toca cada nota perfectamente de forma aislada, pero crea una melodía discordante y sin sentido cuando las notas se tocan en secuencia.

Investigadores de NVIDIA han introducido un nuevo método llamado LiLiCorr para resolver este problema específico de coherencia sin sacrificar la velocidad. El sistema se basa en un modelo de bocetaje conocido como DFlash, que es capaz de predecir un bloque completo de palabras futuras en un único y rápido estallido. Aunque DFlash es increíblemente rápido, trata cada posición de palabra como un evento independiente, lo que significa que podría sugerir "El perro" para la primera posición y "maúlla" para la segunda, pero no darse cuenta de que "El gato" habría sido una mejor opción para el contexto de la oración completa. El nuevo enfoque no intenta reentrenar al bocetista para que sea perfecto; en su lugar, añade una capa ligera de lógica que actúa como un editor rápido. Este editor observa los pocos candidatos principales que el bocetista propuso para cada posición y comprueba qué tan bien se vinculan entre sí. Asigna un par de señales direccionales a cada palabra candidata, una que indica qué tan bien encaja con la palabra anterior, y otra que indica qué tan bien prepara la palabra siguiente. Al comparar estas señales, el sistema puede identificar instantáneamente qué secuencia de palabras forma un camino suave y lógico, descartando las combinaciones discordantes que habrían causado que el modelo más grande las rechazara.

La brillantez de este diseño reside en su eficiencia. En lugar de comprobar cada palabra una por una en una cadena secuencial lenta, el sistema evalúa todas las conexiones posibles entre las palabras candidatas simultáneamente, utilizando un único cálculo masivo que ocurre en paralelo. Esto permite que el sistema encuentre la secuencia más coherente casi instantáneamente, dejando solo un paso final sencillo para consolidar las elecciones. Los investigadores descubrieron que, al entrenar a este editor para que trabaje de la mano con el bocetista, ambos modelos aprendieron a cooperar, logrando que el bocetista eventualmente propusiera candidatos que fueran más fáciles de vincular en cadenas largas y aceptadas por el editor. En pruebas realizadas en nueve bancos de pruebas diferentes, que van desde la resolución de problemas matemáticos hasta la escritura de código y la mantención de conversaciones, este nuevo método superó consistentemente a los enfoques anteriores. Aumentó el número de palabras aceptadas entre un nueve y un diecinueve por ciento en comparación con el bocetista sin editar, y entregó la mayor velocidad general en setenta de los setenta y dos escenarios de prueba. Incluso cuando se le pidió al sistema que manejara entradas diez veces más largas que los datos para los que fue entrenado, mantuvo su liderazgo, demostrando que este método de vincular candidatos es robusto y escalable.

Los resultados sugieren que el cuello de botella para acelerar la IA no es solo hacer al bocetista más rápido, sino hacer que sus conjeturas sean más fáciles de verificar. Al corregir la coherencia de las conjeturas antes de que sean enviadas al juez, el sistema evita el tiempo perdido de rechazo y regeneración. Este enfoque no requiere la enorme potencia de cálculo del modelo principal para realizar el trabajo pesado de correlación; en su lugar, utiliza una red pequeña y especializada que añade una cantidad insignificante de tiempo al proceso, representando solo alrededor del 2.8 por ciento del tiempo total por bloque de texto. Los investigadores demostraron que esta pequeña adición genera un retorno masivo, permitiendo que el sistema procese la información significativamente más rápido que antes. Mientras que otros métodos han intentado resolver esto ejecutando comprobaciones complejas en cada palabra o pidiendo al modelo principal que realice trabajo adicional, LiLiCorr logra sus resultados organizando la información que el bocetista ya proporciona en una estructura que es fácil de navegar. Los hallazgos indican que, para el futuro de la IA de alta velocidad, la clave puede no estar en construir modelos más grandes, sino en construir formas más inteligentes y eficientes de conectar los puntos entre las palabras que generan.

Resumen Técnico: LiLiCorr

Planteamiento del Problema

La decodificación especulativa acelera la inferencia de modelos de lenguaje autorregresivos utilizando un modelo "borrador" (drafter) más pequeño para proponer tokens futuros, los cuales un modelo "objetivo" (target) más grande verifica en paralelo. Una clase prometedora de borradores, como DFlash, predice un bloque entero de tokens futuros en una sola pasada hacia adelante (forward pass) utilizando una arquitectura de estilo difusión. Sin embargo, estos modelos son entrenados sobre marginales por posición (prediciendo la probabilidad de un token en una posición específica de forma independiente) en lugar de la distribución conjunta del bloque.

Consecuentemente, aunque los tokens emitidos por DFlash son individualmente plausibles, suelen ser conjuntamente incoherentes. Seleccionar el token más probable en cada ranura (slot) de forma independiente frecuentemente resulta en una secuencia que el modelo objetivo rechaza prematuramente, limitando la longitud de aceptación y la mejora de velocidad resultante. Recuperar una secuencia coherente a partir de estas marginales es combinatoriamente difícil porque la distribución conjunta sobre un bloque de $B$ posiciones con un tamaño de vocabulario $V$ tiene $V^B$ realizaciones, lo que hace que el modelado explícito sea intratable. Las soluciones existentes dependen de un refinamiento iterativo (añadiendo pasadas costosas del borrador), desplazan la carga de correlación al modelo objetivo (invalidando el propósito de la especulación) o utilizan redes de corrección autorregresivas secuenciales que procesan las ranuras una por una.

Metodología: LiLiCorr

LiLiCorr (Likelihood Correlation Ligera) aborda esto recuperando una secuencia coherente de marginales por ranura en una sola pasada de red. Trata el problema como el aprendizaje de un modelo de puntuación sobre una red de candidatos (candidate lattice) en lugar de modelar la distribución conjunta completa.

1. Red de Candidatos y Representación

En lugar de seleccionar un solo token por ranura, LiLiCorr retiene los $K$ mejores tokens candidatos de la distribución marginal del borrador en cada una de las $B-1$ ranuras especulativas.

Construcción de Nodos: Cada token candidato se representa como un vector (nodo) formado por la suma de cuatro componentes:
1. El embedding de entrada del modelo objetivo congelado para ese token.
2. El estado oculto del borrador en esa ranura (compartido entre los candidatos de la ranura).
3. Una red pequeña que procesa características escalares de la confianza del borrador (log-prob, rango, etc.).
4. Codificaciones aprendidas para el índice de la ranura y el rango del candidato.
Procesamiento Contextual: Un Transformer bidireccional ligero procesa toda la red de $(B-1) \times K$ de forma conjunta. Esto permite que cada candidato intercambie información con todos los demás (tanto con los candidatos competidores dentro de una ranura como con los candidatos en ranuras adyacentes), codificando el contexto de todo el bloque.

2. Correlación mediante Vectores In/Out

Para cada nodo candidato, LiLiCorr emite dos vectores normalizados: un vector de entrada ( $i$ ) y un vector de salida ( $o$ ).

Puntuación por Pares: Las ranuras adyacentes $s$ y $s+1$ se acoplan computando la similitud de coseno entre el vector de salida de un candidato en $s$ y el vector de entrada de un candidato en $s+1$ .
Eficiencia: Esta formulación reduce la lógica de correlación a multiplicaciones de matrices por lotes (batched matrix multiplications). Todas las interacciones por pares para el bloque entero se computan en paralelo tras una única pasada hacia adelante.
Estabilidad: El uso de la similitud de coseno (escalada por una constante $\sigma$ ) evita magnitudes de puntuación sin límite que podrían desestabilizar el backbone compartido de DFlash durante el entrenamiento conjunto.

3. Objetivos de Entrenamiento

LiLiCorr es co-entrenado con el borrador DFlash. La pérdida de entrenamiento consta de tres componentes:

Pérdida DFlash: La entropía cruzada estándar por ranura para el borrador.
Entropía Cruzada de Prefijo Oráculo ( $L_{CE}$ ): Una pérdida de enseñanza forzada (teacher-forced) que entrena a LiLiCorr para clasificar el token real como el más alto, condicionado al token real de la ranura anterior. Crucialmente, la supervisión se aplica solo al "prefijo oráculo": la secuencia más larga de ranuras iniciales donde el valor real (ground truth) está presente en los $K$ mejores candidatos.
Penalización de Distractores ( $L_{dist}$ ): Un término sensible al costo que penaliza a los candidatos que el modelo objetivo califica bajo. Minimiza el costo esperado del objetivo relativo al valor real, específicamente empujando hacia abajo los "confusores" que el modelo objetivo rechazaría, ampliando así el margen para el token correcto.

4. Decodificación

En la inferencia, el proceso consta de dos etapas:

Puntuación en Paralelo: Una única pasada de LiLiCorr computa todos los vectores de entrada/salida y todas las puntuaciones de coincidencia por pares en paralelo.
Caminata Codiciosa Secuencial (Greedy Walk): El bloque se establece de izquierda a derecha. En cada ranura, el algoritmo selecciona el candidato que maximiza la coincidencia con el candidato previamente establecido. Esta caminata es secuencial pero no toca pesos de red, lo que la hace computacionalmente barata.

Contribuciones Clave

Formulación Novedosa: Un enfoque basado en la verosimilitud para recuperar secuencias coherentes a partir de marginales por ranura mediante el aprendizaje de un modelo de puntuación sobre rutas de candidatos, evitando la intratabilidad de la distribución conjunta completa.
Correlación en Paralelo: La lógica de correlación se reduce a operaciones de matriz eficientes y paralelizables. A diferencia de enfoques previos de tiempo de borrado que ejecutan una red de corrección una vez por ranura, LiLiCorr puntúa toda la red de candidatos en una sola pasada, seguido de una selección codiciosa económica.
Rendimiento de Vanguardia: El método establece nuevos récords en decodificación especulativa, superando a trabajos concurrentes (Domino, DSpark) y al borrador DFlash original en diversos entornos.

Resultados Experimentales

Los autores evaluaron LiLiCorr en nueve benchmarks (matemáticas, código, chat) utilizando modelos objetivo Qwen3-8B y Qwen3-4B bajo regímenes de decodificación greedy y temperatura-1.

Longitud de Aceptación: Comparado con el borrador DFlash original, LiLiCorr aumenta la longitud de aceptación entre un 9% y un 19% en todos los benchmarks.
Throughput (Capacidad de Procesamiento): LiLiCorr logra el mayor throughput en 70 de los 72 escenarios probados (variando benchmarks, tamaños de target, regímenes de decodificación y niveles de concurrencia).
- Supera al baseline más fuerte (Domino) hasta en un 5.3% en promedio.
- La cabeza de LiLiCorr representa solo el 2.8% de la latencia por bloque y es aproximadamente 2.4 veces más barata que la cabeza de Domino cuando está totalmente optimizada.
Generalización: El liderazgo en rendimiento persiste cuando se sirven entradas un orden de magnitud más largas que el rango de entrenamiento (hasta 32K tokens), siempre que se extienda la codificación posicional (ej. vía YaRN).
Ablación: Se demuestra que la penalización de distractores es crítica, particularmente para prompts cortos, aumentando la longitud de aceptación en un adicional de 1.5% a 8.9% en los benchmarks.

Significado y Reivindicaciones

El artículo sostiene que LiLiCorr representa una mejora estructural en la decodificación especulativa al desacoplar la correlación de los tokens del borrador de las pasadas autorregresivas secuenciales. Al realizar todo el trabajo de correlación en una única pasada paralela, minimiza la sobrecarga del borrador mientras maximiza la longitud de aceptación.

Los autores enfatizan que el método es modesto en su alcance: depende de la capacidad del borrador para proponer un conjunto de candidatos que contenga el valor real (el "prefijo oráculo"). Si el token correcto no está en los $K$ mejores candidatos, LiLiCorr no puede recuperarlo. Sin embargo, dentro de las restricciones del conjunto de candidatos, proporciona un mecanismo altamente eficiente para restaurar la coherencia conjunta, convirtiéndolo en el sistema más rápido en una amplia gama de condiciones de servicio, incluyendo escenarios de alta concurrencia y contexto largo. El trabajo sugiere que mejoras futuras podrían explorar el acoplamiento de ranuras más allá de los pares adyacentes, aunque el artículo señala que queda la pregunta abierta de si tales acoplamientos de mayor alcance justifican su costo bajo la aceptación de prefijos.