🤖 AI

LaCache: Exact Caching and Precision-Adaptive Inference for Diffusion Large Language Models

LaCache es un marco de aceleración sin entrenamiento para Modelos de Lenguaje de Difusión que logra aceleraciones significativas mediante el empleo de la memoización de estado sin pérdida para cachear resultados intermedios invariantes y el uso de cuantización FP8 por grupo para reducir los cuellos de botella del ancho de banda de memoria.

Autores originales: Xingru Chen, Zelang Liang, Yongjia Ma, Jiqing Zhan, Shuling Yang, Lian Wen, Kun Zhan

Publicado 2026-07-21

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xingru Chen, Zelang Liang, Yongjia Ma, Jiqing Zhan, Shuling Yang, Lian Wen, Kun Zhan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras no solo leen palabras una por una, como una persona pasando las páginas de un libro, sino que pueden mirar una oración completa a la vez y adivinar las piezas faltantes todas juntas. Esta es la magia de los "Modelos de Lenguaje de Difusión Grandes" (Diffusion Large Language Models), un nuevo tipo de IA que construye texto comenzando con un desorden de símbolos y limpiándolo lentamente, paso a paso, hasta que emerge una historia clara. Es como un escultor que pica un bloque de mármol, pero en lugar de piedra, está picando el ruido para revelar una oración. El problema es que este proceso puede ser increíblemente lento y voraz en términos de energía. Cada vez que la IA da un paso para limpiar el texto, a menudo vuelve a calcular las partes de la oración que aún no han cambiado, desperdiciando una cantidad masiva de tiempo y electricidad. Es como un chef que, cada vez que añade un nuevo ingrediente a un estofado, decide volver a picar cada vegetal que ya estaba perfectamente picado y sentado en el tazón.

Entra LaCache, un marco de trabajo inteligente diseñado para detener este desperdicio sin cambiar el sabor final del plato. Los investigadores detrás de este proyecto se dieron cuenta de que, en estos modelos de IA, la mayor parte del texto permanece exactamente igual mientras solo se actualiza un pequeño fragmento. En lugar de volver a hacer las matemáticas de toda la oración cada vez, LaCache actúa como un bibliotecario súper eficiente. Mantiene un registro "sin pérdidas" (perfectamente preciso) de las partes que no han cambiado, para que la IA pueda saltarse el trabajo aburrido y repetitivo y concentrarse solo en las partes nuevas. También introdujeron una forma de realizar el trabajo pesado con un poco menos de precisión —como usar una regla ligeramente más pequeña para mediciones que no necesitan ser perfectas al milímetro— lo que acelera las cosas aún más. ¿El resultado? La IA se ejecuta mucho más rápido, a veces hasta 40 veces más rápido cuando se combina con otros trucos, pero sigue dando las mismas respuestas correctas.

El Problema: El Bucle de "Relectura"

Para entender por qué LaCache es tan importante, primero debemos observar cómo funcionan estos modelos de Difusión. Imagina que estás tratando de resolver un rompecabezas donde tienes que completar una oración larga, pero solo puedes arreglar unas pocas palabras a la vez. El modelo trabaja en "bloques". Elige una pequeña sección de la oración, intenta arreglar las palabras dentro de ella y luego continúa. Pero aquí está el truco: mientras está ocupado arreglando esa pequeña sección, el resto de la oración (el principio y el final) permanece exactamente igual.

A pesar de esto, la forma antigua de hacer las cosas obligaba a la computadora a recalcular toda la oración desde cero cada vez que daba un paso. Era como si, mientras arreglabas una errata en medio de una carta, la computadora insistiera en reescribir la carta entera, incluyendo las partes que no habías tocado todavía. Esto creaba una enorme cantidad de "computación redundante": esfuerzo desperdiciado. Los investigadores descubrieron que este desperdicio ocurría en tres lugares específicos:

El Paso de Traducción: Convertir palabras en números (Embedding).
El Paso de Posicionamiento: Determinar dónde se ubican las palabras en la oración (RoPE).
El Paso de Atención: Decidir qué palabras importan entre sí (FlashAttention).

La Solución: Los Tres Caches Mágicos

LaCache resuelve esto introduciendo un sistema llamado Memoización de Estado Sin Pérdidas (LSM). Piensa en la "memoización" como una hoja de trucos. Si ya has resuelto un problema matemático, escribes la respuesta para no tener que resolverlo de nuevo. LaCache crea tres hojas de trucos específicas para la IA:

EmbedCache (El Diccionario de Palabras): Este caché recuerda la traducción numérica de cualquier palabra que no haya cambiado. Si la palabra "manzana" está al principio de la oración y permanece allí, la computadora no necesita traducir "manzana" a números nuevamente. Simplemente toma el número guardado.
RoPECache (El Mapa de Posición): Este caché recuerda las "matemáticas de posición" para las palabras que no han cambiado. Es como recordar que la primera palabra siempre es la "primera", por lo que no necesitas recalcular su posición cada vez que arreglas una palabra en el medio.
FACache (La Hoja de Trucos de Atención): Este es el más complejo. Guarda las "estadísticas de atención" para las partes de la oración que no están siendo tocadas. Imagina un reflector que ilumina las palabras a las que la IA está mirando. Si la IA solo está mirando el medio de la oración, el reflector no necesita recalcular cómo brilla sobre las palabras al principio y al final. FACache guarda esos cálculos para que la IA pueda saltárselos por completo.

Al usar estos tres caches, la IA puede saltarse el trabajo pesado para las partes del texto que ya son perfectas. Solo realiza el trabajo duro en el bloque específico de palabras que está intentando arreglar en ese momento.

El Impulso de Velocidad: Un Truco de Precisión

Saltarse el trabajo es genial, pero los investigadores querían ir más rápido. Notaron que el "cerebro" de la IA (específicamente las partes llamadas capas FFN) a veces utiliza números que son muy precisos pero que no necesitan ser tan precisos para obtener la respuesta correcta. Es como medir una habitación para una alfombra con una regla láser que mide hasta la milmillonésima de pulgada, cuando una cinta métrica estándar estaría perfectamente bien.

LaCache utiliza una técnica llamada cuantización per-group FP8. Esta es una forma elegante de decir que cambian a una "regla más pequeña" (FP8) para grupos específicos de cálculos. Lo hacen cuidadosamente, solo en las partes del modelo que pueden manejarlo sin confundirse. Esto permite que el hardware de la computadora trabkaje mucho más rápido porque puede procesar estos números más pequeños de manera más eficiente. Es como cambiar de cargar bloques de piedra pesados a cargar bloques de espuma ligeros; puedes moverlos mucho más rápido y, mientras la espuma tenga la forma correcta, el edificio se mantiene en pie perfectamente.

Los Resultados: Rápido, Preciso y Listo para Usar

El equipo probó LaCache en varios modelos de IA y tareas diferentes, desde resolver problemas matemáticos hasta escribir código. Los resultados fueron impresionantes:

Velocidad: Por sí solo, LaCache hizo que la IA fuera aproximadamente 1.3 veces más rápida que la versión estándar. Pero cuando combinaron esto con otros trucos existentes para acelerar el proceso, la IA se volvió hasta 40.2 veces más rápida.
Precisión: La parte más importante es que la IA no se volvió "más tonta". Los investigadores descubrieron que las respuestas eran casi idénticas a la versión original y más lenta. En algunos casos, como la escritura de código, la aceleración incluso ayudó a la IA a generar respuestas ligeramente mejores porque pudo explorar más opciones en el mismo tiempo.
Versatilidad: Funcionó bien en diferentes tipos de tareas, incluyendo el razonamiento (resolver acertijos) y la generación de código (escribir programas de computadora).

El artículo también menciona algunas limitaciones. El almacenamiento en caché "perfecto" solo funciona en la primera capa del cerebro de la IA; las capas más profundas son más complejas y podrían necesitar trucos ligeramente diferentes. Además, este aumento de velocidad depende de tener chips de computadora modernos que sean buenos manejando estos números más pequeños (FP8). Si tienes una computadora vieja, es posible que aún no pueda utilizar este truco.

Por Qué Importa

En el mundo de la IA, la velocidad y el costo lo son todo. Si una IA tarda demasiado en pensar, es costoso ejecutarla y frustrante de usar. LaCache demuestra que no siempre necesitamos computadoras más grandes y potentes para obtener resultados más rápidos; a veces, solo necesitamos dejar de hacer el mismo trabajo dos veces. Al recordar lo que ya sabemos y usar herramientas más inteligentes para el resto, podemos hacer que estos poderosos modelos de IA funcionen a la velocidad de la luz sin perder su inteligencia. Es un recordatorio de que, en la carrera por la inteligencia artificial, ser eficiente es tan importante como ser poderoso.

Resumen Técnico: LaCache

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala basados en Difusión (DLLMs) ofrecen una alternativa prometedora a los modelos autorregresivos al permitir la generación paralela mediante la decodificación Semi-Autorregresiva (SAR). En este paradigma, la generación de texto se formula como un proceso de eliminación de ruido iterativo donde los tokens dentro de un bloque se actualizan simultáneamente mientras que la atención bidireccional aprovecha el contexto completo. Sin embargo, los actuales DLLMs de código abierto sufren de una severa redundancia a nivel de operador.

Durante los múltiples pasos de eliminación de ruido requeridos para generar un solo bloque SAR, los IDs de los tokens para el prompt (prefijo) y el sufijo enmascarado permanecen invariantes. A pesar de esto, la inferencia estándar ejecuta un pase hacia adelante (forward pass) completo en cada paso, recomputando de forma redundante los estados intermedios para estos tokens inalterados. Esta redundancia se manifiesta en:

Operadores por token: Búsquedas de embeddings, normalización, proyecciones QKV y Embeddings de Posición Rotatorios (RoPE).
Mecanismos de atención: Específicamente, el cálculo por bloques (tiled calculation) dentro de la primera capa de FlashAttention, donde los mismos bloques de Clave-Valor (KV) se procesan repetidamente para consultas (queries) invariantes.

Las técnicas de aceleración existentes, como el almacenamiento en caché de KV aproximado o la poda de contexto (por ejemplo, DPad), reducen principalmente el número de pasos de eliminación de ruido o la longitud efectiva del contexto, pero no eliminan directamente la computación redundante de los tokens invariantes dentro de un bloque SAR.

Metodología

Los autores proponen LaCache, un marco de aceleración libre de entrenamiento diseñado para eliminar esta redundancia mediante la Memoización de Estado sin Pérdida (LSM) y la inferencia de precisión mixta.

1. Memoización de Estado sin Pérdida (LSM)

LaCache almacena tres tipos específicos de resultados intermedios para los tokens que permanecen sin cambios ( $U$ ) dentro de un bloque SAR, lo que permite al modelo omitir computaciones redundantes en pasos posteriores asegurando resultados matemáticamente equivalentes:

EmbedCache: Almacena las salidas de embedding para los tokens en la región invariante $U$ .
RoPECache: Almacena los estados pre-atención por token de la primera capa para los tokens en $U$ . Esto incluye los estados ocultos normalizados tras las proyecciones QKV y la aplicación de RoPE.
FACache (Caché de FlashAttention): Almacena las estadísticas de softmax en línea de la primera capa de FlashAttention. Específicamente, almacena el máximo acumulado ( $m$ $m$ ), el normalizador ( $\ell$ $ℓ$ ) y el acumulador de salida no normalizado ( $\tilde{O}$ $\tilde{O}$ ) para los bloques de consulta que no se solapan con el bloque de generación actual.
- Mecanismo: En pasos subsecuentes, si un bloque de consulta y un bloque de KV pertenecen ambos a la región invariante, el cálculo se omite por completo y se reutiliza el estado almacenado. Si solo el bloque de KV es invariante, el estado almacenado inicializa los registros, omitiendo la acumulación redundante.

2. Estrategia de Precisión Mixta

Para abordar los cuellos de botella de ancho de banda de memoria y acelerar aún más las capas intensivas en cómputo, LaCache emplea una estrategia de cuantización de precisión FP8 por grupo para las capas de Redes de Alimentación hacia Adelante (FFN) (capas lineales Gate-Up y FF-Out).

Granularidad: La estrategia utiliza un enfoque de grano fino por grupo (1x128 para activaciones, 128x128 para pesos) para adaptarse a las diversas distribuciones de activación observadas a través de diferentes pasos de eliminación de ruido y capas.
Selección de Capas: La cuantización se aplica a todas las capas excepto a la primera. La primera capa se mantiene en FP16 porque aplicar la cuantización allí causa una degradación significativa de la precisión debido a la sensibilidad de los embeddings iniciales.
Optimización: Las operaciones de cuantización y descuantización se fusionan con los operadores circundantes (AddNorm y Swiglu) para minimizar la sobrecarga de acceso a la memoria y aprovechar los Tensor Cores de FP8.

3. Flujo de Trabajo de Inferencia

El marco opera particionando la secuencia en bloques. Para el primer paso de eliminación de ruido de un bloque, el modelo realiza pases hacia adelante completos y actualiza las cachés. Para los pasos subsiguientes dentro del mismo bloque, el modelo:

Recupera los embeddings y los estados de RoPE en caché para los tokens invariantes.
Inicializa FlashAttention con las estadísticas de softmax almacenadas para las regiones invariantes.
Computa solo las operaciones necesarias para los tokens cambiantes en el bloque actual.
Aplica la cuantización FP8 a las capas FFN para el resto de la computación.

Contribuciones Clave

Identificación de la Redundancia: El artículo identifica y cuantifica la redundancia a nivel de operador en la inferencia SAR, destacando específicamente la repetición de los operadores por token y el tiling de FlashAttention en tokens invariantes.
Mecanismo de Caché sin Pérdida: La introducción de tres componentes de caché especializados (EmbedCache, RoPECache y FACache) que permiten omitir computaciones redundantes sin alterar la distribución de salida del modelo.
Precisión Mixta Adaptativa: Una estrategia de cuantización FP8 por grupo diseñada para la dinámica de activación específica de los DLLM, que acelera las capas lineales manteniendo la precisión.
Componibilidad: El marco está diseñado para ser libre de entrenamiento y complementario con métodos de aceleración existentes (por ejemplo, decodificación basada en confianza, suffix dropout).

Resultados Experimentales

Los experimentos se realizaron en GPUs NVIDIA H200 utilizando modelos LLaDA (base, instruct y 1.5) en tareas de razonamiento (GSM8K, MATH) y generación de código (HumanEval, MBPP).

Aceleración (Speedup):
- Independiente: LaCache por sí solo logra una aceleración de aproximadamente 1.3× en la inferencia de DLLM vanilla.
- Combinada: Al combinarse con métodos de aceleración existentes (Fast-dLLM y DPad), LaCache logra hasta un 40.2× de aceleración end-to-end en tareas de contexto largo.
- Comparación con el Baseline: En secuencias estándar, ofrece aceleraciones de 3–12×.
Precisión: El método mantiene una precisión de tarea comparable a la del backbone original. En algunos casos (por ejemplo, HumanEval), la precisión mejoró ligeramente, atribuido a que el modelo genera formatos de salida más completos debido a la tendencia de la estrategia de baja precisión de retrasar ligeramente los tokens de fin de secuencia (end-of-sequence).
Ablación: Eliminar la cuantización FP8 (usando solo el caché) sigue produciendo una aceleración de ~3%, confirmando la eficacia del mecanismo de caché por sí solo.

Significancia y Reivindicaciones

El artículo afirma que LaCache proporciona una solución general, libre de entrenamiento y complementaria para el despliegue eficiente de DLLM. Su principal significancia radica en abordar una fuente de ineficiencia específica y previamente pasada por alto: la computación redundante de tokens invariantes dentro del bucle de decodificación SAR.

Al memoizar estrictamente los estados intermedios, LaCache logra una aceleración sin pérdida, asegurando que la velocidad no se obtenga a costa de la calidad de la generación. Los autores enfatizan que este enfoque es distinto de los métodos que aproximan el modelo o reducen la longitud del contexto; en su lugar, optimiza la ejecución de las mismas operaciones matemáticas exactas evitando su repetición. El marco se presenta como un habilitador práctico para el despliegue de DLLM en escenarios sensibles a la latencia sin requerir el reentrenamiento del modelo o cambios arquitectónicos.

Limitaciones

Los autores reconocen dos limitaciones principales:

Restricción de Capas: El caché sin pérdida está teóricamente restringido a la primera capa. Implementar un caché similar en capas más profundas es difícil debido a la propagación bidireccional de los estados ocultos, lo que requeriría métodos aproximados que podrían degradar la calidad.
Dependencia del Hardware: La estrategia de precisión mixta depende de aceleradores modernos con soporte nativo para FP8 (por ejemplo, NVIDIA H200). El despliegue en hardware más antiguo que carece de motores de matrices de baja precisión optimizados está restringido.