Resumen Técnico: VeriCache

Enunciado del Problema

La rápida expansión de las longitudes de contexto de los Modelos de Lenguaje Grande (LLM) (que superan el millón de tokens) ha creado un cuello de botella severo en el servicio de inferencia debido al tamaño de la memoria caché de Clave-Valor (KV). Este cuello de botella se manifiesta de dos maneras:

1. Sobrecarga dentro de la solicitud: Los pasos de decodificación requieren leer toda la caché KV desde la Memoria de Ancho de Banda Alto (HBM) de la GPU, creando un cuello de botella en el ancho de banda de memoria que escala linealmente con la longitud del contexto. Las cachés grandes también reducen el tamaño de lote que cabe en la memoria de la GPU.
2. Sobrecarga entre solicitudes: Reutilizar las cachés KV precalculadas para prefijos compartidos (por ejemplo, indicaciones del sistema) requiere transferir grandes volúmenes de datos desde el almacenamiento o a través de redes, dominando a menudo la latencia de la solicitud.

Para abordar esto, se han propuesto numerosos métodos de compresión de la caché KV (eliminación de tokens y cuantización). Sin embargo, estos métodos son intrínsecamente con pérdida. Aunque pueden preservar métricas a nivel de token (por ejemplo, perplejidad, puntuación F1) para salidas cortas, introducen un sesgo sistemático en la distribución del siguiente token. A medida que avanza la generación, este sesgo se acumula, provocando que la salida se desvíe significativamente de la línea base de KV completa. Esto conduce a "fallos catastróficos" en aplicaciones que requieren una corrección funcional estricta, como la generación de código (errores de sintaxis) y la llamada a herramientas (argumentos incorrectos), lo que hace que la compresión tradicional sea inadecuada para estas tareas críticas.

Metodología: VeriCache

VeriCache es un marco de inferencia diseñado para lograr los beneficios de rendimiento de la compresión de la caché KV mientras garantiza salidas sin pérdida idénticas a la decodificación con KV completa. Reutiliza los métodos de compresión con pérdida como una capa de ejecución especulativa en lugar de un mecanismo de servicio directo.

Algoritmo Central

VeriCache opera en un bucle de borrador y verificación:

1. Borrador: El modelo genera una secuencia de tokens candidatos ($x$) utilizando la caché KV comprimida ($KV_{comp}$). Este paso es rápido y eficiente en memoria.
2. Verificación: El sistema realiza una sola pasada hacia adelante utilizando la caché KV completa ($KV_{full}$) para verificar los tokens del borrador en paralelo.
3. Aceptación: Se aceptan los tokens hasta la primera discrepancia. Si todos los tokens del borrador coinciden con la predicción de KV completa, se acepta un token adicional de "bonificación". El proceso se repite desde el último token aceptado.

Innovaciones Clave del Sistema

Para evitar que la sobrecarga de verificación anule las ganancias de rendimiento de la compresión, VeriCache introduce dos diseños críticos a nivel de sistema:

1. Escalonamiento de Recursos Cruzados (P1)
La decodificación especulativa tradicional a menudo se ejecuta paso a paso (todo el borrador, luego toda la verificación), causando contención de recursos. VeriCache explota el hecho de que el borrador y la verificación tienen cuellos de botella de recursos complementarios:

• El borrador está limitado por el ancho de banda de la HBM de la GPU (lectura de KV comprimida y pesos).
• La verificación está limitada por el ancho de banda de la interconexión (carga de KV completa desde CPU/Almacenamiento) y limitada por el cómputo.
• Mecanismo: El programador de tiempo de ejecución escalona las solicitudes de modo que, mientras algunas solicitudes están en borrador (usando HBM), otras están verificando (cargando KV completa a través de PCIe/Red). Esto permite al sistema superponer la transferencia de datos con el cómputo, manteniendo tanto la interconexión como la HBM de la GPU utilizadas sin detenerse.

2. Período de Verificación Extendido mediante Tasas de Aceptación Altas (P2)
A diferencia de la decodificación especulativa tradicional, que utiliza un modelo más pequeño y diferente como borrador (lo que conduce a una rápida divergencia de distribución y longitudes de aceptación cortas), VeriCache utiliza el mismo modelo objetivo con KV comprimida.

• Dado que se preservan los pesos del modelo y los patrones de atención dominantes, el borrador de KV comprimida mantiene una tasa de aceptación alta incluso para longitudes de borrado largas (por ejemplo, 25–40 tokens por ronda frente a 2–3 para borradores de modelos pequeños).
• Esta alta tasa de aceptación amortiza el costo de la costosa verificación con KV completa, permitiendo que el sistema verifique con menos frecuencia mientras mantiene la corrección.

Soporte de Arquitectura

VeriCache admite dos escenarios de implementación principales:

• Decodificación de Contexto Largo: La KV comprimida reside en la HBM de la GPU, mientras que la KV completa se almacena en la memoria de la CPU. La verificación implica cargar la KV completa desde la CPU a la GPU a través del enlace PCIe.
• Caché de Prefijo Remoto: La KV comprimida se transmite a través de un enlace de red lento a una GPU remota para el borrador. La KV completa se carga a través de un enlace local rápido a una GPU local para la verificación. Esto desacopla la transferencia lenta de almacenamiento del cómputo de la GPU remota.

El marco expone una interfaz de compresor uniforme, lo que le permite integrarse con varios métodos existentes de eliminación de tokens y cuantización (por ejemplo, KVzip, KIVI, SnapKV) sin modificar la lógica de programación o verificación.

Contribuciones Clave

1. Inferencia sin pérdida con compresión: VeriCache es el primer marco que permite la inferencia de LLM sin pérdida utilizando técnicas de compresión de KV intrínsecamente con pérdida, garantizando la identidad de la salida con la decodificación con KV completa.
2. Diseño de sistema para la sobrecarga de verificación: Introduce el escalonamiento de recursos cruzados y períodos de verificación extendidos para ocultar la latencia de carga de las cachés KV completas, resolviendo la degradación del rendimiento típicamente asociada con la verificación especulativa.
3. Interfaz unificada: Proporciona una interfaz genérica que admite una amplia familia de métodos de compresión (tanto eliminación de tokens como cuantización), a diferencia de sistemas anteriores que integran compresores específicos de forma rígida.
4. Soporte para escenarios duales: Aborda tanto la decodificación de contexto largo (cuello de botella de HBM) como la caché de prefijo remoto (cuello de botella de red/almacenamiento).

Resultados Experimentales

Evaluado en modelos que incluyen Mistral-24B, Qwen-32B y Llama-70B en diversas cargas de trabajo (generación de código, llamada a herramientas, razonamiento matemático):

• Rendimiento: VeriCache logra hasta 4 veces más rendimiento que la inferencia con KV completa en la decodificación de contexto largo y hasta 2 veces en la caché de prefijo remoto.
• Corrección: Produce salidas idénticas a la inferencia con KV completa (bajo decodificación voraz), mientras que las líneas base con pérdida sufren caídas significativas en la precisión funcional (por ejemplo, la validez de la sintaxis del código cae a casi cero con una compresión de 4 veces en las líneas base).
• Compensación Calidad-Rendimiento: Mientras que las líneas base con pérdida fuerzan una compensación donde una mayor compresión conduce a una menor calidad, VeriCache mantiene la calidad completa mientras opera a los niveles de rendimiento de la inferencia comprimida.
• Composición: VeriCache puede componerse con la decodificación especulativa tradicional (por ejemplo, EAGLE), logrando hasta 4.35 veces de aceleración ideal al atacar cuellos de botella ortogonales (tamaño de lote mediante compresión, velocidad de token mediante borrador de modelo pequeño).

Significado

El artículo argumenta que la dicotomía actual —elegir entre compresión con pérdida de alto rendimiento (arriesgando fallos funcionales) o inferencia con KV completa de bajo rendimiento— es innecesaria. VeriCache demuestra que la compresión no debe reemplazar el cálculo exacto, sino acelerarlo. Al aprovechar las altas tasas de aceptación del borrado comprimido del mismo modelo y el escalonamiento sofisticado de recursos, VeriCache permite el despliegue de LLM de contexto largo en aplicaciones críticas (codificación, flujos de trabajo de agentes) sin sacrificar la corrección funcional requerida para estas tareas.