Resumen Técnico: Archivos de Caché KV Fractales

Planteamiento del Problema

Servir modelos de lenguaje transformer sobre contextos largos ha pasado de ser un desafío de cómputo a uno de memoria. La caché de Clave-Valor (KV), necesaria para la atención autorregresiva, crece linealmente con la longitud del contexto, superando a menudo el tamaño de los pesos del modelo y limitando los tamaños de lote (batch sizes). Mientras que las soluciones existentes se centran en la compresión con pérdida (cuantización, expulsión, descarga), este artículo aborda una pregunta descendente, a menudo implícita: una vez que un estado KV ha sido reducido a un flujo de símbolos mediante cuantización vectorial, ¿cómo debe almacenarse ese flujo?

Los autores argumentan que la capa de almacenamiento no debe ser un bloque inerte, sino un componente activo capaz de soportar los patrones de acceso específicos de una caché en crecimiento: append amortizado O(1) (a medida que llegan nuevos tokens) y acceso aleatorio O(1) (para recuperar posiciones pasadas), ofreciendo potencialmente funcionalidad adicional como la recuperación in-situ (in-place retrieval).

Metodología

1. El Primitivo de Almacenamiento: Códigos de Mapas Iterados Contractivos

El artículo propone el uso de un código de mapa iterado contractivo sin pérdida (específicamente, una generalización de la Representación del Juego del Caos y los Mapas de Secuencias Universales) como la capa de serialización para los índices KV cuantizados.

• Mecanismo: Una secuencia de símbolos sobre un alfabeto de tamaño $N$ se mapea a una trayectoria de puntos en un plano 2D. Se fija un $N$-gono regular con un vértice por símbolo. Cada símbolo $c_k$ mapea el punto actual $p_{k-1}$ a un nuevo punto $p_k$ mediante la contracción $p_k = V(c_k) + r(p_{k-1} - V(c_k))$, donde $r$ es una razón de contracción.
• Propiedades:
  • Sin pérdida: El mapa es invertible siempre que la razón de contracción $r$ sea lo suficientemente pequeña como para asegurar "celdas" disjuntas para cada símbolo.
  • Eficiencia: La codificación es de tiempo lineal. La decodificación permite el acceso aleatorio a cualquier posición reconstruyendo solo el tramo necesario desde el punto de anclaje más cercano.
  • Autosimilitud: El conjunto de puntos alcanzables forma un atractor fractal (por ejemplo, un triángulo de Sierpinski para $N=3$).
• Implementación: Para mitigar la amplificación del error de punto flotante durante la inversión, el codec almacena un punto por cada tramo de longitud fija y reconstruye los tramos mediante una búsqueda hacia atrás anclada.

2. Estrategia de Cuantización

Los autores realizan un estudio controlado con GPT-2 (124M) con contextos de 1024 tokens para determinar el esquema de cuantización óptimo que alimenta este archivo:

• Ventana Exacta: Para mantener el rendimiento, se mantiene una pequeña ventana exacta (4 tokens de "sumidero de atención" + 32 tokens recientes). El resto del contexto se archiva.
• Variantes de Cuantización:
  • Agrupado (Pooled) vs. Por Cabeza (Per-Head): Comparación de un único libro de códigos compartido entre todas las cabezas de atención frente a libros de códigos individuales por cabeza.
  • Cuantización de Vectores Residuales (RVQ): Almacenamiento de vectores como una suma de $s$ índices de libros de códigos.
  • Asimetría Clave/Valor: Investigación del impacto diferencial de cuantizar las Claves (K) frente a los Valores (V).

3. Recuperación In-Situ (In-Place Retrieval)

El artículo explota una propiedad geométrica del código de mapa iterado: los puntos que comparten un sufijo común de longitud $s$ están espacialmente cerca (distancia $\approx 2r^s$). Esto permite que las consultas de subcadenas aproximadas se ejecuten directamente sobre los vectores 2D almacenados mediante búsqueda de vecinos más cercanos, sin descomprimir el texto circundante.

Resultados Clave

1. Rendimiento del Codec

El codec fractal actúa como un primitivo de almacenamiento de alto rendimiento independiente del modelo:

• Codificación: 0.68 µs/carácter (tiempo lineal).
• Acceso Aleatorio: 311 µs/búsqueda para un documento de 1M de caracteres.
• Append: 175 µs/token (amortizado).

2. Hallazgos de Cuantización (GPT-2, 1024 tokens)

• Superioridad Por Cabeza: Los libros de códigos por cabeza superan significativamente a los libros de códigos agrupados con presupuestos de bits iguales. Un RVQ por cabeza (profundidad 2) reduce el aumento de la perplejidad a +15.0% comparado con un +29.2% para un RVQ agrupado.
• Asimetría Clave/Valor: Cuantizar las Claves es aproximadamente 4 veces más perjudicial para la perplejidad que cuantizar los Valores.
  • Solo Valores (Claves exactas): +4.0% de perplejidad.
  • Solo Claves (Valores exactos): +14.5% de perplejidad.
  • Esto confirma que las Claves determinan el enrutamiento de la atención (alta sensibilidad), mientras que los Valores son promediados (atenuación de error).
• Esquema Híbrido Óptimo: Asignar más bits a las Claves (4 etapas de RVQ) y menos a los Valores (2 etapas) ofrece el mejor compromiso:
  • Compresión: Reducción de 36× respecto a una caché fp16.
  • Costo de Perplejidad: +11.2% (específicamente +16.6% en la "segunda mitad" del contexto donde el archivo predomina).
  • Almacenamiento: 1025 bytes/token.

3. Capacidades de Recuperación

• Recuerdo Exacto: El umbral de la distancia entre puntos almacenados recupera todas las posiciones con un sufijo coincidente de longitud $\ell$ con una precisión (recall) de 1.00.
• Precisión: Controlada por la precisión numérica. Los índices de doble precisión logran una precisión de 0.89–1.00; la precisión simple sirve como un filtro grueso.
• Eficiencia: La búsqueda de vecinos más cercanos por fuerza bruta sobre 100K posiciones en el espacio 2D toma ~0.9 ms/consulta.
• Decodificación: El contexto coincidente se decodifica hacia atrás desde el vector emparejado sin acceder al texto externo.

Significado y Reivindicaciones

El artículo reclama tres contribuciones principales, distinguiéndose de trabajos concurrentes (por ejemplo, FibQuant, RetroInfer) que se centran en la geometría del libro de códigos o en motores de almacenamiento de vectores:

1. Un Formato de Archivo Unificado: Enmarca el código de mapa iterado contractivo como un archivo KV práctico que es simultáneamente un almacén sin pérdida, un decodificador de acceso aleatorio y un índice de búsqueda in-situ. Esta unificación del almacenamiento y la recuperación en una sola representación se presenta como la contribución novedosa.
2. Perspectivas de Cuantización: Cuantifica la asimetría Clave/Valor como un presupuesto de perplejidad específico, demostrando que un esquema híbrido de bits asimétricos (4x bits para Claves, 2x para Valores) es el punto de operación óptimo para la compresión de contexto largo.
3. Memoria Buscable: Demuestra que el archivo soporta la coincidencia de sufijos directamente sobre la representación comprimida, permitiendo la decodificación aumentada por recuperación donde el modelo puede localizar contextos pasados relevantes sin materializar la caché completa.

Limitaciones Reconocidas por los Autores

• Escala: Los experimentos se limitan a GPT-2 (124M) y un contexto único de 1024 tokens. Los resultados en modelos más grandes no han sido probados (aunque es probable que sean más tolerantes a la cuantización).
• Entrenamiento del Libro de Códigos: Los libros de códigos se entrenan por corpus, no se amortizan a través de los datos.
• Alcance de la Recuperación: La recuperación es estrictamente de coincidencia de estructura de secuencia (sufijos), no de recuperación semántica sobre embeddings.
• Relación de Compresión: La relación de compresión bruta del codec fractal es comparable a los empaquetadores de bytes estándar; su ventaja reside en el patrón de acceso (acceso aleatorio/búsqueda) más que en la reducción de tamaño bruto.
• Benchmarking: El artículo no compara sus resultados contra los diseños de libros de códigos específicos de trabajos concurrentes, reconociendo que la combinación de sus cuantizadores con este formato de almacenamiento es un trabajo futuro.