🤖 AI

Nexus: Depth-Adaptive KV-Cache Splicing and Retrieval-Decoupled Tool Routing for Agentic LLMs on Unified Memory

Nexus acelera los LLM agénticos en memoria unificada al desacoplar el enrutamiento de herramientas del costoso pre-llenado de esquemas mediante un búfer de búsqueda semántica y firmas comprimidas, mientras emplea un mecanismo de empalme de caché KV adaptativo a la profundidad con re-decodificación de respaldo para mantener la fidelidad de la salida a pesar de la deriva de la incrustación de posición rotatoria.

Autores originales: Mustafa Arslan

Publicado 2026-08-24

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mustafa Arslan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, que evoluciona rápidamente, un tipo específico de agente de software está aprendiendo a actuar en nuestro nombre. Estos asistentes digitales no solo responden preguntas; se extienden para usar herramientas, como consultar un calendario, buscar en una base de datos o enviar un correo electrónico. Para hacer esto, el software debe primero comprender un manual de instrucciones detallado para cada una de las herramientas que podría utilizar. A medida que el número de herramientas disponibles crece hasta alcanzar los cientos, estos manuales se vuelven enormes, llenando la memoria a corto plazo de la computadora con texto repetitivo antes de que el agente pueda siquiera empezar a pensar. Esto crea un cuello de botella: cuanto más herramientas tiene el agente, más tiempo tarda en empezar a trabajar, porque la computadora debe releer y reprocesar estos masivos conjuntos de instrucciones cada vez que da un nuevo paso.

Los investigadores han estado buscando una forma de evitar este cuello de botella. Una idea era guardar el trabajo de la computadora sobre estas instrucciones en una forma comprimida, como un marcador, y simplemente pegarlo de nuevo en la memoria cuando fuera necesario. Esto suena eficiente, pero se topa con un problema fundamental en la forma en que los modelos de IA modernos rastrean el tiempo y el orden. Estos modelos utilizan un sistema para recordar en qué parte de una secuencia de palabras se encuentran, y si se mueve un fragmento de trabajo guardado a un lugar diferente en la memoria, el modelo se confunde sobre el orden de los eventos. Es como tomar una página de en medio de un libro y pegarla en un capítulo diferente; la historia puede seguir teniendo sentido, pero las conexiones sutiles entre las oraciones pueden romperse, lo que conduce a errores.

Un equipo de investigadores independientes ha construido ahora un sistema llamado Nexus para navegar por este complejo panorama. Descubrieron que, si bien no se pueden mover estos bloques de instrucciones guardados sin riesgo, sí es posible hacerlo si se es cuidadoso con dónde se colocan y cómo se corrigen los errores que inevitablemente aparecen. Su trabajo, probado en un tipo específico de chip de computadora potente que se encuentra en las laptops modernas, revela un límite preciso para qué tan lejos se pueden mover estos bloques antes de que la salida de la IA se vuelva poco fiable. Encontraron que si el bloque se mueve demasiado, la comprensión del modelo sobre la secuencia se desvía, pero esta desviación es predecible. Los investigadores diseñaron un método para detectar cuándo esta desviación se vuelve demasiado grande y relectura automáticamente solo la parte necesaria de las instrucciones para unir la memoria perfectamente de nuevo.

El hallazgo más significativo de este trabajo es que el sistema no necesita depender de estos arriesgados atajos de memoria para su tarea más crítica: decidir qué herramienta utilizar. En lugar de obligar a la IA a leer los masivos manuales de instrucciones para tomar una decisión, Nexus utiliza un sistema de búsqueda ultra rápido y separado. Este sistema escanea una lista compacta de nombres y descripciones de herramientas para encontrar la coincidencia adecuada en microsegundos. Una vez elegida la herramienta, la IA genera los argumentos necesarios utilizando un resumen diminuto y comprimido de las instrucciones —a menudo de solo unas pocas docenas de palabras— en lugar del texto completo y abultado. Este enfoque mantiene la memoria principal limpia y permite que el agente comience su trabajo mucho más rápido, encontrando la primera palabra de su respuesta en menos de la mitad del tiempo que le tomaría volver a leer los manuales completos.

Los investigadores también probaron rigurosamente los límites de su técnica de empalme de memoria. Confirmaron que, si bien el método funciona bien para distancias cortas, existe un límite estricto. Si el bloque guardado se coloca a más de 256 posiciones de donde fue creado originalmente, los errores se vuelven demasiado significativos para ignorarlos. En este punto, el sistema deja de intentar reparar la memoria y, en su lugar, recurre al método más lento, pero más seguro, de releer el texto completo. Esto garantiza que la salida final sea exactamente tan precisa como si la computadora nunca hubiera intentado usar el atajo. También demostraron que un método más simple y económico de adivinar cuándo detener el atajo —basado en una revisión rápida del estado interno de la memoria— no funciona, ya que no logra predecir los errores de manera fiable.

En sus pruebas, el sistema Nexus logró manejar un registro de 250 herramientas diferentes sin ralentizarse, manteniendo una alta tasa de éxito en la elección de la herramienta correcta. Cuando el contexto era moderado, el sistema era hasta 1.7 veces más rápido que el método tradicional de releer todo. Sin embargo, a medida que la conversación se volvía más larga y profunda, la ventaja de velocidad naturalmente se desvanecía, llegando eventualmente a igualar el rendimiento del método estándar. Esto no es un fallo, sino una característica de su diseño: el sistema prioriza que la respuesta sea correcta por encima de ser rápido. Garantiza que la salida nunca sea peor que la del método estándar, incluso si a veces toma el mismo tiempo.

El trabajo se llevó a cabo en un único tipo de chip de computadora con una arquitectura de memoria unificada, lo que permite al procesador acceder directamente a los datos sin moverlos entre diferentes partes de la máquina. Esta configuración de hardware específica era esencial para que la técnica de empalme de memoria funcionara, ya que requiere acceso físico directo a las celdas de memoria. Los investigadores dejan claro que, aunque las cifras de velocidad son específicas para esta configuración particular, los principios subyacentes —los límites de mover bloques de memoria y la necesidad de un sistema de enrutamiento separado— parecen ser verdades universales sobre cómo funcionan estos modelos. Han proporcionado un mapa claro de dónde funcionan los atajos, dónde se rompen y cómo construir un sistema que respete esos límites para ofrecer tanto velocidad como fiabilidad.

Resumen Técnico: Nexus

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLM) agénticos que utilizan el Protocolo de Contexto de Modelo (MCP) enfrentan un cuello de botella de rendimiento significativo a medida que los registros de herramientas escalan. Cada herramienta se describe mediante un esquema JSON verboso que debe ser re-codificado (pre-llenado) en cada turno. Dado que la complejidad de la auto-atención escala cuadráticamente ( $O(N^2)$ ) con la longitud de la secuencia, la acumulación de estos esquemas domina el prompt, creando una "pared de pre-llenado de esquemas" (schema-prefill wall) que degrada severamente el Tiempo al Primer Token (TTFT) y, eventualmente, causa el desbordamiento de la ventana de contexto.

Aunque sistemas previos optimizan la gestión del caché KV reutilizando bloques in-situ (por ejemplo, PagedAttention, RadixAttention), estos no reubican los bloques compilados en nuevas posiciones. Un enfoque directo de compilar un esquema una vez en un bloque de Clave/Valor (KV) y trasplantarlo a un contexto vivo durante la inferencia falla debido al desfase de fase de la Incrustación de Posición Rotatoria (RoPE). RoPE inyecta información de posición rotando los pares de características de consulta/clave; un bloque compilado para una posición de anclaje $m_0$ porta una fase absoluta incorrecta cuando se coloca en una posición de tiempo de ejecución $n_{past}$ , corrompiendo las puntuaciones de atención.

Metodología

Nexus es un prototipo de servicio de caché KV en espacio de usuario diseñado para la Arquitectura de Memoria Unificada (UMA) de Apple Silicon. Aborda la pared de pre-llenado mediante dos mecanismos primarios: enrutamiento desacoplado de la recuperación y empalme de caché KV adaptativo a la profundidad.

1. Enrutamiento Desacoplado de la Recuperación

Para evitar el costo de re-pre-llenar los esquemas en cada turno, Nexus desacopla la selección de herramientas de la generación del contexto principal:

Búfer de Observación Semántica (SLB): Los embeddings de las herramientas (generados mediante nomic-embed-text-v1.5) se cuantizan a INT8 y se almacenan en un búfer denso. El enrutamiento se realiza mediante un escaneo de producto punto SIMD sin ramificaciones.
Puerta de Margen Calibrada: Los principales candidatos son evaluados por una puerta de margen. Si el margen de puntuación entre las dos mejores herramientas supera un umbral calibrado ( $\tau = 0.0136$ ), la decisión se enruta automáticamente. De lo contrario, un re-clasificador (cross-encoder) ajustado re-clasifica los principales candidatos.
Representación Intermedia Comprimida (IR): Una vez seleccionada una herramienta, los argumentos se generan sobre una firma textual comprimida (mediana de 19 tokens) en lugar del caché KV completo trasplantado. Esto mantiene el prompt del contexto principal pequeño y evita depender del empalme de KV para la generación de argumentos.

2. Empalme y Reparación de KV Adaptativo a la Profundidad

Para los esquemas que son trasplantados al contexto vivo, Nexus emplea una estrategia de "fallo cerrado" para gestionar el desfase de RoPE:

Empalme Anclado: Para profundidades de contexto ( $n_{past}$ ) dentro de un umbral conservador ( $P = 256$ tokens), el sistema realiza un empalme físico directo del bloque KV compilado. El bloque es re-anclado (re-rotado) para coincidir con la posición de tiempo de ejecución, asegurando la exactitud de salida (DKL $\approx 0$ ).
Re-cómputo Adaptativo a la Profundidad: Más allá del umbral de 256 tokens, el sistema inicia un proceso de reparación. Re-decodifica un sufijo de cola del esquema trasplantado. La fracción de tokens re-decodificados, $R(n_{past})$ , escala linealmente con la profundidad, alcanzando el 100% (un pre-llenado completo) en contextos más profundos. Esto asegura una garantía de "nunca retroceder" (never-regress): la fidelidad de la salida (acuerdo top-1 e identidad de la distribución) nunca es peor que un pre-llenado de texto completo, incluso si la latencia disminuye temporalmente.
Implementación de Sistemas: El sistema utiliza mapeo de memoria de cero copia (mmap) para bloques compilados, empalme de V transpuesta para modelos de capacidad suave (ej. Gemma-2), y endurecimiento de línea de caché para asegurar salidas deterministas y de estabilidad de bits bajo concurrencia.

Contribuciones Clave y Resultados Negativos

El artículo distingue explícitamente entre contribuciones positivas y "resultados negativos de acotación" que definen los límites arquitectónicos del sistema.

Contribuciones Positivas

Enrutamiento Desacoplado de la Recuperación: Un mecanismo de enrutamiento independiente de la profundidad que mantiene un ~89% de precisión incluso cuando el registro escala a 250 herramientas, donde un baseline de "concatenar todos los esquemas" falla debido al desbordamiento de contexto. Logra una aceleración de 1.66× al alcanzar el primer token de argumento con una reducción del ~80% en los tokens del contexto principal.
Re-cómputo Adaptativo a la Profundidad: Un mecanismo de reparación acotado que garantiza la fidelidad de la salida (nunca retroceder) mediante la escalada de la re-decodificación a medida que la profundidad del contexto aumenta, convergiendo gradualmente a la paridad del pre-llenado.
Mecanismos de Sistemas UMA: Implementación de empalme de V transpuesta para modelos de capacidad suave y asignadores endurecidos de línea de caché para ejecución local.

Resultados Negativos (Límites de Diseño)

Límite de Fidelidad de RoPE Fuera de Anclaje: El artículo demuestra que, si bien un empalme simple (sin re-decodificación) mantiene el acuerdo top-1 hasta los 2048 tokens, introduce una divergencia distributiva residual ( $\sim 10^{-2}$ nats). Esto hace necesario el mecanismo de reparación para garantizar una salida bit a bit idéntica bajo cualquier parámetro de decodificación.
Fallo de la Compuerta de Deriva Libre de Referencia: Un intento de utilizar un proxy barato y libre de referencia (varianza de K por cabeza) para predecir cuándo fallaría un empalme profundo no tuvo éxito. El proxy no logró correlacionarse con la deriva real (Spearman $\rho = 0.193$ ), justificando el uso de una curva de reparación determinista y adaptativa a la profundidad.

Resultados

Las mediciones se realizaron en un Apple M4 Max (64 GB UMA) utilizando Qwen2.5-14B-Instruct (Q4_K_M).

Latencia: En profundidades moderadas ( $n_{past} = 256$ ), Nexus logra una aceleración de TTFT de 1.63× a 1.73× en comparación con el pre-llenado completo. A medida que la profundidad aumenta y la fracción de re-cómputo $R(n_{past})$ se acerca al 100%, la aceleración se reduce hacia la paridad (1.0×), pero el sistema nunca retrocede en fidelidad.
Precisión de Enrutamiento: La precisión del enrutamiento se mantiene estable (~89%) mientras el registro de herramientas escala de 10 a 250 herramientas. En contraste, un baseline que concatena todos los esquemas desborda la ventana de contexto en $N \ge 50$ .
Fidelidad de Argumentos: En casos enrutados, el sistema llena el 100% de los argumentos especificados por la consulta con una tasa de validez JSON del 100%. La precisión de argumentos de extremo a extremo (incluyendo errores de enrutamiento) es del 80%.
Micro-costos: El escaneo de la SLB en INT8 sobre 250 herramientas se completa en 17.6 $\mu$ s (incluyendo el overhead de FFI), demostrando que el costo de enrutamiento es insignificante comparado con los costos de pre-llenado.

Significado y Alcance

El artículo posiciona a Nexus no como una solución universal para todo el servicio de LLM, sino como una caracterización de los compromisos entre la trasplantación de caché KV y el desfase de fase de RoPE.

Generalización Cualitativa: El artículo afirma que los límites cualitativos —específicamente que el reubicamiento fuera de anclaje causa deriva, que el re-cómputo disperso no puede repararlo fácilmente y que la compuerta libre de referencia falla en la predicción— son propiedades de RoPE y se mantienen independientes del modelo.
Especificidad Cuantitativa: El sobre cuantitativo (el umbral de 256 tokens, las constantes de la curva de re-cómputo y las magnitudes de divergencia) está calibrado para una tupla de modelo única (Qwen2.5-14B) y hardware (Apple M4 Max).
Limitaciones de Alcance: El sistema está diseñado para la ejecución local residente en UMA. Cae totalmente en el pre-llenado de texto para APIs en la nube (que no exponen direcciones físicas de caché) y back-ends de GPU discreta (donde las transferencias de paso transpuesto son patológicas).

El autor concluye que la contribución más duradera del trabajo es el sobre medido y los resultados negativos, que definen los límites duros del empalme de esquemas y justifican la elección arquitectónica de desacoplar el enrutamiento de la ruta de empalme por completo.