Learning Agent Execution for KV-Cache Management in Agentic Serving
Este artículo presenta CacheScout, un tiempo de ejecución de caché KV consciente del agente que aprende las transiciones de ejecución de agentes en línea para gestionar proactivamente la expulsión y el prealmacenamiento de la caché, mejorando significamente las tasas de acierto y reduciendo la latencia para el servicio de LLM multiagente sin requerir grafos de flujo de trabajo predefinidos.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el mundo moderno de la inteligencia artificial, una nueva forma de construir asistentes inteligentes ha cobrado fuerza. En lugar de pedirle a un único cerebro informático omnisciente que resuelva un problema complejo de una sola vez, los desarrolladores ahora dividen las tareas en un equipo de trabajadores digitales especializados. Imagine un planificador de viajes que primero pide a un agente que busque vuelos, luego entrega el trabajo a otro agente para reservar hoteles y, finalmente, lo pasa a un tercero para localizar restaurantes. Cada uno de estos agentes es un modelo de lenguaje de gran tamaño, un tipo de software que predice la siguiente palabra en una oración basándose en patrones que ha aprendido. Para hacer esto, el software debe mantener una gran cantidad de información en su memoria a corto plazo, conocida como caché de clave-valor (key-value cache). Esta memoria actúa como un espacio de trabajo donde el modelo guarda las reglas del juego, las definiciones de las herramientas que puede usar y los ejemplos de cómo comportarse. Cada vez que un nuevo agente se une a la conversación, trae su propio conjunto de instrucciones y ejemplos, creando un gran bloque de datos que el sistema debe procesar antes de poder empezar a responder la pregunta específica del usuario.
El desafío surge porque estos equipos digitales son dinámicos. El primer agente puede terminar su trabajo y el sistema podría cambiar inmediatamente a un agente completamente diferente, o podría volver al primero más tarde. Los sistemas informáticos actuales que ejecutan estos equipos de IA gestionan su memoria de forma reactiva. Mantienen la información utilizada más recientemente y descartan la más antigua para hacer espacio para nuevas solicitudes. Esto funciona bien para conversaciones simples, pero en un equipo multiagente, crea una ineficiencia frustrante. El sistema a menudo desecha las instrucciones fijas y los ejemplos de un agente solo porque ese agente no ha hablado en los últimos segundos, a pesar de que es muy probable que ese mismo agente sea llamado de nuevo en el siguiente paso. Cuando el agente regresa, el sistema tiene que volver a leer y procesar todas esas instrucciones desde cero, desperdiciando tiempo y potencia de cálculo. Este ciclo de descartar y reaprender ralentiza toda la operación, haciendo que la IA se sienta lenta y costosa de ejecutar.
Investigadores de la Universidad de California, Santa Cruz, y otras instituciones han desarrollado un nuevo enfoque para resolver este problema, al que llaman CacheScout. En lugar de simplemente observar lo que ha sucedido en el pasado, este sistema aprende a anticipar lo que sucederá después. Trata el flujo de la conversación no como una serie aleatoria de eventos, sino como un patrón de transiciones entre diferentes trabajadores. Al observar con qué frecuencia un agente de viajes es seguido por un agente de hoteles, o cómo un agente de programación podría cambiar a un agente de revisión, el sistema construye un mapa mental del flujo de trabajo mientras se ejecuta. No necesita un guion preescrito o un mapa proporcionado por los desarrolladores; aprende estas conexiones sobre la marcha, actualizando su comprensión con cada solicitud que procesa.
El núcleo de este nuevo sistema es una capa ligera que se sitúa entre los agentes de IA y el hardware de la computadora. Cuando un agente termina su tarea, esta capa observa el historial de la conversación y predice qué agente es más probable que hable a continuación. Si el sistema tiene confianza sobre el siguiente paso, toma dos acciones específicas para acelerar las cosas. Primero, cuando necesita limpiar datos antiguos para hacer espacio, se niega a borrar las instrucciones del agente que se predice que regresará pronto, incluso si ese agente no ha hablado en un tiempo. Protege estos valiosos fragmentos de memoria basándose en su importancia futura en lugar de su uso pasado. Segundo, mientras el sistema espera la siguiente solicitud, prepara de forma silenciosa e invisible la memoria para ese agente predicho. Carga las instrucciones necesarias en la memoria rápida antes de que el usuario las pida, de modo que cuando el agente finalmente comience a trabajar, pueda empezar inmediatamente sin demora.
Los investigadores probaron este sistema en tareas del mundo real, incluyendo la planificación de viajes, la resolución de problemas matemáticos y la escritura de código de software. Descubrieron que, al recordar los patrones de comportamiento de los agentes, el sistema podía mantener la información adecuada en memoria con mucha más frecuencia que antes. En sus pruebas, la tasa en la que el sistema reutilizaba con éxito la memoria existente aumentó entre diez y dieciocho puntos porcentuales. Esta mejora se tradujo directamente en velocidad. El tiempo que tardó en aparecer la primera palabra de una respuesta cayó hasta un cuarenta y cinco por ciento, y el tiempo total para completar un solo turno de la conversación disminuyó casi un cuarenta por ciento. El sistema también manejó más solicitudes a la vez, aumentando el número total de tareas que podía terminar por segundo hasta en un cincuenta y siete por ciento.
Crucialmente, los investigadores demostraron que este enfoque funciona incluso cuando el flujo de trabajo no es fijo. En muchas aplicaciones modernas, el siguiente paso es decidido por la propia IA en tiempo real, lo que significa que el camino puede cambiar de forma impredecible. El nuevo sistema se adapta a esta fluidez, aprendiendo los caminos más comunes a medida que ocurren y ajustando sus predicciones en consecuencia. También resultó efectivo con modelos de IA mucho más grandes y complejos, manteniendo sus ventajas de velocidad incluso cuando los requisitos de memoria eran significativamente mayores. El sistema logra todo esto sin ralentizar la computadora ni requerir hardware nuevo y complejo; simplemente añade una pequeña cantidad de inteligencia al proceso de gestión de memoria, convirtiendo un sistema de almacenamiento pasivo en un participante activo que sabe qué es lo que viene después.
Los hallazgos sugieren que el futuro de la ejecución eficiente de la IA reside en comprender el contexto del trabajo, no solo los datos en sí mismos. Al reconocer que un agente de viajes es probablemente seguido por un agente de hoteles, el sistema deja de tratar cada momento como un nuevo comienzo y comienza a ver la conversación como un viaje continuo. Este cambio de reaccionar al pasado a prepararse para el futuro permite que estos equipos digitales trabajen mucho más rápido y de manera más eficiente, eliminando los cuellos de botella que han ralentizado el despliegue de aplicaciones de IA complejas. El resultado es un sistema que se siente más receptivo y capaz, capaz de manejar las intrincadas tareas de múltiples pasos que definen la próxima generación de servicios de inteligencia artificial.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.