💬 NLP

Don't Break the Cache: An Evaluation of Prompt Caching for Long-Horizon Agentic Tasks

Este artículo presenta una evaluación exhaustiva del almacenamiento en caché de prompts (prompt caching) a través de tres de los principales proveedores de LLM para tareas agénticas de largo horizonte, demostrando que las técnicas estratégicas de almacenamiento en caché —como la exclusión de resultados de herramientas dinámicas y la gestión de la estructura del prompt— pueden reducir los costos de API entre un 41 y un 80 % y mejorar el tiempo hasta el primer token entre un 13 y un 31 % en comparación con el almacenamiento en caché ingenuo de contexto completo.

Autores originales: Elias Lumer, Faheem Nizar, Akshaya Jangiti, Kevin Frank, Anmol Gulati, Mandar Phadate, Vamse Kumar Subbiah

Publicado 2026-02-03

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Elias Lumer, Faheem Nizar, Akshaya Jangiti, Kevin Frank, Anmol Gulati, Mandar Phadate, Vamse Kumar Subbiah

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás contratando a un brillante pero costoso asistente de investigación para resolver un misterio complejo. Este asistente necesita leer un manual de instrucciones masivo (el "system prompt") antes de empezar a trabajar. Mientras trabaja, realiza docenas de llamadas telefónicas a diferentes fuentes, obtiene respuestas y las anota en un cuaderno.

Cada vez que hace una nueva llamada telefónica, tiene que volver a leer todo el manual de instrucciones desde la primera página para recordar qué debe hacer. Esto toma mucho tiempo y cuesta mucho dinero porque el asistente cobra por cada página que lee.

"Prompt Caching" (Almacenamiento en caché de prompts) es como darle a ese asistente un resaltador mágico. Si el manual de instrucciones no ha cambiado, el asistente puede saltarse la relectura del primer 90% del libro y saltar directamente a la parte nueva donde están los resultados de las llamadas telefónicas. Esto ahorra tiempo y dinero.

Sin embargo, este artículo plantea una pregunta truculenta: ¿Funciona siempre este resaltador mágico, o podemos arruinarlo?

Los investigadores probaron esto con tres de las principales empresas de "asistentes" (OpenAI, Anthropic y Google), utilizando un benchmark llamado DeepResearch Bench, donde los agentes realizan búsquedas web largas y de múltiples pasos para responder preguntas difíciles. Probaron tres formas diferentes de usar el resaltador:

El enfoque "Ingenuo" (Contexto Completo): Resaltar todo, incluyendo los nuevos resultados de las llamadas telefónicas.
El enfoque "Nota Adhesiva" (Solo el System Prompt): Resaltar únicamente el manual de instrucciones, pero dejando los nuevos resultados de las llamadas telefónicas sin resaltar.
El enfoque "Corte Limpio" (Excluir Resultados de Herramientas): Resaltar el manual y las llamadas telefónicas, pero colocando una señal de "pare" especial después de cada nuevo resultado para que el resaltador no agarre accidentalmente las notas desordenadas de la siguiente persona.

Lo que encontraron

1. Ahorra mucho dinero (La victoria de la "Billetera")
Sin importar qué método usaran, el mágico resaltador ahorró una enorme cantidad de dinero. Dependiendo de la empresa, ahorraron entre el 41% y el 80% en la factura.

Analogía: Es como darse cuenta de que no necesitas comprar una nueva tarjeta de la biblioteca cada vez que entras en ella; simplemente usas la que ya tienes.

2. La velocidad es complicada (El problema del "Tráfico")
Aunque ahorrar dinero fue fácil, ahorrar tiempo fue más difícil.

La sorpresa: A veces, resaltar todo (el enfoque Ingenuo) de hecho hizo que el asistente fuera más lento.
Analogía: Imagina a un repartidor que intenta memorizar la dirección de cada uno de los paquetes que entrega. Si intenta memorizar un paquete que se entregará una sola vez y nunca más, pierde tiempo memorizándolo. Cuando llega el siguiente paquete, tiene que "des-memorizar" el anterior para hacer espacio al nuevo. Este proceso de "escribir en la memoria" los ralentiza.
El artículo encontró que si solo resaltas las partes estables (el manual de instrucciones) y dejas las partes desordenadas y cambiantes (los resultados de las llamadas) sin resaltar, el asistente se mantiene rápido.

3. La regla de "No rompas el caché"
La lección más importante es sobre dónde trazas la línea.

Si incluyes información dinámica y cambiante (como "Hora actual: 2:00 PM" o "ID de usuario: 123") dentro del manual de instrucciones, el mágico resaltador se rompe. El sistema piensa que el manual ha cambiado, por lo que deja de resaltar y comienza a leer desde cero.
La solución: Mantén el manual de instrucciones puro y estático. Si debes incluir información cambiante, ponla al final del manual, como una nota adhesiva en la última página. De esta manera, el primer 99% del manual sigue resaltado y es reutilizable.

La conclusión final

Para las empresas que construyen agentes de IA que realizan tareas largas y complejas:

Sí, usa el almacenamiento en caché de prompts (prompt caching). Reducirá drásticamente tus costos.
Pero, sé inteligente al respecto. No lo actives simplemente para todo.
La mejor estrategia: Solo almacena en caché la parte estable (el "manual de instrucciones" o System Prompt). Deja que las partes cambiantes (resultados de herramientas) fluyan libremente sin ser almacenadas en caché. Esto te dará la mejor combinación de bajo costo y alta velocidad.

Si intentas almacenar en caché las partes cambiantes, podrías terminar pagando por la "escritura" del caché sin obtener los beneficios de la "lectura", lo que de hecho puede ralentizar tu sistema.

Resumen Técnico: No rompas el caché: Una evaluación del almacenamiento en caché de prompts para tareas agénticas de largo horizonte

Declaración del Problema

Los avances recientes en los agentes de Modelos de Lenguaje Extensos (LLM) han permitido tareas agénticas complejas de múltiples turnos que involucran llamadas extensas a herramientas, como la investigación profunda y la codificación autónoma. Estos flujos de trabajo suelen abarcar docenas de llamadas a la API con ventanas de contexto que acumulan decenas de miles de tokens, lo que resulta en costos operativos significativos y una sobrecarga de latencia. Aunque los principales proveedores de LLM (OpenAI, Anthropic, Google) ofrecen funciones de almacenamiento en caché de prompts para reutilizar los tensores de clave-valor (KV) previamente computados y reducir la computación redundante, los beneficios específicos de estas funciones para las cargas de trabajo agénticas siguen sin explorarse suficientemente. La literatura existente se centra en la gestión de memoria a nivel de inferencia o en la auditoría de seguridad, pero carece de un análisis cuantitativo de los ahorros de costos o de evaluaciones comparativas de las estrategias de almacenamiento en caché para sesiones agénticas dinámicas de múltiples turnos.

Metodología

Los autores realizaron una evaluación exhaustiva del almacenamiento en caché de prompts a través de tres de los principales proveedores de LLM: OpenAI, Anthropic y Google. El estudio utilizó cuatro modelos insignia: GPT-5.2, GPT-4o (OpenAI), Claude Sonnet 4.5 (Anthropic) y Gemini 2.5 Pro (Google).

Configuración Experimental:

Benchmark: La evaluación utilizó el DeepResearch Bench, un benchmark agéntico de múltiples turnos donde los agentes ejecutan de forma autónoma llamadas a herramientas de búsqueda web en el mundo real para responder a preguntas de investigación complejas de nivel doctorado.
Escala: El estudio abarcó más de 500 sesiones agénticas con prompts de sistema de 10,000 tokens. Cada modelo fue probado con 40 sesiones independientes por cada condición de caché.
Estrategias de Caché: Los autores implementaron y compararon cuatro condiciones distintas para controlar precisamente los límites del caché utilizando identificadores únicos (UUIDs):
1. Sin Caché (Línea Base): Se antepone un UUID al prompt del sistema para forzar la recomputación de todos los tokens, simulando un escenario con contenido dinámico (por ejemplo, marcas de tiempo) que rompe el caché.
2. Almacenamiento en Caché de Contexto Completo: No se añaden UUIDs, permitiendo que el mecanismo de almacenamiento en caché automático del proveedor opere sobre todo el historial de la conversación, incluyendo los resultados dinámicos de las herramientas.
3. Almacenamiento en Caché Solo del Prompt del Sistema: Se añade un UUID al final del prompt del sistema, asegurando que solo las instrucciones estáticas del sistema se almacenen en caché, mientras que el historial de la conversación dinámica y los resultados de las herramientas se recomputan.
4. Exclusión de Resultados de Herramientas del Caché: Se añaden UUIDs después del prompt del sistema y después de cada resultado de herramienta, evitando explícitamente que las salidas dinámicas de las herramientas entren en el caché.

Métricas:
El estudio midió el costo de la API (distinguiendo entre tokens estándar, de lectura de caché y de escritura de caché) y el Tiempo hasta el Primer Token (TTFT) como la métrica principal de latencia. La significancia estadística se determinó mediante pruebas t de muestras independientes ( $\alpha = 0.05$ ).

Contribuciones Clave

Primera Evaluación Cuantitativa: Este trabajo proporciona la primera cuantificación integral de los beneficios del almacenamiento en caché de prompts específicamente para tareas agénticas de largo horizonte a través de múltiples proveedores y modelos.
Comparación de Estrategias: Compara el almacenamiento en caché de contexto completo ingenuo contra métodos de control de límites estratégicos (solo prompt del sistema, exclusión de resultados de herramientas), revelando que los enfoques "ingenuos" pueden ser contraproducentes.
Discrepancias entre Proveedores: El estudio identifica diferencias significativas en cómo los proveedores implementan el almacenamiento en caché, particularmente en cómo manejan el contenido dinámico y el impacto resultante en la latencia frente al costo.
Perspectivas de Ablación: A través de estudios de ablación en tamaños de prompt (500–50,000 tokens) y conteos de llamadas a herramientas (3–50), los autores demuestran beneficios universales lineales en costo y TTFT tras cumplir con los mínimos de tokens específicos de cada proveedor.

Resultados

La evaluación arrojó tres hallazgos principales:

Reducciones Sustanciales de Costos: El almacenamiento en caché de prompts redujo consistentemente los costos de la API entre un 41% y un 80% en todos los proveedores y modelos. El principal motor de estos ahorros fue el almacenamiento en caché del prompt del sistema, que es grande y estable.
Mejoras Variables de Latencia: Las mejoras en el TTFT variaron entre un 13% y un 31% dependiendo del proveedor y la estrategia. Sin embargo, las ganancias de latencia no fueron uniformes; para algunos modelos (por ejemplo, GPT-4o), el almacenamiento en caché de contexto completo resultó en una regresión de latencia del 8.8%.
El Control Estratégico de Límites es Crítico: El estudio encontró que el control estratégico de bloques de caché de prompt supera al almacenamiento en caché de contexto completo ingenuo.
- Las estrategias de Solo Prompt del Sistema y Exclusión de Resultados de Herramientas proporcionaron los beneficios más consistentes.
- El Almacenamiento en Caché de Contexto Completo a menudo introdujo sobrecarga al almacenar en caché llamadas y resultados de herramientas dinámicos que no se reutilizan en sesiones posteriores, aumentando paradójicamente la latencia.
- Para GPT-4o, la mejor estrategia (Solo Prompt del Sistema) mejoró el TTFT en un 30.9%, mientras que el Almacenamiento en Caché de Contexto Completo degradó el rendimiento.

Significancia y Reivindicaciones

El artículo afirma proporcionar una guía matizada para implementar el almacenamiento en caché de prompts en sistemas agénticos de producción. Los autores enfatizan que, aunque los proveedores abstraen gran parte del mecanismo de caché, los profesionales deben ejercer un control estratégico sobre los límites del caché.

El argumento central es que en las cargas de trabajo agénticas, donde el contexto es dinámico y específico de la sesión, almacenar en caché todo el contexto (enfoque ingenuo) puede ser perjudicial. En su lugar, los profesionales deben asegurar que solo el contenido estable y reutilizable (como el prompt del sistema) se almacene en caché, mientras que los elementos dinámicos (resultados de herramientas, historial de conversación) se excluyan mediante límites explícitos (por ejemplo, UUIDs). Este enfoque maximiza la eficiencia de costos y las mejoras de latencia, evitando la sobrecarga de almacenar en caché contenido que no será reutilizado. El trabajo sirve como una guía práctica para optimizar sistemas agénticos de grado empresarial, destacando que la "mejor" estrategia de caché depende del proveedor y del objetivo de optimización (costo vs. latencia).