Resumen Técnico: Enrutamiento de Caché Fundamentada para la Generación Aumentada por Recuperación

Declaración del Problema

Los sistemas modernos de Generación Aumentada por Recuperación (RAG) utilizan cada vez más la caché para reducir los costos de tokens y el Tiempo hasta el Primer Token (TTFT). Aunque la reutilización de nivel de prefijo de valores clave (KV) y la caché de resultados de recuperación tienen garantías sólidas de corrección por construcción, la caché semántica de respuestas a nivel de salida sigue siendo frágil. Las cachés semánticas ingenuas sufren tres modos de fallo principales:

1. Desplazamiento del Referente: Consultas semánticamente similares pueden mapearse a respuestas correctas diferentes dependiendo del contexto.
2. Deriva de Recuperación: A medida que se actualiza el corpus subyacente, la evidencia previamente almacenada en caché puede volverse inválida o cambiar.
3. Colisión Adversarial: Las entradas maliciosas pueden secuestrar respuestas almacenadas en caché, con tasas de secuestro reportadas tan altas como el 86% en escenarios evaluados.

Los sistemas actuales a menudo priorizan cómo reutilizar respuestas más rápido, descuidando la pregunta crítica de cuándo es segura la reutilización. Este artículo argumenta que, sin una validación rigurosa, la caché semántica introduce una "tasa de servicio inseguro" (USR) significativa, donde los usuarios reciben respuestas incorrectas desde la caché.

Metodología: GroundedCache

Los autores proponen GroundedCache, un enrutador de caché validado por evidencia que actúa como una capa de política sobre pilas de servicio existentes (por ejemplo, vLLM, RAGCache). En lugar de devolver ciegamente una respuesta almacenada en caché para una consulta semánticamente similar, GroundedCache admite una respuesta almacenada en caché solo cuando se cumplen simultáneamente cuatro "compuertas" específicas.

Las Cuatro Compuertas de Validación

Dada una entrada almacenada en caché $(q_c, a_c, \sigma_c)$ y una consulta fresca $(q, \sigma, C)$, el enrutador admite $a_c$ si y solo si:

1. Similitud de Consulta (G1): La similitud del coseno entre la incrustación de la nueva consulta y la incrustación de la consulta almacenada en caché supera un umbral ($\tau_q$).
2. Superposición de Evidencia (G2): La similitud de Jaccard entre la nueva firma de evidencia (conjunto de hashes de fragmentos) y la firma almacenada en caché supera un umbral ($\tau_e$).
3. Validez de la Versión de la Fuente (G3): Los fragmentos compartidos entre la nueva evidencia y la evidencia almacenada en caché llevan la misma etiqueta de versión de fuente, asegurando que el corpus no ha sido mutado.
4. Soporte de Evidencia (G4): Los tokens de contenido de la respuesta almacenada en caché están cubiertos por la evidencia recuperada recientemente. Esto se calcula mediante una puntuación determinista de superposición léxica (predeterminada) u opcionalmente mediante un modelo de lenguaje juez ligero.

Si alguna compuerta falla, el sistema vuelve a una tubería RAG estándar: compresión condicionada por la consulta de los fragmentos recuperados seguida de generación.

Carga de Trabajo y Métricas

Para probar el estrés de la seguridad de la caché en lugar de solo las tasas de acierto, los autores sintetizaron una carga de trabajo de seis regímenes:

• Repetición exacta y Paráfrasis: Escenarios de reutilización benigna.
• Casi-error: Consultas léxicamente similares con documentos dorados disjuntos.
• Deriva de documento: Consultas donde los tokens numéricos en los documentos dorados son mutados para invalidar las respuestas almacenadas en caché.
• Documento compartido largo y CAG de KB acotada: Escenarios que favorecen la deduplicación y la generación en contexto.

La métrica de evaluación principal es la Tasa de Servicio Inseguro (USR), definida como la fracción de todas las consultas que recibieron una respuesta almacenada en caché incorrecta. Esto se complementa con la Tasa de Acierto de Caché de Respuesta (aHR) y la Tasa de Falso Acierto Condicional (FH).

Resultados Clave

Los experimentos se realizaron en los conjuntos de datos HotpotQA y mtRAG utilizando 12.000 generaciones (Qwen2.5-7B-Instruct servido por vLLM).

Mejoras de Seguridad

• HotpotQA: GroundedCache redujo la USR al 0.0% en todos los regímenes donde la caché ingenua tenía errores no nulos. Por ejemplo, en el régimen de "deriva de documento", la caché ingenua tuvo una USR del 35.0%, mientras que GroundedCache logró 0.0%.
• mtRAG (Multi-turn): La caché ingenua exhibió un fallo catastrófico con una USR que oscilaba entre el 26.0% y el 51.5% debido a desplazamientos de referente. GroundedCache redujo la USR en más de un orden de magnitud, logrando 1.5% en el régimen de deriva de documento (una reducción de 34 veces en respuestas almacenadas en caché incorrectas).
• Estudios de Ablación: La compuerta de soporte léxico (G4) fue identificada como el mecanismo de seguridad "portante". Su eliminación aumentó la USR en aproximadamente 0.125 en HotpotQA y en aproximadamente 0.118 en mtRAG. Las otras compuertas (G1–G3) proporcionaron defensa en profundidad a un costo casi nulo, pero fueron en gran medida redundantes cuando G4 estaba activa.

Rendimiento y Latencia

• Latencia: La latencia p50 de extremo a extremo bajo GroundedCache se mantuvo dentro de 1.04–1.07× de una línea base RAG sin caché.
• Compensaciones: Una variante "sin soporte" (desactivando G4) ofreció una aceleración de 1.4–1.5× pero incurrió en una USR no nula (0.125–0.182), demostrando la compensación ajustable entre seguridad y velocidad.
• Tasas de Acierto: Aunque GroundedCache redujo la tasa bruta de acierto de la caché de respuestas (por ejemplo, de 0.41 a 0.04 en la repetición exacta de HotpotQA) para garantizar la seguridad, mantuvo ahorros significativos de recuperación al utilizar la ruta de caché de recuperación.

Significado y Afirmaciones

El artículo afirma que el encuadre correcto para la reutilización de respuestas almacenadas en caché no es maximizar la velocidad, sino cuantificar y minimizar la tasa de servicio inseguro.

• Política sobre Núcleo: GroundedCache se presenta como una capa de política que se compone con infraestructura existente (vLLM APC, LMCache, etc.) sin requerir cambios en el servidor de modelos, el recuperador o los modelos de incrustación.
• Métricas Orientadas al Operador: Los autores argumentan que informar la USR junto con la tasa de acierto y la latencia es esencial para que los profesionales tomen decisiones informadas sobre sus compensaciones de seguridad/velocidad.
• Robustez: Al validar contra evidencia fresca y etiquetas de versión, el sistema neutraliza efectivamente las colisiones adversariales y la deriva del corpus, que las cachés semánticas ingenuas no pueden manejar.

Los autores concluyen que, aunque las cachés de respuestas semánticas intercambian inherentemente la corrección por velocidad, la compuerta de soporte léxico proporciona un mecanismo barato y determinista para garantizar que la reutilización sea segura, llevando la tasa de servicio inseguro a casi cero mientras se retienen los beneficios de latencia de la caché.