HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding

Resumen Técnico: HERMES

1. El Problema

A pesar de los avances recientes en Modelos de Lenguaje Multimodal Grandes (MLLMs) para la comprensión de videos, extender estas capacidades a entradas de video en tiempo real (streaming) sigue siendo un desafío crítico. Los modelos existentes enfrentan dificultades para satisfacer simultáneamente tres requisitos fundamentales:

• Rendimiento estable: Mantener una alta precisión de comprensión a medida que el video se extiende indefinidamente.
• Respuesta en tiempo real: Garantizar una latencia extremadamente baja (baja latencia de primer token) para interacciones continuas.
• Eficiencia de memoria: Operar con una sobrecarga de memoria GPU constante y baja, evitando errores de memoria (OOM) en videos largos.

Los métodos actuales de compresión de tokens suelen estar diseñados para videos offline y fallan en escenarios de streaming porque no pueden predecir futuros fotogramas o consultas de usuario. Además, las técnicas de memoria externa (como recuperar KV cache de discos o CPU) introducen una latencia inaceptable al requerir operaciones de recuperación adicionales en el momento de la consulta.

2. Metodología: HERMES

HERMES (KV Cache as HiERarchical Memory for Efficient Streaming Video Understanding) es una arquitectura sin entrenamiento (training-free) y plug-and-play que reutiliza el caché de claves y valores (KV Cache) existente de los MLLMs, conceptualizándolo como un sistema de memoria jerárquico.

La metodología se basa en una investigación mecánica de la atención por capas, revelando que las diferentes capas del modelo tienen preferencias distintas sobre la información del video:

• Capas Superficiales (Memoria Sensorial): Exhiben un fuerte sesgo de recencia, concentrándose en los fotogramas más recientes.
• Capas Profundas (Memoria a Largo Plazo): Muestran patrones de atención rítmicos y dispersos, actuando como "anclas" a nivel de fotograma que resumen la información semántica crítica.
• Capas Intermedias (Memoria de Trabajo): Funcionan como un puente, equilibrando la información de recencia con las representaciones semánticas de los fotogramas.

Basándose en esto, HERMES implementa tres componentes clave:

1. Gestión Jerárquica del KV Cache:

   • Asigna puntuaciones de importancia a los tokens de video según la capa.
   • En capas superficiales, utiliza una curva de olvido exponencial (basada en la teoría de Ebbinghaus) para priorizar tokens recientes.
   • En capas profundas, utiliza los pesos de atención hacia una consulta guía (pseudo-query) para identificar y retener los tokens "ancla" semánticos.
   • En capas intermedias, interpola entre la recencia y la atención para una gestión de transición.

2. Suavizado de Memoria Trans-Capa (Cross-Layer Memory Smoothing):

   • Para evitar inconsistencias donde un token se elimina en una capa pero se mantiene en otra (lo que rompe la coherencia visual), HERMES propaga y suaviza las señales de importancia desde las capas profundas hacia las superficiales antes de realizar la selección de tokens (Top-K).

3. Reindexación de Posiciones (Position Re-Indexing):

   • Para evitar que los índices posicionales excedan el rango máximo soportado por el modelo en flujos continuos, HERMES aplica una reindexación que mapea los índices a un rango contiguo.
   • Utiliza una estrategia "Lazy Re-Indexing" (reindexación perezosa) para streaming, que solo se activa cuando es necesario, preservando los índices originales de los tokens recientes y minimizando la sobrecarga computacional.

Ventaja Clave: A diferencia de métodos previos que descargan el KV cache a dispositivos externos y deben recuperarlo al llegar una consulta, HERMES reutiliza directamente el caché compacto en la GPU. Esto elimina cualquier cálculo auxiliar o recuperación externa al momento de la consulta, garantizando respuestas en tiempo real.

3. Contribuciones Clave

1. Conceptualización Jerárquica: Pionero en tratar el KV Cache no como un buffer plano, sino como un sistema de memoria jerárquico (Sensorial, de Trabajo, a Largo Plazo) basado en el análisis mecánico de la atención.
2. Método sin Entrenamiento: HERMES se integra en MLLMs existentes sin necesidad de reentrenamiento ni fine-tuning, funcionando como una capa de gestión de memoria externa.
3. Eficiencia y Precisión Simultáneas: Logra reducir los tokens de video hasta en un 68% en comparación con el muestreo uniforme, manteniendo o mejorando la precisión, con ganancias de hasta 11.4% en conjuntos de datos de streaming.
4. Latencia Ultrabaja: Consigue una velocidad de 10x en el Tiempo hasta el Primer Token (TTFT) en comparación con el estado del arte (SOTA) anterior, manteniendo un uso de memoria GPU constante y sin riesgo de OOM.

4. Resultados Experimentales

Los experimentos se realizaron en diversos modelos (LLaVA-OneVision, Qwen2.5-VL) y benchmarks (StreamingBench, OVO-Bench, RVS, VideoMME, Egoschema).

• Rendimiento en Streaming:
  • En StreamingBench y OVO-Bench, HERMES supera a los modelos base y a otros métodos sin entrenamiento, alcanzando un 79.44% de precisión en Qwen2.5-VL-7B con solo 4K tokens (una mejora del 6.13% sobre el base).
  • En tareas de comprensión abierta (RVS), mejora la precisión hasta un 11.4% sobre el modelo base con muestreo uniforme.
• Rendimiento en Offline:
  • En benchmarks de video largo como VideoMME y Egoschema, HERMES iguala o supera al modelo base, demostrando que la compresión jerárquica preserva la información a largo plazo necesaria para la comprensión de videos extensos.
• Eficiencia:
  • Mantiene una latencia de TTFT estable (< 30 ms) y un consumo de memoria GPU constante (aprox. 16-17 GB en una A800) independientemente de la longitud del video (hasta 512 fotogramas probados).
  • Reduce la latencia de respuesta en 10 veces comparado con métodos SOTA previos como StreamingTOM.

5. Significado e Impacto

El trabajo de HERMES es significativo porque resuelve el cuello de botella fundamental en la implementación de MLLMs para aplicaciones de video en tiempo real (como asistentes robóticos, monitoreo en vivo o interacción con transmisiones en directo).

• Viabilidad de Despliegue: Al eliminar la necesidad de recuperación externa y mantener un uso de memoria constante, hace posible desplegar estos modelos en hardware con recursos limitados sin sacrificar la capacidad de respuesta.
• Interpretabilidad: Proporciona una comprensión mecánica de cómo los MLLMs procesan la información temporal, validando la existencia de una estructura de memoria jerárquica intrínseca.
• Generalización: Al ser un método sin entrenamiento, es aplicable a una amplia gama de modelos multimodales existentes, acelerando la adopción de tecnologías de video en tiempo real en la industria.

En resumen, HERMES transforma el caché KV de un simple mecanismo de aceleración de inferencia en un sistema de gestión de memoria inteligente y jerárquico, permitiendo una comprensión de video en streaming que es simultáneamente precisa, rápida y eficiente en recursos.