Resumen Técnico: ProtoKV

Declaración del Problema

La Comprensión de Video en Streaming (SVU, por sus siglas en inglés) requiere sistemas que procesen flujos de video continuos y respondan a consultas asíncronas en tiempo real bajo estrictas restricciones de memoria GPU y latencia. Un desafío crítico en este escenario es la consulta retardada: las pistas visuales decisivas pueden aparecer brevemente y temprano en un flujo, pero la consulta llega significativamente más tarde, después de haber procesado muchos fotogramas subsiguientes.

Bajo una memoria acotada, los enfoques estándar enfrentan un dilema:

1. Ventana Deslizante (SWA): Retiene solo los tokens más recientes, garantizando una memoria constante pero perdiendo de forma irremediable la evidencia una vez que esta sale de la ventana.
2. Retención/Compresión de Tokens: Intenta mantener un subconjunto de tokens históricos. Sin embargo, a medida que el retraso ($\Delta$) entre la evidencia y la consulta aumenta, estos métodos sufren de "presión de actualización post-evidencia". Las pistas decisivas suelen ser expulsadas o diluidas porque el sistema debe tomar decisiones de retención agnósticas a la consulta; una vez que una instancia de token específica es descartada, su pista fina asociada se pierde.

El artículo argumenta que representar la historia lejana como un conjunto de instancias de tokens retenidos es frágil ante retrasos prolongados. En su lugar, el sistema necesita un mecanismo que preserve la evidencia de eventos pasados en lugar de las instancias de tokens específicos, permitiendo una degradación gradual a medida que aumenta el retraso.

Metodología: ProtoKV

ProtoKV es un mecanismo de memoria de huella constante diseñado para modelos de lenguaje de video (Video LLMs) en streaming. Cambia la representación de la historia lejana de la retención de tokens a un enfoque de estado de resumen utilizando un estado de dos niveles en línea:

1. Arquitectura de Dos Niveles

• Ventana Cercana (Exacta): Un búfer circular ($B_{near}$) que almacena los pares Key-Value (KV) exactos para los $W$ fotogramas más recientes. Esto preserva la evidencia fina y temporalmente local sin aproximaciones.
• Memoria Lejana (Estado de Resumen): Un banco de prototipos de capacidad fija ($B_{far}$) de tamaño $K_{max}$ que agrega la historia antigua y expulsada. En lugar de almacenar instancias de tokens, almacena prototipos centrados en objetos.

2. Mecanismo de Actualización en Línea

A medida que el flujo de video progresa, los tokens son expulsados de la ventana cercana y absorbidos en la memoria lejana mediante una asignación consciente de la continuidad:

• Asignación: Los tokens expulsados se asignan a un prototipo $k$ minimizando una función de costo en línea que combina:
  • Similitud en el espacio de llaves (agrupando tokens con llaves similares).
  • Continuidad espacial (imponiendo una asociación consistente con el seguimiento mediante coordenadas espaciales).
  • Control de obsolescencia (desalentando la asignación a prototipos que no han sido actualizados recientemente).
• Actualcción del Prototipo: Una vez asignado, el prototipo se actualiza como un estado de resumen persistente:
  • Centros: Los centros de Key y Value ($c_k, p_k$) se actualizan mediante una Media Móvil Exponencial (EMA).
  • Masa: Un contador ($n_k$) rastrea el número de tokens absorbidos.
  • Estadísticas de Residuo: Para evitar la pérdida de pistas distintivas mediante un simple promedio, ProtoKV mantiene histogramas basados en Cuantización de Producto (PQ) de los residuos ($r_K = K - c_k$, $r_V = V - p_k$). Esto captura la diversidad intra-prototipo sin almacenar códigos de tokens individuales.
  • Mantenimiento: El banco se somete a un mantenimiento ligero, incluyendo la degradación de masa para prototipos inactivos, la fusión de prototipos redundantes y el reciclaje de ranuras vacías.

3. Interfaz de Consulta: Síntesis de Pseudo-Tokens

En el momento de la consulta, ProtoKV expone la memoria lejana al mecanismo de atención estándar sin cambios arquitectónicos:

• Pseudo-Tokens: Cada prototipo se sintetiza en $S$ tokens pseudo-KV. Estos se construyen combinando el centro del prototipo con patrones de residuo representativos decodificados de los histogramas PQ almacenados.
• Sesgo de Conciencia de Masa: Para dar cuenta de la multiplicidad de tokens resumidos por un prototipo, se añade un sesgo de log-masa ($b_k = \log n_k$) a los logits de atención. Esto asegura que los prototipos que representan más evidencia ejerzan una influencia proporcionalmente más fuerte.
• Contexto Fijo: El contexto final consiste en los tokens exactos de la ventana cercana más los número limitado de pseudo-tokens ($L_{context} = W + K_{max} \cdot S$), asegurando una latencia y un uso de memoria constantes en el tiempo de consulta, independientemente de la longitud del flujo.

Contribuciones Clave

1. Mecanismo de Memoria Lejana: Introducción de un banco de prototipos de capacidad fija, espaciotemporalmente consistente y aumentado con estadísticas de residuo para resumir la historia distante, alejándose de la retención de instancias de tokens.
2. Síntesis de Pseudo-Tokens: Un método libre de entrenamiento para sintetizar tokens pseudo-KV acotados con ponderación de conciencia de masa, permitiendo que la atención estándar acceda a la evidencia de la historia lejana bajo una huella constante en el tiempo de consulta.
3. Protocolo de Consulta Retrospectiva: Un protocolo de filtrado de consulta retrospectiva para evaluar la robustez de la SVU contra el aumento de los retrasos de consulta manteniendo la verdad fundamental invariante.

Resultados Experimentales

ProtoKV fue evaluado en cuatro benchmarks de video en streaming (RVS-Ego, RVS-Movie, OVO-Bench, StreamingBench) utilizando los backbones LLaVA-OV-7B y Qwen2.5-VL-7B.

• Desempeño: Bajo presupuestos de memoria equivalentes, ProtoKV supera a las líneas base de ventana deslizante y a los métodos de retención de tokens (ej. InfiniPot-V). Logra hasta un 12.5 por ciento de puntos porcentuales más de precisión que las líneas base de retención de tokens en regímenes de largo retraso.
• Robustez al Retraso: Aunque todos los métodos se degradan a medida que el retraso de la consulta ($\Delta$) aumenta, ProtoKV exhibe curvas de degradación significativamente más planas. La brecha de rendimiento se amplía a medida que $\Delta$ crece, demostando que el enfoque de estado de resumen preserva mejor las pistas decisivas bajo una presión de actualización post-evidencia sostenida.
• Eficiencia: ProtoKV mantiene un Tiempo de Primer Token (TTFT) competitivo y una latencia de extremo a extremo más baja en comparación con las líneas base basadas en descarga/recuperación (ej. ReKV), que sufren de sobrecarga de recuperación.
• Desempeño Offline: Al aplicarse a benchmarks de comprensión de video offline (VideoMME, MLVU), ProtoKV se mantiene competitivo con los métodos de compresión de vanguardia, lo que sugiere que su utilidad se extiende más allá de los escenarios de streaming.

Significado y Reivindicaciones

El artículo afirma que ProtoKV aborda una limitación fundamental en la comprensión de video en streaming: la fragilidad de las estrategias de retención de tokens bajo retrasos largos. Al cambiar de la retención de instancias de tokens específicas al mantenimiento de un estado de resumen de la historia lejana, ProtoKV permite que las pistas dispersas y decisivas sobrevivan a muchos de los procesos de actualización subsiguientes sin ser sobrescritas o diluidas.

Los autores enfatizan que este diseño está diseñado para consultas retardadas, donde las respuestas dependen de la ocurrencia de eventos pasados en lugar del contenido visual instantáneo. Los resultados sugieren que para sistemas interactivos que requieren un mantenimiento siempre activo, agnóstico a la consulta y con huellas fijas en el dispositivo, representar la historia lejana como un estado de resumen compacto y centrado en objetos es un punto de operación más efectivo que las ventanas deslizantes o la selección de tokens. El trabajo destaca el valor de la memoria de estado de resumen para sistemas de streaming estables bajo una presión de actualización sostenida.