Resumen Técnico: CoRDS

Enunciado del Problema

La Comprensión de Video en Streaming (SVU) con Modelos de Lenguaje y Visión Grandes (VLM) enfrenta un cuello de botella crítico: la necesidad de mantener una huella de memoria acotada mientras se procesan flujos de video ilimitados en tiempo real. A diferencia de la comprensión de video offline, donde el contexto completo está disponible para el muestreo de cuadros o la compresión dependiente de consultas, la SVU requiere un procesamiento causal y agnóstico a la consulta, donde los cuadros futuros son desconocidos.

Las soluciones existentes dependen principalmente de la compresión de la memoria caché de Pares Clave-Valor (KV) utilizando heurísticas locales a nivel de token (por ejemplo, recencia, redundancia temporal o saliencia basada en normas). El artículo argumenta que estos métodos sufren una limitación fundamental: no optimizan explícitamente la representatividad global de la memoria retenida. En consecuencia, las señales que son individualmente débiles pero colectivamente importantes (como detalles visuales estáticos o estructuras distribuidas temporalmente) a menudo se descartan porque carecen de saliencia local en el momento de la compresión.

Metodología: CoRDS

Los autores proponen CoRDS (Selección Representativa y Diversa basada en Coreset), un marco sin entrenamiento y agnóstico a la consulta que replantea la compresión de la caché KV como un problema de selección de coreset representativo. En lugar de puntuar tokens de forma independiente, CoRDS selecciona un subconjunto pequeño que cubre geométricamente la caché visual acumulada.

El método opera sobre tres principios fundamentales:

1. Representación Conjunta KV y Cobertura Bicriterio

Los autores postulan que la selección efectiva debe tener en cuenta tanto las Claves (que determinan la estructura de recuperación) como los Valores (que determinan la información leída por la atención).

• Representación: Los tokens se representan en un espacio de características conjunto $\phi^{(KV)}_i = [k_i; v_i]$.
• Objetivo: Se define una métrica de distancia bicriterio $d_\alpha(i, S)$ para medir la distancia desde un token candidato $i$ hasta el conjunto seleccionado $S$, equilibrando los errores de aproximación en el espacio de claves y en el espacio de valores:
  $$d_\alpha(i, S) = \min_{j \in S} \left[ \alpha \|k_i - k_j\|^2 + (1-\alpha) \|v_i - v_j\|^2 \right]$$
  donde $\alpha \in [0, 1]$ controla la compensación. Los resultados empíricos sugieren que favorecer los valores ($\alpha < 0.5$) produce un mejor rendimiento.
• Optimización: El subconjunto se selecciona de forma voraz utilizando una regla de más lejano primero estilo D2, que inicia centros de clúster proporcionales a su distancia cuadrada respecto a los centros elegidos previamente. Esto proporciona una garantía de aproximación $O(\log k)$ para el objetivo de $k$-medias.

2. Diversidad Ortogonal para No Redundancia

Una selección basada puramente en cobertura puede generar un coreset redundante donde múltiples tokens se encuentran en direcciones similares en el espacio de características. Para abordar esto, CoRDS introduce un término anti-redundancia ortogonal.

• Mecanismo: Para un token candidato, el método calcula el vector residual ortogonal al espacio generado por las claves (y valores) actualmente seleccionadas.
• Puntuación: Se añade una puntuación de novedad basada en la norma cuadrada de este residual como un bono suave a la puntuación de cobertura. Esto se motiva por la selección de subconjuntos basada en log-determinante, que garantiza una aproximación $(1 - e^{-1})$ para la maximización submodular monótona.
• Puntuación Final: La puntuación de selección combina la distancia bicriterio y la novedad ortogonal:
  $$\text{score}(i | S_t) = e^{d_\alpha(i, S_t)} + \lambda \cdot \widehat{\text{Orth}}(i | S_t)$$

3. Compresión Selectiva por Capas y Reutilización en Cascada

Para minimizar la sobrecarga computacional:

• Selección de Capas: El selector de coreset se aplica solo a las 25% inferiores de las capas del decodificador, donde la redundancia visual es más alta. Las capas posteriores, que codifican características condicionadas a la tarea, se dejan sin comprimir.
• Cascada entre Capas: Un pequeño conjunto de capas "ancla" realiza la selección completa. Las capas "seguidoras" reutilizan los índices de tokens seleccionados de sus capas ancla sin volver a calcular la selección, reduciendo significativamente la latencia mientras preservan representaciones específicas de cada capa.

Contribuciones Clave

1. Visión de Coreset de la Compresión en Streaming: Un cambio desde la poda de tokens local hacia una formulación agnosta a la consulta y orientada a la cobertura que selecciona una memoria compacta que representa el contexto de video acumulado.
2. Cobertura Representativa Conjunta KV: La introducción de una representación conjunta clave-valor y un objetivo bicriterio que equilibra explícitamente la estructura de recuperación (claves) y el contenido de salida (valores), demostrando que seleccionar solo en un espacio es subóptimo.
3. Diversidad Ortogonal: Un mecanismo anti-redundancia fundamentado en la selección de subconjuntos basada en log-determinante que favorece a los candidatos que contribuyen con nuevas direcciones al espacio de características, evitando el desperdicio de presupuestos de tokens en información redundante.

Resultados Experimentales

El método se evaluó en cuatro VLM de código abierto (Qwen2-VL, Qwen2.5-VL, LLaVA-NeXT-Video) a través de cinco benchmarks (EgoSchema, MLVU, VideoMME, OVO-Bench, StreamingBench).

• Rendimiento: Bajo presupuestos de caché fijos (3K y 6K tokens), CoRDS supera consistentemente a las líneas base heurísticas como InfiniPot-V y StreamMem.
  • En MLVU, CoRDS mejoró el rendimiento en +4.2% sobre la mejor línea base con un presupuesto de 6K.
  • Con ratios de compresión agresivos (1/16), CoRDS a menudo iguala o supera el rendimiento de la línea base KV Completa (sin comprimir), lo que sugiere que qué tokens se mantienen es más crítico que cuántos.
• Eficiencia en Streaming: En benchmarks de streaming (OVO-Bench, StreamingBench), CoRDS mostró mejoras en las pistas hacia atrás, en tiempo real y hacia adelante, particularmente en tareas que requieren evidencia dispersa a lo largo de duraciones largas (por ejemplo, Razonamiento Prospectivo, Conteo).
• Análisis de Cobertura: El análisis de la Función de Distribución Acumulada (CDF) de cobertura confirma que CoRDS retiene un subconjunto más representativo de la caché completa en comparación con las líneas base, con menores distancias coseno al conjunto de tokens original.
• Eficiencia: La estrategia de cascada entre capas mantiene una huella de memoria plana y logra un rendimiento de prellenado comparable o superior al de las líneas base, incluso para videos de hasta 1000 segundos de duración.

Significado y Afirmaciones

El artículo afirma que la selección de coreset representativo ofrece un principio más efectivo que la poda token a token para la comprensión de video en streaming con restricciones de memoria. Al optimizar explícitamente la cobertura geométrica del historial acumulado en un espacio conjunto de clave-valor, CoRDS mitiga el problema de la "aguja en un pajar" inherente al razonamiento de contexto largo.

Los autores enfatizan que su enfoque es sin entrenamiento y agnóstico a la consulta, lo que lo hace inmediatamente aplicable a VLM basados en transformadores existentes sin necesidad de reentrenamiento. Los resultados destacan que las ganancias de rendimiento en entornos de streaming no surgen meramente del aumento del tamaño de la caché, sino de retener un subconjunto menos redundante y más informativo de tokens visuales. El artículo concluye que esta fundamentación geométrica proporciona una alternativa principista a la compresión basada en heurísticas para agentes de percepción persistente.