Resumen Técnico: OmniMem

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala Audio-Visuales (av-LLMs) muestran una promesa significativa para la comprensión de video de larga duración, pero enfrentan un cuello de botella fundamental durante la inferencia por streaming: el crecimiento lineal de los tokens de video y de los cachés de Clave-Valor (KV). A medida que la longitud del video aumenta (por ejemplo, videos de una hora), los requisitos de memoria exceden rápidamente los límites de la GPU. Si bien el procesamiento por fragmentos (chunked streaming) ha surgido como una solución práctica, los métodos de compresión existentes sufren dos limitaciones primarias:

1. Tratamiento Uniforme de Tokens: Los métodos actuales suelen aplicar una métrica de selección de tokens unificada (por ejemplo, similitud de coseno o consulta proxy genérica) tanto para los tokens de audio como para los de video. Esto no tiene en cuenta el severo desequilibrio de tokens entre modalidades (los tokens visuales suelen superar a los de audio en un factor de 30 a 40 veces), lo que conduce a la infravaloración o el descarte sistemático de información de audio crítica.
2. Criterios de Selección Subóptimos: Los métodos de streaming existentes dependen típicamente de "consultas proxy genéricas" (externas al grafo de computación del modelo) para estimar la importancia de los tokens. Estas puntuaciones pueden no reflejar con precisión la perturbación real causada por la evacuación de un token, lo que podría llevar a la eliminación de estados informativos que no puntúan alto en un proxy genérico pero que son cruciales para la salida específica del modelo.

Metodología

Los autores proponen OmniMem, un marco de trabajo de streaming eficiente en memoria, consciente de la perturbación y consciente de la modalidad, diseñado para abordar estas limitaciones. El flujo de trabajo procesa el video fragmento por fragmento, manteniendo cachés KV separados para los tokens de audio y de video.

1. Selección de Caché KV Consciente de la Perturbación

En lugar de utilizar consultas proxy externas, OmniMem selecciona los pares KV para retener basándose en un criterio que minimiza la distorsión en la salida de atención tras la evacuación. La puntuación de selección ($\psi_k$) para un token $k$ combina dos factores:

• Importancia (Puntuación de Atención): La masa de atención acumulada ($a_k$) dirigida hacia el token desde las consultas subsiguientes. Los valores altos indican que el token es utilizado frecuentemente por la siguiente capa.
• Redundancia (Similitud de Coseno): La similitud de coseno ($s_k$) entre el estado oculto del token y sus posiciones adyacentes. Una alta similitud indica redundancia.

La puntuación de selección se calcula como:
$$\psi_k = a_k^\lambda (1 - s_k)$$
donde $\lambda$ es un factor de normalización. Esta combinación multiplicativa asegura que el sistema retenga tokens que sean tanto frecuentemente utilizados (alta importancia) como no redundantes (baja similitud con los vecinos). Para calcular la similitud sin un exceso de sobrecarga, el método utiliza estados ocultos (o vectores de valor) en lugar del caché KV completo.

2. Asignación de Presupuesto Audio-Visual (AVBA)

Para abordar el desequilibrio de modalidades, OmniMem introduce AVBA, un mecanismo que asigna presupuestos de memoria separados para los cachés KV de audio y video en lugar de aplicar un presupuesto global uniforme.

• Métricas de Compresibilidad: El sistema calcula una puntucción de compresibilidad ($C$) para cada modalidad utilizando la entropía de atención normalizada y la similitud de coseno promedio.
• Ratio Dinámico: Se establece un ratio previo de tokens visuales a audio ($r$) (establecido en 5 en el artículo). Los pesos de presupuesto reales ($w_v, w_a$) se ajustan entonces basándose en las puntuaciones de compresibilidad relativa de las corrientes de audio y video. Esto asegura que las modalidades menos compresibles (frecuentemente el audio, como el habla humana) reciban una asignación de memoria adecuada, incluso si constituyen una pequeña fracción del recuento total de tokens.
• Asignación por Capa: El presupuesto total se distribuye de forma no uniforme a través de las capas del Transformer basándose en la compresibilidad específica de cada capa, donde las capas iniciales generalmente reciben presupuestos mayores.

3. Ajuste Fino Consciente del Presupuesto

Aunque OmniMem funciona como un método sin entrenamiento, los autores exploran el ajuste fino supervisado (SFT) con el esquema de presupuesto asignado. Durante este proceso, el modelo es entrenado para consolidar la información útil en los tokens de memoria retenidos. Para gestionar los costes computacionales en secuencias largas, la retropropagación se trunca hasta las últimas $L-l$ capas, asegurando al mismo tiempo el flujo de gradiente a través de todas las capas del fragmento final.

Principales Contribuciones

El artículo resume sus contribuciones de la siguiente manera:

• Marco de Trabajo OmniMem: Un mecanismo de selección de caché KV consciente de la perturbación y de la modalidad que combina la importancia basada en la atención con la redundancia basada en la similitud de coseno para minimizar la distorsión de la salida tras la evacuación.
• Mecanismo AVBA: El primer mecanismo de asignación de presupuesto audio-visual para av-LLMs, que aborda las discrepancias de representación de la modalidad y evita que los tokens de audio sean marginados debido al desequilibrio en el recuento de tokens.
• Ganancias de Rendimiento: Demostró mejoras consistentes en la precisión sobre las líneas base de consulta proxy genérica y de similitud de coseno, logrando además ganancias adicionales mediante el ajuste fino consciente del presupuesto.

Resultados Experimentales

Los experimentos se realizaron en VideoMME Long, LVBench y LVOmniBench utilizando video-SALMONN 2+ (4B y 8B parámetros) y Qwen2.5-Omni (7B parámetros).

• Rendimiento Sin Entrenamiento: Bajo presupuestos de memoria idénticos (por ejemplo, 8K pares KV por capa), OmniMem superó consistentemente a las bases de comparación fuertes (InfiniPot-V, StreamMem, HERMES) por un 2–4% en precisión absoluta.
  • En video-SALMONN 2+ (8B), OmniMem logró mejoras del 4.5% en VideoMME Long, 3.0% en LVBench y 2.2% en LV-OmniBench en comparación con la mejor línea base (HERMES).
  • Las mejoras fueron particularmente notables en la partición "Omni-source" de StreamingBench, donde el equilibrio audio-visual es crítico.
• Ganancias de Ajuste Fino: La aplicación del ajuste fino consciente del presupuesto proporcionó una mejora adicional de 1–2% en la precisión absoluta. Las ganancias más significativas se observaron en LVBench (hasta un 4.1% para el modelo de 4B), lo que sugiere que el modelo aprende a utilizar el presupuesto de memoria fijo de manera más efectiva para videos más largos.
• Eficiencia: La sobrecarga de tiempo de ejecución fue mínima (<1GB en GPUs H800), debido principalmente a la retención de estados ocultos para el cálculo de la similitud. La latencia del primer token se mantuvo comparable a las líneas base (~0.2s).

Significado y Reivindicaciones

El artículo posiciona a OmniMem como una evolución necesaria para los modelos de streaming av-LLM, yendo más allá de la puntuación heurística de tokens hacia un enfoque basado en principios que optimiza explícitamente el impacto de la evacuación de tokens en las salidas del modelo.

• Conciencia de la Modalidad: Los autores afirman que tratar los tokens de audio y video de manera uniforme es un fallo fundamental en los métodos de streaming actuales. Al introducir AVBA, demuestran que preservar la integridad de la modalidad de audio, menos frecuente pero con alta densidad de información, es crítico para la comprensión de larga duración.
• Conciencia de la Perturbación: El cambio de consultas proxy genéricas a una selección consciente de la perturbación (minimizando la distorsión de la salida) se presenta como un criterio más robusto para determinar la importancia del token.
• Despliegue Práctico: El método está diseñado para restricciones de despliegue realistas, operando sin necesidad de prompts de usuario para determinar los presupuestos y funcionando eficazmente dentro de límites de memoria estrictos para videos de una hora.

Los autores concluyen que, si bien OmniMem introduce una ligera sobrecarga de memoria para el cálculo de la similitud, la compensación genera ganancias de precisión consistentes y significativas, estableciendo un nuevo estándar para la inferencia audio-visual de larga duración con restricciones de memoria.