Resumen Técnico: VLMaxxing mediante FrameMogging

Declaración del Problema

Los Modelos Visión-Lenguaje para Video (VLM) incurren frecuentemente en costos computacionales innecesarios al re-codificar estados visuales que no han cambiado. En escenarios como la monitorización de fábricas, feeds de seguridad o diálogos de múltiples turnos sobre un único video, el fondo visual a menudo permanece estático mientras el modelo re-procesa cuadros RGB densos para cada consulta. Este desperdicio de "recálculo" ocurre en dos regímenes principales:

1. Ingesta de Primer Paso: Procesamiento de cuadros de video frescos donde existe redundancia visual dentro del propio clip.
2. Seguimiento Post-Ingesta: Respuesta a preguntas subsiguientes sobre el mismo video donde el prefijo visual ya ha sido computado.

El artículo argumenta que las pipelines actuales tratan cada cuadro como evidencia fresca, ignorando señales temporales baratas (estasis, movimiento, residuos) disponibles en el flujo o derivadas de diferencias de píxeles. El desafío central es identificar dónde el estado en caché puede reutilizarse de forma segura sin romper la fidelidad de la respuesta, y dónde debe comprarse evidencia visual fresca.

Metodología

Los autores proponen un marco libre de entrenamiento y anti-recálculo evaluado sobre pilas de VLM congelados (Qwen2.5-VL-7B-Instruct-4bit y Gemma 4-E4B-4bit). El enfoque se divide en tres regímenes distintos, cada uno con mecanismos específicos y puertas de validación:

1. C-PERSIST: Reutilización de Seguimiento Post-Ingesta

Este régimen apunta a la reducción de latencia para preguntas subsiguientes sobre el mismo video.

• Mecanismo: Reutiliza la caché de Clave-Valor (KV) de la primera consulta.
• Modo de Fallo: La reutilización no reparada conduce a una "cuenca de caché" donde el modelo genera salidas patológicas o se desvía en la elección de la respuesta debido a un contexto visual obsoleto.
• Estrategia de Reparación: Re-llenado Selectivo. Antes de una consulta de seguimiento, el sistema refresca una pequeña "cola visual" (los $K$ cuadros más nuevos) mientras retiene el resto del prefijo en caché.
  • $K=1$ Fijo: Refresca únicamente el cuadro más nuevo.
  • Herencia Adaptativa: Refresca la cola en el primer seguimiento, permitiendo luego que los seguimientos subsiguientes hereden el estado de caché reparado sin un nuevo re-llenado visual.
• Validación: Utiliza métricas de deriva emparejadas (deriva de elección, deriva de corrección y detección de salidas patológicas) en lugar de solo la precisión agregada para asegurar que se preserve la misma respuesta específica.

2. C-VISION: Poda de Visión de Primer Paso

Este régimen apunta a la aceleración en la ingesta inicial de un video fresco.

• Mecanismo: Poda de tokens visuales dentro de la torre de visión antes de que se complete la codificación densa completa.
• Señal: Utiliza diferencias en el dominio de píxeles (diferencia máxima absoluta RGB sobre bloques alineados con el modelo) para identificar regiones estáticas.
• Restricción: La aceleración está acotada por el Techo de Cuota de Etapa (C-CEILING). Si la torre de visión ocupa solo una fracción ($f_{fixed}$) del tiempo total de reloj, la aceleración de extremo a extremo no puede exceder $1 / (f_{fixed} + (1-f_{fixed})/s)$, donde $s$ es la aceleración del componente.
• Validación: Mide la reducción de latencia de extremo a extremo frente a una línea base densa, asegurando que no haya deriva emparejada ni fallos de análisis.

3. C-CEILING: Barreras Aritméticas

El artículo introduce un método riguroso de contabilidad para evitar la multiplicación de afirmaciones independientes de aceleración. Afirma que las ganancias a nivel de componente (por ejemplo, podar tokens de visión) solo se traducen en ganancias de extremo a extremo proporcionales al tiempo que ese componente consume realmente. Esto explica por qué las ganancias de primer paso suelen ser modestas en comparación con las ganancias de seguimiento.

4. Candidato C-STREAM: Transmisión a Tasa Nativa

Una vía de evaluación separada explora la reutilización de estado en pipelines en vivo/a tasa nativa. Prueba instantáneas de caché conscientes de la topología y las compara con líneas base sólidas como el muestreo denso a bajo FPS y la consulta de capturas de pantalla.

Resultados Clave

Reutilización Post-Ingesta (C-PERSIST)

• Rendimiento: En Qwen2.5-VL-7B, la herencia de caché reparada adaptativa logra una aceleración de 14.90–35.92× en consultas de seguimiento en comparación con seguimientos en frío.
• Fidelidad: En un escenario de amplitud de 93 consultas (31 sesiones × 3 consultas), se observó 0/93 deriva de elección o corrección emparejada.
• Pruebas de Estrés: En una prueba de estrés de 50 turnos con preguntas repetidas, la reparación adaptativa mantuvo 0/343 de deriva, mientras que $K=1$ fijo mostró deriva dispersa (3/343 de deriva de elección).
• Economía: La aceleración depende altamente de la longitud de la sesión. Una sesión de una sola consulta ve una ganancia mínima (la primera consulta paga el costo completo), pero una sesión de 50 consultas ve una aceleración efectiva de 32.17×.

Poda de Primer Paso (C-VISION)

• Gemma 4-E4B: Logró una aceleración limpia de 1.316× en la primera consulta en un corte de VideoMME de 32 cuadros con 0 deriva emparejada y 0 fallos de análisis. Esto representa una reducción del 42.2% en el tiempo de la torre de visión.
• Qwen2.5-VL: Mostró sensibilidad a la configuración. La poda agresiva (tasa de retención 0.50) falló en la fidelidad. Una tasa de retención conservadora (0.85) recuperó la precisión agregada pero solo rindió una aceleración de 1.032× debido a una baja reducción del tiempo de visión (13.6%).
• Validación del Techo: Las aceleraciones observadas se alinearon consistentemente con las predicciones de C-CEILING basadas en las cuotas de etapa medidas, confirmando que las ganancias están acotadas por la participación de la torre de visión en el cómputo total.

Composición y Límites

• No Composibilidad: Combinar la poda de primer paso y la reutilización de seguimiento no produce una aceleración multiplicativa. Una auditoría de composición ($n=60$) resultó en una ganancia de 1.042×, ubicándose exactamente donde el techo de cuota de etapa predijo, demostrando que las ganancias no se apilan linealmente.
• Líneas Base de Transmisión: En pruebas de transmisión a tasa nativa, una línea base densa a bajo FPS (4 cuadros) a menudo superó a proxies complejos de ventanas de eventos, destacando que las líneas base simples de recencia son competidores serios. Se encontró que la reutilización de caché cruzada por defecto en modelos de 26B es insegura, produciendo texto divergente.

Significado y Afirmaciones

El artículo se posiciona no como un multiplicador universal de aceleración, sino como un instrumento de medición para la frontera calidad-computación de los VLM congelados.

1. Redefinición de la Reutilización: La contribución principal es la distinción entre "sustitución semántica" (probar si una respuesta sobrevive con características en caché) y "trabajo omitido cronometrado" (reducción real del reloj). El artículo solo afirma aceleración donde el trabajo cronometrado se omite demostrablemente.
2. El Modo de Fallo de la "Cuenca": Identifica un modo de fallo específico en la caché persistente donde el estado no reparado conduce a salidas patológicas, y propone el re-llenado selectivo como el mecanismo de reparación necesario para salir de esta cuenca.
3. Disciplina de Contabilidad: El artículo hace cumplir el principio C-CEILING: una aceleración de componente solo es una victoria de extremo a extremo si acelera una etapa que posee una participación significativa del reloj. Esto explica por qué las ganancias de primer paso son modestas y por qué los números principales de diferentes tablas no pueden multiplicarse.
4. Requisitos de Medios Futuros: Los autores argumentan que los VLM actuales se ven obligados a redescubrir el mundo a partir de RGB denso. El artículo motiva un cambio hacia flujos de medios nativos para VLM que expongan actualizaciones de estado (movimiento, incertidumbre, IDs de objetos, tiempo del sensor) directamente, permitiendo a los modelos comprar evidencia fresca solo donde la validación lo requiera.

Limitaciones: Las afirmaciones están estrictamente acotadas a los regímenes probados (modelos congelados, benchmarks específicos como VideoMME y MVBench). El artículo declara explícitamente que los resultados no son leyes universales; por ejemplo, la semántica de caché de ventana deslizante de Gemma bloqueó ciertas estrategias de reutilización persistente, y el enrutamiento de Qwen mostró que las diferencias de píxeles no son oráculos semánticos. Los resultados de transmisión se presentan como evidencia de límites y requisitos candidatos en lugar de un sistema de producción finalizado.