Resumen Técnico: LLaVA-OneVision-2: Hacia una Inteligencia Perceptiva de Próxima Generación

1. Declaración del Problema

Los Modelos de Lenguaje y Visión Grandes (LVLM) abiertos actuales operan en gran medida bajo un paradigma de observación centrado en fotogramas. Suelen emplear muestreo uniforme de fotogramas o estrategias de resolución mixta (fotogramas clave de alta resolución dispersos + contexto de baja resolución denso) para cumplir con presupuestos fijos de tokens. Los autores argumentan que este enfoque reduce el video a un conjunto de fotogramas decodificados, fallando en capturar la estructura espacial continua, la dinámica del movimiento y las señales de flujo predictivo que hacen que el video sea única e informativamente valioso.

Los métodos existentes a menudo tratan el video como una secuencia de imágenes estáticas, pasando por alto el hecho de que en los flujos de video comprimidos, la mayoría de los píxeles mantienen continuidad contextual, mientras que solo las desviaciones dispersas codifican la estructura discriminativa semántica, espacial y temporal. En consecuencia, los modelos actuales luchan con:

• Anclaje Temporal: Pierden momentos críticos que caen entre fotogramas muestreados uniformemente.
• Eficiencia en Videos Largos: Altos conteos de tokens para videos largos sin ganancia de información proporcional.
• Movimiento de Alta Frecuencia: Dificultad para localizar acciones en ciclos de movimiento de alta frecuencia y densamente repetidos (por ejemplo, saltar la cuerda) donde los fotogramas adyacentes son visualmente casi idénticos pero los límites del ciclo son críticos.

2. Metodología

LLaVA-OneVision-2 (LLaVA-OV-2) introduce una arquitectura alineada con códecs que cambia de observar fotogramas decodificados a observar flujos visuales predictivos.

2.1 Arquitectura Central

• Codificador OneVision Nativo: El modelo utiliza una columna vertebral compartida (OV-Encoder) que mapea fotogramas muestreados, imágenes estáticas y videos de flujo de códec a una interfaz unificada de tokens visuales. Emplea 3D RoPE (Posicionamiento Posicional Rotatorio) para situar todas las entradas (imágenes, fotogramas muestreados, lienzos de códec) en un sistema de coordenadas espacio-temporal unificado.
• Atención Ventanada: Para mantener la eficiencia de resolución nativa, el modelo utiliza atención ventanada espacial para el cálculo local, combinada con máscaras visibles por grupo que definen la visibilidad de los tokens basándose en la agrupación temporal.
• Conector y Decodificador Unificados: Un MLP ligero proyecta los tokens visuales al espacio del modelo de lenguaje (Qwen3-8B). Crucialmente, el conector y el decodificador permanecen invariantes a la interfaz; no requieren adaptadores específicos del códec. La diferencia radica únicamente en la selección de evidencia y la asignación de grupos de atención proporcionadas por la entrada.

2.2 Tokenización de Flujo de Códec

La innovación central es tratar el video comprimido como un flujo continuo de costo de bits en lugar de una secuencia de fotogramas.

• Agrupación Temporal Adaptativa (GOPs): En lugar de intervalos de tiempo fijos, el video se divide en grupos temporales basados en la dinámica de costo de bits del flujo comprimido.
  • Mecanismo: El sistema agrega los tamaños de paquetes de fotogramas predichos (P/B-fotogramas) dentro de contenedores de tiempo. Un alto costo de bits (indicando movimiento o cambios de escena) dispara grupos más cortos, mientras que un bajo costo de bits (intervalos predecibles) permite grupos más largos.
  • Refinamiento de Límites: Una búsqueda local de valles refina los límites del grupo para asegurar que se alineen con regiones de bajo costo de bits, maximizando la eficiencia de compresión mientras se preserva el contenido portador de eventos.
• Selección Espacial de Residuo de Movimiento: Dentro de cada grupo adaptativo, la evidencia espacial se selecciona basándose en vectores de movimiento y residuos de luminancia.
  • Selección a Nivel de Bloque: En lugar de seleccionar parches individuales, el modelo selecciona bloques de parches 2×2 basándose en una puntuación de saliencia derivada de la magnitud de movimiento normalizada y la desviación residual.
  • Asignación Estratificada: Para evitar que un solo fotograma de alta respuesta domine un grupo, el sistema utiliza una estrategia de asignación temporal estratificada. Ordena los bloques candidatos por fotograma y atenúa los candidatos repetidos del mismo fotograma, asegurando que los lienzos P cubran efectivamente el alcance temporal del grupo.
• Lienzos Visuales: La salida de este proceso es un conjunto de lienzos visuales compactos (lienzos I y lienzos P) que portan evidencia de residuo de movimiento, con una densidad de tokens que sigue el perfil de residuo de costo de bits del flujo.

2.3 Receta de Entrenamiento

El modelo se entrena mediante una receta progresiva de cuatro etapas utilizando supervisión abierta a gran escala:

1. Etapa 1 (Arranque): Mezcla ~85M muestras de imagen-texto con 4.2M descripciones de video corto (30s). Utiliza muestreo estándar de fotogramas.
2. Etapa 2 (Ajuste de Instrucciones): Añade ~46M muestras de instrucciones y extiende las descripciones de video a 30–180s. El presupuesto de fotogramas aumenta a 90.
3. Etapa 3 (Video Largo): Se extiende a descripciones de video de 10–15 minutos (350K muestras) con un presupuesto de fotogramas de 384.
4. Etapa 4 (Códec y Espacial):
   • Integración de Códec: Re-codifica el corpus de video de 10–15 minutos utilizando la tubería de códec de GOP de longitud variable a 384 y 768 fotogramas.
   • Supervisión Espacial: Introduce un corpus espacial de 4M muestras (LLaVA-OneVision-2-Spatial-4M) que cubre razonamiento espacial 2D/3D, seguimiento de puntos y expresiones de referencia.
   • Mezcla de Datos: El entrenamiento intercala videos de flujo de códec, videos muestreados uniformemente e imágenes estáticas (aprox. 50% códec, 37.5% uniforme, 12.5% imagen).

3. Contribuciones Clave

1. MLLM Alineado con Códec: El primer modelo que trata el video como un flujo continuo de costo de bits, alineando la asignación de tokens visuales con la dinámica de costo de bits y la evidencia de residuo de movimiento. Esto permite una compresión estable de tokens para videos largos que supera el muestreo uniforme o el Grupo de Imágenes (GOP) fijo.
2. Benchmark JumpScore: Un nuevo benchmark de localización temporal dirigido al anclaje de alta frecuencia en movimiento de alta frecuencia y densamente repetido (por ejemplo, saltar la cuerda). Evalúa la capacidad de localizar instancias de acción entre ciclos visualmente similares, un régimen subrepresentado por los benchmarks existentes.
3. Datos a Gran Escala y Pila de Entrenamiento: Lanzamiento de ~8M muestras de video re-descriptas y un corpus espacial de 4M muestras, junto con una receta de entrenamiento de cuatro etapas que escala desde el anclaje de imágenes hasta el razonamiento de video largo y espacial.
4. Percepción Unificada: Demuestra una única arquitectura capaz de un rendimiento unificado en comprensión de video, anclaje temporal, anclaje espacial y razonamiento de trazas de manipulación.

4. Resultados

LLaVA-OneVision-2-8B logra un rendimiento de vanguardia entre los modelos de clase 8B en múltiples dominios:

• Anclaje Temporal y JumpScore:
  • En JumpScore, LLaVA-OV-2-8B logra 74.9 mAP, superando a Qwen3-VL-8B (30.1) en +44.8 puntos.
  • Bajo presupuestos de tokens visuales coincidentes, las entradas de flujo de códec mejoran el anclaje temporal sobre el muestreo de fotogramas en +9.7 puntos en promedio en benchmarks estándar (Charades-STA, ActivityNet, QVHighlights).
  • Específicamente en JumpScore, las entradas de flujo de códec mejoran sobre el muestreo de fotogramas en +17.3 puntos.
• Comprensión de Video:
  • Supera a Qwen3-VL-8B en +4.3 puntos promedio en 18 tareas de video (62.5 vs. 58.2).
  • Ganancias significativas en anclaje temporal (+5.2 a +7.0 puntos) y razonamiento visual-espacial de video.
• Razonamiento Espacial:
  • Supera a Qwen3-VL-8B en +5.3 puntos promedio en 11 tareas espaciales (63.5 vs. 58.2).
  • Ganancias notables en CrossPoint (+35.0 puntos sobre Qwen3-VL) y TraceSpatial-3D (casi 4 veces la puntuación de la siguiente mejor de 8B).
• Seguimiento (Segmentación de Objetos de Video de Referencia):
  • Logra una mejora promedio de +15.6 en J&F sobre Qwen3-VL-8B en benchmarks de seguimiento (DAVIS, MeViSU, ReVOS).
  • Puntuación total de seguimiento de 41.0 frente a 30.8 para Qwen3-VL-8B.
• Imagen y Documento:
  • Sigue siendo competitivo en benchmarks de imagen y documento (por ejemplo, DocVQA 95.2, V*-Bench 85.9), aunque queda por detrás de modelos especializados en OCR/documento en tareas densas en texto.

5. Significado y Afirmaciones

El artículo afirma que LLaVA-OneVision-2 representa un cambio de la inteligencia perceptiva "centrada en fotogramas" a la "consciente de flujo".

• Principio de Asignación Perceptiva: Los autores argumentan que la tokenización de flujo de códec no es meramente un mecanismo de reducción de tokens, sino un principio de asignación perceptiva. Expande la cobertura a nivel de eventos para el razonamiento de video largo al concentrar tokens en intervalos de alto costo de bits y regiones de alto residuo, mientras preserva el muestreo de fotogramas como una vía complementaria para la percepción sensible a los detalles.
• Compensación entre Eficiencia y Detalle: El análisis revela que las entradas de flujo de códec favorecen tareas gobernadas por la estructura temporal gruesa (ordenamiento de eventos, anclaje temporal), mientras que el muestreo de fotogramas sigue siendo preferible para consultas sensibles a los detalles que requieren continuidad densa de trayectoria.
• Dirección Futura: El trabajo se posiciona como un paso hacia una "Era Nativa de Códec", donde la evidencia visual se actualiza, comprime y recupera continuamente a lo largo de horizontes temporales ultra-largos, superando las limitaciones de la observación de fotogramas fijos.

Los autores enfatizan que su enfoque es ortogonal a las mejoras existentes en conectores o modelos de lenguaje; cualquier sistema actual podría teóricamente adoptar la tokenización de flujo de códec en el lado de la entrada sin alterar su pila aguas abajo.