Resumen Técnico: Narrativas de Objetos Persistentes para Modelos de Lenguaje de Video Eficientes en Tokens

Declaración del Problema

Los Modelos de Lenguaje de Video (Video-LLMs) han avanzado en la comprensión de video de código abierto, pero enfrentan dos limitaciones primarias en sus interfaces visuales:

1. Intensidad de Tokens: Los métodos actuales de construcción cuadro por cuadro generan tokens visuales proporcionales a la resolución temporal y espacial, lo que a menudo resulta en miles de tokens por video (por ejemplo, LLaVA-OneVision, LLaVA-Video).
2. Falta de Estructura Explícita de Objetos: Las técnicas de compresión existentes (por ejemplo, memoria dispersa, compresión espacio-temporal adaptativa) reducen el recuento de tokens, pero no organizan explícitamente la evidencia de objetos recurrentes. En consecuencia, el modelo de lenguaje debe inferir la correspondencia de los objetos y la evolución de su estado a partir de secuencias comprimidas sin una vinculación explícita, lo que genera ambigüedad cuando los objetos reaparecen tras una oclusión o un corte de escena.

Si bien el aprendizaje centrado en objetos ofrece una base teórica para agrupar características en ranuras (slots) de tipo objeto, los enfoques basados en ranuras existentes suelen tratar las ranuras como locales e intercambiables, fallando al no vincular las observaciones recurrentes con instancias de objetos persistentes a través del tiempo. Por el contrario, los métodos que dependen de canales externos de detección y seguimiento introducen una dependencia de componentes no aprendidos.

Metodología: SlotNarrative

Los autores proponen SlotNarrative, una interfaz basada en ranuras y centrada en objetos que organiza la evidencia de video en narrativas de objetos persistentes. El marco opera a través de tres módulos funcionales:

1. Representación de Video Centrada en Objetos

Un codificador SigLIP congelado extrae características de parches de fotogramas muestreados. Un adaptador de características y un codificador de ranuras recurrente agrupan estas características en $K=11$ vectores de ranura tipo objeto ($S_t$) y mapas de atención normalizados por parches ($A_t$).

• Estado Local: El sistema estima el movimiento local, la geometría y la visibilidad utilizando el emparejamiento de parches ponderado por máscara y un codificador de trayectoria causal.
• Gestión de Escenas: En los cortes de escena detectados, la inicialización de la ranura recurrente se reinicia para evitar tratar los cortes como un movimiento de objeto extremo, mientras se retiene la memoria a nivel de clip.

2. Memoria de Objetos Persistentes

Un módulo de memoria sin parámetros vincula las observaciones de la ranura local con entradas de objetos persistentes a nivel de clip.

• Reidentificación: Cuando una ranura transiciona de invisible a visible, el sistema la coteja contra entradas de memoria inactivas utilizando cinco pistas complementarias: similitud de características de la ranura, similitidad de apariencia agrupada, similitud de estado de trayectoria, similitud de observación reciente y proximidad de posición.
• Lógica de Emparejamiento: Un puntaje ponderado y sin parámetros determina la reidentificación. Una estrategia de emparejamiento codicioso de uno a uno evita reclamaciones duplicadas. Si un objeto reaparece bajo un índice de ranura bruta diferente, la memoria preserva la ID persistente, tendiendo eficazmente los intervalos faltantes.
• Sin Parámetros Entrenables: La memoria en sí misma no contiene pesos aprendibles; depende de pesos de pistas fijos (por ejemplo, 0.3 para características de la ranura, 0.2 para la apariencia) y umbrales.

3. Tokenización de Estado-Tipo de Objeto

Para interactuar con un modelo de lenguaje congelado, las entradas de objetos retenidas se serializan en una secuencia visual de tamaño fijo:

• Selección de Inventario: Las entradas se clasifican por duración de visibilidad, cambio de estado y "objetidad" (una métrica que combina el área de la ranura y la entropía de atención). Se retienen las mejores $M=16$ entradas.
• Descomposición de Tokens: Cada entrada retenida es representada por:
  • Un Token de Identidad: Resume la apariencia persistente utilizando características del backbone agregadas en el tiempo y ponderadas por visibilidad.
  • $J=8$ Tokens de Estado: Codifican la apariencia a nivel de segmento, la geometría, la visibilidad, el estado de la trayectoria y los eventos de reidentificación.
• Presupuesto Fijo: Este diseño asigna exactamente $M(1 + J) = 144$ posiciones de tokens visuales por video, independientemente del número de fotogramas muestreados. Las posiciones no utilizadas se enmascaran.

Estrategia de Entrenamiento

El modelo se entrena en tres etapas secuenciales:

1. Etapa 1: Aprende el agrupamiento de tipo objeto y la consistencia local utilizando reconstrucción de características, SlotContrast y Aprendizaje de Representación Sinérgica en clips no etiquetados.
2. Etapa 2: Entrena los módulos de trayectoria y presencia mediante la predicción de observación futura y objetivos derivados de la confianza.
3. Etapa 3: Alinea la representación de estado-tipo de objeto con el modelo de lenguaje (Qwen2-7B-Instruct). Solo se entrenan los proyectores de identidad/estado, las normalizaciones de capa y los embeddings de tipo; el backbone visual, la memoria y el modelo de lenguaje permanecen congelados.

Contribuciones Clave

1. Interfaz de Tipo Objeto Basada en Ranuras: Organiza la evidencia de video alrededor de entradas de objetos persistentes a nivel de clip en lugar de fotogramas o ranuras intercambiables por fotograma, utilizando una memoria sin parámetros para asociar observaciones recurrentes sin depender de canales externos de detección o seguimiento.
2. Representación de Estado-Tipo de Objeto: Separa la apariencia persistente del objeto del estado variable en el tiempo. Esta descomposición produce una interfaz compacta y fija de 144 tokens (1 token de identidad + 8 tokens de estado $\times$ 16 objetos) para un Video-LLM congelado.
3. Eficiencia y Rendimiento: Demuestra un intercambio favorable entre precisión y tokens visuales en múltiples evaluaciones, estableciendo las narrativas de objetos persistentes como una interfaz visual estructurada.

Resultados Experimentales

Los autores evaluaron SlotNarrative en tres evaluaciones de VideoQA de código abierto: MSVD-QA, MSRVTT-QA y ActivityNet-QA.

• Eficiencia de Tokens: Con solo 144 posiciones de tokens visuales asignadas, SlotNarrative logra:
  • 75.6% de precisión en MSVD-QA.
  • 69.8% de precisión en MSRVTT-QA.
  • 50.3% de precisión en ActivityNet-QA.
• Comparaciones:
  • Comparado con el baseline de tipo objeto más cercano, Slot-VLM (192 tokens), SlotNarrative utiliza un 25% menos de tokens mientras mejora la precisión en 0.7, 0.2 y 2.0 puntos respectivamente.
  • Supera a los métodos de tokens densos (por ejemplo, LLaVA-OneVision con ~6,000 tokens) en conjuntos de datos de videos cortos y se mantiene competitivo en videos más largos (ActivityNet-QA) a pesar de la reducción significativa de tokens.
• Estudios de Ablación:
  • Trayectoria y Memoria: Ambos componentes mejoran significamente el rendimiento. Eliminar la memoria por sí sola reduce la precisión en ~3.2 puntos en MSVD-QA; eliminar la trayectoria reduce el rendimiento en ~1.8 puntos. Su combinación produce los mejores resultados.
  • Tokens de Tipo: Separar los tokens de identidad y de estado es crucial. Usar solo tokens de identidad (16 tokens) o solo tokens de estado (128 tokens) resulta en caídas significativas de precisión (44.1% y 42.4% respectivamente en ActivityNet-QA) comparado con la interfaz completa de 144 tokens (50.3%).
  • Sensibilidad al Presupuesto: Reducir la cobertura de objetos ($M$) es más costoso que reducir la resolución temporal ($J$). Aumentar el presupuesto más allá de 144 tokens produce rendimientos decrecientes.

Significado y Reivindicaciones

El artículo afirma que SlotNarrative establece un nuevo paradigma para las interfaces de Video-LLM al priorizar las narrativas de objetos persistentes sobre la evidencia fotograma por fotograma. El significado radica en:

• Compresión Estructurada: Proporciona una interfaz visual compacta, estructurada y organizada temporalmente que vincula explícitamente las observaciones recurrentes, reduciendo la carga sobre el modelo de lenguaje para inferir la correspondencia de los objetos.
• Eficiencia de Tokens: Logra un rendimiento competitivo con un presupuesto de tokens fijo y bajo (144 tokens), desacoplando la longitud de la entrada de la duración y resolución del video.
• Asociación Aprendida: Demuestra que las unidades de tipo objeto pueden descubrirse y asociarse a través de intervalos faltantes directamente desde características visuales sin depender de modelos externos de detección o seguimiento.

Los autores reconocen modestamente las limitaciones, señalando que, si bien la interfaz es compacta, el orden temporal de largo alcance y la fragmentación en escenas concurridas siguen siendo desafíos. Sugieren que el trabajo futuro debe centrarse en un descubrimiento de objetos y pistas de movimiento más ricos sin revertir a secuencias largas de tokens de fotogramas.