Resumen Técnico: GridProbe

Enunciado del Problema

La comprensión de videos largos en Modelos Visión-Lenguaje (VLM) está actualmente limitada por el costo computacional de procesar miles de fotogramas en una única pasada monolítica hacia adelante. Este enfoque incurre en costos de atención cuadráticos ($O(N^2)$) en relación con la longitud de la secuencia. Aunque las estrategias de mitigación existentes implican seleccionar un subconjunto de fotogramas informativos ($M \ll N$) antes de la inferencia, los métodos actuales de "selección en el espacio del codificador" (por ejemplo, MDP3, coincidencia con CLIP) dependen de codificadores de visión-texto auxiliares. Estos métodos están limitados por la capacidad representacional de su preentrenamiento, fallando a menudo en consultas que requieren razonamiento, como la negación, el conteo entre fotogramas y el resumen holístico. Además, los métodos existentes suelen imponer un presupuesto de fotogramas estático ($M$), creando una compensación donde la capacidad de cómputo se desperdicia en preguntas localizadas o resulta insuficiente para las holísticas.

Metodología: GridProbe

GridProbe introduce un paradigma de inferencia de sondeo posterior libre de entrenamiento que desplaza la selección de fotogramas desde el espacio del codificador al espacio de respuestas propio del VLM. El método opera en dos etapas:

1. Formulación de la Cuadrícula y Mapeo de Importancia

En lugar de puntuar los fotogramas individualmente o mediante codificadores externos, GridProbe trata el conjunto de fotogramas candidatos ($K^2$ fotogramas) como una cuadrícula conceptual $K \times K$.

• Pasadas de Sondeo: El VLM congelado realiza $2K$ pasadas ligeras: $K$ pasadas por fila (cobertura temporal local) y $K$ pasadas por columna (cobertura global con saltos). Cada pasada procesa solo $K$ fotogramas.
• Puntuación Posterior: Para cada fila $r$ y columna $c$, el modelo calcula una "confianza de sondeo" $c(S, q)$, definida como la probabilidad posterior máxima sobre el espacio de respuestas $Y$ dada la subconjunto $S$ y la consulta $q$.
• Mapa de Importancia: Se genera un mapa de importancia condicionado a la pregunta $M$ mediante el producto externo de las confianzas de fila y columna: $M[r, c] = c_{row}^r \cdot c_{col}^c$. Este mapa refleja la recolección de evidencia interna del VLM, heredando su capacidad completa de razonamiento.

2. Selección Adaptativa a la Forma

En lugar de utilizar un presupuesto de fotogramas fijo, GridProbe deriva un conteo efectivo de fotogramas por pregunta ($M_{eff}$) basado en la forma estadística del mapa de importancia.

• Estadísticas de la Forma de la Distribución: El método calcula una estadística $\sigma(M)$ que combina la asimetría absoluta y la curtosis excesiva de la distribución del mapa de importancia.
  • Asimetría Positiva (Picos Escasos): Indica que unos pocos fotogramas decisivos contienen la respuesta.
  • Asimetría Negativa (Redundancia): Indica que muchos fotogramas son informativos pero superpuestos; un subconjunto pequeño es suficiente.
  • Cercano a Uniforme: Indica que la evidencia es escasa y dispersa, requiriendo cobertura completa.
• Regla Adaptativa: Una regla de forma cerrada mapea $\sigma(M)$ a $M_{eff}$. Esto permite al sistema asignar más capacidad de cómputo a preguntas intrínsecamente difíciles (mapas uniformes) y menos a las fáciles o redundantes, sin observar nunca la respuesta de verdad.

3. Pipeline de Inferencia en Dos Etapas

1. Etapa 1 (Sondeo): Ejecutar $2K$ pasadas para generar el mapa de importancia y calcular $M_{eff}$.
2. Etapa 2 (Pasada Enfocada): Seleccionar los $M_{eff}$ fotogramas superiores del mapa y ejecutar una única pasada completa de resolución hacia adelante para generar la respuesta final.

Contribuciones Clave

1. Paradigma de Sondeo Posterior: GridProbe reemplaza la pasada hacia adelante estándar de un solo disparo con un mecanismo de auto-sondeo que opera en el espacio de respuestas. Esto permite que la señal de selección aproveche las capacidades nativas de razonamiento del VLM, manejando consultas complejas (negación, conteo) que los métodos en el espacio del codificador pasan por alto.
2. Mapas de Importancia Interpretables: El método produce un mapa de importancia condicionado a la pregunta a nivel de fotograma que expone el proceso de recolección de evidencia del modelo, ofreciendo interpretabilidad a nivel de fotograma.
3. Cómputo Adaptativo Impulsado por la Forma: Al utilizar estadísticas de la forma de la distribución (asimetría y curtosis), GridProbe reemplaza los presupuestos de fotogramas estáticos con un $M_{eff}$ dinámico que se adapta a la dificultad de la pregunta, logrando costos de atención subcuadráticos ($O(N^{1.5})$) con una pérdida mínima de precisión.
4. Selector y QA Desacoplados: El marco permite desacoplar el selector (sondeo) y el respondedor (QA). Emparejar un selector pequeño y eficiente (por ejemplo, 2B) con un modelo de QA más potente (por ejemplo, 4B u 8B) produce mejoras estrictas de Pareto sobre las líneas base monolíticas sin reentrenamiento.

Resultados Experimentales

Evaluado en Video-MME-v2 y LongVideoBench utilizando backbones Qwen3-VL (2B, 4B, 8B):

• Eficiencia de Modelo Único: En Video-MME-v2, GridProbe (2B) iguala la línea base monolítica 2B dentro de 1.6 puntos porcentuales (pp) de Precisión Promedio mientras reduce los TFLOPs en 3.36×. En LongVideoBench, domina por Pareto a la línea base, logrando +0.9 pp de precisión con 0.35× el cómputo.
• Dominio de Pareto Transversal a Modelos: Utilizar un selector de 2B con un modelo QA de 8B logra +3.56 pp de precisión en Video-MME-v2 y +3.30 pp en LongVideoBench en comparación con la línea base monolítica de 2B, con costos de cómputo reducidos.
• Superioridad del Selector: Con un presupuesto de fotogramas fijo ($M=8$), GridProbe supera al fuerte selector libre de entrenamiento MDP3, particularmente en LongVideoBench (+3.6 pp), demostrando el fallo de las señales en el espacio del codificador en tareas con alto requerimiento de razonamiento.
• Cómputo Adaptativo: El $M_{eff}$ adaptativo rastrea con éxito la dificultad intrínseca de la pregunta. Las preguntas en el régimen "uniforme" (más difíciles) reciben cobertura casi completa, mientras que los regímenes "asimétricos" (más fáciles) reciben significativamente menos fotogramas. El coeficiente de variación en la asignación de cómputo es 44 veces mayor que en las líneas base de entrada fija.

Significado y Afirmaciones

El artículo afirma que GridProbe ofrece un cambio estructural en la inferencia de videos largos al:

• Eliminar la necesidad de reentrenamiento para lograr cómputo adaptativo y selección de fotogramas.
• Cerrar la brecha entre la selección de fotogramas y el razonamiento, asegurando que la señal de selección se base en la propia capacidad del modelo para responder a la consulta.
• Proporcionar un mecanismo no iterativo y de horario fijo para el cómputo adaptativo en tiempo de prueba, evitando la sobrecarga de orquestación de sistemas de inferencia basados en agentes de múltiples pasos.
• Demostrar que la "forma" de la evidencia (distribución de importancia) es un proxy confiable para la dificultad de la pregunta, permitiendo una solución de forma cerrada para la asignación dinámica de recursos.

Los autores señalan limitaciones, incluida la dependencia de espacios de respuestas finitos (opción múltiple) para la definición de la confianza del sondeo y los mayores requisitos de memoria del host al desacoplar los modelos selector y QA. Se sugiere trabajo futuro para generalizar a QA de respuesta abierta y refinar las estadísticas de forma para diferentes densidades de video.