Resumen Técnico: Garantías de Cobertura Conforme para Cualquier Localizador Temporal de Vídeo

Declaración del Problema

La localización temporal de vídeo consiste en identificar los tiempos de inicio y fin de un evento dentro de un vídeo continuo dada una consulta de lenguaje natural. Un desafío fundamental en este dominio es la ambigüedad inherente de los límites de los eventos: re-anotar el mismo par consulta–vídeo suele producir intervalos que coinciden por menos de la mitad en una gran fracción de las muestras. En consecuencia, la verdad de campo (ground truth) es una distribución sobre intervalos en lugar de un único punto.

Los localizadores temporales actuales, ya sean modelos de entrenamiento localizador (p. ej., modelos tipo DETR) o modelos de lenguaje-vídeo (VLM) de caja negra, emiten un único intervalo sin ninguna declaración de fiabilidad. En el despliegue, un intervalo con mucha confianza pero incorrecto es indistinguible de uno correcto, lo que deja a las aplicaciones de downstream (recuperación, edición, agentes de búsqueda de evidencia) sin una forma fundamentada de decidir cuándo aplazar o ampliar su búsqueda. Los métodos existentes de cuantificación de la incertidumbre requieren el reentrenamiento de arquitecturas específicas, dependen del acceso a la caja blanca o no logran proporcionar garantías de cobertura de muestras finitas que coincidan con sus objetivos nominales.

Metodología: Cover

El artículo propone Cover, un envoltorio (wrapper) post-hoc y agnóstico al modelo que transforma cualquier localizador temporal existente en un sistema que emite una región temporal que contiene el momento real con una probabilidad especificada por el usuario de al menos $1 - \alpha$. Cover no requiere reentrenamiento, no requiere acceso a la caja blanca y opera únicamente con las salidas del localizador y un conjunto de calibración reservado.

El método se basa en los principios de la predicción conforme adaptados para intervalos temporales:

1. Puntuaciones de No Conformidad: Cover define una puntuación que representa el ensanchamiento mínimo requerido para que un intervalo predicho contenga la verdad de campo.

   • Puntuación de Ensanchamiento de Intervalo: Para localizadores que emiten un intervalo $[\hat{s}, \hat{e}]$, la puntuación es el máximo de los excesos normalizados en los límites de inicio y fin: $s(X, I^*) = \max(\frac{\hat{s}-s^*}{\ell(X)}, \frac{e^*-\hat{e}}{\ell(X)})$, donde $\ell(X)$ es la longitud predicha (o una escala fija). Esto permite un ensanchamiento de dos lados.
   • Variante por Límite: Una variante de dos parámetros calibra los límites de inicio y fin por separado para manejar errores asimétricos.
   • Puntuación de Super-Nivel-de-Conjunto: Para localizadores que emiten una señal de relevancia temporal $f_X(t)$, la puntuación es $s(X, I^*) = -\min_{t \in I^*} f_X(t)$. Esto genera regiones adaptativas, potencialmente desconectadas, que gastan el presupuesto temporal solo donde la relevancia es alta.

2. Calibración: Dado un conjunto de calibración etiquetado $\{(X_i, I^*_i)\}_{i=1}^n$, Cover calcula las puntuaciones de no conformidad y selecciona el umbral $\hat{q}$ como el cuantil empírico $(1-\alpha)$ (específicamente el $\lceil(n+1)(1-\alpha)\rceil$-ésimo valor más pequeño).

3. Predicción: Para una nueva entrada de prueba, la región final $\mathcal{C}(X)$ se construye ensanchando la predicción base mediante el cuantil calibrado $\hat{q}$.

4. Variantes: El marco incluye una variante de control de riesgo para acotar la tasa de error esperada y una variante estratificada (calibración Mondrian) para asegurar la cobertura dentro de subpoblaciones específicas (p. ej., estratos de longitud de evento).

Contribuciones Clave

1. Cuantificación de la Incertidumbre Libre de Distribución: El primer método que proporciona garantías de cobertura de muestras finitas y libres de distribución para la localización temporal de vídeo. Convierte cualquier localizador (entrenado o de caja negra) en un predictor de conjuntos con una probabilidad garantizada de contener el intervalo real.
2. Puntuaciones de No Conformidad Temporal: La introducción de puntuaciones específicas tanto para localizadores basados en intervalos como para aquellos basados en señales de relevancia, incluyendo una variante de dos parámetros para abordar errores de frontera asimétricos.
3. Análisis Teórico:
   • Eficiencia: Demostración de que el ensanchamiento calibrado es asintóticamente óptimo en longitud dentro de la familia de regiones elegida.
   • Cobertura Condicional: Demostración de que la cobertura se mantiene condicional a la longitud del evento bajo un modelo de escala al usar puntuaciones normalizadas por longitud.
   • Límites de Intercambiabilidad: Un límite explícito sobre la degradación de la cobertura cuando los momentos del mismo vídeo violan los supuestos de intercambiabilidad.
4. Certificación Empírica: Una evaluación exhaustiva que muestra que la calibración es esencial para una cobertura fiable, exponiendo fallos en las evaluaciones basadas en métricas de punto y en los márgenes "seleccionados a mano".

Resultados Experimentales

El método fue evaluado en tres benchmarks (Charades-STA, ActivityNet-Captions, QVHighlights) y cinco localizadores, incluyendo un localizador entrenado (QD-DETR) y un VLM de caja negra (Qwen2.5-VL-7B-Instruct).

• Validez de la Cobertura: La cobertura realizada sigue de cerca el objetivo $1-\alpha$ en todos los conjuntos de datos y modelos. Por ejemplo, con un objetivo de 0.90, QD-DETR logró $0.895 \pm 0.003$ en ActivityNet-Captions.
• Eficiencia: Ninguna familia de puntuaciones domina de forma uniforme. Las puntuaciones normalizadas por longitud generalmente funcionan bien, mientras que las puntuaciones de super-nivel-de-conjunto son más eficientes para QVHighlights en objetivos de cobertura altos.
• Calibración vs. Márgenes Fijos: Los márgenes fijos seleccionados a mano no lograron una cobertura consistente, con la cobertura realizada oscilando entre 0.096 y 1.000 dependiendo de la constante elegida. Se demostró que la calibración es necesaria para alcanzar el objetivo deseado de manera eficiente.
• Detección de Asimetría: La variante por límite reveló que el VLM (Qwen) tenía una detección de inicio casi perfecta pero errores de final significativos. Una puntuación de un solo parámetro desperdiciaba presupuesto en el límite de inicio preciso, mientras que la variante de dos parámetros redujo la longitud de la región hasta en un 9.1% en QVHighlights.
• Fallo de Cuantificación de la Incertidumbre: Un localizador evidencial diseñado para la cuantificación de la incertidumbre no alcanzó su objetivo nominal de 0.80, logrando solo una cobertura realizada de 0.660. Cover restauró una garantía válida sobre las mismas predicciones.
• Robustez: El método mantuvo la validez bajo cambios de distribución (transferencia entre datasets) al usar predicción conforme ponderada, aunque alcanzó un "límite de positividad" donde los datos de origen no sustentaban la distribución de destino.

Significado y Reivindicaciones

El artículo afirma que Cover cambia fundamentalmente el objeto de salida de la localización temporal de una estimación puntual a una región fiable. Su importancia radica en:

• Agnosticismo del Modelo: Funciona en cualquier localizador, incluidos los VLM de caja negra, sin necesidad de reentrenamiento.
• Fiabilidad: Proporciona una garantía rigurosa de muestras finitas de que un intervalo erróneo es distinguible de uno correcto basándose en la probabilidad de cobertura.
• Poder Diagnóstico: El proceso de calibración actúa como una herramienta de medición, revelando propiedades ocultas de los localizadores (p. ej., errores de frontera asimétricos, fallo de las estimaciones de incertidumbre nativas) que las métricas de punto estándar ocultan.
• Despliegue Práctico: Ofrece un mecanismo fundamentado para que los agentes de downstream decidan cuándo aplazar o ampliar las búsquedas, abordando un problema central en la comprensión de vídeo continuo.

Los autores mantienen la modestia, reconociendo que la garantía depende del supuesto de intercambiabilidad (que puede violarse dentro de vídeos largos o entre datasets) y que la cobertura condicional exacta libre de atributos es teóricamente imposible de forma libre de distribución. Sin embargo, demuestran que el método se degrada gradualmente bajo estas condiciones y proporcionan el primer marco práctico para una localización temporal fiable.