Resumen Técnico: CRAFT (Dirigimiento Adaptativo de Fotogramas Clave Refinado por Crítico)

Definición del Problema

El artículo aborda la Respuesta a Preguntas (QA) Multivideo Anclada sobre eventos de noticias del mundo real, específicamente dirigido a la tarea oráculo MAGMaR 2026. En este escenario, un sistema debe responder a una consulta sintetizando evidencia de una colección de videos heterogéneos. La tarea impone restricciones estrictas:

1. Anclaje Multifuente: Las respuestas deben derivarse de evidencia visual, textual (en pantalla) o hablada distribuida en múltiples fragmentos de video.
2. Atribución a Nivel de Afirmación: Cada declaración en el informe generado debe ser trazable a un video fuente específico y una marca de tiempo.
3. Métricas de Evaluación: El rendimiento se mide en seis ejes: Precisión/Recall/F1 de Referencia (precisión/completitud del contenido) y Precisión/Recall/F1 de Citación (precisión de la atribución).

Los autores identifican tres desafíos principales en la comprensión de videos de noticias de larga duración:

• Cuellos de Botella en el Presupuesto de Tokens: Las entradas de escala horaria exceden las ventanas de contexto de los Modelos Visuales-Lingüísticos (VLM), forzando un muestreo uniforme que a menudo trunca la evidencia relevante.
• Alucinación: Los VLM generan frecuentemente afirmaciones sin soporte, particularmente respecto a entidades de cola larga, detalles numéricos y cronología de eventos, incluso cuando existen fotogramas relevantes.
• Dominio del Habla: La información crítica (entrevistas, declaraciones oficiales) suele ser hablada en lugar de visual, lo que conduce a una pérdida de información en pipelines que solo consideran lo visual, especialmente en coberturas no en inglés.

Metodología: El Pipeline CRAFT

CRAFT es un pipeline condicionado por la consulta diseñado para integrar la selección dinámica de fotogramas clave, la extracción de evidencia multimodal y la verificación iterativa de afirmaciones.

1. Flujo de Evidencia Multimodal

• Preprocesamiento: Los videos largos se dividen en fragmentos de 120 segundos para evitar la truncación silenciosa.
• ASR y Traducción: Cada video único se transcribe una vez utilizando Qwen3-ASR-1.7B, con un respaldo de Whisper-large-v3 para lenguas de recursos limitados (por ejemplo, birmano, nepalí). Las transcripciones se traducen al inglés si es necesario. El sistema filtra salidas de ASR degeneradas (por ejemplo, bucles repetitivos de tokens) antes del procesamiento.
• Selección Dinámica de Fotogramas Clave (DKS): En lugar de un muestreo uniforme, DKS selecciona fotogramas basándose en la similitud imagen-texto con la consulta utilizando codificadores CLIP. Esto crea un fragmento visual compacto y específico de la consulta para cada par video-consulta, equilibrando la relevancia con la cobertura temporal.

2. Extracción de Afirmaciones Condicionada por la Consulta

El VLM base (Qwen3.5-9B) procesa la persona, la consulta, la transcripción ASR y los fotogramas seleccionados por DKS para generar afirmaciones atómicas.

• Atomicidad: Las afirmaciones se restringen a enunciados declarativos simples para garantizar la verificabilidad independiente.
• Etiquetado de Modalidad: Cada afirmación se etiqueta con su fuente de evidencia (visual, texto en pantalla o ASR).

3. Bucle de Refinamiento de Afirmaciones Guiado por Crítico

Un bucle híbrido de crítico refina iterativamente las afirmaciones (hasta 4 rondas) para eliminar alucinaciones y contradicciones:

• Anclaje Temporal (UNLI): Un modelo UNLI puntúa la implicación entre cada afirmación y su segmento de video citado. Las afirmaciones con puntuaciones bajas se marcan como sin soporte.
• Filtrado Cruzado de Afirmaciones (DeBERTa-v3 MNLI): Un codificador cruzado filtra contradicciones entre pares de afirmaciones dentro de un video.
• Arbitraje (Llama-3.2-3B): Un árbitro especializado verifica contradicciones potenciales, proporcionando confirmación binaria y sugerencias de reparación.
• Retroalimentación: El informe del crítico se devuelve al VLM para reextraer, corregir o eliminar afirmaciones.

4. Consolidación y Fusión de Citas

• Agrupación de Evidencia: Las afirmaciones refinadas de todos los videos relevantes se agregan en un grupo a nivel de consulta.
• Puntuación: Las afirmaciones se vuelven a puntuar utilizando el modelo UNLI para clasificar la confianza de la evidencia.
• Fusión de Citas: El informe final es generado por un LLM solo de texto (Qwen3.5-9B). Si múltiples afirmaciones respaldan el mismo hecho, el sistema emite el hecho una vez pero adjunta todos los identificadores de fuente de soporte. Esto preserva el recall de citación mientras suprime la redundancia semántica.

Contribuciones Clave

1. Flujo de Evidencia Multimodal: Un pipeline que combina la división en fragmentos de 120 segundos, ASR por video con respaldo multilingüe y selección dinámica de fotogramas clave condicionada por la consulta para proporcionar a los VLM evidencia visual y hablada dirigida.
2. Bucle Híbrido de Crítico: Un mecanismo de verificación multietapa que integra UNLI para el anclaje temporal, DeBERTa-v3 para el filtrado de contradicciones y Llama-3.2-3B para el arbitraje, permitiendo la reparación iterativa de afirmaciones antes de la consolidación.
3. Formato de Afirmación Atómica y Fusión de Citas: Una estrategia que descompone la evidencia en unidades atómicas verificables y las consolida en un informe donde cada hecho se emite una vez con atribución completa de la fuente, optimizando tanto la precisión de referencia como el recall de citación.

Resultados Experimentales

El sistema fue evaluado en MAGMaR 2026 y una conversión de WikiVideo (52 consultas de eventos no superpuestos).

• Rendimiento en MAGMaR 2026: CRAFT logró la puntuación promedio general más alta (0.739), el Recall de Referencia (0.810) y el F1 de Citación (0.635) entre todas las configuraciones evaluadas.
• Rendimiento en WikiVideo: CRAFT logró una puntuación promedio de 0.823, demostrando generalización más allá del conjunto de datos MAGMaR.
• Insights de Ablación:
  • Bucle de Crítico y Afirmaciones Atómicas: Estos componentes impulsaron las ganancias más significativas sobre la línea base vanilla.
  • ASR: La adición de ASR mejoró significativamente el Recall de Referencia y el F1 de Citación, destacando la importancia del contenido hablado.
  • Independencia del Backbone: Las ganancias del bucle de crítico y el ASR se observaron en diferentes VLM base (Qwen3.5-9B, Qwen3-VL-30B, Molmo2-8B, Gemma-4-31B).
  • Selección de Fotogramas: La Selección Dinámica de Fotogramas Clave (DKS) mejoró la precisión bajo presupuestos de fotogramas reducidos en comparación con el muestreo uniforme, aunque ocasionalmente intercambió recall.
  • Necesidad de Componentes: Reemplazar los críticos especializados (UNLI, DeBERTa, Llama) con modelos de propósito general resultó en degradación del rendimiento, particularmente en las métricas de citación.

Significado y Afirmaciones

El artículo afirma que CRAFT demuestra la eficacia de la agregación de evidencia centrada en afirmaciones para la QA multivideo anclada. Al desacoplar la extracción de la verificación y hacer cumplir afirmaciones atómicas y ancladas a la fuente, el sistema aborda el problema de la "fidelidad de citación" donde la generación aumentada por recuperación a menudo falla en atribuir correctamente los hechos a las fuentes.

Los autores señalan que, aunque CRAFT supera a líneas base fuertes, el recall de citación sigue siendo una métrica desafiante, lo que indica que la atribución exacta de afirmación a video sigue siendo una dificultad abierta. El trabajo sugiere que las mejoras futuras deben centrarse en la cobertura de evidencia, la recuperación entre videos y las capacidades de ASR multilingüe. El sistema se presenta como un pipeline modular donde el bucle de crítico y la augmentación ASR proporcionan ganancias ortogonales a la elección del backbone VLM subyacente.