TRACE: Temporal Retrieval with Anchored and Convergent Evidence for Long-Horizon Video Understanding

Ver un video largo para responder a una pregunta específica es una tarea que parece sencilla para un humano, pero que sigue siendo sorprendentemente difícil para la inteligencia artificial. Cuando una persona ve una película, no solo ve una secuencia de imágenes; construye un mapa mental de los eventos, recordando que un personaje recogió una llave en el primer acto y que esta llave se usó para abrir una puerta en la escena final. Los sistemas informáticos actuales, sin embargo, suelen tener dificultades con este tipo de comprensión de largo alcance. Pueden observar algunos fotogramas del video y adivinar la respuesta, o pueden intentar leer un resumen textual de la trama y perderse los detalles visuales por completo. El problema central es que muchas preguntas sobre videos largos dependen de evidencia dispersa en diferentes momentos del tiempo. Si un sistema pierde incluso uno de esos momentos dispersos, no puede conocer la verdad, aunque aun así podría producir una respuesta segura y de apariencia correcta simplemente por adivinar. Esta brecha entre lo que un sistema afirma saber y lo que realmente ha visto es el desafío central que los investigadores están tratando de resolver.

Un equipo de investigadores ha introducido un nuevo enfoque llamado TRACE, diseñado para obligar a la inteligencia artificial a mirar las partes correctas de un video antes de responder. En lugar de depender de resúmenes de texto o de adivinar basándose en unos pocos fotogramas aleatorios, TRACE actúa como un observador cuidadoso que construye su respuesta pieza por pieza. Comienza escaneando el video para encontrar clips pequeños y específicos, o "anclas", que parezcan relevantes para la pregunta. Luego, agrupa estos clips y le pide al sistema que responda a la pregunta basándose únicamente en lo que ha visto hasta el momento. El sistema no se detiene ahí. Sigue añadiendo nuevos clips a su colección y volviendo a formular la pregunta. El proceso continúa únicamente hasta que la respuesta deja de cambiar, lo que indica que el sistema ha reunido suficiente evidencia visual para estar seguro. Crucialmente, el sistema verifica su propio trabajo reproduciendo el conjunto final de clips una última vez para asegurar que la respuesta se mantiene. Este método garantiza que la respuesta final no sea una conjetura basada en una visión parcial, sino una conclusión fundamentada en un conjunto completo de hechos visuales.

Para probar si este método realmente funciona, los investigadores crearon un nuevo campo de pruebas llamado VES-Bench. Esta es una colección de 600 preguntas extraídas de 348 videos públicos, que abarcan tareas como determinar el orden en que ocurrieron los eventos o contar cuántas veces ocurrió una acción específica. A diferencia de las pruebas anteriores que solo verificaban si la respuesta final era correcta o incorrecta, VES-Bench audita el proceso en sí mismo. Rastrea exactamente qué fotogramas del video miró el sistema antes de tomar su decisión. La prueba verifica si el sistema realmente vio cada uno de los momentos requeridos para responder la pregunta correctamente. Si un sistema obtiene la respuesta correcta pero omitió una escena crucial, la auditoría lo marca como un fallo, porque la respuesta no estaba verdaderamente respaldada por la evidencia. Esta evaluación estricta revela que muchos métodos existentes suelen tener suerte, respondiendo correctamente sin haber visto todas las partes necesarias del video.

Cuando los investigadores aplicaron TRACE a esta rigurosa prueba, los resultados mostraron una clara ventaja. Utilizando la misma tecnología subyacente que otros sistemas avanzados, TRACE respondió correctamente el 50.7 por ciento de las preguntas mientras aseguraba haber visto al menos dos fotogramas distintos de cada una de las escenas requeridas. En comparación, otros métodos que observaron un número similar de fotogramas a menudo no cubrieron todas las escenas necesarias, o tuvieron que observar más del doble de fotogramas para alcanzar el mismo nivel de certeza. TRACE logró este alto nivel de precisión utilizando menos de 100 fotogramas por pregunta en promedio, una fracción del costo requerido por los sistemas que simplemente escanean el video a un ritmo uniforme. El estudio encontró que la clave del éxito no fue solo mirar más datos, sino saber cuándo dejar de mirar. Al esperar hasta que la respuesta se estabilizara y luego verificar la evidencia visual bruta, TRACE evitó la trampa de adivinar basándose en información incompleta.

Los investigadores también descubrieron que el simple hecho de aumentar el número de fotogramas que un sistema observa no siempre conduce a mejores respuestas. Cuando probaron sistemas estándar que observaban cada vez más fotogramas, la precisión mejoraba solo hasta cierto punto, tras el cual añadir más fotogramas no ayudaba. Esto sugiere que el problema no es la falta de datos, sino la falta de una estrategia para saber qué datos importan. TRACE resolvió esto utilizando una "trayectoria" de evidencia, donde el sistema aprende a reconocer cuándo ha reunido suficiente información para estar seguro. El estudio confirma que, para videos largos, la capacidad de localizar e integrar momentos visuales específicos es más importante que simplemente procesar una cantidad masiva de video a la vez. Al fundamentar las respuestas en clips visuales brutos y detenerse solo cuando la evidencia está completa, TRACE demuestra una forma más fiable para que las máquinas comprendan el mundo a medida que se desarrolla en el tiempo.