Video-IFBench: Evaluating Instruction Following of Multimodal LLMs in Video Understanding Scenarios
Este artículo presenta Video-IFBench, un benchmark exhaustivo que cuenta con 1.5K muestras y una taxonomía de instrucciones diversa para evaluar la capacidad poco explorada de los Modelos Grandes de Lenguaje Multimodales para seguir restricciones complejas y especificadas por el usuario en escenarios de comprensión de video, revelando que los modelos actuales tienen dificultades significativas con las instrucciones condicionales y de múltiples restricciones.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el mundo de la inteligencia artificial, que evoluciona rápidamente, ha surgido una nueva generación de sistemas que pueden ver, oír y hablar. Estos modelos multimodales son entrenados con vastas cantidades de texto, imágenes y video, lo que les permite describir una escena, responder preguntas sobre una película o resumir un clip de noticias. Durante años, los investigadores han medido su éxito haciendo una pregunta simple: ¿es correcta la respuesta? Si un modelo describe un video de un programa de cocina y acierta los ingredientes, recibe una puntuación alta. Sin embargo, en el mundo real, una respuesta correcta a menudo no es suficiente. Un usuario podría pedirle a un modelo que describa un video pero insistiendo en reglas específicas: "Solo dime qué sucede después de que el agua hierva", "Enumera los pasos en orden", "No menciones el color de las ollas" o "Habla solo en español". Estas peticiones requieren que el sistema no solo comprenda el contenido, sino que también siga un conjunto complejo de instrucciones, filtrando información que sabe que es verdadera pero que se le ordenó ignorar. Hasta ahora, la capacidad de estos sistemas avanzados para seguir tales instrucciones detalladas y de tipo humano en escenarios de video había permanecido en gran medida sin probar.
Un equipo de investigadores ha abordado este vacío creando un nuevo campo de pruebas llamado Video-IFBench. Este banco de pruebas está diseñado específicamente para ver si la inteligencia artificial de comprensión de video puede realmente hacer lo que se le ordena cuando las instrucciones son complicadas. Los investigadores reunieron más de 700 videos de fuentes públicas, cubriendo diez dominios diferentes como deportes, ciencia, noticias y la vida cotidiana. Estos clips varían desde diez segundos hasta diez minutos de duración, sumando un total de unas 49 horas de metraje. A partir de esta colección, construyeron 1,500 casos de prueba únicos. Cada caso de prueba empareja un video con una petición específica que incluye una mezcla de tareas y restricciones. Algunas peticiones piden una sola pieza de información, como "¿Cuál es el texto en la pantalla?", mientras que otras demandan múltiples pasos, tales como "Enumera las acciones, pero solo aquellas que duren más de dos segundos, y preséntalas como una lista numerada". Las pruebas más difíciles involucran lógica condicional, donde el modelo debe primero observar el video para decidir qué camino tomar. Por ejemplo, un prompt podría decir: "Si el video comienza con un título sobre cómo reparar una laptop, entonces describe los pasos de la reparación; de lo contrario, describe las acciones de la persona en los últimos diez segundos". El modelo debe identificar correctamente la condición inicial para elegir el conjunto correcto de instrucciones a seguir.
Para asegurar que estas pruebas fueran justas y precisas, los investigadores construyeron un sistema semiautomático para generar las preguntas y las reglas para verificar las respuestas. Utilizaron inteligencia artificial para extraer hechos de los videos, como qué objetos estaban presentes y cuándo ocurrieron eventos específicos, y luego usaron esos hechos para escribir instrucciones complejas. Crucialmente, cada instrucción venía con una lista de verificación. Algunos elementos de la lista podían ser verificados por un programa informático, como comprobar si la respuesta estaba escrita en formato JSON o si contenía exactamente cinco puntos de enumeración. Otros elementos, que requerían comprender el significado de la respuesta, eran verificados por un modelo de lenguaje separado y altamente capaz que actuaba como juez. Este enfoque híbrido permitió a los investigadores evaluar si los modelos satisfacían cada una de las restricciones de una petición, no solo la tarea principal.
Los resultados de esta evaluación revelaron una debilidad significativa incluso en los modelos de video más avanzados disponibles hoy en día. Al ser probados en todo el banco de pruebas, el mejor modelo en rendimiento logró una puntuación general de apenas el 54.5 por ciento. Esto significa que, en casi la mitad de los casos, el modelo falló al seguir el conjunto completo de instrucciones, incluso si comprendió correctamente el contenido del video. El estudio encontró que los modelos tuvieron más dificultades cuando las instrucciones contenían muchas restricciones a la vez, o cuando la petición requería que el modelo tomara una decisión basada en el contenido del video antes de responder. Por ejemplo, cuando se les pedía elegir entre diferentes caminos basados en lo que sucedía en el video, los modelos frecuentemente elegían el camino incorrecto o ignoraban la condición por completo. La dificultad aumentaba a medida que las instrucciones se volvían más complejas; cuando una petición involucraba una cadena profunda de lógica de "si-entonces", la tasa de éxito caía drásticamente.
Los investigadores también descubrieron que el tipo de restricción importaba enormemente. Los modelos fueron relativamente buenos siguiendo reglas de formato, como usar un idioma específico o limitar el recuento de palabras. Sin embargo, tuvieron un desempeño deficiente en las restricciones semánticas, que requerían que comprendieran el significado del video para filtrar la información. Por ejemplo, un modelo podría recibir la orden de describir solo las acciones de una persona específica mientras ignora a todos los demás, o listar eventos que ocurrieron dentro de una ventana de tiempo precisa. En estos casos, los modelos a menudo incluían información que se les dijo excluir o pasaban por alto detalles que se suponía debían encontrar. El estudio mostró que simplemente hacer los modelos más grandes o darles más potencia de cómputo no resolvía el problema. Aunque los modelos más grandes generalmente funcionaban mejor, seguían sin seguir las instrucciones estrictas de manera consistente, lo que sugiere que la capacidad de entender el contenido del video y la capacidad de seguir reglas complejas son dos habilidades distintas que la tecnología actual aún no ha logrado combinar plenamente.
Este trabajo sugiere que, para que la inteligencia artificial sea verdaderamente útil en aplicaciones del mundo real, debe aprender a escuchar tan atentamente como ve. Los hallazgos indican que los sistemas actuales aún no son lo suficientemente confiables como para ser desplegados en escenarios donde los usuarios esperan una adherencia precisa a sus necesidades específicas. Los investigadores esperan que, al proporcionar una medida clara de esta capacidad, Video-IFBench guíe el desarrollo futuro hacia modelos que no solo puedan ver el mundo, sino también seguir las instrucciones matizadas y a menudo contradictorias de las personas que los utilizan. El camino a seguir requiere un cambio de enfoque: de simplemente obtener la respuesta correcta a obtener la respuesta correcta exactamente de la manera en que el usuario la pidió.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.