Can Vision-Language Models Answer Face to Face Questions in the Real-World?

Este trabajo introduce el conjunto de datos y punto de referencia Qualcomm Interactive Video Dataset (IVD) para evaluar la capacidad de los modelos de visión-idioma para responder preguntas en tiempo real sobre escenas del mundo real, demostrando que, aunque los modelos actuales están muy por detrás del rendimiento humano, el ajuste fino puede reducir significativamente esta brecha en muchas habilidades perceptivas.

Lo esencial

Imagina que tienes un robot amigo muy inteligente, capaz de ver y escuchar todo lo que haces. Ahora, imagina que le preguntas: "¿Qué estoy haciendo ahora?" o "¿Cuántas veces aplaudí?".

El problema es que la mayoría de estos robots de hoy en día son como turistas que llegan a un país y leen un mapa estático. Pueden describir una foto perfecta, pero si les preguntas algo mientras la acción está ocurriendo, se pierden. No saben cuándo hablar, no entienden el contexto en tiempo real y a menudo se confunden si no tienen toda la película lista antes de empezar.

Este paper, presentado en la conferencia ICLR 2026, introduce una nueva herramienta para probar y mejorar a estos robots: el QIVD (Conjunto de Datos Interactivo de Qualcomm).

Aquí te explico los puntos clave con analogías sencillas:

1. El Problema: El Robot que llega tarde a la fiesta

Hasta ahora, los modelos de Inteligencia Artificial (IA) se entrenaban con videos completos. Era como si le dieras a un estudiante todo el examen ya resuelto y le preguntaras: "¿Qué pasó en la página 5?". El estudiante podía mirar atrás y encontrar la respuesta.

Pero en la vida real, las cosas pasan en vivo.

• La analogía: Imagina que estás en una videollamada con tu abuela. Ella te señala algo y pregunta: "¿Qué es eso?". Si el robot necesita esperar a que termine el video para procesar la imagen, ya es tarde; la conversación se siente robótica y torpe. Los robots actuales fallan porque no saben cuándo es el momento perfecto para responder. A veces responden antes de que la acción termine (como adivinar el final de una película antes de verla) o se quedan callados demasiado tiempo.

2. La Solución: El "Gimnasio" QIVD

Los autores crearon un nuevo "gimnasio" de entrenamiento llamado QIVD.

• ¿Qué es? Es una colección de 2,900 videos cortos donde personas reales hacen preguntas mientras graban con su cámara y micrófono.
• La analogía: En lugar de darle al robot un libro de texto, le pusieron en un campo de entrenamiento de "improvisación". Los humanos en los videos hacen cosas como aplaudir, señalar objetos o hacer gestos, y preguntan cosas como: "¿Estoy usando bien esta sartén?" o "¿Cuántas veces moví la lengua?".
• Lo especial: Cada video tiene una etiqueta de tiempo exacta que dice: "¡Aquí es cuando el robot debe responder!". Esto enseña al robot no solo qué decir, sino cuándo decirlo.

3. La Prueba de Fuego: ¿Cómo les fue a los robots?

Los autores probaron a los robots más famosos e inteligentes del mundo (como GPT-4o, Gemini, y varios modelos de VideoLLaMA) en este nuevo gimnasio.

• El resultado: Fue un desastre... pero un desastre educativo.
  • Los robots se comportaron como niños pequeños que intentan leer un periódico: adivinaban mal, confundían "izquierda" con "derecha", no podían contar cuántas veces aplaudiste, y a menudo respondían cosas que no tenían sentido en el contexto.
  • La brecha: Mientras un humano promedio acierta el 87% de las veces, los mejores robots apenas llegaban al 50-60%. En tareas complejas como contar acciones o entender sonidos, su rendimiento era casi nulo.

4. El Entrenamiento: ¿Se pueden mejorar?

Aquí viene la buena noticia. Los investigadores tomaron uno de esos robots y lo entrenaron específicamente con los datos de QIVD (como si le dieran clases particulares de "conversación en vivo").

• El resultado: ¡Mejoró muchísimo!
  • La analogía: Fue como tomar a un actor que solo sabe recitar guiones y darle clases de improvisación teatral. De repente, el robot aprendió a escuchar el audio, ver la acción y responder en el momento justo.
  • Sin embargo, incluso después de entrenar, todavía les costaba mucho trabajo tareas muy específicas, como contar acciones rápidas. Esto nos dice que la IA necesita aprender a "pensar" de manera diferente, no solo a memorizar más datos.

En resumen

Este paper nos dice que, aunque la IA es muy buena describiendo fotos estáticas, todavía es muy torpe para tener una conversación natural y en tiempo real con humanos.

El QIVD es el primer paso serio para arreglar esto. Es como un "entrenador personal" que le enseña a la IA a mirar a los ojos, escuchar el tono de voz, entender el contexto y responder en el momento justo, en lugar de actuar como un robot que solo lee un guion.

¿Por qué importa? Porque para que tengamos robots humanoides que nos ayuden en casa, coches autónomos que entiendan lo que les decimos, o asistentes virtuales que realmente se sientan como amigos, primero deben aprender a tener una conversación cara a cara real. Este paper es el mapa para lograrlo.

Resumen técnico

Resumen Técnico: ¿Pueden los Modelos Visión-Lenguaje Responder Preguntas Cara a Cara en el Mundo Real?

1. El Problema: La Brecha entre el Razonamiento Offline y la Interacción en Tiempo Real

A pesar de los avances significativos en los Modelos Multimodales Grandes (LMM), estos sistemas actuales presentan una limitación fundamental: están entrenados y evaluados predominantemente en escenarios offline. En estos entornos, el modelo recibe toda la entrada visual (video completo) y la pregunta simultáneamente antes de generar una respuesta.

Sin embargo, la interacción humana real ("cara a cara") requiere capacidades que van más allá del razonamiento estático:

• Interactividad en tiempo real: El sistema debe procesar audio y video a medida que ocurren.
• Resolución de referencias deícticas: Entender gestos como "¿es este mi ojo o mi nariz?" o "¿qué estoy señalando?" en el momento exacto.
• Gestión del tiempo de respuesta ("When-to-Answer"): Saber cuándo es el momento óptimo para responder. A menudo, la respuesta requiere esperar a que se complete una acción o aparezca un contexto visual adicional después de que se formula la pregunta.
• Integración Audio-Visual: Utilizar pistas auditivas (tono de voz, sonidos de acciones) para desambiguar preguntas visuales.

Actualmente, no existen benchmarks robustos que evalúen estas habilidades de razonamiento situacional en vivo, lo que impide el desarrollo de asistentes de IA y robots humanoides capaces de interactuar fluidamente en situaciones cotidianas.

2. Metodología: El Dataset QIVD (Qualcomm Interactive Video Dataset)

Para abordar esta brecha, los autores introducen QIVD, un nuevo dataset y benchmark diseñado específicamente para evaluar el razonamiento situacional audio-visual en línea.

• Recopilación de Datos: Se grabaron 2,900 videos cortos (promedio de 5.1 segundos) utilizando cámaras y micrófonos de dispositivos móviles. Los participantes (crowd workers) realizaron acciones, gestos o mostraron objetos y formularon preguntas abiertas en tiempo real.
• Annotación: Cada muestra incluye:
  1. Transcripción humana de la pregunta.
  2. Respuesta humana de referencia (ground truth).
  3. Timestamp de respuesta óptima: Un marcador temporal que indica el momento exacto en el video donde la información es suficiente para responder correctamente. Esto es crucial, ya que la respuesta a menudo requiere esperar a que la acción se complete (ej. contar cuántas veces se aplaudió).
• Taxonomía Semántica: Los datos se categorizaron en 13 tipos de tareas, incluyendo:
  • Conteo de acciones (ej. "¿Cuántas veces aplaudí?").
  • Referencias deícticas (ej. "¿Qué es esto?").
  • Integración Audio-Visual (ej. "¿Qué sonido estoy haciendo?").
  • Detección de objetos, atributos, y comprensión de escenas.
• Características Únicas: A diferencia de datasets previos, QIVD simula la incertidumbre temporal real. El 65.8% de las preguntas requieren esperar más de 0.5 segundos después de que la pregunta termina para poder responder, y el 36.3% requiere esperar más de 1 segundo.

3. Contribuciones Clave

1. Lanzamiento de QIVD: Un dataset multimodal nuevo y desafiante que evalúa el razonamiento situacional en vivo, diferenciándose de benchmarks offline tradicionales.
2. Benchmarking Exhaustivo: Evaluación de múltiples modelos LMM de código abierto y cerrado (incluyendo GPT-4o, Gemini 2.5, Qwen, VideoLLaMA, etc.) en configuraciones zero-shot.
3. Análisis de Limitaciones: Identificación de las causas principales del fracaso de los modelos actuales: dificultad para integrar audio y video en tiempo real, incapacidad para determinar el momento adecuado de respuesta y falta de sentido común situacional.
4. Enfoque de Streaming: Propuesta de una línea base que combina un sistema de reconocimiento de voz en streaming (ASR) con un LMM para procesar entradas continuas, alejándose de los paradigmas de procesamiento por lotes (batch).
5. Validación de Fine-tuning: Demostración de que el ajuste fino (fine-tuning) en datos conversacionales audio-visuales puede cerrar significativamente la brecha de rendimiento.

4. Resultados Experimentales

Los experimentos revelan una brecha de rendimiento masiva entre los humanos y los modelos de IA actuales:

• Rendimiento General: En la configuración offline (con preguntas y timestamps perfectos), el mejor modelo (GPT-4o) alcanza un 58.76% de precisión, mientras que los humanos promedian un 87.33%. En configuración de streaming (con ASR y detección de tiempo en tiempo real), el rendimiento cae drásticamente.
• Fallos Específicos:
  • Conteo de Acciones: Los modelos fallan estrepitosamente (ej. ~7-33% de precisión vs 85% humano), indicando una incapacidad para el razonamiento temporal secuencial.
  • Referencias Deícticas: Dificultad para resolver "esto" o "allí" sin contexto espacial preciso.
  • Integración Audio-Visual: La mayoría de los modelos no utilizan el audio para mejorar la respuesta visual, o lo hacen de manera perjudicial si no están fine-tuneados.
• Impacto del "When-to-Answer": La precisión de la detección del momento de respuesta es crítica. Los modelos que responden demasiado pronto (antes de que la acción se complete) cometen errores frecuentes.
• Efecto del Fine-tuning:
  • Al ajustar el modelo VideoLLaMA2.1-7B-AV en QIVD, se observaron mejoras dramáticas en tareas de conteo de acciones (+16.96%), comprensión de acciones (+10%) y tareas subjetivas (+23%).
  • Sin embargo, el ajuste fino no uniformó el rendimiento; las tareas de conteo temporal siguen siendo difíciles, sugiriendo la necesidad de sesgos inductivos arquitectónicos más sofisticados.
  • La integración de audio y video durante el entrenamiento generó capacidades emergentes que superaron la simple concatenación de características.

5. Significado e Impacto

Este trabajo es fundamental para el futuro de la IA interactiva:

• Cambio de Paradigma: Demuestra que el razonamiento visual "offline" no es suficiente para la interacción humana real. La capacidad de "saber cuándo hablar" y procesar flujos de datos continuos es una habilidad distinta y crítica.
• Hacia Asistentes Reales: QIVD proporciona la base necesaria para entrenar robots humanoides y asistentes virtuales que puedan interactuar de manera natural, segura y contextualmente relevante en entornos domésticos y laborales.
• Dirección Futura: El estudio señala que, aunque el fine-tuning ayuda, se requieren nuevas arquitecturas de modelos que integren nativamente la temporalidad y la multimodalidad en tiempo real, en lugar de tratar el video como una secuencia de imágenes estáticas.

En conclusión, el paper establece que, aunque los LMMs actuales son potentes, aún están lejos de la competencia humana en interacciones cara a cara en tiempo real, y QIVD sirve como el estándar de oro para medir y guiar el progreso en esta dirección.