Can Vision-Language Models Answer Face to Face Questions in the Real-World?

Cette étude introduit le nouveau benchmark Qualcomm Interactive Video Dataset (IVD) pour évaluer la capacité des modèles vision-langage à répondre en temps réel à des questions sur des scènes du monde réel, révélant un écart de performance important par rapport aux humains mais montrant que l'affinage sur ce type de données permet de réduire significativement cet écart.

L'essentiel

🎥 Le Défi : L'IA qui regarde dans vos yeux

Imaginez que vous parlez à un robot humanoïde très intelligent. Vous lui montrez quelque chose avec votre main, vous faites un bruit étrange, ou vous lui demandez : « C'est mon nez ou mon œil ? » en pointant votre visage.

Dans le monde réel, un humain comprendrait instantanément le contexte, le geste, le timing et le son. Mais pour les intelligences artificielles (IA) actuelles, c'est comme essayer de comprendre une pièce de théâtre en ne voyant que des photos fixes prises au hasard, sans entendre les acteurs, et en attendant que le spectacle soit fini pour répondre.

C'est exactement ce que les chercheurs de Qualcomm AI Research ont voulu tester avec ce papier. Ils se sont demandé : « Nos IA sont-elles prêtes à avoir une vraie conversation « face à face » avec nous, en temps réel, comme le ferait un humain ? »

📼 La Solution : Le « QIVD » (Le Terrain de Jeu)

Pour répondre à cette question, ils ont créé un nouveau jeu appelé QIVD (Qualcomm Interactive Video Dataset).

L'analogie du « Jeu de Rôle en Direct » :
Imaginez un jeu où des humains enregistrent de courtes vidéos de leur vie quotidienne (5 secondes). Ils posent une question à la caméra en temps réel, comme :

• « Combien de fois j'ai claqué des doigts ? »
• « Est-ce que j'ai l'air fatigué ? »
• « Regarde, je lance cette balle, combien de fois l'ai-je rattrapée ? »

Le défi pour l'IA n'est pas seulement de répondre, mais de savoir QUAND répondre.

• Si vous demandez « Combien de fois j'ai claqué des doigts ? » avant de commencer à claquer, l'IA ne doit pas répondre tout de suite. Elle doit attendre de voir la fin de l'action.
• Si elle répond trop tôt, elle rate l'information. Si elle répond trop tard, elle est hors du rythme de la conversation.

C'est comme si vous deviez jouer au tennis avec un robot : il ne suffit pas de savoir frapper la balle (répondre), il faut savoir la frapper au bon moment (le timing).

🤖 Le Résultat : L'IA est encore un peu « maladroite »

Les chercheurs ont mis en compétition les plus grands modèles d'IA actuels (comme GPT-4o, Gemini, et d'autres) contre ce nouveau jeu.

Ce qu'ils ont découvert :

1. L'IA est une mauvaise spectatrice : Les modèles actuels sont excellents pour analyser une photo fixe ou un film entier une fois qu'il est fini. Mais en direct, ils se trompent souvent. Ils ne comprennent pas bien le lien entre le son (votre voix), l'image (votre geste) et le moment précis où vous posez la question.
2. Le problème du « Quand parler » : Beaucoup d'IA répondent trop vite, avant d'avoir toutes les informations, ou trop tard, comme si elles avaient oublié la question. C'est comme quelqu'un qui vous coupe la parole ou qui répond à une blague 10 minutes après.
3. Le fossé avec les humains : Les humains réussissent ce test presque parfaitement (environ 87 % de réussite). Les meilleures IA, même les plus puissantes, plafonnent autour de 50 à 60 %. C'est un écart énorme pour une tâche qui semble simple.

🛠️ L'Espoir : On peut les entraîner !

Heureusement, le papier ne dit pas que c'est impossible. Il montre que si l'on prend ces IA et qu'on les entraîne spécifiquement sur ce type de données (des vidéos où elles doivent apprendre à écouter, regarder et attendre le bon moment), elles s'améliorent considérablement.

L'analogie de l'apprentissage :
C'est comme un étudiant qui est très fort en théorie (il connaît tous les mots du dictionnaire) mais qui échoue à l'oral car il ne sait pas quand intervenir dans une conversation. En le faisant pratiquer avec des exercices de conversation en direct (le jeu QIVD), il apprend à écouter, à observer le contexte et à parler au bon moment.

🚀 Pourquoi est-ce important ?

Ce travail est une étape cruciale pour l'avenir.

• Aujourd'hui, nos assistants vocaux (Siri, Alexa) sont un peu « sourds » et « aveugles » : ils entendent des mots mais ne voient pas ce qui se passe autour de vous.
• Demain, nous voulons des robots ou des assistants qui peuvent vous aider dans la vraie vie : vous dire « Attention, tu as laissé le gaz allumé » en voyant la flamme, ou vous aider à cuisiner en voyant vos gestes.

En résumé : Ce papier nous dit que nos IA sont encore des « génies de la bibliothèque » qui ne savent pas encore bien « vivre » dans la rue avec nous. Mais grâce à ce nouveau jeu d'entraînement, nous avons la recette pour les transformer en véritables compagnons de conversation, capables de nous comprendre en temps réel, avec le bon timing et le bon contexte.

Résumé technique

1. Problématique et Contexte

Les modèles de langage multimodaux (LMM) ont fait des progrès significatifs dans la description d'images et la réponse à des questions sur des vidéos, mais ces évaluations reposent principalement sur des paradigmes hors ligne (offline). Dans ces scénarios, le modèle reçoit l'intégralité de l'entrée visuelle et la question complète avant de générer une réponse.

Le papier identifie une lacune critique : l'absence de benchmarks pour évaluer les capacités de conversation en temps réel et situées (face-à-face). Les assistants IA et robots humanoïdes futurs doivent pouvoir interagir avec des humains en direct, en traitant des flux audio et vidéo continus, en comprenant les références déictiques (ex: "ceci", "là"), et en déterminant le moment opportun pour répondre ("when-to-answer"). Les modèles actuels échouent souvent dans ces tâches car ils ne sont pas entraînés à gérer l'ambiguïté temporelle, l'intégration audio-vidéo dynamique, ni le timing de la conversation.

2. Méthodologie : Le Dataset QIVD

Pour combler ce vide, les auteurs introduisent le Qualcomm Interactive Video Dataset (QIVD), un nouveau benchmark conçu spécifiquement pour l'évaluation et l'entraînement de systèmes de raisonnement audio-visuel situés en ligne.

• Collecte de données : Le dataset comprend 2 900 clips vidéo courts (moyenne de 5,1 secondes) enregistrés par des travailleurs de crowdsourcing. Les participants utilisent leur caméra et microphone pour poser des questions ouvertes sur ce qu'ils montrent ou font en direct.
• Annotations : Chaque vidéo est annotée avec :
  1. La transcription textuelle de la question posée.
  2. La réponse humaine (ground truth).
  3. Un timestamp d'opportunité de réponse ("when-to-answer"). Ce timestamp indique le moment précis où la réponse devient possible compte tenu du contexte visuel et audio, qui peut survenir après la fin de la question (ex: attendre la fin d'une action pour la compter).
• Taxonomie sémantique : Les paires question-réponse sont catégorisées en 13 types, incluant :
  • Attributs d'action, Comptage d'actions, Détection d'actions, Compréhension d'actions.
  • Attributs d'objets, Comptage d'objets, Détection d'objets, Référencement d'objets.
  • Compréhension de scène, Audio-Visuel, OCR, Questions subjectives.
• Spécificités techniques : Les vidéos sont auto-contenues (la question est dans la piste audio). Le dataset met l'accent sur l'incertitude temporelle : pour de nombreuses questions (notamment le comptage d'actions), la réponse ne peut être donnée qu'à la fin du clip, bien que la question ait été posée au début.

3. Approche Expérimentale et Baselines

Les auteurs ont évalué de nombreux modèles (open-source et closed-source) sur QIVD selon plusieurs configurations :

1. Configuration Streaming (Réaliste) : Utilisation d'un système de reconnaissance vocale en flux (Streaming-Whisper) pour transcrire la question et détecter le moment de réponse, couplé à un LMM.
2. Configuration Offline (Optimiste) : Utilisation des transcriptions et timestamps ground-truth pour isoler les capacités de raisonnement du modèle.
3. Impact de l'Audio : Évaluation de modèles capables de traiter l'audio et la vidéo simultanément (ex: VideoLLaMA2.1-AV) par rapport à des versions uniquement visuelles.
4. Fine-tuning : Entraînement de modèles sur QIVD pour voir si l'adaptation aux données situées améliore les performances.

Les modèles testés incluent GPT-4o, Gemini-2.5-Flash, Qwen2.5/3-VL, VideoLLaMA (versions 2 et 3), et d'autres architectures LMM récentes.

4. Résultats Clés

Les expériences révèlent un fossé de performance significatif entre les humains et les IA :

• Performance Globale : Même les modèles les plus avancés (GPT-4o, Qwen3-VL) obtiennent des scores de justesse (Corr.) bien inférieurs à ceux des humains (environ 50-60% pour les meilleurs modèles contre ~87% pour les humains).
• Échec sur le Raisonnement Temporel : Les modèles éprouvent des difficultés majeures avec les tâches nécessitant un raisonnement temporel dynamique, notamment le comptage d'actions (Action Counting) et l'intégration audio-vidéo. Par exemple, sur le comptage d'actions, les modèles tombent à ~7-33% de justesse contre 85% pour les humains.
• Problème de "When-to-Answer" : Les modèles ont tendance à répondre prématurément, souvent dès la fin de la transcription de la question, sans attendre que le contexte visuel nécessaire (comme la fin d'une action) soit disponible. L'erreur moyenne de détection du moment de réponse ($\Delta t$) est significative.
• Impact de l'Audio : L'ajout de l'audio aux modèles visuels améliore les performances sur les tâches audio-visuelles, mais les modèles pré-entraînés peuvent voir leurs performances se dégrader sur des tâches purement visuelles s'ils ne sont pas adaptés. Le fine-tuning sur QIVD permet de réduire l'écart, en particulier pour les tâches de comptage d'actions (+16,96%) et de compréhension d'actions (+10%).
• Limites des Architectures Actuelles : Les échecs ne sont pas liés uniquement à la taille du modèle, mais à des limitations fondamentales dans l'intégration multimodale en temps réel et la résolution de références déictiques.

5. Contributions et Signification

Contributions principales :

1. QIVD : Introduction d'un dataset et d'un benchmark novateur pour évaluer le raisonnement audio-visuel situé et les compétences conversationnelles en temps réel.
2. Benchmarking : Évaluation exhaustive des LMMs d'État de l'Art, mettant en lumière leurs faiblesses critiques dans les interactions réelles (délais de réponse, intégration audio, comptage temporel).
3. Preuve par le Fine-tuning : Démonstration que l'entraînement sur ce type de données permet d'améliorer significativement les capacités situées, bien que des lacunes persistent.
4. Approche Baseline Streaming : Développement d'une pipeline simple mais efficace combinant ASR en flux et LMM pour traiter les entrées vidéo/audio en continu.

Signification :
Ce travail souligne que les progrès récents en vision par ordinateur et en traitement du langage naturel ne suffisent pas à créer des assistants IA véritablement interactifs et situés. Pour atteindre l'objectif d'assistants robotiques ou de chatbots vidéo capables de conversations naturelles "face-à-face", la recherche doit se concentrer sur :

• La modélisation explicite du timing conversationnel (savoir quand parler).
• L'intégration end-to-end de l'audio et de la vidéo pour la désambiguïsation contextuelle.
• Le développement d'architectures capables de raisonner sur des séquences temporelles dynamiques plutôt que sur des instantanés statiques.

QIVD sert de catalyseur pour le développement de futurs modèles capables de comprendre et d'interagir avec le monde réel en temps réel, au-delà de la simple analyse de vidéos enregistrées.