Résumé Technique : VIABench

Énoncé du Problème

Les personnes malvoyantes (VII) sont confrontées à des défis quotidiens importants en raison d'un accès limité aux informations visuelles. Bien que les modèles de langage multimodaux (MLLM) aient démontré des performances impressionnantes sur des tâches générales de vision-langage, leur utilité pratique dans l'assistance visuelle réelle reste largement inexplorée. Les benchmarks et ensembles de données existants pour l'assistance visuelle souffrent de limitations critiques :

• Écart de Domaine : Des ensembles de données comme WAD reposent sur des vlogs de voyage soigneusement sélectionnés destinés à un public voyant, échouant ainsi à capturer la nature brute et non éditée des expériences réelles des VII.
• Limitations des Tâches : Des ensembles de données comme EgoBlind se concentrent principalement sur le VQA (Visual Question Answering) passif et initié par l'utilisateur, négligeant le besoin d'une assistance proactive et autonome.
• Contraintes Temporelles : De nombreux benchmarks vidéo existants utilisent des clips courts (par exemple, 3 secondes), qui manquent de la richesse temporelle requise pour le raisonnement à long horizon et la navigation.
• Inadéquation de l'Évaluation : Les pipelines d'évaluation en ligne actuels sont souvent très gourmands en ressources de calcul et reposent sur des annotations éparses, ce qui les rend inadaptés pour évaluer les tâches de type « rappel » qui nécessitent une surveillance continue et des alertes opportunes.

Par conséquent, il manque un benchmark vidéo complet et polyvalent, collecté par des personnes aveugles, capable d'évaluer les MLLM sur tout le spectre des besoins d'assistance, y compris l'anticipation proactive et le guidage interactif.

Méthodologie

1. Construction de l'ensemble de données VIABench

Les auteurs ont construit VIABench, un benchmark vidéo égocentrique à grande échelle, aligné temporellement et spécifiquement conçu pour l'assistance à la déficience visuelle. La collecte de données a suivi un pipeline en cinq étapes :

• Sourcing : Les vidéos ont été rassemblées à partir de deux flux : (1) des vidéos réelles de VII provenant de plateformes telles que YouTube, BliBili et DouYin, et (2) des vidéos simulées informées, enregistrées par des annotateurs formés, pour couvrir les scénarios spécifiques d'« Interaction Guidée par la Vision » qui sont rares dans les données publiques.
• Annotation : L'ensemble de données comprend 761 vidéos totalisant 46,9 heures, avec 14 526 annotations manuellement sélectionnées. La durée moyenne des vidéos est de 222 secondes (maximum 1959s), ce qui est nettement plus long que les ensembles de données précédents.
• Contrôle Qualité : Un processus rigoureux impliquant une annotation pilote, la collaboration de prestataires professionnels et un contrôle qualité en plusieurs étapes a permis de garantir un étiquetage précis et détaillé.

2. Définitions des Tâches

VIABench définit trois tâches fondamentales reflétant des niveaux croissants de complexité d'assistance :

• Rappel Proactif (Proactive Reminder) : Le modèle doit surveiller de manière autonome le flux vidéo et décrire proactivement les événements de navigation critiques à venir (ex: obstacles, escaliers) sans sollicitation explicite de l'utilisateur. Cela nécessite une anticipation précise et une réactivité en temps réel.
• Questionnaire Visuel (VQA) : Le modèle répond à des questions posées par l'utilisateur concernant l'environnement, en se basant sur le contexte visuel actuel et passé, simulant des requêtes spontanées lors de la navigation.
• Interaction Guidée par la Vision (Vision-Guided Interaction) : Une tâche multi-tours en boucle fermée où le modèle fournit des instructions itératives et adaptées au contexte pour aider l'utilisateur à ajuster son point de vue ou ses mouvements physiques afin d'atteindre un objectif spécifique.

3. Cadre d'Évaluation : Décodage par Activation de Token au Niveau du Token (TPAD)

Pour répondre au défi de l'évaluation des alertes proactives dans les modèles hors ligne (qui nécessitent généralement des invites explicites), les auteurs proposent le TPAD, un nouveau cadre d'évaluation en deux étapes :

• Mécanisme : Le TPAD transforme un MLLM pré-entraîné en un détecteur proactif par image sans nécessiter de fine-tuning. Il concatène une invite de choix forcé fixe (ex: « L'utilisateur doit-il être averti ? (A) Oui ; (B) Non ») avec l'ensemble de la séquence vidéo.
• Notation : Pour chaque image, l'état caché de son dernier token est projeté à travers la tête de modélisation du langage pour calculer la probabilité d'émettre une alerte.
• Avantage : Cela permet une seule passe avant (forward pass) pour générer les probabilités d'alerte par image sur l'ensemble de la vidéo, permettant une évaluation efficace et sensible au contexte des modèles hors ligne dans des conditions de streaming.

Contributions Clés

1. Ensemble de données VIABench : L'introduction d'un benchmark vidéo à grande échelle et en conditions réelles pour l'assistance aux malvoyants, présentant des vidéos égocentrées de longue durée et un contenu diversifié. C'est le premier à unifier les tâches de Rappel Proactif, de VQA et d'Interaction Guidée par la Vision au sein d'un seul benchmark.
2. Cadre TPAD : La proposition d'un mécanisme d'évaluation léger en deux étapes qui permet une évaluation efficace de la génération d'alertes proactives dans des vidéos longues et continues, comblant l'écart entre les MLLM hors ligne et les exigences d'assistance en temps réel.
3. Évaluation Complète : Une évaluation systématique des principaux modèles open-source, propriétaires et de streaming en ligne sur VIABench, fournissant des informations sur leurs limites actuelles dans les applications d'assistance réelles.

Résultats Expérimentaux

Les auteurs ont évalué un large éventail de modèles, incluant des modèles de fondation open-source (ex: InternVL, Qwen, LLaVA), des modèles propriétaires (GPT-5, GPT-4o, Gemini) et des modèles de streaming en ligne.

• Performance Globale : Les MLLM actuels ne présentent que des capacités embryonnaires en assistance visuelle réelle. Même le modèle le plus fort, GPT-5, a obtenu un score moyen de seulement 28,8 sur le benchmark.
• Disparités de Tâches : Les performances sur les tâches de Rappel Proactif et d'Interaction Guidée par la Vision sont notablement inférieures aux tâches de VQA standard.
  • Rappel Proactif : Les modèles échouent fréquemment à anticiper les événements de navigation critiques ou à générer des instructions alignées sur les intervalles de vérité terrain. Ils peinent à satisfaire l'exigence dynamique consistant à émettre des alertes opportunes tout en restant silencieux lorsqu'aucune information pertinente n'est présente.
  • Interaction Guidée par la Vision : Les modèles fournissent souvent des instructions génériques (ex: « ramassez-le ») plutôt que des directives spatialement spécifiques, ne tenant pas compte de la perspective unique et des limitations des VII.
• Modèles de Streaming : Les modèles de streaming en ligne existants sont extrêmement peu performants sur la tâche de Rappel Proactif. Les auteurs attribuent cela à une exposition limitée aux instructions de guidage complexes du monde réel dans leurs données d'entraînement (souvent limitées à des légendes denses ou des narrations) et à un manque de robustesse face à des entrées visuelles de faible qualité et non contrôlées.

Signification et Directions Futures

L'article affirme que VIABench sert de banc d'essai difficile et réaliste pour stimuler la recherche future vers le développement de MLLM personnalisés pour l'assistance réelle. Les auteurs soulignent que les modèles actuels ne sont pas encore prêts pour un déploiement dans des scénarios d'assistance aux malvoyants critiques pour la sécurité.

L'article esquisse trois voies spécifiques pour les travaux futurs :

1. Amélioration de l'Architecture : Développer des architectures de modèles capables de réponses proactives fiables, contextuelles et en temps réel.
2. Enrichissement des Données : Incorporer des ensembles de données vidéo-texte plus riches englobant divers types d'instructions, des interactions complexes et des scénarios du monde réel pour améliorer le raisonnement proactif.
3. Optimisation Centrée sur l'Utilisateur Malvoyant : Affiner les modèles spécifiquement pour la perspective et les intentions uniques des utilisateurs aveugles, en traitant des problèmes tels que les entrées à basse résolution, l'inversion de la caméra et le besoin de guidage spatialement spécifique.

En fin de compte, ce travail vise à améliorer l'autonomie et la sécurité des personnes malvoyantes en favorisant le développement de technologies d'assistance plus capables et plus fiables.