Résumé Technique : De la Précision à la Dépendance Visuelle : Audit et Filtrage de l'Effondrement de Modalité dans le VideoQA du Trafic

1. Énoncé du Problème

Une précision élevée sur les benchmarks de Video Question Answering (VideoQA) ne garantit pas que les modèles utilisent des preuves visuelles. Dans le domaine de l'analyse des accidents de la circulation, les réponses correctes devraient théoriquement dépendre d'indices visuels spécifiques à la scène (ex: interactions entre véhicules, dynamique temporelle, structures causales). Cependant, les modèles présentent souvent un effondrement de modalité (modality collapse), où ils s'appuient sur des raccourcis textuels, des priors linguistiques ou des artefacts spécifiques au jeu de données pour répondre correctement, ignorant ainsi l'entrée vidéo.

Ce mode de défaillance est particulièrement critique dans les applications de sécurité telles que l'analyse des accidents de la circulation, où les systèmes doivent réussir parce qu'ils comprennent la scène visuelle, et non parce qu'ils exploitent des artefacts d'annotation. L'article soutient que les benchmarks actuels échouent souvent à distinguer le raisonnement visuel authentique de l'exploitation de raccourcis, car une précision élevée peut être obtenue même lorsque l'entrée vidéo est supprimée ou que l'ajout de plus d'images dégrade les performances.

2. Méthodologie

Les auteurs proposent un cadre de diagnostic pour auditer et filtrer l'effondrement de modalité aux niveaux du jeu de données et de l'instance.

2.1 Diagnostics au niveau du Jeu de Données

Les auteurs introduisent deux métriques pour quantifier la dépendance visuelle à travers un benchmark :

• Écart Aveugle (Blind Gap - BG) : Mesure de combien la précision en mode texte seul dépasse le hasard.
  $$\text{BlindGap}(D) = \text{Acc}_{\text{blind}} - \text{Acc}_{\text{random}}$$
  Un BG élevé indique que le benchmark est soluble en utilisant uniquement le texte.
• Gain Visuel (Visual Gain - VG) : Mesure le bénéfice marginal de l'ajout d'une entrée vidéo.
  $$\text{VisualGain}(D) = \text{Acc}_{\text{video}} - \text{Acc}_{\text{blind}}$$
  Un VG positif indique des preuves visuelles utiles, tandis qu'un VG négatif suggère que l'entrée vidéo dégrade activement les performances ou est ignorée.

2.2 Diagnostics de Raccourcis au Niveau de l'Instance

Pour identifier les questions spécifiques qui entraînent un comportement de raccourci, les auteurs définissent un Score de Raccourci ($S(q)$) continu pour chaque question $q$ :

• Score de Preuve Textuelle ($T(q)$) : Mesure la confiance et la correction des Grands Modèles de Langage (LLM) en mode texte seul. Il est calculé comme la moyenne des prédictions correctes pondérées par la confiance sur un panel de modèles texte seuls.
  $$T(q) = \frac{1}{|\mathcal{M}_{\text{LLM}}|} \sum_{m \in \mathcal{M}_{\text{LLM}}} [\text{Correct}_m(q)] \cdot (1 - H_{\text{norm}, m}(q))$$
• Score de Nécessité Visuelle ($V(q)$) : Mesure si l'ajout de la vidéo augmente la probabilité assignée à la réponse correcte.
  $$V(q) = \frac{1}{|\mathcal{M}_{\text{VLM}}|} \sum_{m \in \mathcal{M}_{\text{VLM}}} \frac{\Delta_m(q)}{1 - 1/K}$$
  où $\Delta_m(q)$ est le gain de probabilité pour la réponse correcte lorsque la vidéo est ajoutée.
• Score de Raccourci ($S(q)$) : Combine ces signaux :
  $$S(q) = T(q) - V(q)$$
  Un $S(q)$ élevé indique une question sujette aux raccourcis (haute solvabilité textuelle, faible nécessité visuelle), tandis qu'un $S(q)$ faible ou négatif indique une question visuellement utile.

2.3 Filtrage Sensible aux Raccourcis

Les auteurs proposent de construire un sous-ensemble "ancré" (grounded) du jeu de données en ne conservant que les questions où $S(q) \leq \tau$. Ce filtrage est sans entraînement et continu, permettant un compromis entre la couverture des données et l'élimination des échantillons sujets aux raccourcis.

3. Contributions Clés

1. Audit des Benchmarks de Traffic VideoQA : L'article audite quatre benchmarks publics (MM-AU, VRU-Accident, SUTD-TrafficQA et AccidentBench) en utilisant des modèles de langage-vision (VLM) en open-weight et des LLM en mode texte seul.
2. Métriques de Diagnostic : Introduction de l'Écart Aveugle et du Gain Visuel pour quantifier l'effondrement de modalité au niveau du jeu de données.
3. Score de Raccourci : Un nouveau score continu au niveau de l'instance qui combine la confiance du texte seul avec les signaux de nécessité visuelle pour identifier et filtrer les questions sujettes aux raccourcis sans entraînement auxiliaire.
4. Cadre de Filtrage : Une méthode pour générer des sous-ensemts d'évaluation "ancrés" qui réduisent le biais de raccourci et améliorent les métriques d'ancrage visuel.

4. Résultats Expérimentaux

Les auteurs ont évalué plusieurs VLM (ex: InternVL, Qwen-VL, LLaVA-OneVision) et des LLM en mode texte seul sur les quatre benchmarks.

• Disparités de Benchmarks :
  • MM-AU : Présente un effondrement de modalité extrême. La suppression de la vidéo a systématiquement amélioré la précision, et l'ajout de plus d'images (jusqu'à 256) a davantage dégradé les performances. L'Écart Aveugle était élevé (jusqu'à 40,33 %), et le Gain Visuel était négatif pour tous les VLM. Les LLM en mode texte seul égalaient ou dépassaient les performances des VLM.
  • VRU-Accident : A montré un Gain Visuel positif mais souffrait tout de même d'un Écart Aveugle élevé (jusqu'à 25 %), indiquant une solvabilité textuelle partielle.
  • SUTD-TrafficQA : A démontré la plus forte dépendance visuelle, avec un Écart Aveugle faible (<9 %) et un Gain Visuel systématiquement positif (~11-12 %).
  • AccidentBench : Se situait entre ces deux extrêmes avec un Écart Aveugle faible et un Gain Visuel modeste.
• Efficacité du Filtrage :
  • L'application du filtre du Score de Raccourci (avec $\tau = 0,1$) à MM-AU et VRU-Accident a considérablement réduit l'Écart Aveugle et a transformé le Gain Visuel négatif en valeurs positives.
  • Sur MM-AU, le filtrage a réduit le BG de 25,70 % à 10,38 % et a fait passer le VG de -0,24 % à 7,42 %.
  • Les bases de filtrage binaire (LLM-Inspector, B-Clean) étaient moins efficaces ; B-Clean, par exemple, a supprimé des questions visuellement utiles en même temps que les raccourcis, entraînant un Gain Visuel fortement négatif.
• Analyse des Causes Racines : L'article identifie les motifs textuels répétitifs et les formulations de réponses (ex: des structures de phrases spécifiques apparaissant des centaines de fois) comme un moteur principal des raccourcis dans MM-AU.
• Impact de l'Entraînement : Le fine-tuning des modèles sur des données de trafic a amélioré la précision vidéo mais n'a pas nécessairement amélioré l'ancrage visuel (le BG et le VG sont restés stables ou négatifs sur les sous-ensembles standards), suggérant que les gains de précision ne sont pas synonymes de véritable raisonnement visuel.

5. Signification et Revendications

L'article affirme que la précision des benchmarks seule est insuffisante pour évaluer les progrès dans le VideoQA de sécurité critique. Les conclusions révèlent que :

• Plusieurs benchmarks de trafic largement utilisés permettent aux modèles de réussir en exploitant des raccourcis textuels plutôt que des preuves visuelles.
• Une évaluation ancrée visuellement, mesurée par des métriques comme l'Écart Aveugle et le Gain Visuel, est essentielle pour distinguer le raisonnement authentique de l'exploitation de raccourcis.
• Le Score de Raccourci proposé offre un mécanisme pratique et sans entraînement pour organiser des sous-ensembles d'évaluation qui reflètent mieux la capacité d'un modèle à utiliser des preuves visuelles.
• La construction future de jeux de données doit éviter les formats de questions répétitifs et les formulations de réponses identiques pour empêcher les modèles d'exploiter les motifs à haute fréquence.

Les auteurs concluent que pour que les systèmes multimodaux soient fiables dans des domaines critiques pour la sécurité, ils doivent être évalués sur leur capacité à dépendre des preuves visuelles, et non seulement sur leurs scores de précision finale.