Résumé Technique : CrossView – Les modèles vision-langage peuvent-ils raisonner à travers plusieurs caméras ?

Énoncé du Problème

Les modèles vision-langage (VLM) actuels et les benchmarks de compréhension vidéo ont largement opéré sous une « hypothèse de caméra unique », où les modèles sont évalués sur leur capacité à raisonner sur un flux visuel unique. Bien que les modèles de pointe atteignent des performances proches de l'humain sur des benchmarks tels que VQAv2 et Video-MME, les systèmes du monde réel (véhicules autonomes, réseaux de surveillance, robotique) reposent intrinsèquement sur des réseaux multi-caméras.

Les auteurs soutiennent que le raisonnement multi-caméra n'est pas simplement une mise à l'échelle du problème de la caméra unique, mais un défi fondamentalement différent caractérisé par deux obstacles spécifiques :

1. Mise à l'échelle du contexte : Le traitement de $N$ flux vidéo simultanés étend la fenêtre de contexte requise, dépassant souvent les limites effectives des modèles à long contexte.
2. Raisonnement spatial inter-vues : Les modèles doivent effectuer un assemblage spatio-temporel, synthétisant des points de vue discrets en une scène cohérente. Cela nécessite de résoudre les occlusions visibles uniquement depuis certaines caméras, de sélectionner les vues les plus informatives et d'intégrer les preuves à travers des perspectives chevauchantes ou divergentes.

Les jeux de données existants se concentrent soit sur des tâches de perception étroites (par exemple, fusionner les vues en une représentation de type vue de dessus/Bird's-Eye-View), soit sont restreints à des domaines spécifiques comme la compréhension d'activités égocentrées. Il existe un manque distinct de benchmarks qui forcent les modèles à raisonner de manière spatio-temporelle à travers des flux de caméras bruts, simultanés et hétérogènes.

Méthodologie

Construction du Jeu de Données : CrossView

Les auteurs introduisent CrossView, un benchmark de questions-réponses vidéo (VQA) multi-caméras comprenant 6 000 questions réparties sur quatre domaines du monde réel : la conduite autonome (nuScenes), la surveillance (MEVA), l'interaction égocentrée-exocentrée (Ego-Exo4D) et la robotique (AgiBot).

Le jeu de données est construit via un pipeline à deux étapes pour garantir la correction sémantique et éviter les hallucinations des modèles :

1. Construction du Graphe de Scène Spatio-temporel (STSG) :
   • Les métadonnées des jeux de données sources sont consolidées. Pour nuScenes, les nuages de points LiDAR affinent la localisation 3D ; pour les autres, des annotations 3D ou des boîtes englobantes (bounding boxes) sont utilisées.
   • Les activités et descriptions centrées sur les objets sont générées à l'aide de VLM (par exemple, InternVL-3.5) là où les étiquettes natives font défaut.
   • Les relations spatiales par paires (par exemple, derrière, à gauche, à droite) et les deltas d'orientation sont calculés entre les entités à travers les vues de caméra.
   • Des intervalles d'événements $[t_{start}, t_{end}]$ sont formés en regroupant des horodatages consécutifs où un objet maintient une activité constante.
   • Ces éléments forment une séquence chronologique de clichés de graphes $G_t$, créant le STSG final.
2. Génération Programmatique de Questions :
   • Une architecture « Grounding-Target » interroge le STSG. Le système identifie les événements/objets de base (grounding), sélectionne les événements cibles et échantillonne des candidats négatifs (distracteurs).
   • Ces métadonnées structurées sont transmises à GPT-5.2 pour synthétiser des questions en langage naturel, garantissant des descriptions ancrées dans l'apparence et l'activité des objets plutôt que dans des étiquettes génériques.

Catégories de Questions

Le benchmark comprend cinq catégories de raisonnement, plus une tâche spécifique de « Camera-ID » :

• Temporel : Raisonnement sur les relations Avant, Après, Pendant ou Entre.
• Ordre des Événements : Reconstruction de la séquence chronologique de 3 à 5 événements distincts.
• Spatial : Détermination des relations 3D (par exemple, la position relative d'un poteau de signalisation par rapport à une voiture garée) à travers les points de vue.
• Comptage : Agrégation d'instances d'objets uniques (UIDs) à travers l'ensemble de la période temporelle et de multiples vues pour gérer l'occlusion et la réapparition.
• Résumé : Génération d'un récit holistique de la dynamique de la scène à travers toutes les perspectives de caméra.
• Meilleure Caméra (Camera-ID) : Identification de la vue de caméra spécifique qui fournit l'évidence la plus informative ou persistante pour un événement donné.

Stratégie d'Évaluation

Les auteurs ont évalué 11 VLM, incluant des modèles propriétaires (GPT-5.2) et des familles open-source (Qwen, InternVL, Gemma).

• Stratégies d'Échantillonnage : Deux stratégies ont été comparées : Uniforme (échantillonnage de $N$ images indépendamment par caméra) et Assemblée/Stitched (mosaïque de tous les cadres de caméra en une seule image composite par pas de temps).
• Métriques : Précision pour les tâches à choix multiples (Comptage, Temporel, Ordre des Événements, Spatial, Camera-ID) et scores ROUGE pour les résumés en texte ouvert.

Résultats Clés

1. L'écart de raisonnement multi-caméra

L'évaluation révèle un écart de performance constant et significatif dans les configurations multi-caméras, même pour les modèles de pointe.

• Faible Précision : GPT-5.2, qui approche la saturation sur les benchmarks à caméra unique, obtient un score inférieur à 50 % sur le raisonnement temporel de nuScenes et inférieur à 35 % sur l'identification de caméra dans Ego-Exo4D.
• Indépendance d'Échelle : Le déficit persiste à travers les familles de modèles et les nombres de paramètres (de 3B à 14B+), suggérant que le goulot d'étranglement n'est pas la capacité du modèle mais une absence structurelle de compréhension multi-caméra dans les données de pré-entraînement.
• Difficulté des Tâches : Les tâches nécessitant une synthèse conjointe entre les caméras (Comptage et sélection de la Meilleure Caméra) produisent les scores les plus bas (souvent 20–35 %), nettement inférieurs aux tâches temporelles ou d'ordre d'événements (40–55 %) dérivées des mêmes vidéos.

2. Complexité de la Scène et Densité de Caméras

La performance se dégrade de manière monotone à mesure que la complexité de la scène augmente.

• Environnements Contrôlés : AgiBot (robotique, caméras fixes, faible encombrement) produit les précisions les plus élevées (jusqu'à 69,6 % sur le raisonnement temporel).
• Environnements Complexes : MEVA (surveillance de zone large, nombreuses caméras se chevauchant) produit les scores les plus bas dans toutes les catégories, particulièrement pour le comptage et le résumé.

3. Stratégies d'Entrée : Uniforme vs Assemblée (Stitched)

• Échantillonnage Assemblé (Stitched) : Le fait de mosaïquer les images en une seule image améliore la performance sur les tâches nécessitant une comparaison spatiale simultanée (ex : +10,5 % sur le comptage de nuScenes, +16,6 % sur le raisonnement spatial de MEVA).
• Échantillonnage Uniforme : Dans les environnements plus simples et moins encombrés (AgiBot), l'assemblage peut introduire du bruit visuel et légèrement dégrader la performance, suggérant que les stratégies d'échantillonnage de trames doivent dépendre de la tâche.

4. La Nécessité des Entrées Multi-Vues

Restreindre les entrées à une seule « meilleure » caméra réduit généralement la performance par rapport aux entrées multi-caméras complètes.

• Sur nuScenes, l'utilisation de la seule caméra frontale a fait chuter la précision du comptage de 8,8 % et celle du raisonnement spatial de 4,4 % par rapport à la base de référence multi-caméras.
• Cela confirme que de nombreuses questions du benchmark nécessitent réellement des preuves provenant de multiples points de vue qui ne peuvent être inférées à partir d'un flux unique.

Signification et Revendications

L'article affirme que CrossView est le premier benchmark spécifiquement conçu pour évaluer le raisonnement conjoint sur 2 à 8 flux de caméras simultanés à travers divers domaines du monde réel. Sa principale importance réside dans :

1. L'Exposition d'une Limitation Fondamentale : Il démontre que les VLM actuels, malgré leur succès dans les tâches à vue unique, manquent de mécanismes architecturaux ou de données d'entraînement pour intégrer efficacement les preuves à travers plusieurs points de vue.
2. La Définition d'un Nouveau Défi : Il établit que le raisonnement multi-caméra implique des défis distincts (mise à l'échelle du contexte, assemblage spatio-temporel, sélection de vue) qui ne sont pas résolus simplement en augmentant l'échelle du modèle ou la taille de la fenêtre de contexte.
3. Rigueur du Benchmark : En vérifiant empiriquement que les entrées à vue unique échouent à répondre à de nombreuses questions (Tableau 5), l'article valide la nécessité de l'intégration multi-vues pour le déploiement dans le monde réel pour les systèmes autonomes et la robotique.

Les auteurs concluent que CrossView sert de test de résistance rigoureux pour les VLM modernes, soulignant le besoin de nouvelles architectures, d'objectifs d'entraînement et de pipelines de données qui supportent explicitement l'intégration de preuves inter-vues.