PerceptionComp: A Video Benchmark for Complex Perception-Centric Reasoning

Ce papier présente PerceptionComp, un nouveau benchmark entièrement annoté à la main composé de 1 114 questions complexes sur 279 vidéos, conçu pour évaluer et révéler les limites actuelles des modèles multimodaux dans le raisonnement visuel à long terme nécessitant une intégration temporelle et spatiale de multiples indices perceptifs.

L'essentiel

🎬 PerceptionComp : Le "Grand Oral" de la Vision par Ordinateur

Imaginez que vous êtes un détective privé. On vous donne une vidéo de 10 minutes d'une rue très animée. On vous pose une question piège :

"Quelle était la couleur du gilet du cycliste qui passait juste à côté du camion de nourriture jaune, au moment précis où la personne avec les clés d'appartement les a fait tomber, juste après avoir croisé le magasin avec le cube de verre géant ?"

Pour répondre, vous ne pouvez pas juste regarder la vidéo une fois en vitesse. Vous devez :

1. Trouver le cube de verre.
2. Repérer les deux camions de nourriture.
3. Repérer le moment où les clés tombent.
4. Relier tous ces événements dans le temps et l'espace.
5. Enfin, trouver le cycliste et sa couleur de gilet.

C'est exactement ce que PerceptionComp teste. C'est un nouveau "terrain de jeu" (un benchmark) créé par des chercheurs pour voir si les intelligences artificielles (IA) sont capables de faire ce genre de déduction complexe, ou si elles se contentent de deviner.

🧩 Le Problème : Les IA sont de bonnes "éponges", mais de mauvaises "détectives"

Jusqu'à présent, les tests pour les IA vidéo étaient un peu comme des quiz de culture générale faciles :

• Les anciens tests : On montrait une vidéo simple (un chat qui saute) et on demandait "Quel animal est-ce ?". L'IA répondait "Chat" en 1 seconde. C'était trop facile.
• Les autres tests : Ils demandaient de la logique pure (résoudre un labyrinthe), mais les images étaient trop simples, comme des dessins animés.

Le vrai monde, c'est comme une foule dans un métro : il y a du mouvement, des objets qui se cachent, des changements de lieu. Les IA actuelles ont du mal à re-regarder la vidéo pour trouver des indices cachés. Elles essaient souvent de répondre d'un coup, sans revenir en arrière.

🛠️ La Solution : PerceptionComp

Les chercheurs ont créé PerceptionComp pour forcer les IA à faire un vrai travail de détective.

• C'est un manuel : Chaque question a été écrite à la main par des humains experts.
• C'est complexe : Les vidéos sont choisies pour être "encombrées" (beaucoup de gens, beaucoup de mouvements).
• La règle d'or : Pour répondre, l'IA doit revenir en arrière dans la vidéo. Une seule vue ne suffit jamais. C'est comme chercher une aiguille dans une botte de foin, mais l'aiguille change de place toutes les 30 secondes.

📊 Les Résultats : Les Humains gagnent, les IA s'essoufflent

Les chercheurs ont mis les IA et des humains au défi. Voici ce qu'ils ont découvert :

1. Les Humains (avec le droit de revoir la vidéo) : Ils obtiennent 100 % de réussite. S'ils ont le temps de revenir en arrière, ils trouvent toujours la réponse.
2. Les Humains (une seule vue) : Si on leur interdit de revoir la vidéo, leur score chute à 19 %. Cela prouve que la question est vraiment difficile et qu'on ne peut pas la deviner.
3. Les IA (les plus puissantes du monde) : Même les modèles les plus avancés (comme Gemini ou GPT-o3) ne réussissent qu'environ 45 % des cas.
   • C'est comme si un élève brillant ratait la moitié des questions d'un examen de logique visuelle, même s'il a le droit de réfléchir longtemps.

🔍 Pourquoi les IA échouent-elles ?

L'article explique que les IA ont deux faiblesses majeures ici :

• La perte de fil : Imaginez que vous essayez de retenir une liste de 5 ingrédients en cuisinant, mais que vous devez aller chercher chaque ingrédient dans une pièce différente de la maison. Les IA oublient souvent le premier ingrédient avant d'arriver au cinquième. Elles perdent le fil de l'histoire.
• La confusion spatiale : Elles ont du mal à dire "à gauche de", "derrière", ou "au moment où". Elles voient les objets, mais ne comprennent pas bien comment ils se relaient dans le temps et l'espace.

💡 La Conclusion : Il faut plus de "réflexion" et de "regard"

Le papier montre que pour que les IA deviennent vraiment intelligentes avec les vidéos, il ne suffit pas de leur donner plus de puissance de calcul. Il faut qu'elles apprennent à :

1. Re-regarder la vidéo (comme un humain qui relit un texte pour comprendre).
2. Relier les points entre différents moments de la vidéo.

En résumé : PerceptionComp est comme un examen de conduite très difficile. Jusqu'à présent, les IA savaient juste conduire tout droit sur une route vide. Maintenant, on leur demande de conduire dans une ville bondée, de se souvenir d'un panneau vu il y a 2 minutes, et de prédire où va passer un piéton. C'est là que ça coince, et ce test va aider les chercheurs à améliorer les IA pour qu'elles deviennent de véritables "yeux" intelligents pour le futur.

Résumé technique

1. Problématique

La compréhension vidéo profonde nécessite un raisonnement à long terme centré sur la perception, impliquant de revisiter fréquemment une vidéo pour rassembler des preuves temporellement dispersées. Cependant, les benchmarks existants souffrent de deux limitations majeures :

• Facilité excessive : Des benchmarks comme VideoMME ou Perception Test sont centrés sur la perception mais souvent résolubles après une seule vue, ne permettant pas de distinguer les capacités de raisonnement « à l'inférence » (test-time thinking).
• Complexité logique artificielle : D'autres benchmarks (ex: VideoMathQA, Maze) reposent sur des structures logiques complexes mais avec des visuels simplifiés ou synthétiques, ne testant pas la perception du monde réel.

Il manque donc un benchmark capable de mesurer fidèlement le raisonnement multimodal à long horizon qui dépend d'une répétition de la perception (re-regarder la vidéo) pour intégrer des preuves visuelles complexes et composées.

2. Méthodologie : PerceptionComp

PerceptionComp est un benchmark entièrement annoté à la main conçu pour combler ce vide.

A. Sélection des Vidéos

• Complexité de la scène : Les auteurs sélectionnent 279 vidéos à haute complexité (durée 2 à 10 min) provenant de domaines variés (tours urbains, villas, jeux vidéo, sports extrêmes, etc.).
• Critères de sélection : L'utilisation de proxies automatiques (nombre d'instances détectées par SAM2 et magnitude du flux optique) permet de cibler des vidéos denses en objets, avec des mouvements intenses et des transitions fréquentes, rendant impossible un résumé textuel unique.

B. Conception des Questions

Chaque question est conçue pour être insoluble en une seule vue. Elles combinent plusieurs sous-conditions perceptives selon deux logiques :

1. Composition Conjonctive : Toutes les conditions doivent être satisfaites simultanément pour un même objet (ex: « Trouver l'homme qui porte un chapeau vert ET un t-shirt noir ET qui se trouve à gauche de la voiture »).
2. Composition Séquentielle : Les étapes dépendent les unes des autres dans le temps (ex: « Identifier l'objet A, puis suivre son mouvement jusqu'à l'événement B, puis déterminer la relation avec l'objet C »).

Les questions sollicitent des compétences variées : reconnaissance sémantique, correspondance temporelle, raisonnement spatial, et modélisation du monde.

C. Annotation et Format

• Annotation manuelle : Chaque question prend 10 à 20 minutes à annoter. Un processus de vérification strict (par un second annotateur) garantit qu'une seule réponse est correcte et que chaque sous-condition est nécessaire.
• Format : 1 114 questions à choix multiples (5 options). Les distracteurs sont conçus pour être plausibles et confus, forçant le modèle à utiliser des preuves vidéo plutôt que des biais linguistiques.
• Niveaux de difficulté : Les questions sont classées en 3 niveaux de difficulté basés sur le nombre de sous-conditions et leur complexité intrinsèque.

3. Contributions Clés

1. Le Benchmark PerceptionComp : Le premier benchmark conçu spécifiquement pour évaluer le raisonnement vidéo centré sur la perception à long horizon, où la difficulté provient de la nécessité de rassembler des preuves visuelles dispersées dans le temps.
2. Validation Humaine : Une étude humaine montre que :
   • Le temps de réponse est considérablement plus long que sur les benchmarks précédents (plus de 10x par rapport à VideoMME).
   • En mode « vue unique » (sans relecture), la précision humaine chute à 18,97 % (près du hasard), prouvant que la mémoire à court terme ou les biais linguistiques ne suffisent pas.
   • Avec une relecture illimitée, les experts atteignent 100 % de précision.
3. Analyse des Limites des Modèles (MLLMs) : Le benchmark révèle un goulot d'étranglement majeur dans les modèles d'état de l'art (SOTA). Même les meilleurs modèles (Gemini-3-Flash, GPT-o3) plafonnent autour de 45 % de précision, loin des performances humaines.

4. Résultats Expérimentaux

Les auteurs ont évalué une large gamme de modèles (propriétaires et open-source) sur PerceptionComp :

• Performance Globale :
  • Le meilleur modèle (Gemini-3-Flash) atteint 45,96 %.
  • Les modèles open-source (Qwen3-VL, InternVL, etc.) restent généralement en dessous de 40 %.
  • Les modèles « Thinking » (avec raisonnement explicite) montrent une amélioration par rapport à leurs versions « Instruct » (ex: GPT-o3 dépasse GPT-4o de +11,04 %), mais restent loin du niveau humain.
• Impact des Ressources de Calcul :
  • Budget de Perception : Augmenter le nombre d'images d'entrée (frames) améliore linéairement la précision, confirmant que le benchmark dépend d'une densité d'information visuelle élevée.
  • Budget de Raisonnement : Augmenter le budget de tokens de réflexion (thinking tokens) améliore également les performances, suggérant que le raisonnement à long terme est bénéfique mais insuffisant sans une perception précise.
• Analyse des Erreurs :
  • Les échecs surviennent principalement au milieu de la chaîne de raisonnement (étapes 2 et 3).
  • La cause principale d'erreur (60 %) est une mauvaise compréhension spatiale (relations 3D, occlusions, positions relatives), conduisant à une dérive de la chaîne de raisonnement.
  • Les modèles ont tendance à se focaliser sur des détails visuels pertinents mais à ignorer les contraintes spatiales ou temporelles critiques.

5. Signification et Impact

PerceptionComp représente une avancée significative pour l'évaluation des capacités d'intelligence artificielle multimodale :

• Diagnostic Précis : Il met en lumière que les progrès actuels en raisonnement logique ne se traduisent pas automatiquement par une meilleure compréhension vidéo, car la perception fine et la rétention d'entités sur de longues durées restent des défis majeurs.
• Nécessité de la Révision : Il démontre que pour des tâches complexes, les modèles doivent être capables de « re-regarder » la vidéo et de réviser leurs hypothèses, une capacité encore faible chez les MLLMs actuels.
• Guide pour la Recherche : En identifiant le goulot d'étranglement (perception spatiale et intégration temporelle), le benchmark oriente la communauté vers le développement de modèles capables de maintenir des hypothèses cohérentes sur de longues séquences et de mieux gérer la complexité visuelle du monde réel.

En résumé, PerceptionComp établit une nouvelle référence pour mesurer la véritable « intelligence visuelle » des IA, au-delà de la simple reconnaissance d'objets ou du raisonnement logique sur des données simplifiées.