Spatial Causal Prediction in Video

Cet article introduit la prédiction causale spatiale (SCP) et le benchmark SCP-Bench pour évaluer la capacité des modèles à inférer des états spatiaux non observés, révélant ainsi d'importantes lacunes par rapport aux performances humaines et proposant des stratégies pour améliorer l'intelligence causale spatiale.

L'essentiel

🎬 SCP : Le Grand Test de "Prédiction de l'Invisible" pour les IA

Imaginez que vous regardez un film. Soudain, l'écran se fige au moment où un joueur de basket saute pour tirer.

• La question classique pour une IA : "Que tient-il dans sa main ?" (Réponse facile : un ballon).
• La question du nouveau test SCP : "Où va atterrir le ballon une fois qu'il aura touché le panier, et comment va rebondir le joueur ?"

C'est exactement ce que les chercheurs de l'Université Nationale de Singapour (et d'autres) ont voulu tester. Ils ont créé un nouveau défi pour les intelligences artificielles (IA) qui regardent des vidéos : ne pas seulement voir ce qui est là, mais comprendre ce qui va arriver.

🧠 Le Concept : La Différence entre "Regarder" et "Comprendre"

Pensez à deux types de spectateurs :

1. Le Spectateur "Caméra" (Les IA actuelles) : Il voit tout ce qui est devant lui. S'il voit une pomme tomber, il dit "La pomme est en l'air". Mais si on lui demande "Où va-t-elle atterrir ?", il panique. Il ne comprend pas la gravité, ni la vitesse.
2. Le Spectateur "Humain" (Nous) : Nous avons une "boîte à outils" mentale. Nous savons que si on lâche une pomme, elle tombe. Si on pousse une voiture, elle avance. Nous pouvons imaginer le futur ou reconstituer le passé même si nous n'avons pas vu la scène en entier.

Les chercheurs appellent cela le raisonnement spatial causal. C'est la capacité de dire : "À cause de ce que je vois maintenant, je sais ce qui va se passer plus tard."

🏗️ Le Nouveau Terrain de Jeu : SCP-Bench

Pour tester cette capacité, ils ont construit un immense gymnase virtuel appelé SCP-Bench.

• Le contenu : 1 181 vidéos (de la cuisine aux voitures, en passant par le sport).
• Le défi : 2 500 questions.
• La règle d'or : L'IA ne voit qu'une partie de la vidéo (le "présent"). Elle doit deviner ce qui se passe dans la partie cachée (le "futur" ou le "passé").

C'est comme si on donnait à l'IA une photo d'un gâteau en train de cuire, et qu'on lui demandait : "À quoi va ressembler le gâteau une fois sorti du four ?"

📉 Les Résultats : Les IA sont encore des "Nouveaux-Nés"

Les chercheurs ont mis 23 des meilleures IA du monde (comme GPT-5, Gemini, etc.) à l'épreuve. Le verdict est sans appel : elles sont loin d'être prêtes.

1. L'écart est énorme : Les humains réussissent environ 90% des questions. Les meilleures IA tournent autour de 60%. C'est comme si un enfant de 5 ans essayait de battre un champion d'échecs.
2. Elles sont "myopes" : Les IA excellent quand on leur demande de décrire ce qu'elles voient (ex: "Combien de joueurs ?"). Mais dès qu'il faut prédire un mouvement futur (ex: "Qui va attraper le ballon ?"), elles échouent.
3. Le problème de la physique : Les IA n'ont pas de "sens commun" physique. Elles peuvent voir une balle rouler, mais elles ne comprennent pas toujours pourquoi elle s'arrête ou comment elle va rebondir. Elles devinent souvent au hasard.

🔍 Pourquoi échouent-elles ? (L'Autopsie)

Les chercheurs ont fait des expériences pour comprendre pourquoi :

• Elles ne "pensent" pas vraiment : Même si on leur demande de "réfléchir étape par étape" (comme un humain), elles ne font souvent que répéter ce qu'elles ont vu, sans vraiment simuler la suite.
• Elles oublient le temps : Une IA regarde souvent une vidéo comme une suite de photos déconnectées. Elle ne sent pas le flux du temps ni la continuité du mouvement.
• Le texte ne suffit pas : Si on enlève la vidéo et qu'on ne donne que le texte ("Un homme court"), l'IA perd encore plus. Elle a besoin de voir pour comprendre la dynamique, mais elle ne sait pas encore bien l'interpréter.

🚀 Comment les aider à progresser ?

Alors, comment rendre ces IA plus intelligentes ? Les chercheurs ont testé plusieurs recettes :

• Les faire grandir (Plus de paramètres) : Comme un enfant qui grandit, plus l'IA est grosse, mieux elle se débrouille. Mais ce n'est pas une solution magique.
• Donner des indices (Les "échafaudages") : C'est la découverte la plus intéressante. Si on donne à l'IA une description textuelle de ce qui va se passer (ex: "Le ballon va toucher le panier et rebondir à gauche"), elle réussit beaucoup mieux !
  • Analogie : C'est comme si on donnait à un élève la réponse d'un exercice de maths, mais en lui demandant de trouver la méthode pour y arriver. L'IA comprend mieux le "pourquoi" quand on lui donne le "quoi" à l'avance.

💡 En Résumé

Cette étude nous dit une chose importante : Nos IA sont de très bons dessinateurs, mais de mauvais physiciens.

Elles peuvent décrire une scène avec précision, mais elles ne comprennent pas encore les lois de l'univers (la gravité, l'inertie, la cause et l'effet) qui régissent les mouvements. Pour qu'une voiture autonome ou un robot puisse vraiment naviguer dans notre monde, il ne suffit pas qu'il "voie" ; il doit pouvoir prédire l'avenir. Le test SCP-Bench est la première boussole pour nous montrer combien de chemin il reste à parcourir avant d'atteindre cet objectif.

Résumé technique

1. Problématique et Contexte

La raisonnement spatial (compréhension des relations spatiales, de la causalité et de l'évolution dynamique) est une composante fondamentale de l'intelligence humaine, cruciale pour des applications réelles comme la conduite autonome et la robotique.

Cependant, les recherches existantes sur les modèles de langage multimodaux (MLLMs) se concentrent principalement sur la compréhension spatio-temporelle de scènes observables (ce qui est visible dans l'image ou la vidéo). Elles négligent la capacité des modèles à inférer des états spatiaux passés ou futurs non observés basés sur des dynamiques causales.

L'article identifie un manque critique : les benchmarks actuels évaluent si un modèle peut décrire ce qu'il voit, mais pas s'il peut prédire les conséquences d'une action physique ou reconstruire un état antérieur à partir de preuves partielles.

2. Méthodologie et Proposition

Pour combler ce fossé, les auteurs introduisent deux contributions majeures :

A. La Tâche : Spatial Causal Prediction (SCP)

Ils définissent un nouveau paradigme de tâche appelé SCP. Contrairement aux tâches traditionnelles de QA (Question-Réponse) vidéo, SCP exige que le modèle :

• Reçoive un clip vidéo avec une partie temporelle masquée (un "cutpoint").
• Réponde à une question sur un état spatial non observable (soit dans le futur, soit dans le passé par rapport au point de coupure).
• Utilise le raisonnement causal et la physique commune pour déduire la réponse à partir des preuves visibles.

B. Le Benchmark : SCP-Bench

Les auteurs ont construit SCP-Bench, un benchmark rigoureux composé de :

• 2 500 paires Question-Réponse (QA) réparties sur 1 181 clips vidéo.
• Sources de données variées : Ego-Exo4D, HD-EPIC, YouTube-8M, ActivityNet.
• Diversité des scénarios : Sports, conduite, usines, vie quotidienne, performances artistiques.
• 8 Catégories de tâches :
  1. Ordre d'apparition
  2. Comptage
  3. Planification
  4. Relation spatiale
  5. Distance relative
  6. Taille relative
  7. Vitesse relative
  8. État spatial
• Deux directions causales :
  • Inférence rétrograde (Backward) : Reconstruire l'état passé.
  • Prédiction prospective (Forward) : Anticiper l'évolution future.
• Perspectives multiples : Ego (première personne), Exo (tierce personne), et combinaisons multi-vues.

Processus de construction : Un pipeline semi-automatique utilisant GPT-5 pour la génération de candidats QA, suivi d'une validation humaine rigoureuse pour garantir la précision des points de coupure et la validité des réponses déductibles.

3. Résultats Expérimentaux

Les auteurs ont évalué 23 modèles de pointe (MLLMs propriétaires, open-source et spécialisés) sur SCP-Bench.

Performance Globale

• Écart significatif avec l'humain : Les modèles actuels sont loin du niveau humain (environ 89,6 % pour les humains contre un maximum de 66,24 % pour GPT-5).
• Open-source vs Propriétaire : Les grands modèles open-source (ex: Qwen3-VL-235B, InternVL3.5-241B) rivalisent avec, voire surpassent, certains systèmes propriétaires sur des tâches spécifiques.
• Difficulté des tâches : La "Taille relative" est la tâche la plus facile, tandis que la "Planification", les "Relations" et le "Comptage" sont les plus difficiles, nécessitant un raisonnement causal abstrait.

Limites Identifiées (Analyse)

1. Extrapolation temporelle limitée : La performance ne se dégrade pas significativement entre des horizons temporels courts (0-2s) et longs (>5s), suggérant que les modèles n'exploitent pas réellement la continuité temporelle mais se basent sur des indices statiques.
2. Perception vs Raisonnement :
   • Lorsque le modèle voit la réponse (vidéo "Gold"), la performance augmente, mais le goulot d'étranglement principal reste le raisonnement causal, pas la perception visuelle pure.
   • Les modèles échouent souvent à appliquer les lois physiques (ex: un pendule qui s'arrête et revient en arrière) même s'ils perçoivent le mouvement local correctement.
3. Insensibilité à l'inversion temporelle : Inverser la vidéo n'entraîne qu'une légère baisse de performance, indiquant une faible sensibilité à la causalité temporelle réelle.
4. Échec des stratégies de raisonnement classiques :
   • Le Chain-of-Thought (CoT) explicite et le Self-Think n'apportent que des améliorations marginales, voire négatives, car ils introduisent du bruit sans résoudre le manque de compréhension physique.
   • L'ajout de graphes d'interaction spatiale ou de légendes denses améliore peu la performance.

Stratégies d'Amélioration

• Mise à l'échelle (Scaling) : Augmenter la taille du modèle (paramètres) améliore significativement la performance, mais de manière non monotone pour les petites tailles.
• Échafaudages Causaux (Causal Scaffolds) : Fournir au modèle une description textuelle de l'état futur (générée par un LLM) améliore considérablement les résultats (+13 à +16 %). Cela suggère que les modèles sont meilleurs pour raisonner sur du texte que pour générer eux-mêmes la causalité visuelle. Les échafaudages visuels (images/vidéos générées) sont moins efficaces.

4. Contributions Clés

1. Formalisation de la tâche SCP : Passage de la compréhension spatio-temporelle observée à l'inférence causale sur des états non observés (passé/futur).
2. Création de SCP-Bench : Un benchmark de haute qualité couvrant 8 catégories de raisonnement, 2 directions causales et des perspectives variées, avec 2 500 QA pairs.
3. Analyse approfondie : Identification que le raisonnement (et non la perception) est le principal frein aux performances actuelles, et que les modèles manquent de "bon sens physique" pour prédire les dynamiques invisibles.
4. Perspectives d'avenir : Démonstration que l'intégration de connaissances causales externes (via du texte) et l'augmentation de la taille des modèles sont les voies les plus prometteuses pour progresser.

5. Signification et Impact

Ce travail marque un tournant dans l'évaluation de l'intelligence spatiale des IA. Il démontre que les modèles actuels, bien que performants pour décrire le visible, échouent encore à simuler la physique du monde réel et à prédire les conséquences d'actions dynamiques.

SCP-Bench fournit une base solide pour le développement de futurs agents autonomes (robots, véhicules) qui doivent non seulement "voir" leur environnement, mais aussi comprendre et anticiper son évolution dynamique pour agir de manière sûre et efficace. L'article souligne que la prochaine génération de modèles devra intégrer des mécanismes de raisonnement physique et causal plus robustes, au-delà de la simple corrélation statistique visuelle.