HOCA-Bench: Beyond Semantic Perception to Predictive World Modeling via Hegelian Ontological-Causal Anomalies

Ce papier présente HOCA-Bench, un benchmark utilisant une perspective hégélienne pour évaluer la capacité des modèles vidéo-LLM à prédire des anomalies physiques, révélant qu'ils maîtrisent mieux les violations ontologiques statiques que les mécanismes causaux dynamiques, ce qui met en lumière un déficit fondamental dans leur modélisation du monde physique.

L'essentiel

🎬 Le Test de la "Vraie Intelligence" : HOCA-Bench

Imaginez que vous avez un ami très intelligent qui a lu tous les livres du monde et vu des millions de vidéos. Il peut vous décrire parfaitement ce qu'il voit : "C'est un chat qui court, il a des poils orange, il passe sous une table." C'est ce qu'on appelle la perception.

Mais ce même ami a-t-il une intelligence physique ? Sait-il pourquoi le chat court ? Sait-il que si le chat saute, il retombera par terre à cause de la gravité ? Sait-il que si vous versez du café dans une tasse, le niveau va monter ?

C'est là que le papier HOCA-Bench intervient. Il pose une question fondamentale : Les intelligences artificielles (IA) qui regardent des vidéos sont-elles de simples "miroirs" qui répètent ce qu'elles voient, ou sont-elles de véritables "physiciens" qui comprennent comment le monde fonctionne ?

1. Le Problème : L'IA est "myope" pour la physique

Aujourd'hui, les IA sont excellentes pour dire qui fait quoi. Mais elles échouent souvent à prédire comment les choses vont se passer.

• Exemple : Si vous montrez à une IA une vidéo où un objet traverse un mur comme un fantôme, elle pourrait dire : "C'est un fantôme !" (elle décrit ce qu'elle voit).
• Le vrai test : Une IA intelligente devrait dire : "Attendez, c'est impossible ! Les murs sont solides, les objets ne peuvent pas les traverser. Il y a une erreur dans la vidéo."

Les chercheurs ont découvert que la plupart des IA actuelles sont comme des enfants qui regardent un dessin animé : ils voient les couleurs et les mouvements, mais ne comprennent pas les lois de la gravité ou de la matière.

2. La Solution : Un test inspiré d'un philosophe (Hegel)

Pour tester cela, les chercheurs (de l'Université Nationale de Défense en Chine) ont créé un nouveau banc d'essai appelé HOCA-Bench. Ils ont utilisé une idée de philosophie ancienne (Hegel) pour classer les erreurs en deux catégories, comme deux types de "bugs" dans un jeu vidéo :

• Type 1 : L'Anomalie "Identité" (Ontologique)

  • L'analogie : Imaginez un jeu où un personnage change de couleur tout seul, ou où un chien a trois têtes.
  • C'est quoi ? L'objet lui-même est bizarre. Il viole sa propre définition.
  • Résultat des IA : Elles sont plutôt bonnes pour repérer ça. "Oh, un chien à trois têtes, c'est bizarre !".

• Type 2 : L'Anomalie "Relation" (Causale)

  • L'analogie : Imaginez un jeu où une pomme tombe vers le haut, ou où l'eau coule à l'envers, ou où une voiture traverse un mur sans faire de bruit.
  • C'est quoi ? L'objet est normal, mais son interaction avec le monde est fausse. C'est une violation des lois de la physique (gravité, friction, masse).
  • Résultat des IA : C'est là qu'elles échouent lamentablement. Elles ne comprennent pas pourquoi c'est impossible. Elles disent souvent : "Oui, c'est normal, l'eau coule comme ça."

3. Comment ont-ils créé le test ? (Le "Laboratoire de Mensonges")

Le problème, c'est que dans la vraie vie, les objets ne traversent pas les murs et l'eau ne coule pas vers le haut. Comment tester une IA sur des choses qui n'arrivent jamais ?

Les chercheurs ont eu une idée brillante : utiliser les IA génératrices de vidéos elles-mêmes comme des "menteurs".

• Ils ont demandé à des IA de création de vidéos (comme Sora ou d'autres) de faire des vidéos "impossibles".
• Ces IA, en essayant de créer des vidéos, font souvent des erreurs bizarres (un café qui ne monte pas dans la tasse, un chat qui traverse un mur).
• Ces erreurs deviennent le test pour les autres IA. C'est comme utiliser un faux billet de banque pour tester si un détecteur de fausse monnaie fonctionne.

Ils ont créé 1 439 vidéos avec 3 470 questions pour tester 17 IA différentes.

4. Les Résultats : Le "Décalage Cognitif"

Les résultats sont sans appel et un peu décevants :

• Les IA sont de bonnes observatrices, mais de mauvais physiciens. Elles repèrent bien les objets bizarres (le chien à 3 têtes), mais elles sont aveugles aux lois de la physique (la pomme qui tombe vers le ciel).
• Le "Mode Réflexion" ne suffit pas. Certaines IA ont un mode "réfléchi" (comme un humain qui prend le temps de penser). Cela aide un peu, mais ça ne comble pas le fossé. Elles restent incapables de simuler mentalement la physique du monde.
• La taille compte, mais pas assez. Les plus grosses IA sont meilleures, mais elles échouent toujours sur les lois de la causalité (cause et effet).

5. Pourquoi est-ce important ?

Pour qu'une IA devienne vraiment intelligente (comme un humain ou un robot autonome), elle ne doit pas seulement voir le monde, elle doit le comprendre.

• Si vous voulez un robot qui aide dans une cuisine, il ne doit pas juste voir une tasse. Il doit savoir que si vous la remplissez trop, elle va déborder.
• Si vous voulez une voiture autonome, elle doit savoir qu'un freinage brusque va faire glisser la voiture, pas juste "voir" la route.

En résumé 🌟

HOCA-Bench est comme un examen de conduite pour les IA.

• La plupart des IA savent très bien lire la signalisation (perception : "Il y a un panneau Stop").
• Mais elles échouent à conduire la voiture (modélisation du monde : "Si je ne freine pas, je vais percuter l'obstacle à cause de l'inertie").

Ce papier nous dit qu'il reste encore beaucoup de travail avant que nos intelligences artificielles ne deviennent de véritables "intelligences physiques" capables de naviguer dans notre monde réel sans se tromper.

Résumé technique

1. Problématique

Les modèles de langage multimodaux vidéo (Video-LLMs) ont fait des progrès significatifs dans la perception sémantique (décrire "qui fait quoi"). Cependant, ils échouent souvent à démontrer une intelligence physique ancrée, c'est-à-dire la capacité de construire un modèle du monde prédictif capable d'expliquer "pourquoi cela arrive" et "comment cela se déroule" en se basant sur des lois physiques plausibles.

Le défi principal réside dans le fait que les benchmarks existants se concentrent sur la reconnaissance d'actions ou la récupération de connaissances, sans évaluer la capacité du modèle à détecter les violations des lois fondamentales de la physique (gravité, inertie, conservation de la masse, etc.). De plus, les vidéos du monde réel respectent généralement les lois physiques, ce qui rend difficile la création de jeux de données contenant des "hallucinations" physiques contrôlées pour tester ces limites.

2. Méthodologie et Construction du Benchmark

Les auteurs proposent HOCA-Bench, un benchmark conçu pour évaluer la modélisation du monde prédictif à travers une lentille philosophique spécifique : la logique hégélienne.

A. Cadre Philosophique (Hégélien)

Le benchmark distingue deux couches de logique cognitive pour classer les anomalies physiques :

1. Anomalies Ontologiques (Être/Being) : Elles représentent un effondrement de la logique de l'entité. L'objet viole sa propre définition, son existence ou sa persistance (ex: un objet qui disparaît spontanément, une forme géométrique impossible, un changement d'attribut sans cause externe).
2. Anomalies Causales (Essence/Essence) : Elles représentent une rupture de la logique d'interaction. Les relations entre les objets violent les lois physiques dynamiques (ex: un objet traversant un solide, la gravité inversée, l'absence de friction, violation de la conservation de la masse).

B. Génération de Données Adversaires

Pour surmonter le manque de vidéos réelles contenant des violations physiques, les auteurs utilisent des modèles de génération vidéo de pointe (comme Wan 2.1, HunyuanVideo, Sora, Kling) comme "simulateurs adverses".

• Stratégie : Ils génèrent des vidéos qui sont visuellement cohérentes mais physiquement impossibles.
• Pipeline d'annotation : Un processus "du grossier au fin" (Coarse-to-Fine) utilise des VLMs (Vision-Language Models) pour générer des descriptions d'images, puis des LLMs pour agréger ces descriptions et identifier les anomalies physiques. Ces anomalies sont ensuite mappées sur la taxonomie hégélienne.
• Vérification humaine : Une équipe d'experts valide manuellement les données pour garantir la rigueur.

C. Statistiques du Dataset

• Volume : 1 439 vidéos (630 vidéos réelles pour le contrôle, 809 vidéos synthétiques générées).
• Questions : 3 470 paires Question-Réponse (QA).
• Taxonomie : 9 domaines physiques (Mécanique, Optique, Thermodynamique, Chimie, etc.) répartis entre les anomalies ontologiques et causales.

D. Tâches d'Évaluation

Le benchmark évalue les modèles à travers quatre tâches progressives :

1. Vérification de plausibilité (Binaire) : Le scénario est-il plausible ?
2. Attribution de domaine (Choix multiple) : Quelle catégorie d'anomalie est présente ?
3. Description fine (Choix multiple) : Identifier la violation spécifique parmi des distracteurs.
4. Raisonnement contrefactuel (Open-Ended) : Le modèle doit construire une chaîne de raisonnement structurée (Description de la scène, Identification de l'anomalie, Attribution taxonomique, Raisonnement physique sur la loi violée).

3. Contributions Clés

1. Taxonomie Hégélienne : Introduction d'une classification philosophique rigoureuse pour séparer les échecs de "l'existence" (Ontologie) des échecs d'"interaction" (Causalité), offrant un cadre théorique nouveau pour l'évaluation des modèles physiques.
2. Benchmark Adversaire : Utilisation innovante des modèles de génération vidéo pour créer un testbed contrôlé d'anomalies physiques, comblant le vide entre les données réelles (trop normatives) et les données synthétiques non structurées.
3. Évaluation Systémique : Évaluation de 17 Video-LLMs (modèles denses, MoE, modes de "réflexion" System 2) révélant un décalage cognitif spécifique entre la perception statique et le raisonnement dynamique.

4. Résultats Expérimentaux

L'évaluation de 17 modèles (incluant les séries InternVL, Qwen-VL, GLM, GPT-4o, Gemini) révèle plusieurs constats majeurs :

• Décalage Cognitif (Cognitive Lag) : Les modèles sont nettement meilleurs pour détecter les anomalies ontologiques (ex: un objet qui change de forme) que pour raisonner sur les mécanismes causaux (ex: pourquoi un objet ne tombe pas). La performance chute de plus de 20 % sur les tâches causales par rapport aux tâches ontologiques.
• Limites du "Mode Réflexion" (System 2) : Bien que les modes de "Thinking" (raisonnement explicite) améliorent les performances sur les tâches complexes, ils ne comblent pas entièrement l'écart. Les modèles reconnaissent mieux les motifs visuels statiques qu'ils n'appliquent les lois physiques dynamiques.
• Performance des Modèles :
  • Qwen3-VL-32B obtient le meilleur score global (H-Index de 70,3), surpassant même des modèles propriétaires comme GPT-4o (57,4) et Gemini-2.5-Flash (67,5).
  • Les modèles plus petits (<7B) montrent une "cécité physique" marquée, souvent incapables de détecter des violations évidentes.
  • Les architectures MoE (Mixture of Experts) offrent un bon équilibre entre efficacité et performance.
• Robustesse Temporelle : L'augmentation de la résolution temporelle (passer de 16 à 64 frames) n'améliore pas systématiquement le raisonnement, suggérant que le goulot d'étranglement réside dans l'inférence logique et non dans la granularité sensorielle.
• Cas d'Étude (Machine à café) : Dans un cas où le niveau de café ne monte pas malgré un débit constant, les modèles "Instruct" standard hallucinent souvent un débordement ou un écoulement vers le haut, tandis que les modèles en mode "Thinking" parviennent à invoquer la conservation de la masse pour identifier la vraie anomalie.

5. Signification et Impact

HOCA-Bench marque un tournant dans l'évaluation des Video-LLMs en passant d'une évaluation de la perception à une évaluation de la compréhension physique.

• Vers l'AGI Physique : Le benchmark met en lumière que les modèles actuels sont principalement de puissants "matcheurs de motifs" sémantiques, mais qu'ils manquent encore des modèles internes nécessaires pour prédire l'évolution du monde physique.
• Guide pour la Recherche : Il fournit une feuille de route claire pour les futures architectures, soulignant la nécessité d'intégrer des mécanismes d'inférence causale et de modélisation dynamique, au-delà de la simple reconnaissance d'images.
• Ressource Ouverte : La publication du benchmark (avec les vidéos synthétiques sous licence MIT et les annotations) offre une base standardisée pour mesurer les progrès vers une intelligence artificielle véritablement ancrée dans le monde physique.

En résumé, HOCA-Bench démontre que si les Video-LLMs voient bien "ce qui est", ils peinent encore à comprendre "comment cela fonctionne", et propose une méthodologie rigoureuse pour combler cette lacune fondamentale.