🤖 AI

Grounding Social Perception in Intuitive Physics

Cette étude propose que la perception sociale repose sur un raisonnement intégrant la psychologie et la physique intuitives, démontré par le modèle SIMPLE qui, contrairement aux approches purement visuelles, infère avec succès les intentions et relations d'agents à partir de leurs trajectoires physiques simulées.

Auteurs originaux : Lance Ying, Aydan Y. Huang, Aviv Netanyahu, Andrei Barbu, Boris Katz, Joshua B. Tenenbaum, Tianmin Shu

Publié 2026-03-31

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Lance Ying, Aydan Y. Huang, Aviv Netanyahu, Andrei Barbu, Boris Katz, Joshua B. Tenenbaum, Tianmin Shu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎬 Le Film des Formes Géométriques

Imaginez un vieux film d'animation très célèbre où l'on voit un triangle, un cercle et un carré bouger sur un écran. Même si ce ne sont que des formes simples, votre cerveau vous dit immédiatement : « Le triangle est en colère, il chasse le cercle ! » ou « Le carré aide le triangle à traverser un obstacle ».

C'est ce que les chercheurs appellent la perception sociale. Nous ne voyons pas juste des mouvements ; nous inventons une histoire avec des intentions, des émotions et des relations.

Mais voici le secret que cette nouvelle étude révèle : pour comprendre cette histoire, votre cerveau ne se contente pas de regarder les formes. Il utilise aussi sa connaissance du monde physique.

🧱 Le Problème : Pourquoi les Robots (IA) se trompent

Les chercheurs ont créé un jeu vidéo appelé PHASE. C'est comme un terrain de jeu en 2D avec deux personnages (des trapèzes) qui peuvent pousser des objets, se heurter à des murs, ou s'aider mutuellement.

Ils ont demandé à des humains et à des intelligences artificielles (des modèles d'IA modernes) de regarder ces vidéos et de dire :

Que veulent faire les personnages ? (Leur but)
Quelle est leur relation ? (Amis, ennemis, ou indifférents)

Le résultat ?

Les humains étaient excellents. Ils comprenaient instantanément si un personnage bloquait l'autre ou s'il l'aidait à pousser un objet lourd.
Les IA classiques (comme les grands modèles de vision actuels) ont eu beaucoup de mal. Elles regardaient les formes bouger et disaient : « Oh, ils bougent ensemble, donc ils sont amis ! » alors qu'en réalité, ils se battaient pour le même objet (un jeu de « tir à la corde »).

Pourquoi ? Parce que ces IA ne comprennent pas la physique. Elles ne savent pas que si deux objets poussent dans des directions opposées, c'est un conflit, pas une coopération. Elles manquent de « bon sens physique ».

🛠️ La Solution : Le Modèle « SIMPLE »

Pour résoudre ce problème, les chercheurs ont créé un nouveau modèle appelé SIMPLE.

Imaginez que votre cerveau, quand il regarde une vidéo, ne se contente pas de la regarder passivement. Au lieu de cela, il lance une simulation mentale en arrière-plan.

Voici comment SIMPLE fonctionne, avec une analogie culinaire :

L'Observation : Vous voyez un plat (la vidéo).
L'Hypothèse : Vous vous dites : « Et si le chef avait mis du sel ? » ou « Et si le chef essayait de faire une tarte ? ».
La Simulation (Le four) : Votre cerveau imagine ce qui se passerait si ces hypothèses étaient vraies. « Si c'était une tarte, le chef aurait dû mélanger les ingrédients doucement. »
La Comparaison : Vous comparez votre simulation mentale avec la vidéo réelle. « Attends, dans la vidéo, le chef tape fort sur la table. Donc, ce n'est pas une tarte, c'est peut-être une bagarre pour le four ! »
La Conclusion : Votre cerveau ajuste son hypothèse jusqu'à trouver celle qui correspond le mieux à la réalité physique.

SIMPLE fait exactement cela, mais avec des mathématiques :

Il imagine des scénarios possibles (les agents veulent aller ici, ils sont forts, ils sont amis...).
Il fait tourner une simulation physique (comme un jeu vidéo) pour voir si ces scénarios produiraient les mouvements qu'il voit.
Il élimine les scénarios qui ne collent pas avec les lois de la physique (ex: un objet ne peut pas traverser un mur, un petit personnage ne peut pas pousser un gros rocher seul).

💡 Le Résultat : Une Compréhension Humaine

Grâce à cette méthode, SIMPLE a réussi là où les autres ont échoué. Il a compris que deux personnages qui tirent sur le même objet dans des directions opposées sont en train de se battre (relation hostile), et non de travailler ensemble.

En résumé :
Pour comprendre les relations sociales, il ne suffit pas de regarder les mouvements (comme une caméra). Il faut comprendre comment le monde fonctionne (la gravité, les obstacles, la force).

Les chercheurs montrent que notre cerveau est un ingénieur en physique déguisé en psychologue. Nous ne devinons pas les intentions des autres au hasard ; nous simulons mentalement ce qui est physiquement possible pour eux, et c'est grâce à cela que nous comprenons s'ils sont nos amis ou nos ennemis.

C'est une preuve que pour créer une intelligence artificielle vraiment intelligente, il ne suffit pas de lui donner des milliards de vidéos à regarder ; il faut lui apprendre les règles de la physique du monde réel.

1. Problématique

La perception sociale humaine est profondément ancrée dans notre compréhension du monde physique. Lorsqu'un observateur infère des intentions (comme le fait de chasser, bloquer ou aider), il ne se base pas uniquement sur des motifs visuels ou une psychologie intuitive (les agents agissent avec un but), mais aussi sur une physique intuitive (les corps se déplacent continûment, les forces ont des effets, les obstacles contraignent les possibilités).

Le problème central abordé par cet article est le suivant : comment les humains infèrent-ils des informations sociales riches à partir d'observations ancrées dans la physique ? Les modèles existants souffrent de deux limitations majeures :

Les modèles d'inversion de planification (inverse planning) classiques traitent souvent les actions comme des transitions d'états symboliques, ignorant la dynamique physique réelle.
Les modèles neuraux end-to-end (comme les réseaux de neurones graphiques ou les grands modèles vision-langage) apprennent des représentations prédictives à partir de données visuelles mais manquent de raisonnement physique sophistiqué et ne généralisent pas bien aux interactions non vues.

L'hypothèse des auteurs est que la perception sociale repose sur une approche d'"analyse par synthèse" : les humains possèdent un modèle génératif conjoint (physique + social) qu'ils inversent pour déduire les états mentaux (buts, relations) et les paramètres physiques à partir des trajectoires observées.

2. Méthodologie

Pour tester cette hypothèse, les auteurs ont développé deux piliers principaux : un nouveau jeu de données et un modèle computationnel.

A. Le Jeu de Données : PHASE

Les auteurs ont introduit PHASE (PHysically grounded Abstract Social Events), un ensemble de données composé de 500 animations procéduralement générées.

Style : Inspiré du film classique de Heider et Simmel, utilisant des formes géométriques simples (trapèzes pour les agents, cercles pour les objets) dans un environnement 2D.
Dynamique : Les agents interagissent dans un environnement simulé physiquement avec des obstacles, des points de repère (landmarks) et des objets. Les agents ont des capacités physiques variables (taille, force) et des champs de vision limités.
Scénarios : Les interactions couvrent quatre types de scénarios (collaboratif, indépendant, concurrent, opposé) et trois types de relations (amical, neutre, adversaire).
Validation : Une étude humaine a confirmé que les participants pouvaient étiqueter ces vidéos de manière cohérente avec 23 catégories d'interaction différentes, validant ainsi la richesse sociale des stimuli.

B. Le Modèle : SIMPLE

Les auteurs proposent SIMPLE (SIMulation, Planning, and Local Estimation), un modèle d'inversion de planification bayésienne ancré dans la physique.

Principe : Le modèle infère les variables latentes (buts $g$ , relations sociales $\alpha$ , forces physiques $f$ ) en inversant un modèle génératif $G(h)$ .
Architecture Générative :
- Un planificateur hiérarchique (représentant la psychologie intuitive) qui choisit des actions basées sur les buts et les croyances.
- Un moteur de physique en boucle fermée (représentant la physique intuitive) qui résout les dynamiques de contact, les collisions et les mouvements d'objets.
Inférence :
- L'espace d'hypothèses étant continu et de haute dimension, SIMPLE utilise une méthode d'inférence probabiliste basée sur l'échantillonnage (MCMC avec l'algorithme de Metropolis-Hastings).
- Une technique de local estimation est employée : au lieu de comparer les trajectoires sur toute la durée, le modèle se concentre sur des intervalles de temps locaux où l'écart entre la simulation et l'observation est le plus informatif pour mettre à jour les hypothèses.
- Le modèle calcule la probabilité a posteriori des buts et des relations en marginalisant sur les hypothèses simulées.

C. Comparaisons

Le modèle SIMPLE a été comparé à :

SocialGNN : Un réseau de neurones à graphes (GNN) entraîné sur les vidéos.
Gemini 2.5 Pro : Un modèle de langage-vision (VLM) de pointe.
Predicate Inverse Planning : Une variante de SIMPLE sans moteur physique (basée uniquement sur des prédicats symboliques).

3. Résultats Clés

Les expériences ont été menées sur 100 vidéos de test avec 200 participants humains.

Précision de Classification :
- SIMPLE a atteint la précision la plus élevée pour la classification des buts et des relations, se rapprochant fortement des performances humaines (ex: précision de 0,91 pour les relations vs 0,96 pour les humains).
- Les modèles de base (SocialGNN, Gemini) ont obtenu des scores nettement inférieurs, en particulier pour les scénarios complexes comme la compétition (où les agents tirent sur le même objet). SocialGNN a souvent confondu la compétition avec la collaboration, car il se base sur des mouvements corrélés sans comprendre les forces opposées.
Alignement avec les Jugements Humains :
- SIMPLE présente une forte corrélation avec la distribution des réponses humaines (r = 0,82 pour les buts, r = 0,78 pour les relations), capturant non seulement la réponse majoritaire mais aussi l'incertitude et les nuances des jugements humains.
- Les modèles feedforward (neuraux) ont une corrélation significativement plus faible (r < 0,6).
Analyse des Échecs :
- SIMPLE échoue parfois dans des scénarios de compétition très ambigus où le contact est prolongé, mais il capture mieux la dynamique sous-jacente que les modèles purement visuels.
- Le modèle "Predicate Inverse Planning" (sans physique) fonctionne bien pour les relations neutres simples mais échoue à inférer les buts spécifiques nécessitant une compréhension des contraintes physiques (ex: capacité de pousser un objet).

4. Contributions Principales

Jeu de Données PHASE : Création d'un benchmark standardisé pour l'étude de la perception sociale ancrée dans la physique, permettant une variation contrôlée de la géométrie, de la dynamique et des relations sociales.
Modèle SIMPLE : Démonstration qu'un modèle d'inversion de planification bayésien, couplant un moteur de physique et un planificateur rationnel, peut reproduire les jugements humains avec une grande précision sans nécessiter un entraînement supervisé massif sur les données d'interaction.
Preuve de Concept Cognitive : Validation expérimentale que la perception sociale humaine nécessite une inférence par analyse par synthèse intégrant la physique intuitive, et non une simple reconnaissance de motifs visuels.

5. Signification et Implications

Ce travail a des implications majeures pour la science cognitive et l'intelligence artificielle :

Pour la Science Cognitive : Il fournit un compte rendu computationnel de la façon dont les humains intègrent la théorie de l'esprit (psychologie intuitive) et la théorie de la physique. Il suggère que la compréhension sociale repose sur la capacité à simuler mentalement les conséquences physiques des actions.
Pour l'IA : Il met en lumière les limites des modèles actuels de vision par ordinateur et de grands modèles de langage (VLM/LLM) qui, bien que puissants, manquent de "sens commun" physique pour interpréter des interactions sociales complexes.
Vers une IA plus robuste : L'approche proposée suggère que pour créer des agents capables de comprendre les scènes sociales réelles, il est nécessaire d'intégrer des moteurs de simulation physique dans les processus d'inférence, plutôt que de se fier uniquement à l'apprentissage de représentations visuelles.

En conclusion, l'article démontre que la perception sociale n'est pas une tâche purement visuelle, mais un processus de raisonnement complexe où la physique et la psychologie sont inextricablement liées, et que l'inversion d'un modèle génératif conjoint est la clé pour reproduire cette capacité humaine.