🤖 AI

Situation Graph Prediction for User Perspective Modeling

Cet article introduit la Prédiction de Graphe de Situation (SGP), une nouvelle tâche et une stratégie de génération de données synthétiques pour modéliser les perspectives des utilisateurs à partir d'artefacts multimodaux, démontrant par une étude diagnostique que l'inférence d'états internes latents est nettement plus difficile que l'extraction de surface pour les modèles de fondation actuels.

Auteurs originaux : Jisung Shin, Daniel Platnick, Marjan Alirezaie, Hossein Rahnama

Publié 2026-08-12

📖 9 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jisung Shin, Daniel Platnick, Marjan Alirezaie, Hossein Rahnama

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre un ami qui traverse une semaine difficile. Vous le voyez envoyer des messages courts et colériques, entendre une voix tremblante lors d'un appel, et remarquer qu'il a sauté sa séance de sport habituelle. Un simple programme informatique pourrait simplement voir « moins de messages » et « une activité moindre » et se dire : « Oh, il est juste occupé ». Mais un véritable ami sait que ces indices de surface cachent en réalité une histoire plus profonde : peut-être se sent-il dépassé, anxieux ou en train de sombrer vers une crise. C'est la différence entre simplement observer ce que quelqu'un fait et comprendre qui il est à ce moment précis. Les scientifiques appellent cela l'« IA sensible à la perspective » (Perspective-Aware AI). C'est le rêve de construire des assistants personnels qui ne se contentent pas de suivre des ordres, mais qui saisissent réellement l'évolution de vos objectifs, de vos sentiments et votre façon unique de percevoir le monde. Le gros problème ? Nous ne pouvons pas facilement apprendre cela aux ordinateurs car les données privées des vraies personnes sont hors de portée, et nous disposons rarement d'un « guide de référence » qui étiquette précisément ce que quelqu'un ressent à l'intérieur rien qu'en regardant ses empreintes numériques.

Ce document présente une nouvelle méthode ingénieuse pour enseigner cette compétence aux ordinateurs, appelée Prédiction de Graphe de Situation (SGP - Situation Graph Prediction). Voyez cela comme un jeu de détective où l'ordinateur doit examiner un tas désordonné d'indices (comme des e-mails, des journaux de chat ou des notes vocales) et reconstruire une carte structurée et cachée de ce que la personne pense et ressent réellement. Puisque nous ne pouvons pas utiliser les secrets privés de vraies personnes pour entraîner l'IA, les auteurs ont construit un monde « fictif ». Ils ont commencé par dessiner la carte cachée en premier (décider qu'une personne est « stressée » et « au travail »), puis ont utilisé une IA très intelligente pour écrire les faux indices (comme un e-mail brusque) qui résulteraient naturellement de cette carte. Cette méthode de « structure d'abord » garantit que les indices correspondent toujours parfaitement aux sentiments cachés, créant ainsi un terrain d'entraînement sûr et respectueux de la vie privée.

Lorsque les chercheurs ont testé cela sur trois des cerveaux d'IA les plus avancés au monde (GPT-4o, Gemini 2.5 Flash et Claude Sonnet 4), ils ont découvert quelque chose de fascinant. Même avec ces modèles super-intelligents, il est beaucoup plus difficile pour l'IA de deviner les sentiments cachés (comme l'« anxiété » ou la « détermination ») que de simplement lister les faits visibles (comme le « bureau » ou l'« e-mail »). L'étude suggère que même si l'IA devient meilleure pour lire la surface de nos vies, déchiffrer l'histoire profonde et interne derrière nos actions reste un défi de taille. Les chercheurs ont créé un petit ensemble de données de 75 scénarios fictifs pour prouver ce point, montant que l'écart entre « ce que nous voyons » et « ce que nous ressentons » est réel et constant, quel que soit le modèle d'IA utilisé.

Le puzzle du détective : des indices aux mondes intérieurs

Plongeons plus profondément dans le fonctionnement de ce processus. Imaginez que vous êtes un détective essayant de résoudre un mystère, mais que vous ne pouvez pas parler au suspect. Vous n'avez qu'un tas de preuves : un message texte qui dit « Je vais bien », une photo d'un bureau en désordre et une note vocale qui semble un peu tremblante. Un ordinateur de base pourrait simplement lire le texte et dire : « La personne va bien ». Mais une IA sensible à la perspective veut construire un Graphe de Situation.

Voyez le Graphe de Situation comme une carte mentale en 3D d'un moment spécifique de la vie de quelqu'un. Ce n'est pas seulement une liste de faits ; c'est un réseau de connexions.

Les Nœuds de Surface : Ce sont les choses faciles à voir, comme « Bureau », « Mardi » ou « E-mail ».
Les Nœuds Latents : Ce sont les états internes invisibles, comme « Se sentir stressé », « Se sentir valorisé » ou « Êlement confus ».

L'objectif de la Prédiction de Graphe de Situation (SGP) est de prendre le tas désordonné d'indices (les « artefacts ») et de remonter le fil pour construire cette carte mentale complète. Le document cadre cela comme un « problème d'inférence inverse ». Habituellement, nous connaissons la cause (la personne est stressée) et nous voyons l'effet (elle envoie un e-mail court). La SGP demande à l'IA de faire l'inverse : « Je vois un e-mail court ; que doit ressentir la personne à l'intérieur ? »

La solution du « Monde Fictif »

Voici la partie délicate : Dans le monde réel, nous ne pouvons pas demander aux gens : « Hé, s'il vous plaît, dessinez une carte de vos sentiments en ce moment même. » C'est trop privé et trop ennuyeux. Alors, comment entraîner une IA à faire cela sans données réelles ?

Les auteurs ont conçu une stratégie de « structure d'abord » brillante. Au lieu de demander à une IA d'imaginer une personne puis de deviner ses sentiments (ce qui est désordonné et peu fiable), ils ont inversé le scénario :

Dessiner la Carte d'abord : Ils ont utilisé un ordinateur pour générer un « Graphe de Situation » parfait et valide (ex : « La personne est à un entretien d'embauche », « Se sent nerveuse », « Objectif est d'être embauchée »).
Générer les Indices : Ensuite, ils ont demandé à une IA d'écrire les « preuves » qui découleraient naturellement de cette carte. Ainsi, si la carte indique « Nerveuse », l'IA écrit une note vocale tremblante ou un e-mail très poli et excessivement formel.

Cela crée un ensemble d'entraînement parfait où la « clé de correction » (la carte) est garantie de correspondre aux « indices » (le texte/l'audio). C'est comme construire une fausse scène de crime où le détective sait exactement qui est le coupable, afin qu'il puisse s'entraîner à résoudre l'affaire sans jamais nuire à une personne réelle.

L'étude pilote : Tester les détectives IA

Pour voir si cela fonctionne réellement, les chercheurs ont construit un petit ensemble de données « pilote ». Ils ont créé 75 scénarios différents impliquant un personnage fictif nommé Elise Navarro, une analyste marketing de 28 ans vivant à Toronto. Ils ont suivi sa vie à travers 75 moments différents entre 2021 et 2025, couvrant tout, des difficultés professionnelles aux étapes importantes de sa santé.

Ils ont ensuite confié ces 75 cas à trois des modèles d'IA les plus puissants disponibles aujourd'hui : GPT-4o, Gemini 2.5 Flash et Claude Sonnet 4. Ils ont demandé aux IA d'examiner les indices d'Elise et de reconstruire son Graphe de Situation.

Les résultats étaient un mélange de « pas mal » et de « encore un long chemin à parcourir ».

La Bonne Nouvelle : Lorsque les IA recevaient quelques exemples pour apprendre (une technique appelée Apprentissage en Contexte par Récupération ou Retrieval-Augmented In-Context Learning), elles devenaient bien meilleures dans leur tâche. Leur capacité à obtenir les détails exacts augmentait considérablement.
La Grande Découverte : Même les IA les plus intelligentes trouvaient beaucoup plus facile de repérer les faits de surface (comme « Elise est au travail ») que de deviner les sentiments cachés (comme « Elise se sent dépassée »).

Les chercheurs ont mesuré cela à l'aide d'un score d'« écart ». Ils ont constaté que pour les trois modèles, la capacité à deviner les sentiments cachés était systématiquement moins bonne que celle de repérer les faits visibles. Par exemple, avec Claude Sonnet 4, l'« écart » était d'environ 0,70, ce qui signifie que l'IA était nettement meilleure pour lire la surface que l'âme. Cela suggère que même si l'IA devient excellente pour lire nos empreintes numériques, elle a toujours du mal à comprendre le pourquoi et le comment nous nous sentons.

Pourquoi cela importe (et ce que cela n'est pas)

Ce document ne prétend pas avoir résolu le problème de la perfection de l'empathie de l'IA. En fait, il suggère le contraire : que c'est un problème très difficile que la technologie actuelle commence à peine à aborder. L'étude montre que même avec les meilleurs modèles, il existe une lutte constante pour passer de « ce qui s'est passé » à « ce que cela signifie ».

Les auteurs prennent soin de préciser que leurs données sont synthétiques (fictives) et restreintes. Ils ne disent pas : « Nous avons un système parfait ». Ils disent : « Nous avons une nouvelle façon de tester cela, et les tests montrent que deviner les sentiments humains est toujours plus difficile que de simplement lire un message texte ».

En créant ce cadre de « Graphe de Situation » et les données synthétiques pour le tester, les chercheurs ont offert à la communauté de l'IA un nouvel outil. C'est comme donner aux détectives un nouvel ensemble de mannequins d'entraînement qui imitent parfaitement le comportement humain, leur permettant de pratiquer leurs compétences sans violer la vie privée de quiconque. L'espoir est qu'en comprenant exactement où l'IA échoue (l'écart entre la surface et le latent), nous puissions construire de meilleurs agents personnels, plus dignes de confiance, qui nous comprennent réellement, et pas seulement ce que nous tapons.

Ainsi, la prochaine fois que vous parlerez à une IA personnelle, rappelez-vous : elle saura peut-être que vous êtes au bureau et que vous avez envoyé un e-mail, mais deviner que vous passez une mauvaise journée ? C'est la prochaine grande montagne que l'IA devra gravir.

Résumé technique : Prédiction de graphes de situation pour la modélisation de la perspective de l'utilisateur

Énoncé du problème

Les agents d'IA personnels actuels manquent de la capacité de modéliser l'évolution des états internes — tels que les objectifs, les émotions et les interprétations contextuelles — au-delà de vecteurs de préférences statiques. Cette limitation entrave le développement d'une « IA consciente de la perspective » (PAi - Perspective-Aware AI), qui nécessite la compréhension de la trajectoire longitudinale des expériences d'une entité. Le progrès de la PAi est actuellement freiné par l'absence de données de supervision ancrées : les empreintes numériques du monde réel sont sensibles en matière de confidentialité, cloisonnées et contiennent rarement des étiquettes explicites pour les variables latentes de perspective (par exemple, l'état émotionnel interne ou l'intention d'un utilisateur). Par conséquent, l'entraînement de modèles pour mapper des artefacts observables (journaux, audio, texte) vers des représentations structurées et alignées sur une ontologie reste insoluble.

Méthodologie

Le document propose la Prédiction de Graphe de Situation (SGP - Situation Graph Prediction), une tâche formulée comme un problème d'inférence inverse. L'objectif est de reconstruire un Graphe de Situation structuré ( $G_t$ ) à partir d'artefacts numériques multimodaux observables ( $X_t$ ).

1. Représentation et formalisation

Graphe de Situation ( $G_t$ ) : Une représentation structurée ancrée dans l'ontologie supérieure DOLCE Ultralite (DUL). Il est défini comme un ensemble de triplets sémantiques $(s, p, o)$ où les nœuds représentent les participants, les structures spatio-temporelles, les atmosphères contextuelles et les états psychologiques.
Latent vs Surface : Le schéma distingue entre les attributs de surface (entités observables comme la localisation ou le temps) et les attributs latents (états internes inobservables comme l'émotion ou la valence).
Définition de la tâche : La SGP est définie comme la recherche de $\hat{G}_t = \arg\max_{G \in \mathcal{G}} P(G | X_t; \Theta)$ , où $\mathcal{G}$ est l'espace des graphes valides sous le schéma. Le document se concentre sur l'Inférence en Contexte utilisant des modèles de fondation gelés, où $\Theta$ comprend un modèle pré-entraîné et un ensemble d'exemples de support récupérés dynamiquement.

2. Génération de données synthétiques axée sur la structure

Pour surmonter l'absence de données réelles étiquetées, les auteurs introduisent une stratégie de génération synthétique axée sur la structure :

Échantillonnage : Un Graphe de Situation ( $G_t$ ) valide est échantillonné directement à partir de la distribution a priori de l'ontologie, encodant la perspective hypothétique d'un utilisateur (objectifs, affect, contexte).
Rendu conditionnel : Un LLM est sollicité pour générer des artefacts observables ( $X_t$ ) (par exemple, des e-mails, des journaux de chat, des transcriptions audio) qui sont strictement cohérents avec le $G_t$ pré-échantillonné.
Alignement : Cette inversion garantit que l'étiquette de « vérité terrain » ( $G_t$ ) est intrinsèquement alignée avec l'évidence générée ( $X_t$ ) par conception, plutôt que de nécessiter une annotation a posteriori.

3. Construction du jeu de données pilote

Un jeu de données pilote a été construit autour d'un personnage fictif unique, « Elise Navarro », couvrant 75 événements ordonnés temporellement entre 2021 et 2025. Le jeu de données comprend 225 artefacts synthétiques dans les domaines professionnels, personnels, de santé et sociaux, principalement textuels avec un sous-ensemble d'images et d'audio.

4. Conception de l'étude diagnostique

L'étude évalue la Tâche 1 : Prédiction de Graphe de Situation Statique (inférer un graphe à partir d'un seul segment temporel sans contexte historique).

Modèles : Trois modèles de fondation de pointe ont été testés : GPT-4o, Gemini 2.5 Flash et Claude Sonnet 4.
Protocoles :
- Zero-Shot : Les modèles reçoivent les artefacts et les définitions de l'ontologie mais aucun exemple.
- Apprentissage en Contexte Augmenté par Récupération (RA-ICL - Retrieval-Augmented In-Context Learning) : Les modèles reçoivent les 3 paires $(X, G)$ les plus sémantiquement similaires comme démonstrations.
Métriques : La performance est mesurée à l'aide du $F_1$ Strict, du $F_1$ Soft (utilisant la similitude d'embedding) et du Taux de Violation de Prédicat (PVR). Crucialement, les métriques sont décomposées en sous-ensembles de surface (observables) et latents (états internes). Un écart normalisé par l'entropie est calculé pour tenir compte des différences de diversité de vocabulaire entre les catégories de surface et latentes.

Résultats clés

L'étude diagnostique sur les trois modèles a produit les conclusions suivantes :

Difficulté non triviale : La SGP représente un défi important pour tous les modèles évalués. Bien que le RA-ICL ait considérablement amélioré la performance globale (augmentant le $F_1$ Soft d'environ 0,3 sur l'ensemble des modèles), la performance reste imparfaite.
Écart Latent-Surface : Un écart positif constant a été observé entre l'extraction de niveau de surface et l'inférence de perspective latente. L'inférence latente (par exemple, identifier une émotion) était systématiquement plus difficile que l'extraction de surface (par exemple, identifier un lieu), même en contrôlant la taille du vocabulaire via la normalisation par l'entropie.
- Écart normalisé par l'entropie : Sous RA-ICL, l'écart est de +0,528 (GPT-4o), +0,668 (Gemini) et +0,704 (Claude).
Comportements spécifiques aux modèles :
- Claude Sonnet 4 : A obtenu les scores $F_1$ Strict et Soft les plus élevés, mais aussi le plus grand écart latent-surface, suggérant que sa capacité de base supérieure bénéficie de manière disproportionnée à l'extraction de surface.
- Gemini 2.5 Flash : A présenté un rappel élevé avec un taux de violation de prédicat quasi nul (PVR = 0,002), indiquant une tendance à la sur-génération tout en maintenant une conformité stricte à l'ontologie.
- GPT-4o : A montré une précision et un rappel équilibrés avec un taux de violation modéré.

Signification et affirmations

Le document positionne la SGP comme un cadre concret pour faire progresser l'IA consciente de la perspective en fournissant une approche structurée et alignée sur l'ontologie pour modéliser l'identité de l'utilisateur comme une trajectoire longitudinale plutôt que comme un vecteur statique.

Contribution méthodologique : Les auteurs affirment que la stratégie de génération synthétique axée sur la structure permet de créer des données de perspective étiquetées sans dépendre de traces d'utilisateurs réels, répondant ainsi au verrou de la confidentialité.
Preuve empirique : L'étude fournit la preuve que l'inférence d'états internes latents à partir d'artefacts multimodaux est un défi distinct et plus difficile que l'extraction de surface, une conclusion qui se vérifie à travers différentes familles de modèles et d'architectures.
Utilité future : Les auteurs affirment que la SGP fournit un « substrat de mémoire à long terme » nécessaire pour les agents personnels, soutenant des applications dans l'éducation adaptative, le soutien à la santé et l'audit des biais, tout en soulignant les obligations éthiques inhérentes à l'inférence d'états internes.

Ce travail est présenté comme une étude pilote et une évaluation diagnostique. Les auteurs déclarent explicitement que le jeu de données est de petite échelle et destiné à valider l'approche de génération synthétique et la faisabilité de la tâche, laissant l'entraînement supervisé complet et le déploiement à grande échelle comme travaux futurs.