ProEvent: An Event-centric Benchmark for Proactive Agents
L'article introduit ProEvent, le premier benchmark centré sur les événements pour évaluer la capacité des agents proactifs à suivre de manière autonome les événements des utilisateurs à partir de discussions de messagerie instantanée, révélant que les modèles de langage actuels éprouvent des difficultés significatives avec la temporalité, l'annulation d'événements et le raisonnement implicite.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous ayez un assistant numérique super intelligent qui ne se contente pas d'attendre que vous demandiez de l'aide, mais qui surveille votre vie comme un faucon, devinant ce dont vous avez besoin avant même que vous ne le disiez. C'est le rêve des « agents proactifs ». Contrairement à un robot ordinaire qui reste inactif jusqu'à ce que vous appuyiez sur un bouton, un agent proactif est comme un chef personnel qui commence à couper les légumes dès qu'il sent l'ail, ou un ami qui vous tend un parapluie dès que le ciel devient gris. Le grand défi actuel en informatique est d'apprendre à ces cerveaux numériques à faire cela sans se laisser confondre par la réalité désordonnée et chaotique de la vie humaine. Nous savons que les ordinateurs sont excellents pour suivre des règles strictes, mais la vie réelle est pleine d'indices cachés, de conversations qui se chevauchent et de personnes qui changent d'avis sans dire « annuler ». Si nous voulons que ces agents soient véritablement utiles, ils doivent être capables de suivre vos projets futurs — comme une randonnée ou une réunion — simplement en écoutant vos messages textuels, et ils doivent savoir exactement quand prendre la parole et quand rester silencieux.
Entrez en scène PROEVENT, un nouveau « terrain d'entraînement » conçu par des chercheurs pour tester si ces assistants numériques sont réellement prêts pour le monde réel. Considérez PROEVENT comme un niveau de jeu vidéo géant et à enjeux élevés où le joueur est une IA tentant de gérer l'agenda d'un humain. Au lieu de donner à l'IA une liste propre de rendez-vous, les chercheurs lui injectent un flux de discussions textuelles désordonnées et réalistes. L'IA doit écouter les conversations entre amis, collègues et membres de la famille, comprendre quels événements sont en cours de planification, puis mettre à jour l'agenda en conséquence. Mais voici le piège : les discussions sont pleines de distractions. Il y a des conversations secondaires sur rien du tout, des gens qui changent de plans à mi-chemin, et des messages qui ressemblent à des annulations mais qui n'en sont pas. L'IA doit être à la fois un détective, un scribe et un gestionnaire de temps.
Les chercheurs ont construit ce test en créant des milliers de faux journaux de discussion très réalistes. Ils ont programmé des « personnages » avec des personnalités et des objectifs différents, puis simulé des scénarios complexes où les gens négocient des horaires de réunion, annulent des projets parce qu'ils ne se sentent pas bien, ou tentent de planifier des choses qui n'arrivent jamais réellement. Ils ont même ajouté du « bruit » — des messages aléatoires qui n'ont aucun rapport avec l'événement principal — pour voir si l'IA serait distraite. L'objectif était simple : l'IA peut-elle construire et mettre à jour correctement un emploi du temps en lisant simplement ces discussions ?
Lorsqu'ils ont soumis huit modèles d'IA puissants à ce test, les résultats ont été un mélange de « pas mal » et de « oh non ». La plus grande surprise est que les IA ont tendance à être trop enthousiastes. Imaginez un chien qui aboie à chaque mouvement de feuille ; ces IA essayaient constamment de mettre à jour l'agenda même quand rien n'avait changé. En fait, pour certains modèles comme DeepSeek-V3.2, elles ont tenté d'effectuer des modifications plus de 96 % du temps alors qu'elles auraient dû rester silencieuses. Elles avaient tellement peur de manquer une occasion d'aider qu'elles finissaient par créer le chaos.
Un autre obstacle majeur était l'annulation. Si un utilisateur dit : « Je ne me sens pas bien, je ne pourrai peut-être pas venir », un humain sait que c'est une annulation. Les IA étaient en fait assez douées pour repérer qu'une suppression pourrait être nécessaire (détectant environ la moitié des annulations réelles), mais elles peinaient à en être certaines. Elles suppuyaient fréquemment des événements qui étaient encore en cours ou retiraient les mauvais plans entièrement. L'article suggère que même les modèles les plus avancés, comme celui nommé GPT-5.1, n'ont obtenu la bonne réponse que dans environ 26,7 % des scénarios délicats. Cela signifie qu'environ trois cas sur quatre, l'IA s'est trompée dans l'emploi du temps.
L'étude a également révélé que ces cerveaux numériques ont un angle mort étrange : ils ne comprennent pas vraiment qui ils aident. Lorsqu'un utilisateur dit : « Je ne peux pas aller à la fête », l'IA retire souvent le nom de l'utilisateur de la liste des invités mais laisse la fête sur le calendrier. C'est comme un serveur qui, quand vous dites que vous n'avez plus faim, se contente de retirer votre nom de la réservation mais laisse la table dressée pour vous. L'IA regarde l'événement de l'extérieur, comme un observateur tiers, au lieu de se mettre à la place de l'utilisateur et de réaliser : « Oh, moi (l'utilisateur) je ne viens pas, donc cet événement est terminé pour moi ».
En résumé, bien que ces agents d'IA deviennent plus intelligents, ils ne sont pas encore tout à fait prêts à être votre gestionnaire de vie proactif. Ils sont trop nerveux, ils sont confus par les conversations complexes et ils peinent à faire la différence entre un « peut-être » et un « non ». Les chercheurs espèrent qu'en utilisant PROEVENT pour montrer précisément là où ces IA échouent, les futures versions apprendront à être plus patientes, plus précises, et enfin, plus semblables à un ami humain serviable qui sait exactement quand vous tendre ce parapluie.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.