Event-Time Confounding Under Bursty Human Dynamics
Cet article démontre que l'alignement du comportement numérique sur les événements initiés par l'utilisateur crée un « biais de sélection d'épisodes » où les pics d'activité post-événement reflètent la continuation naturelle de tâches en cours plutôt que des effets causaux, un facteur de confusion que les effets fixes usuels ne parviennent pas à traiter mais qui peut être détecté et corrigé à l'aide du protocole de diagnostic proposé et de l'outil d'audit « burstcheck ».
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde numérique, nous laissons une trace de miettes de pain chaque fois que nous cliquons, recherchons ou posons une question. Depuis des années, des chercheurs et des entreprises tentent de lire ces traces pour comprendre la relation de cause à effet. Ils veulent savoir si une action spécifique, comme demander de l'aide à une intelligence artificielle, modifie réellement ce qu'une personne fait ensuite. La méthode standard pour le découvrir consiste à choisir un moment précis — par exemple, la seconde où un utilisateur tape une question dans un chatbot — puis à mesurer l'activité qui se produit dans les minutes qui suivent. Si l'utilisateur recherche plus de produits ou lit plus d'articles après ce moment, on suppose que le chatbot a provoqué cette poussée. C'est une façon logique de penser, mais cela repose sur une hypothèse cachée : que le moment où l'utilisateur a choisi d'agir était un point de départ neutre, comme le coup de pistolet de départ d'une course.
Cependant, le comportement humain ne fonctionne pas comme une course avec un unique coup de pistolet de départ. Au contraire, notre attention arrive par vagues. Nous plongeons souvent dans un sujet, passant vingt ou trente minutes à naviguer entre différents sites web, moteurs de recherche et outils pour résoudre un problème ou satisfaire une curiosité. Ces poussées d'activité sont intenses et concentrées, suivies de longues périodes de calme. Le problème survient lorsqu'un chercheur choisit un moment à l'intérieur de l'une de ces vagues d'activité intense pour mener son étude. Si une personne pose une question alors qu'elle est déjà en pleine session de recherche, l'activité qui suit n'est pas nécessairement une réaction à la question. C'est simplement la continuation de la vague sur laquelle elle était déjà engagée. La question n'a pas déclenché la vague ; elle est juste tombée au moment où le chercheur a regardé sa montre. Distinguer une cause d'une coïncidence dans cet environnement est difficile car la personne qui choisit le moment est la même que celle qui génère l'activité.
C'est le cœur du casse-tête abordé par une nouvelle étude de Michael Iannelli et Alan Ai chez Scrunch AI. Ils ont cherché à savoir si la méthode standard de mesure du comportement numérique mesure réellement l'événement lui-même, ou simplement la période d'activité intense dans laquelle l'événement est tombé par hasard. Pour résoudre cela, ils ne se sont pas contentés de la théorie ; ils ont construit un test utilisant des données réelles provenant de milliers d'utilisateurs ayant accepté de partager leur historique de navigation, leurs requêtes de recherche et leurs interactions avec des assistants IA. Les chercheurs voulaient voir s'ils pouvaient piéger leurs propres outils de mesure pour trouver une « cause » là où il n'en existait aucune.
L'équipe a conçu une expérience ingénieuse utilisant ce qu'ils appellent des horodatages « known-null » (nuls connus). Ils ont pris exactement les mêmes utilisateurs et les mêmes schémas d'activité, mais ils ont choisi des moments où l'utilisateur était occupé mais n'avait pas posé de question à une IA. Ils ont traité ces moments aléatoires comme s'ils étaient l'événement. Puisque ces moments n'étaient que des points temporels aléatoires sans intervention réelle, ils ne pouvaient pas engendrer de changement de comportement. Si les outils de mesure standard fonctionnaient correctement, ils auraient dû observer un effet nul après ces faux moments. Au lieu de cela, les outils ont rapporté une énorme poussée d'activité. Lorsque les chercheurs ont examiné les données, ils ont découvert que ces faux moments aléatoires produisaient une augmentation de l'activité de recherche presque aussi grande que l'augmentation observée après de vraies réponses de l'IA. Plus précisément, les faux moments généraient environ 3,4 fois le volume habituel d'activité de recherche, tandis que les vrais moments d'IA en généraient environ 4,3 fois.
Ce résultat a été un choc car il a montré que l'« effet » de l'IA était largement une illusion créée par le timing. Les chercheurs ont découvert que l'activité ne bondissait pas au moment où l'IA répondait. Au contraire, l'activité avait commencé à grimper environ huit minutes avant la réponse, atteignait un sommet, puis déclinait lentement. La réponse de l'IA n'était qu'un horodatage pris au milieu d'une tâche déjà pleinement engagée. L'utilisateur était déjà en train de chercher et de naviguer parce qu'il était au milieu d'un « épisode de tâche », une période de fort engagement. La réponse de l'IA était un marqueur de cet épisode, et non l'étincelle qui l'avait déclenché.
Pour prouver qu'il s'agissait d'un problème général et non d'une simple particularité de l'IA, les chercheurs ont examiné d'autres types d'événements numériques. Ils ont étudié les moments où les utilisateurs cliquaient sur des liens de shopping, visitaient des sites d'actualités ou consultaient de la documentation de codage. Dans chaque cas, le même schéma est apparu. L'activité sur les autres parties du web — comme la navigation générale et la recherche — était déjà élevée avant que l'utilisateur ne clique sur le lien. L'événement se trouvait toujours à l'intérieur d'une vague d'activité ascendante plus large. Les chercheurs ont même simulé un monde où un événement n'avait absolument aucun pouvoir pour changer le comportement. Dans ces simulations informatiques, ils ont créé un scénario où l'activité d'un utilisateur augmentait naturellement puis s'estompait, et ils ont placé un événement de « traitement » de manière aléatoire à l'intérieur de cette poussée. Même si l'événement ne faisait rien, les méthodes d'analyse standard rapportaient toujours un effet positif massif. Les méthodes échouaient car elles comptaient la montée et la descente naturelle de l'attention de l'utilisateur, les confondant avec une réaction à l'événement.
L'étude a également testé si des astuces statistiques courantes pouvaient résoudre le problème. Les chercheurs tentent souvent de contrôler cela en comparant un utilisateur à lui-même à un autre moment, ou en faisant correspondre son historique récent. Les auteurs ont découvert que ces méthodes ne fonctionnaient pas. Comme l'« état d'activité » est caché et change rapidement d'une minute à l'autre, regarder l'historique d'un utilisateur datant d'une heure revient à essayer de prédire une tempête en regardant la météo d'hier. L'état caché de haut engagement n'est pas capturé par ces données plus anciennes. Les chercheurs ont montré que même en essayant de faire correspondre les utilisateurs à des moments présentant des niveaux d'activité similaires, le biais persistait. La seule façon de séparer l'événement de l'épisode est de comparer des périodes de temps entières — comparer une session de recherche complète avec une IA à une session de recherche complète sans IA — plutôt que de simplement regarder les minutes suivant un clic.
Les implications de cette découverte sont significatives pour notre compréhension de la vie numérique. Cela suggère que de nombreux rapports affirmant qu'un outil ou une publicité spécifique génère une poussée d'activité pourraient mal interpréter les données. La poussée était peut-être déjà en cours. Les chercheurs ne disent pas que l'IA ou les publicités n'ont aucun effet ; ils affirment simplement que la méthode standard pour les mesurer est défaillante. Si une personne est déjà en plein milieu d'une séance de shopping, un assistant IA peut l'aider à trouver un produit, mais l'assistant n'a pas créé la séance de shopping. L'étude conclut que pour obtenir la bonne réponse, nous devons cesser de traiter un simple clic comme le début d'une histoire et commencer à regarder le chapitre entier. Nous devons comparer des chapitres similaires de la journée d'un utilisateur, avec et sans l'événement spécifique, pour voir si l'histoire change réellement. Tant que nous ne le ferons pas, les « effets » que nous voyons dans les registres numériques ne seront probablement que l'écho d'une vague qui était déjà en train de déferler.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.