Event-Time Confounding Under Bursty Human Dynamics
Dit artikel toont aan dat het afstemmen van digitaal gedrag op door de gebruiker geïnitieerde gebeurtenissen een "episode-selectiebias" creëert waarbij de toename in activiteit na een gebeurtenis de natuurlijke voortzetting van lopende taken weerspiegelt in plaats van causale effecten, een verwarrende factor die standaard gebruikersvaste effecten niet aanpakken maar die gedetecteerd en gecorrigeerd kan worden met behulp van het voorgestelde diagnostische protocol en de "burstcheck"-audittool.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de digitale wereld laten we een spoor van broodkruimels achter elke keer dat we klikken, zoeken of een vraag stellen. Jarenlang hebben onderzoekers en bedrijven geprobeerd deze sporen te lezen om oorzaak en gevolg te begrijpen. Ze willen weten of een specifieke actie, zoals het vragen om hulp aan een kunstmatige intelligentie, daadwerkelijk verandert wat een persoon daarna doet. De standaardmanier om dit te achterhalen is door een moment in de tijd te kiezen—bijvoorbeeld de seconde dat een gebruiker een vraag typt in een chatbot—en vervolgens te meten hoeveel activiteit er in de minuten die volgen plaatsvindt. Als de gebruiker na dat moment meer producten zoekt of meer artikelen leest, is de aanname dat de chatbot de piek heeft veroorzaakt. Het is een logische manier van denken, maar het rust op een verborgen aanname: dat het moment waarop de gebruiker besloot te handelen een neutraal startpunt was, zoals het startschot bij een race.
Menselijk gedrag werkt echter niet als een race met een enkel startschot. In plaats daarvan komt onze aandacht in golven. We duiken vaak in een onderwerp en besteden twintig of dertig minuten aan het springen tussen verschillende websites, zoekmachines en hulpmiddelen om een probleem op te lossen of een nieuwsgierigheid te bevredigen. Deze uitbarstingen van activiteit zijn intens en gefocust, gevolgd door lange perioden van stilte. Het probleem ontstaat wanneer een onderzoeker een moment binnen een van deze drukke golven kiest om een studie uit te voeren. Als een persoon een vraag stelt terwijl hij al midden in een onderzoeksessie zit, is de activiteit die volgt niet noodzakelijkerwijs een reactie op de vraag. Het is simpelweg het voortzetten van de golf waar hij al op reed. De vraag heeft de golf niet gestart; het gebeurde toevallig net op het moment dat de onderzoeker op zijn horloge keek. Het onderscheiden van een oorzaak en een toevalstreffer in deze omgeving is moeilijk omdat de persoon die het moment kiest, ook de persoon is die de activiteit aanstuurt.
Dit is het kernpuzzel waar een nieuwe studie van Michael Iannelli en Alan Ai van Scrunch AI zich mee bezighoudt. Zij onderzochten of de standaardmethode om digitaal gedrag te meten daadwerkelijk de gebeurtenis zelf meet, of alleen de drukke periode waarin de gebeurtenis toevallig viel. Om dit op te lossen, vertrouwden ze niet alleen op theorie; ze bouwden een test met echte gegevens van duizenden gebruikers die ermee hadden ingestemd hun browsegeschiedenis, zoekopdrachten en interacties met AI-assistenten te delen. De onderzoekers wilden zien of ze hun eigen meetinstrumenten konden misleiden om een "oorzaak" te vinden waar die niet bestond.
Het team ontwierp een slim experiment met wat zij "known-null" tijdstempels noemen. Ze namen exact dezelfde gebruikers en exact dezelfde patronen van activiteit, maar ze kozen momenten waarop de gebruiker wel druk bezig was, maar geen AI-vraag had gesteld. Ze behandelden deze willekeurige momenten alsover de gebeurtenis. Omdat deze momenten slechts willekeurige punten in de tijd waren zonder werkelijke interventie, konden ze onmogelijk een verandering in gedrag veroorzaken. Als de standaard meetinstrumenten correct zouden werken, zouden ze nul effect moeten zien na deze valse momenten. In plaats daarvan rapporteerden de instrumenten een enorme piek in activiteit. Toen de onderzoekers naar de gegevens keken, zagen ze dat deze willekeurige, valse momenten een toename in zoekactiviteit produceerden die bijna net zo groot was als de toename die te zien was na echte AI-reacties. Specifiek genereerden de valse momenten ongeveer 3,4 keer de gebruikelijke hoeveelheid zoekactiviteit, terwijl de echte AI-momenten ongeveer 4,3 keer de gebruikelijke hoeveelheid genereerden.
Dit resultaat was een schok omdat het aantoonde dat het "effect" van de AI grotendeels een illusie was, gecreëerd door de timing. De onderzoekers ontdekten dat de activiteit niet omhoog sprong op het moment dat de AI reageerde. In plaats daarvan was de activiteit ongeveer acht minuten vóór de reactie al aan het stijgen, bereikte een piek en nam daarna langzaam af. De AI-reactie was slechts een tijdstempel midden in een taak die al in volle gang was. De gebruiker was al aan het zoeken en browsen omdat hij zich in een "taak-episode" bevond, een periode van hoge betrokkenheid. De AI-reactie was een markering van die episode, niet de vonk die het startte.
Om te bewijzen dat dit een algemeen probleem was en niet slechts een eigenaardigheid van AI, bekeken de onderzoekers andere soorten digitale gebeurtenissen. Ze onderzochten momenten waarop gebruikers op winkelkoppelingen klikten, nieuwswebsites bezochten of documentatie over programmeren openden. In elk geval trad hetzelfde patroon op. De activiteit op andere delen van het web—zoals algemeen browsen en zoeken—was al hoog voordat de gebruiker op de link klikte. De gebeurtenis zat altijd binnen een grotere, stijgende golf van activiteit. De onderzoekers simuleerden zelfs een wereld waarin een gebeurtenis absoluut geen macht had om gedrag te veranderen. In deze computersimulaties creëerden ze een scenario waarin de activiteit van een gebruiker van nature zou toenemen en daarna weer afnemen, en plaatsten ze een "behandeling"-gebeurtenis willekeurig binnen die piek. Zelfs toen de gebeurtenis niets deed, rapporteerden de standaard analyse-methoden nog steeds een enorm, positief effect. De methoden faalden omdat ze de natuurlijke stijging en daling van de aandacht van de gebruiker telden en dit aanzagen voor een reactie op de gebeurtenis.
De studie testte ook of veelvoorkomende statistische trucjes het probleem konden oplossen. Onderzoekers proberen dit vaak te controleren door een gebruiker te vergelijken met zichzelf op een ander tijdstip, of door de recente geschiedenis van de gebruiker te matchen. De auteurs vonden dat deze methoden niet werkten. Omdat de "drukke staat" verborgen is en van minuut tot minuut snel verandert, is het kijken naar de geschiedenis van een gebruiker van een uur geleden als het proberen te voorspellen van een storm door naar het weer van gisteren te kijken. De verborgen staat van hoge betrokkenheid wordt niet gevangen door deze oudere gegevenspunten. De onderzoekers toonden aan dat zelfs wanneer ze gebruikers probeerden te matchen met momenten met vergelijkbare activiteitsniveaus, de bias aanwezig bleef. De enige manier om de gebeurtenis echt te scheiden van de episode is door hele perioden van tijd te vergelijken—het vergelijken van een hele onderzoeksessie met een AI met een hele onderzoeksessie zonder een AI—in plaats van alleen naar de minuten direct na een klik te kijken.
De implicaties van deze bevinding zijn aanzienlijk voor ons begrip van het digitale leven. Het suggereert dat veel rapporten die beweren dat een specifiek hulpmiddel of een advertentie een piek in activiteit aanjaagt, de gegevens verkeerd lezen. De piek was waarschijnlijk toch al aan het plaatsvinden. De onderzoekers zeggen niet dat AI of advertenties geen effect hebben; ze stellen simpelweg dat de standaardmanier om ze te meten gebrekkig is. Als iemand al midden in een winkelrit is, kan een AI-assistent helpen een product te vinden, maar de assistent heeft de winkelrit niet gecreëerd. De studie concludeert dat om het juiste antwoord te krijgen, we moeten stoppen met een enkele klik als het begin van een verhaal te behandelen en moeten beginnen met het bekijken van het hele hoofdstuk. We moeten vergelijkbare hoofdstukken van de dag van een gebruiker vergelijken, met en zonder de specifieke gebeurtenis, om te zien of het verhaal daadwerkelijk verandert. Totdat we dat doen, zijn de "effecten" die we in digitale logs zien waarschijnlijk slechts het echo van een golf die al aan het breken was.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.