Event-Time Confounding Under Bursty Human Dynamics
Diese Arbeit zeigt auf, dass die Ausrichtung des digitalen Verhaltens an nutzerinitiierten Ereignissen einen „Episodenauswahl-Bias“ erzeugt, bei dem Aktivitätsschübe nach einem Ereignis die natürliche Fortsetzung laufender Aufgaben widerspiegeln statt kausale Effekte zu sein – ein Störfaktor, den Standard-Nutzer-Fixeffekte nicht adressieren können, der jedoch mithilfe des vorgeschlagenen Diagnoseprotokolls und des „burstcheck“-Audit-Tools detektiert und korrigiert werden kann.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der digitalen Welt hinterlassen wir jedes Mal eine Spur aus Brotkrumen, wenn wir klicken, suchen oder eine Frage stellen. Jahrelang haben Forscher und Unternehmen versucht, diese Spuren zu lesen, um Ursache und Wirkung zu verstehen. Sie wollen wissen, ob eine bestimmte Aktion, wie etwa die Bitte um Hilfe durch eine künstliche Intelligenz, tatsächlich das Verhalten einer Person im nächsten Schritt verändert. Die Standardmethode, um dies herauszufinden, besteht darin, einen Zeitpunkt festzulegen – zum Beispiel die Sekunde, in der ein Nutzer eine Frage in einen Chatbot eintippt – und dann zu messen, wie viel Aktivität in den darauffolgenden Minuten stattfindet. Wenn der Nutzer danach nach mehr Produkten sucht oder mehr Artikel liest, geht man davon aus, dass der Chatbot diesen Anstieg verursacht hat. Es ist eine logische Denkweise, aber sie beruht auf einer verborgenen Annahme: dass der Moment, in dem der Nutzer sich entschied zu handeln, ein neutraler Ausgangspunkt war, vergleichbar mit dem Startschuss bei einem Rennen.
Das menschliche Verhalten funktioniert jedoch nicht wie ein Rennen mit einem einzigen Startschuss. Stattdessen kommt unsere Aufmerksamkeit in Wellen. Wir tauchen oft tief in ein Thema ein und verbringen zwanzig oder dreißig Minuten damit, zwischen verschiedenen Websites, Suchmaschinen und Werkzeugen hin und her zu springen, um ein Problem zu lösen oder eine Neugier zu befriedigen. Diese Phasen der Aktivität sind intensiv und fokussiert, gefolgt von langen Phasen der Ruhe. Das Problem entsteht, wenn ein Forscher einen Moment innerhalb einer dieser geschäftigen Wellen wählt, um ihn zu untersuchen. Wenn eine Person eine Frage stellt, während sie sich bereits mitten in einer intensiven Recherchephase befindet, ist die darauffolgende Aktivität nicht notwendigerweise eine Reaktion auf die Frage. Es ist schlicht die Fortsetzung der Welle, auf der sie bereits ritt. Die Frage hat die Welle nicht gestartet; sie war nur der Moment, in dem der Forscher zufällig auf seine Uhr blickte. Zwischen einer Ursache und einem Zufall in dieser Umgebung zu unterscheiden, ist schwierig, da die Person, die den Moment wählt, dieselbe ist, die auch die Aktivität antreibt.
Dies ist das zentrale Rätsel, das eine neue Studie von Michael Iannelli und Alan Ai bei Scrunch AI untersucht. Sie untersuchten, ob die Standardmethode zur Messung digitalen Verhaltens tatsächlich das Ereignis selbst misst oder nur die geschäftige Periode, in die das Ereignis zufällig gefallen ist. Um dies zu lösen, verließen sie sich nicht allein auf die Theorie; sie entwickelten einen Test unter Verwendung echter Daten von tausendenden Nutzern, die zugestimmt hatten, ihren Browserverlauf, ihre Suchanfragen und ihre Interaktionen mit KI-Assistenten zu teilen. Die Forscher wollten sehen, ob sie ihre eigenen Messwerkzeuge dazu bringen könnten, eine „Ursache“ zu finden, wo keine existiert.
Das Team entwarf ein kluges Experiment unter Verwendung dessen, was sie „bekannte Null-Zeitstempel“ (known-null timestamps) nennen. Sie nahmen exakt dieselben Nutzer und exakt dieselben Aktivitätsmuster, wählten aber Momente aus, in denen der Nutzer zwar beschäftigt war, aber keine KI-Frage gestellt hatte. Sie behandelten diese zufälligen Momente so, als wären sie das Ereignis. Da diese Momente lediglich zufällige Zeitpunkte ohne tatsächliche Intervention waren, konnten sie unmöglich eine Verhaltensänderung verursachen. Wenn die Standard-Messwerkzeuge korrekt funktioniert hätten, hätten sie nach diesen künstlichen Momenten einen Effekt von Null melden müssen. Stattdessen meldeten die Werkzeuge einen massiven Anstieg der Aktivität. Als die Forscher die Daten untersuchten, stellten sie fest, dass diese zufälligen, künstlichen Momente einen Anstieg der Suchaktivität erzeugten, der fast so groß war wie der Anstieg nach echten KI-Antworten. Konkret erzeugten die künstlichen Momente etwa das 3,4-fache der üblichen Suchaktivität, während die echten KI-Momente etwa das 4,3-fache der üblichen Menge erzeugten.
Dieses Ergebnis war ein Schock, da es zeigte, dass der „Effekt“ der KI weitgehend eine Illusion war, die durch das Timing erzeugt wurde. Die Forscher fanden heraus, dass die Aktivität nicht in dem Moment anstieg, in dem die KI antwortete. Stattdessen war die Aktivität bereits etwa acht Minuten vor der Antwort angestiegen, erreichte ihren Höhepunkt und nahm dann langsam wieder ab. Die KI-Antwort war lediglich ein Zeitstempel mitten in einer Aufgabe, die bereits in vollem Gange war. Der Nutzer suchte und browste bereits, weil er sich mitten in einer „Aufgabenepisode“ befand, einer Periode hoher Interaktion. Die KI-Antwort war ein Marker dieser Episode, nicht der Funke, der sie entzündete.
Um zu beweisen, dass dies ein allgemeines Problem und nicht nur eine Besonderheit der KI ist, untersuchten die Forscher andere Arten digitaler Ereignisse. Sie betrachteten Momente, in denen Nutzer auf Shopping-Links klickten, Nachrichtenseiten besuchten oder Programmierdokumentationen öffneten. In jedem Fall trat dasselbe Muster auf. Die Aktivität auf anderen Teilen des Webs – wie allgemeines Browsen und Suchen – war bereits hoch, bevor der Nutzer auf den Link klickte. Das Ereignis befand sich immer innerhalb einer größeren, ansteigenden Welle der Aktivität. Die Forscher simulierten sogar eine Welt, in der ein Ereignis absolut keine Macht hatte, das Verhalten zu ändern. In diesen Computersimulationen erstellten sie ein Szenario, in dem die Aktivität eines Nutzers natürlich ansteigt und dann wieder abfällt, und platzierten ein „Behandlungs-Ereignis“ zufällig innerhalb dieses Anstiegs. Selbst obwohl das Ereignis gar nichts bewirkte, meldeten die Standard-Analysemethoden einen riesigen, positiven Effekt. Die Methoden scheiterten, weil sie den natürlichen Anstieg und Abfall der Aufmerksamkeit des Nutzers zählten und diesen fälschlicherweise als Reaktion auf das Ereignis interpretierten.
Die Studie testete auch, ob gängige statistische Tricks das Problem lösen könnten. Forscher versuchen dies oft zu kontrollieren, indem sie einen Nutzer mit sich selbst zu einem anderen Zeitpunkt vergleichen oder indem sie seine jüngste Historie berücksichtigen. Die Autoren fanden heraus, dass diese Methoden nicht funktionierten. Da der „geschäftige Zustand“ verborgen ist und sich von Minute zu Minute schnell ändert, ist der Blick auf die Historie eines Nutzers von vor einer Stunde so, als versuche man, einen Sturm vorherzusagen, indem man das Wetter von gestern betrachtet. Der verborgene Zustand hoher Interaktion wird durch diese älteren Datenpunkte nicht erfasst. Die Forscher zeigten, dass selbst wenn sie versuchten, Nutzer mit ähnlichen Aktivitätsniveaus abzugleichen, der Bias bestehen blieb. Der einzige Weg, das Ereignis wirklich von der Episode zu trennen, besteht darin, ganze Zeiträume zu vergleichen – man vergleicht eine komplette Recherche-Sitzung mit einer KI mit einer komple gesamten Recherche-Sitzung ohne eine KI –, anstatt nur die Minuten unmittelbar nach einem Klick zu betrachten.
Die Implikationen dieser Erkenntnis sind bedeutend für unser Verständnis des digitalen Lebens. Sie deutet darauf an, dass viele Berichte, die behaupten, dass ein bestimmtes Tool oder eine Anzeige einen Anstieg der Aktivität vorantreibt, die Daten falsch interpretieren. Der Anstieg wäre ohnehin schon im Gange gewesen. Die Forscher sagen nicht, dass KI oder Werbung keinen Effekt haben; sie argumenten lediglich, dass die Standardmethode zur Messung von ihnen fehlerhaft ist. Wenn sich eine Person bereits mitten in einem Einkauf befindet, mag ein KI-Assistent ihr helfen, ein Produkt zu finden, aber der Assistent hat nicht den Einkauf selbst erschaffen. Die Studie kommt zu dem Schluss, dass wir, um die richtige Antwort zu erhalten, aufhören müssen, einen einzelnen Klick als den Beginn einer Geschichte zu behandeln, und stattdessen anfangen müssen, ganze Kapitel zu betrachten. Wir müssen ähnliche Kapitel eines Tages eines Nutzers vergleichen – mit und ohne das spezifische Ereignis –, um zu sehen, ob sich die Geschichte tatsächlich verändert. Bis wir das tun, sind die „Effekte“, die wir in digitalen Protokollen sehen, wahrscheinlich nur das Echo einer Welle, die bereits brach.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.