Event-Time Confounding Under Bursty Human Dynamics
Questo articolo dimostra che l'allineamento del comportamento digitale agli eventi iniziati dall'utente crea un "bias di selezione dell'episodio" in cui l'aumento dell'attività post-evento riflette la naturale continuazione di compiti in corso piuttosto che effetti causali, un confondimento che i classici effetti fissi per utente non riescono ad affrontare ma che può essere rilevato e corretto utilizzando il protocollo diagnostico proposto e lo strumento di audit "burstcheck".
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo digitale, lasciamo una scia di briciole di pane ogni volta che clicchiamo, cerchiamo o poniamo una domanda. Per anni, ricercatori e aziende hanno cercato di leggere queste scie per comprendere il rapporto tra causa ed effetto. Vogliono sapere se un'azione specifica, come chiedere aiuto a un'intelligenza artificiale, cambi effettivamente ciò che una persona fa subito dopo. Il modo standard per scoprirlo è scegliere un momento nel tempo — ad esempio, il secondo in cui un utente digita una domanda in una chatbot — e poi misurare quanta attività si verifica nei minuti successivi. Se l'utente cerca più prodotti o legge più articoli dopo quel momento, l'assunto è che la chatbot abbia causato l'aumento. È un modo logico di pensare, ma si basa su un assunto nascosto: che il momento in cui l'utente ha scelto di agire fosse un punto di partenza neutro, come la pistola di partenza in una gara.
Tuttavia, il comportamento umano non funziona come una corsa con un'unica pistola di partenza. Al contrario, la nostra attenzione arriva a ondate. Spesso ci immergiamo in un argomento, passando venti o trenta minuti saltando tra diversi siti web, motori di ricerca e strumenti per risolvere un problema o soddisfare una curiosità. Questi picchi di attività sono intensi e focalizzati, seguiti da lunghi periodi di quiete. Il problema sorge quando un ricercatore sceglie un momento all'interno di una di queste ondate frenetiche per studiarla. Se una persona pone una domanda mentre è già immersa in una sessione di ricerca, l'attività che segue non è necessariamente una reazione alla domanda. È semplicemente la continuazione dell'ondata che stava già cavalcando. La domanda non ha iniziato l'ondata; è solo capitata nel momento in cui il ricercatore ha guardato l'orologio. Distinguere tra una causa e una coincidenza in questo ambiente è difficile perché la persona che sceglie il momento è la stessa che guida l'attività.
Questo è il nucleo del puzzle affrontato da un nuovo studio di Michael Iannelli e Alan Ai di Scrunch AI. Hanno indagato se il metodo standard per misurare il comportamento digitale stia effettivamente misurando l'evento stesso, o solo il periodo frenetico in cui l'evento è accaduto. Per risolverlo, non si sono affidati solo alla teoria; hanno costruito un test utilizzando dati reali di migliaia di utenti che avevano accettato di condividere la loro cronologia di navigazione, le query di ricerca e le interazioni con gli assistenti AI. I ricercatori volevano vedere se riuscivano a ingannare i propri strumenti di misurazione per trovare una "causa" dove non esisteva alcuna causa.
Il team ha progettato un esperimento ingegnoso utilizzando quelli che chiamano "timestamp a nullo noto" (known-null timestamps). Hanno preso esattamente gli stessi utenti e gli stessi schemi di attività, ma hanno scelto momenti in cui l'utente era impegnato ma non aveva posto una domanda all'IA. Hanno trattato questi momenti casuali come se fossero l'evento. Poiché questi momenti erano solo punti casuali nel tempo senza alcun intervento reale, non potevano in nessun modo causare un cambiamento nel comportamento. Se gli strumenti di misurazione standard avessero funzionato correttamente, avrebbero dovuto registrare zero effetti dopo questi momenti finti. Invece, gli strumenti hanno riportato un massiccio aumento di attività. Quando i ricercatori hanno esaminato i dati, hanno scoperto che questi momenti casuali e finti producevano un aumento dell'attività di ricerca quasi pari all'aumento visto dopo le risposte reali dell'IA. Nello specifico, i momenti finti hanno generato circa 3,4 volte l'attività di ricerca abituale, mentre i momenti reali dell'IA ne hanno generato circa 4,3 volte.
Questo risultato è stato uno shock perché ha dimostrato che l'"effetto" dell'IA era in gran parte un'illusione creata dal tempismo. I ricercatori hanno scoperto che l'attività non è aumentata nel momento in cui l'IA ha risposto. Inveve, l'attività era già in crescita da circa otto minuti prima della risposta, ha raggiunto il picco e poi è lentamente diminuita. La risposta dell'IA era solo un timestamp preso nel mezzo di un compito che era già a pieno regime. L'utente stava già cercando e navigando perché si trovava nel mezzo di un "episodio di task", un periodo di alta partecipazione. La risposta dell'IA era un segno di quell'episodio, non la scintilla che lo aveva iniziato.
Per dimostrare che si trattava di un problema generale e non solo di una particolarità dell'IA, i ricercatori hanno esaminato altri tipi di eventi digitali. Hanno esaminato i momenti in cui gli utenti cliccano su link di shopping, visitano siti di news o aprono documentazione di programmazione. In ogni caso, è apparso lo stesso schema. L'attività su altre parti del web — come la navigazione generale e la ricerca — era già alta prima che l'utente cliccasse sul link. L'evento era sempre situato all'interno di un'ondata di attività più ampia e crescente. I ricercatori hanno persino simulato un mondo in cui un evento non avesse assolutamente il potere di cambiare il comportamento. In queste simulazioni al computer, hanno creato uno scenario in cui l'attività di un utente aumentava naturalmente per poi svanire, e hanno posizionato un evento di "trattamento" casualmente all'interno di quel picco. Anche se l'evento non faceva nulla, i metodi di analisi standard riportavano comunque un enorme effetto positivo. I metodi fallivano perché stavano contando la naturale ascesa e discesa dell'attenzione dell'utente, scambiandola per una reazione all'evento.
Lo studio ha anche testato se i comuni trucchi statistici potessero risolvere il problema. I ricercatori spesso cercano di controllare questo aspetto confrontando un utente con se stesso in un momento diverso, o confrontandolo con la propria cronologia recente. Gli autori hanno scoperto che questi metodi non funzionano. Poiché lo "stato di attività" è nascosto e cambia rapidamente da un minuto all'altro, guardare la cronologia di un utente di un'ora fa è come cercare di prevedere una tempesta guardando il meteo di ieri. Lo stato nascosto di alto coinvolgimento non è catturato da questi dati più datati. I ricercatori hanno dimostrato che anche quando hanno cercato di abbinare gli utenti a momenti con livelli di attività simili, il bias rimaneva. L'unico modo per separare davvero l'evento dall'episodio è confrontare interi periodi di tempo — confrontando un'intera sessione di ricerca con un'IA rispetto a un'intera sessione di ricerca senza un'IA — piuttosto che guardare solo i minuti immediatamente successivi a un clic.
Le implicazioni di questa scoperta sono significative per la comprensione della vita digitale. Suggerisce che molti report che affermano che uno strumento o un annuncio specifico guidi un aumento di attività potrebbero leggere male i dati. L'aumento potrebbe essere stato in corso comunque. I ricercatori non dicono che l'IA o gli annunci non abbiano alcun effetto; sostengono semplicemente che il modo standard di misurarli sia difettoso. Se una persona è già nel mezzo di un viaggio di shopping, un assistente IA potrebbe aiutarla a trovare un prodotto, ma l'assistente non ha creato il viaggio di shopping. Lo studio conclude che, per ottenere la risposta corretta, dobbiamo smettere di trattare un singolo clic come l'inizio di una storia e iniziare a guardare l'intero capitolo. Dobbiamo confrontare capitoli simili della giornata di un utente, con e senza l'evento specifico, per vedere se la storia cambia davvero. Finché non lo faremo, gli "effetti" che vediamo nei log digitali saranno probabilmente solo l'eco di un'ondata che si sta già infrangendo.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.