Event-Time Confounding Under Bursty Human Dynamics
Este artigo demonstra que o alinhamento do comportamento digital a eventos iniciados pelo usuário cria um "viés de seleção de episódios", onde o surto de atividade pós-evento reflete a continuação natural de tarefas em curso em vez de efeitos causais, um fator de confusão que os efeitos fixos padrão de usuário não conseguem abordar, mas que pode ser detectado e corrigido utilizando o protocolo de diagnóstico proposto e a ferramenta de auditoria "burstcheck".
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo digital, deixamos um rastro de migalhas de pão toda vez que clicamos, pesquisamos ou fazemos uma pergunta. Durante anos, pesquisadores e empresas tentaram ler esses rastros para entender causa e efeito. Eles querem saber se uma ação específica, como pedir ajuda a uma inteligência artificial, realmente altera o que uma pessoa faz em seguida. A maneira padrão de descobrir isso é escolher um momento no tempo — por exemplo, o segundo em que um usuário digita uma pergunta em um chatbot — e então medir quanta atividade ocorre nos minutos seguintes. Se o usuário pesquisa por mais produtos ou lê mais artigos após esse momento, a suposição é que o chatbot causou o surto. É uma forma lógica de pensar, mas baseia-se em uma suposição oculta: a de que o momento em que o usuário escolheu agir era um ponto de partida neutro, como o tiro de largada de uma corrida.
No entanto, o comportamento humano não funciona como uma corrida com um único tiro de largada. Em vez disso, nossa atenção vem em ondas. Frequentemente mergulhamos em um tópico, passando vinte ou trinta minutos saltando entre diferentes sites, mecanismos de busca e ferramentas para resolver um problema ou satisfazer uma curiosidade. Esses surtos de atividade são intensos e focados, seguidos por longos períodos de quietude. O problema surge quando um pesquisador escolhe um momento dentro de uma dessas ondas agitadas para estudar. Se uma pessoa faz uma pergunta enquanto já está imersa em uma sessão de pesquisa, a atividade que se segue não é necessariamente uma reação à pergunta. É simplesmente a continuação da onda que ela já estava surfando. A pergunta não iniciou a onda; ela apenas aconteceu de ser o momento em que o pesquisador olhou para o relógio. Distinguir entre uma causa e uma coincidência nesse ambiente é difícil porque a pessoa que escolhe o momento é a mesma que impulsiona a atividade.
Este é o cerne do enigma abordado por um novo estudo de Michael Iannelli e Alan Ai na Scrunch AI. Eles investigaram se o método padrão de medir o comportamento digital está realmente medindo o evento em si, ou apenas o período de atividade no qual o evento caiu. Para resolver isso, eles não confiaram apenas na teoria; construíram um teste usando dados reais de milhares de usuários que concordaram em compartilhar seu histórico de navegação, consultas de pesquisa e interações com assistentes de IA. Os pesquisadores queriam ver se conseguiam enganar suas próprias ferramentas de medição para encontrar uma "causa" onde não existia nenhuma.
A equipe desenhou um experimento inteligente usando o que chamam de "timestamps de nulidade conhecida" (known-null timestamps). Eles pegaram exatamente os mesmos usuários e os mesmos padrões de atividade, mas escolheram momentos em que o usuário estava ocupado, mas não havia feito uma pergunta à IA. Eles trataram esses momentos aleatórios como se fossem o evento. Como esses momentos eram apenas pontos aleatórios no tempo sem qualquer intervenção real, eles não poderiam possivelmente causar qualquer mudança no comportamento. Se as ferramentas de medição padrão estivessem funcionando corretamente, elas deveriam ter visto zero efeito após esses momentos falsos. Em vez disso, as ferramentas reportaram um enorme surto de atividade. Quando os pesquisadores examinaram os dados, descobriram que esses momentos falsos e aleatórios produziram um aumento na atividade de pesquisa quase tão grande quanto o aumento visto após as respostas reais da IA. Especificamente, os momentos falsos geraram cerca de 3,4 vezes a quantidade usual de atividade de pesquisa, enquanto os momentos reais da IA geraram cerca de 4,3 vezes a quantidade usual.
Este resultado foi um choque porque mostrou que o "efeito" da IA era, em grande parte, uma ilusão criada pelo tempo. Os pesquisadores descobriram que a atividade não saltou no momento em que a IA respondeu. Em vez disso, a atividade já vinha subindo por cerca de oito minutos antes da resposta, atingiu o pico e depois declinou lentamente. A resposta da IA foi apenas um registro de tempo (timestamp) tirado no meio de uma tarefa que já estava em pleno vigor. O usuário já estava pesquisando e navegando porque estava no meio de um "episódio de tarefa", um período de alto engajamento. A resposta da IA era um marcador desse episódio, não a faísca que o iniciou.
Para provar que isso era um problema geral e não apenas uma peculiaridade da IA, os pesquisadores observaram outros tipos de eventos digitais. Eles examinaram momentos em que os usuários clicaram em links de compras, visitaram sites de notícias ou abriram documentação de programação. Em todos os casos, o mesmo padrão apareceu. A atividade em outras partes da web — como navegação e pesquisa geral — já estava alta antes de o usuário clicar no link. O evento estava sempre situado dentro de uma onda maior e crescente de atividade. Os pesquisadores até simularam um mundo onde um evento não tinha absolutamente nenhum poder para mudar o comportamento. Nessas simulações de computador, criaram um cenário onde a atividade de um usuário subiria naturalmente e depois diminuiria, e colocaram um evento de "tratamento" aleatoriamente dentro desse surto. Mesmo que o evento não fizesse nada, os métodos de análise padrão ainda reportavam um enorme efeito positivo. Os métodos falharam porque estavam contando a ascensão e queda natural da atenção do usuário, confundindo-a com uma reação ao evento.
O estudo também testou se truques estatísticos comuns poderiam corrigir o problema. Pesquisadores frequentemente tentam controlar isso comparando um usuário consigo mesmo em um momento diferente, ou combinando seu histórico recente. Os autores descobriram que esses métodos não funcionavam. Como o "estado de ocupação" é oculto e muda rapidamente de minuto para minuto, olhar o histórico de um usuário de uma hora atrás é como tentar prever uma tempestade olhando para o clima de ontem. O estado oculto de alto engajamento não é capturado por esses pontos de dados mais antigos. Os pesquisadores mostraram que mesmo quando tentaram combinar usuários com momentos de níveis de atividade semelhantes, o viés permanecia. A única maneira de separar o evento do episódio é comparar períodos inteiros de tempo — comparando uma sessão de pesquisa inteira com uma IA contra uma sessão de pesquisa inteira sem uma — em vez de apenas olhar para os minutos imediatamente após um clique.
As implicações desta descoberta são significativas para a compreensão de nossa vida digital. Sugere que muitos relatórios alegando que uma ferramenta ou anúncio específico impulsiona um surto de atividade podem estar lendo mal os dados. O surto poderia estar acontecendo de qualquer maneira. Os pesquisadores não dizem que a IA ou os anúncios não têm efeito; eles simplesmente argumentam que a forma padrão de medi-los é falha. Se uma pessoa já está no meio de uma jornada de compras, um assistente de IA pode ajudá-la a encontrar um produto, mas o assistente não criou a jornada de compras. O estudo conclui que, para obter a resposta correta, devemos parar de tratar um único clique como o início de uma história e começar a olhar para o capítulo inteiro. Precisamos comparar capítulos semelhantes do dia de um usuário, com e sem o evento específico, para ver se a história realmente muda. Até que façamos isso, os "efeitos" que vemos nos registros digitais são provavelmente apenas o eco de uma onda que já estava quebrando.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.