Placebo Failures in Domain-Stratified Interrupted Time Series of Mean Lexical Diversity on the Post-2022 Web: A Methodological Caution on Common Crawl MATTR/MTLD Break- point Identification (with Secondary LLM-Associated Vocabulary Markers)

Cada grande tecnologia de comunicação deixa um rastro na forma como falamos e escrevemos. Quando a prensa de tipos móveis surgiu, ela padronizou a ortografia e a gramática. Quando a internet se consolidou, acelerou a propagação de gírias e frases encurtadas. Agora, uma nova força entrou na conversa: a inteligência artificial que escreve por nós. Esses modelos de linguagem de grande escala não apenas transmitem a linguagem humana; eles a geram em quantidades vastas, frequentemente favorecendo escolhas de palavras comuns, seguras e previsíveis em vez de termos raros ou incomuns. Isso levanta uma questão simples, mas profunda, para o futuro da expressão humana: se as máquinas escreverem uma parte significativa dos textos na web aberta, a própria linguagem se tornará mais simples, menos variada e mais uniforme?

Pesquisadores há muito suspeitam que isso possa acontecer. Em testes controlados, o texto gerado por computador frequentemente utiliza menos palavras distintas do que a escrita humana. Alguns estudos sugerem que, à medida que as pessoas utilizam essas ferramentas para polir seus próprios rascunhos, sua escrita pode derivar para um estilo de meio-termo compartilhado, perdendo sua complexidade única. No entanto, provar isso na internet real, caótica, é difícil. A web é um lugar caótico onde ciclos de notícias, tendências publicitárias e regras de plataformas mudam constantemente. Para encontrar um sinal de influência artificial, os cientistas devem distinguir entre uma mudança genuína causada pela IA e o ruído natural da internet. Eles precisam saber se a linguagem está realmente mudando ou se estão apenas vendo um truque de luz.

Um novo estudo propôs-se a responder a isso tratando a internet como uma máquina do tempo. Os pesquisadores reuniram uma coleção massiva de páginas da web em inglês de um arquivo público conhecido como Common Crawl, cobrindo o período de início de 2020 até o final de 2024. Este cronograma é crucial porque inclui o tempo antes e depois do lançamento de um chatbot popular em novembro de 2022, um momento frequentemente citado como o início da adoção generalizada da IA. A equipe dividiu a web em diferentes "vizinhanças" para ver se o efeito variava conforme o contexto. Eles analisaram sites de notícias, blogs pessoais, fóruns de discussão pública e páginas de comércio online. Para cada um desses grupos, mediram duas coisas específicas: quantas palavras diferentes apareciam no texto (diversidade lexical) e como essas palavras eram organizadas. Eles também procuraram por um conjunto específico de palavras que se tornaram populares com os modelos de IA, como "delve" (aprofundar), "tapestry" (tapeçaria) e "landscape" (panorama/cenário), para ver se esses marcadores estavam aumentando em frequência.

Os pesquisadores utilizaram um método chamado série temporal interrompida, que é essencialmente uma forma de rastrear uma linha de tendência ao longo do tempo para ver se algo repentino acontece em uma data específica. Eles esperavam que, se a IA estivesse remodelando a web, as linhas de tendência para a variedade de palavras mostrariam uma queda acentuada logo após novembro de 2022. Eles também realizaram uma verificação rigorosa para garantir que seu método fosse sólido. Antes de observar os dados reais, testaram o sistema com datas falsas no passado. Se o sistema alegasse encontrar uma mudança súbita em uma data em que nada aconteceu, significava que o método era sensível demais e propenso a alarmes falsos. Esta etapa é vital porque a internet é cheia de picos e quedas aleatórios que nada têm a ver com a inteligência artificial.

Os resultados dessa investigação cuidadosa foram surpreendentemente silenciosos. Quando os pesquisadores observaram os dados reais, não encontraram uma queda estatisticamente robusta e conclusiva na variedade de palavras como muitos haviam previsto. De fato, quando aplicaram suas regras estritas sobre o que conta como uma descoberta válida, as evidências restantes foram inconclusivas; os dados eram muito ruidosos para confirmar uma mudança, mas também insuficientes para provar que nenhuma mudança ocorreu. Os únicos grupos que mostraram um declínio potencial eram pequenos e estatisticamente fracos, o que significa que os dados eram muito ruidosos para dizer com certeza se uma mudança havia ocorrido. O estudo observa explicitamente que nenhum "nulo informativo de potência" permanece, o que significa que ele não pode descartar definitivamente uma queda na diversidade da linguagem, nem pode confirmar uma. Até mesmo os testes "placebo", que atuaram como um grupo de controle, mostraram que o método poderia facilmente confundir o ruído aleatório da internet com uma tendência real. Por exemplo, na categoria de notícias, o sistema detectou falsamente uma mudança importante em uma data falsa em 2021, provando que o método não era robusto o suficiente para confiar nos resultados reais sem mais provas.

O estudo encontrou alguns sinais de que o vocabulário específico associado à IA estava se tornando ligeiramente mais comum, particularmente na escrita comercial e de notícias. No entanto, esse aumento foi pequeno e não sobreviveu aos rigorosos testes estatísticos usados para descartar o acaso. Isso sugere que, embora a IA possa estar deixando uma leve impressão estilística, ela ainda não causou uma simplificação ou uniformização significativa da linguagem de uma forma que possa ser claramente medida. Os pesquisadores concluíram que a ideia de um declínio súbito e generalizado na complexidade da linguagem após o lançamento das ferramentas de IA não é sustentada pelos dados deste período, mas a falta de um sinal claro deve-se às limitações dos dados, e não a uma prova definitiva de que nada aconteceu. A linguagem da web, pelo menos nos anos imediatamente após o boom da IA, parece ter mantido sua diversidade, embora o estudo não possa confirmar isso com absoluta certeza.

Isso não significa que a inteligência artificial não tenha efeito sobre a linguagem, apenas que o efeito é mais difícil de detectar do que uma simples queda na variedade de palavras. O estudo destaca a dificuldade de medir tais mudanças em um ecossistema vivo e pulsante como a internet. Os pesquisadores observaram que seus dados foram limitados pelo número de documentos que puderam processar e pela forma específica como os arquivos da internet são coletados. Eles enfatizaram que suas descobertas são específicas para o período de tempo estudado e para os tipos de sites examinados. Eles não encontraram uma "arma fumegante" que prove que a IA homogeneizou a escrita humana, mas também não provaram que ela nunca o fará. A história de como a IA altera a linguagem ainda está sendo escrita, e esta pesquisa serve como um aviso cauteloso: as mudanças podem ser sutis, complexas e facilmente confundidas com o ruído normal do mundo digital.