Placebo Failures in Domain-Stratified Interrupted Time Series of Mean Lexical Diversity on the Post-2022 Web: A Methodological Caution on Common Crawl MATTR/MTLD Break- point Identification (with Secondary LLM-Associated Vocabulary Markers)

Ogni grande tecnologia della comunicazione lascia una traccia sul modo in cui parliamo e scriviamo. Quando arrivò la stampa, essa standardizzò l'ortografia e la grammatica. Quando internet prese il sopravvento, accelerò la diffusione dello slang e delle frasi brevi. Ora, una nuova forza è entrata nella conversazione: l'intelligenza artificiale che scrive per noi. Questi modelli linguistici di grandi dimensioni non si limitano a trasmettere il linguaggio umano; lo generano in enormi quantità, favorendo spesso scelte di parole comuni, sicure e prevedibili rispetto a quelle rare o insolite. Ciò solleva una domanda semplice ma profonda per il futuro dell'espressione umana: se le macchine scrivono una parte significativa dei testi sul web aperto, il linguaggio stesso diventerà più semplice, meno vario e più uniforme?

I ricercatori sospettano da tempo che questo possa accadere. In test controllati, il testo generato dal computer utilizza spesso meno parole distinte rispetto alla scrittura umana. Alcuni studi suggeriscono che, man mano che le persone utilizzano questi strumenti per perfezionare le proprie bozze, la loro scrittura possa scivolare verso uno stile comune e intermedio, perdendo la propria unicità complessa. Tuttavia, dimostrare questo su un internet reale e caotico è difficile. Il web è un luogo caotico dove i cicli di notizie, le tendenze pubblicitarie e le regole delle piattaforme cambiano costantemente. Per trovare un segnale di influenza artificiale, gli scienziati devono distinguere tra un cambiamento genuino causato dall'IA e il rumore naturale di internet. Devono sapere se il linguaggio stia davvero cambiando o se stiano semplicemente vedendo un riflesso ingannevole.

Un nuovo studio si è proposto di rispondere a questa domanda trattando internet come una macchina del tempo. I ricercatori hanno raccolto una vasta collezione di pagine web in inglese da un archivio pubblico noto come Common Crawl, coprendo il periodo dall'inizio del 2020 alla fine del 2024. Questa cronologia è cruciale perché include il periodo prima e dopo il rilascio di un popolare chatbot IA nel novembre 2022, un momento spesso citato come l'inizio dell'adozione diffusa dell'IA. Il team ha diviso il web in diversi quartieri per vedere se l'effetto variava in base al contesto. Hanno esaminato siti di notizie, blog personali, forum di discussione pubblica e pagine di commercio online. Per ciascuno di questi gruppi, hanno misurato due cose specifiche: quante parole diverse apparivano nel testo (diversità lessicale) e come tali parole fossero disposte. Hanno anche cercato un set specifico di parole che sono diventate popolari con i modelli di IA, come "delve" (approfondire), "tapestry" (tessitura/tappeto) e "landscape" (paesaggio), per vedere se questi marcatori stessero aumentando di frequenza.

I ricercatori hanno utilizzato un metodo chiamato serie temporali interrotte, che è essenzialmente un modo per tracciare una linea di tendenza nel tempo per vedere se accade qualcosa di improvviso in una data specifica. Si aspettavano che, se l'IA stesse rimodellando il web, le linee di tendenza per la varietà delle parole avrebbero mostrato un brusco calo subito dopo il novembre 2022. Hanno anche eseguito un controllo rigoroso per garantire che il loro metodo fosse solido. Prima di esaminare i dati reali, hanno testato il loro sistema su date false nel passato. Se il sistema avesse rilevato un cambiamento improvviso in una data in cui non era successo nulla, significava che il metodo era troppo sensibile e probabilmente incline a falsi allarmi. Questo passaggio è vitale perché internet è pieno di picchi e cali casuali che non hanno nulla a che fare con l'intelligenza artificiale.

I risultati di questa attenta investigazione sono stati sorprendentemente silenziosi. Quando i ricercatori hanno esaminato i dati reali, non hanno trovato un calo statisticamente robusto e conclusivo della varietà delle parole come molti avevano previsto. Infatti, quando hanno applicato le loro rigide regole su cosa costituisce una scoperta valida, le prove rimanenti erano inconcludenti; i dati erano troppo rumorosi per confermare un cambiamento, ma anche insufficienti per provare che non fosse avvenuto alcun cambiamento. Gli unici gruppi che mostravano un potenziale declino erano piccoli e statisticamente deboli, il che significa che i dati erano troppo rumorosi per dire con certezza se fosse avvenuto un cambiamento. Lo studio nota esplicitamente che non rimane alcun "null informato" (informative powered null), il che significa che non può escludere definitivamente un calo della diversità del linguaggio, né può confermarlo. Persino i test "placebo", che fungevano da gruppo di controllo, hanno mostrato che il metodo poteva facilmente scambiare il rumore casuale di internet per una vera tendenza. Ad esempio, nella categoria news, il sistema ha erroneamente rilevato un cambiamento importante in una data falsa nel 2021, dimostrando che il metodo non era abbastanza robusto da poter essere considerato affidabile per i risultati reali senza ulteriori prove.

Lo studio ha comunque riscontrato alcuni segni che il vocabolario specifico associato all'IA stava diventando leggermente più comune, in particolare nella scrittura commerciale e giornalistica. Tuttavia, questo aumento era piccolo e non è sopravvissuto ai rigorosi test statistici utilizzati per escludere il caso. Ciò suggerisce che, sebbene l'IA possa lasciare un tenue segno stilistico, non ha ancora causato una semplificazione o un'uniformità significativa del linguaggio in un modo che possa essere chiaramente misurato. I ricercatori hanno concluso che l'idea di un declino improvviso e diffuso della complessità del linguaggio a seguito del rilascio di strumenti di IA non è supportata dai dati di questo periodo, ma la mancanza di un segnale chiaro è dovuta ai limiti dei dati piuttosto che a una prova definitiva che nulla sia accaduto. Il linguaggio del web, almeno negli anni immediatamente successivi al boom dell'IA, sembra aver mantenuto la sua diversità, sebbene lo studio non possa confermarlo con assoluta certezza.

Questo non significa che l'intelligenza artificiale non abbia alcun effetto sul linguaggio, ma solo che l'effetto è più difficile da rilevare rispetto a un semplice calo della varietà delle parole. Lo studio evidenzia la difficoltà di misurare tali cambiamenti in un ecosistema vivo e pulsante come internet. I ricercatori hanno osservato che i loro dati erano limitati dal numero di documenti che potevano elaborare e dal modo specifico in cui gli archivi di internet vengono raccolti. Hanno sottolineato che le loro scoperte sono specifiche per il periodo di tempo studiato e per i tipi di siti web esaminati. Non hanno trovato una "pistola fumante" che provi che l'IA ha omogeneizzato la scrittura umana, ma non hanno nemmeno provato che non lo farà mai. La storia di come l'IA cambia il linguaggio è ancora in fase di scrittura, e questa ricerca funge da nota cautelativa: i cambiamenti potrebbero essere sottili, complessi e facilmente scambiati per il normale rumore del mondo digitale.