Placebo Failures in Domain-Stratified Interrupted Time Series of Mean Lexical Diversity on the Post-2022 Web: A Methodological Caution on Common Crawl MATTR/MTLD Break- point Identification (with Secondary LLM-Associated Vocabulary Markers)

Elke belangrijke communicatietechnologie laat een spoor achter in hoe we spreken en schrijven. Toen de drukpers arriveerde, standaardiseerde het spelling en grammatica. Toen het internet voet aan de grond kreeg, versnelde het de verspreiding van slang en verkorte zinnen. Nu is er een nieuwe kracht die het gesprek betreedt: kunstmatige intelligentie die voor ons schrijft. Deze grote taalmodellen zenden menselijke taal niet alleen over; ze genereren het in enorme hoeveelheden, waarbij ze vaak de voorkeur geven aan algemene, veilige en voorspelbare woordkeuzes boven zeldzame of ongebruikelijke woorden. Dit roept een eenvoudige maar diepgaande vraag op voor de toekomst van de menselijke expressie: als machines een aanzienlijk deel van de tekst op het open web schrijven, zal de taal dan eenvoudiger, minder gevarieerd en uniformer worden?

Onderzoekers vermoedden al lang dat dit zou kunnen gebeuren. In gecontroleerde tests gebruikt door de computer gegenereerde tekst vaak minder verschillende woorden dan menselijk geschreven teksten. Sommige studies suggereren dat naarmate mensen deze hulpmiddelen gebruiken om hun eigen concepten te polijsten, hun schrijfstijl naar een gedeelde, gemiddelde stijl kan neigen, waarbij de unieke complexiteit verloren gaat. Het is echter moeilijk om dit te bewijzen op het echte, chaotische internet. Het web is een chaotische plek waar nieuwscycli, advertentietrends en platformregels voortdurend veranderen. Om een signaal van kunstmatige invloed te vinden, moeten wetenschappers onderscheid maken tussen een genuïne verschuiving veroorzaakt door AI en de natuurlijke ruis van het internet. Ze moeten weten of de taal werkelijk verandert of dat ze simpelweg een optische illusie zien.

Een nieuwe studie probeerde dit te beantwoorden door het internet te behandelen als een tijdmachine. De onderzoekers verzamelden een enorme collectie Engelse webpagina's uit een publiek archief genaamd Common Crawl, die de periode van begin 2020 tot eind 2024 beslaat. Deze tijdlijn is cruciaal omdat deze de tijd bevat vóór en na de release van een populaire AI-chatbot in november 2022, een moment dat vaak wordt aangehaald als het begin van de wijdverspreide adoptie van AI. Het team verdeelde het web in verschillende buurten om te zien of het effect varieerde per context. Ze keken naar nieuwswebsites, persoonlijke blogs, publieke discussiefora en commerciële pagina's. Voor elke van deze groepen maten ze twee specifieke zaken: hoeveel verschillende woorden in de tekst voorkwamen (lexicale diversiteit) en hoe die woorden waren gerangschikt. Ze keken ook naar een specifieke set woorden die populair zijn geworden bij AI-modellen, zoals "delve", "tapestry" en "landscape", om te zien of deze markers in frequentie toenamen.

De onderzoekers gebruikten een methode genaamd een onderbroken tijdreeksanalyse, wat in essentie een manier is om een trendlijn over de tijd te volgen om te zien of er op een specifieke datum iets plotselings gebeurt. Ze verwachtten dat als AI het web vormgaf, de trendlijnen voor woordvariatie een scherpe daling zouden laten zien direct na november 2022. Ze voerden ook een rigoureuze controle uit om ervoor te zorgen dat hun methode deugde. Voordat ze naar de echte data keken, testten ze hun systeem op fictieve data in het verleden. Als het systeem een plotselinge verandering claimde te vinden op een datum waarop niets gebeurde, betekende dit dat de methode te gevoelig was en waarschijnlijk valse alarmen zou geven. Deze stap is essentieel omdat het internet vol zit met willekeurige pieken en dalen die niets met kunstmatige intelligentie te maken hebben.

De resultaten van dit zorgvuldige onderzoek waren verrassend stil. Toen de onderzoekers naar de echte data keken, vonden ze geen statistisch robuuste, concludente daling in woordvariëteit zoals velen hadden voorspeld. Sterker nog, toen ze hun strikte regels toepasten voor wat telt als een geldige ontdekking, was het resterende bewijs inconclusief; de data waren te luidruchtig om een verandering te bevestigen, maar ook onvoldoende om te bewijzen dat er geen verandering plaatsvond. De enige groepen die een potentiële daling vertoonden, waren klein en statistisch zwak, wat betekent dat de data te luidruchtig waren om met zekerheid te zeggen of er een verandering had plaatsgevonden. De studie merkt expliciet op dat er geen "informatieve krachtige nul" overblijft, wat betekent dat het niet definitief een afname in taalvariëteit kan uitsluiten, noch kan bevestigen dat er een is. Zelfs de "placebo"-testen, die fungeerden als een controlegroep, lieten zien dat de methode gemakkelijk willekeurige internetruis voor een echte trend kon aanzien. Bijvoorbeeld, in de nieuwscategorie detecteerde het systeem ten onrechte een grote verschuiving op een fictieve datum in 2021, wat bewees dat de methode niet robuust genoeg was om de echte resultaten zonder verder bewijs te vertrouwen.

De studie vond wel enkele tekenen dat de specifieke woordenschat die geassocieerd wordt met AI iets gebruikelijker werd, met name in commerciële en nieuwsgerelateerde teksten. Echter, deze toename was klein en overleefde niet de strikte statistische tests die werden gebruikt om toeval uit te sluiten. Dit suggereert dat hoewel AI misschien een vage stilistische vingerafdruk achterlaat, het de taal nog niet op een significant merkbare manier eenvoudiger of uniformer heeft gemaakt. De onderzoekers concludeerden dat het idee van een plotselinge, wijdverbreide afname in taalcomplexiteit na de release van AI-tools niet wordt ondersteund door de data uit deze periode, maar dat het gebrek aan een duidelijk signaal te wijten is aan de beperkingen van de data, en niet aan een definitief bewijs dat er niets is gebeurd. De taal van het web, althans in de jaren direct volgend op de AI-boom, lijkt haar diversiteit te hebben behouden, hoewel de studie dit niet met absolute zekerheid kan bevestigen.

Dit betekent niet dat kunstmatige intelligentie geen effect heeft op taal, alleen dat het effect moeilijker te detecteren is dan een eenvoudige daling in woordvariëteit. De studie benadrukt de moeilijkheid van het meten van dergelijke veranderingen in een levend, ademend ecosysteem zoals het internet. De onderzoekers merkten op dat hun data beperkt werden door het aantal documenten dat ze konden verwerken en de specifieke manier waarop internetarchieven worden verzameld. Ze benadrukten dat hun bevindingen specifiek zijn voor de onderzochte periode en de soorten websites die zij hebben onderzocht. Ze vonden geen "smoking gun" die bewijst dat AI het menselijk schrijven heeft homogeen gemaakt, maar ze hebben ook niet bewezen dat het dat nooit zal doen. Het verhaal van hoe AI de taal verandert, wordt nog steeds geschreven, en dit onderzoek dient als een waarschuwing: de veranderingen kunnen subtiel, complex en gemakkelijk te verwarren zijn met de normale ruis van de digitale wereld.