Placebo Failures in Domain-Stratified Interrupted Time Series of Mean Lexical Diversity on the Post-2022 Web: A Methodological Caution on Common Crawl MATTR/MTLD Break- point Identification (with Secondary LLM-Associated Vocabulary Markers)

Jede bedeutende Kommunikationstechnologie hinterlässt eine Spur in der Art und Weise, wie wir sprechen und schreiben. Als die Druckerpresse aufkam, standardisierte sie Rechtschreibung und Grammatik. Als das Internet Fuß fasste, beschleunigte es die Verbreitung von Slang und verkürzten Sätzen. Nun ist eine neue Kraft in das Gespräch eingetreten: künstliche Intelligenz, die für uns schreibt. Diese großen Sprachmodelle übertragen nicht nur die menschliche Sprache; sie generieren sie in gewaltigen Mengen und bevorzugen dabei oft gängige, sichere und vorhersehbare Wortwahlen gegenüber seltenen oder ungewöhnlichen. Dies wirft eine einfache, aber tiefgreifende Frage für die Zukunft des menschlichen Ausdrucks auf: Wenn Maschinen einen signifikanten Teil des Textes im offenen Web schreiben, wird die Sprache selbst dann einfacher, weniger vielfältig und einheitlicher werden?

Forscher vermuteten schon lange, dass dies passieren könnte. In kontrollierten Tests verwendet computergenerierter Text oft weniger verschiedene Wörter als menschliches Schreiben. Einige Studien deuten darauf an, dass die Sprache der Menschen dazu neigen könnte, in einen gemeinsamen, mittelmäßigen Stil abzugleiten und ihre einzigartige Komplexität zu verlieren, wenn sie diese Werkzeuge nutzen, um ihre eigenen Entwürfe zu verfeinern. Es ist jedoch schwierig, dies im echten, chaotischen Internet zu beweisen. Das Web ist ein chaotischer Ort, an dem Nachrichtenzyklen, Werbetrends und Plattformregeln ständig im Wandel sind. Um ein Signal künstlichen Einflusses zu finden, müssen Wissenschaftler zwischen einer echten Verschiebung durch KI und dem natürlichen Rauschen des Internets unterscheiden. Sie müssen wissen, ob sich die Sprache wirklich verändert oder ob sie lediglich einen Lichteffekt sehen.

Eine neue Studie setzte an, dies zu beantworten, indem sie das Internet wie eine Zeitmaschine behandelte. Die Forscher sammelten eine massive Sammlung englischer Webseiten aus einem öffentlichen Archiv namens Common Crawl, die den Zeitraum von Anfang 2020 bis Ende 2024 abdeckt. Dieser Zeitrahmen ist entscheidend, da er die Zeit vor und nach der Veröffentlichung eines populären KI-Chatbots im November 2022 umfasst – ein Moment, der oft als Beginn der weit verbreiteten KI-Nutzung angeführt wird. Das Team teilte das Web in verschiedene Nachbarschaften auf, um zu sehen, ob der Effekt je nach Kontext variiert. Sie untersuchten Nachrichtenseiten, persönliche Blogs, öffentliche Diskussionsforen und kommerzielle Webseiten. Für jede dieser Gruppen maßen sie zwei spezifische Dinge: wie viele verschiedene Wörter im Text vorkamen (lexikalische Diversität) und wie diese Wörter angeordnet waren. Sie suchten auch nach einer spezifischen Gruppe von Wörtern, die bei KI-Modellen populär geworden sind, wie etwa „delve“ (vertiefen), „tapestry“ (Teppich/Geflecht) und „landscape“ (Landschaft), um zu sehen, ob diese Marker in ihrer Häufigkeit anstiegen.

Die Forscher verwendeten eine Methode namens unterbrochene Zeitreihenanalyse, was im Wesentlichen eine Art ist, eine Trendlinie über die Zeit zu verfolgen, um zu sehen, ob zu einem bestimmten Datum etwas Plötzliches geschieht. Sie erwarteten, dass die Trendlinien der Wortvielfalt unmittelbar nach November 2022 einen scharfen Abfall zeigen würden, falls die KI das Web umgestaltet. Sie führten auch eine strenge Prüfung durch, um sicherzustellen, dass ihre Methode fundiert war. Bevor sie die echten Daten betrachteten, testeten sie ihr System mit fiktiven Daten in der Vergangenheit. Wenn das System behauptete, eine plötzliche Änderung an einem Datum gefunden zu haben, an dem nichts geschah, bedeutete dies, dass die Methode zu sensibel war und wahrscheinlich Fehlalarme produzte. Dieser Schritt ist entscheidend, da das Internet voller zufälliger Spitzen und Einbrüche ist, die nichts mit künstlicher Intelligenz zu tun haben.

Die Ergebnisse dieser sorgfältigen Untersuchung waren überraschend ruhig. Als die Forscher die echten Daten betrachteten, fanden sie keinen statistisch robusten, schlüssigen Rückgang der Wortvielfalt, wie ihn viele vorhergesagt hatten. Tatsächlich war, als sie ihre strengen Regeln anwandten, was als gültige Entdeckung gilt, die verbleibende Evidenz nicht schlüssig; die Daten waren zu verrauscht, um eine Veränderung zu bestätigen, aber auch unzureichend, um zu beweisen, dass keine Veränderung stattfand. Die einzigen Gruppen, die einen potenziellen Rückgang zeigten, waren klein und statistisch schwach, was bedeutet, dass die Daten zu verrauscht waren, um sicher zu sagen, ob eine Veränderung stattgefunden hatte. Die Studie stellt explizit fest, dass kein „informativ gepowertes Nullergebnis“ (informative powered null) verbleibt, was bedeutet, dass sie einen Rückgang der Sprachdiversität weder definitiv ausschließen noch bestätigen kann. Selbst die „Placebo“-Tests, die als Kontrollgruppe dienten, zeigten, dass die Methode leicht zufälliges Internetrauschen für einen echten Trend halten konnte. Beispielsweise detektierte das System in der Kategorie Nachrichten fälschlicherweise eine große Verschiebung an einem fiktiven Datum im Jahr 2021, was bewies, dass die Methode nicht robust genug war, um die realen Ergebnisse ohne weiteren Beweis zu vertrauen.

Die Studie fand jedoch Anzeichen dafür, dass der spezifischen, mit KI assoziierten Vokabeln etwas häufiger vorkam, insbesondere in kommerziellen Texten und Nachrichten. Dieser Anstieg war jedoch geringfügig und hielt den strengen statistischen Tests, die zur Eliminierung von Zufällen eingesetzt wurden, nicht stand. Dies deutet darauf, dass KI zwar einen schwachen stilistischen Fingerabdruck hinterlassen mag, aber noch nicht dazu geführt hat, dass die Sprache signifikant einfacher oder einheitlicher wird, in einer Weise, die klar messbar wäre. Die Forscher kamen zu dem Schluss, dass die Idee eines plötzlichen, weit verbreiteten Rückgangs der Sprachkomplexität nach der Veröffentlichung von KI-Werkzeugen durch die Daten dieses Zeitraums nicht gestützt wird; jedoch ist das Fehlen eines klaren Signals auf die Einschränkungen der Daten zurückzuführen und nicht auf einen definitiven Beweis dafür, dass nichts geschah. Die Sprache des Webs scheint, zumindest in den Jahren unmittelbar nach dem KI-Boom, ihre Diversität bewahrt zu haben, wenngleich die Studie dies nicht mit absoluter Gewissheit bestätigen kann.

Dies bedeutet nicht, dass künstliche Intelligenz keinen Einfluss auf die Sprache hat, sondern nur, dass der Effekt schwerer zu detektieren ist als ein einfacher Rückgang der Wortvielfalt. Die Studie hebt die Schwierigkeit hervor, solche Veränderungen in einem lebendigen, atmenden Ökosystem wie dem Internet zu messen. Die Forscher merkten an, dass ihre Daten durch die Anzahl der Dokumente, die sie verarbeiten konnten, und die spezifische Art und Weise, wie Internetarchive gesammelt werden, begrenzt waren. Sie betonten, dass ihre Ergebnisse spezifisch für den von ihnen untersuchten Zeitraum und die von ihnen untersuchten Arten von Websites gelten. Sie fanden keinen „rauchenden Colt“, der beweist, dass die KI das menschliche Schreiben homogenisiert hat, aber sie bewiesen auch nicht, dass sie es nie tun wird. Die Geschichte darüber, wie KI die Sprache verändert, wird noch geschrieben, und diese Forschung dient als mahnender Hinweis: Die Veränderungen können subtil, komplex und leicht mit dem normalen Rauschen der digitalen Welt zu verwechseln sein.