DHPLT: large-scale multilingual diachronic corpora and word representations for semantic change modelling
Dieses Paper stellt DHPLT vor, eine offene Sammlung diachronischer Korpora in 41 Sprachen, die auf Web-Crawl-Daten basieren und durch vorab berechnete Wortvektoren sowie lexikalische Substitutionen die semantische Wandelmodellierung über einen breiten multilingualen Spektrum hinweg ermöglichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie wollen verstehen, wie sich die Bedeutung von Wörtern im Laufe der Zeit verändert. Wie hat sich das Wort „Cloud" von einem Wetterphänomen zu einem Speicherort für Ihre Fotos gewandelt? Oder wie hat sich „KI" von einem Begriff aus Science-Fiction-Filmen zu einem Alltagsbegriff entwickelt?
Um das zu erforschen, brauchen Linguisten und Computerwissenschaftler eine riesige Bibliothek von Texten, die genau datiert sind. Das Problem: Solche Bibliotheken gab es bisher fast nur für wenige große Sprachen wie Englisch oder Deutsch. Für die anderen 4000+ Sprachen der Welt fehlten diese Daten völlig.
Hier kommt DHPLT ins Spiel – eine Art „Zeitmaschine für Wörter".
1. Der Rohstoff: Das Internet als Zeitkapsel
Stellen Sie sich das Internet wie einen gigantischen Ozean aus Texten vor. Normalerweise ist es schwer zu sagen, wann genau ein Text geschrieben wurde. Die Autoren des Papers haben einen cleveren Trick angewendet: Sie haben nicht nach dem Schreibdatum gesucht, sondern nach dem Fangdatum.
Stellen Sie sich vor, riesige Roboter (Web-Crawler) schwimmen durch diesen Ozean und fischen Texte heraus. Das Datum, an dem der Roboter den Text „gefangen" hat, ist ihr Signal.
- Früher Fang (2011–2015): Texte, die damals schon im Netz waren.
- Mittlerer Fang (2020–2021): Texte aus der Pandemie-Zeit.
- Neuester Fang (2024): Die allerneuesten Texte.
Das ist wie das Sammeln von Muscheln an drei verschiedenen Stränden: Der Strand von 2015, der von 2021 und der von heute. Auch wenn eine Muschel von 2015 vielleicht erst 2024 gefunden wurde, wissen wir sicher, dass sie vor 2024 existiert hat.
2. Die Sammlung: 41 Sprachen, eine Bibliothek
Bisher konnten Forscher nur mit einer Handvoll Sprachen experimentieren (wie ein Koch, der nur mit Salz, Pfeffer und Zucker kochen darf). DHPLT erweitert den Vorratsschrank dramatisch.
Sie haben 41 verschiedene Sprachen aus 12 Sprachfamilien (von Albanisch über Chinesisch bis hin zu Tamil) gesammelt. Für jede Sprache gibt es drei „Zeit-Schichten" mit je einer Million Texten. Das ist wie ein riesiges, mehrsprachiges Archiv, das man sofort öffnen und durchsuchen kann.
3. Die Werkzeuge: Vorherberechnete Brillen
Normalerweise müsste ein Forscher erst Jahre lang rechen, um diese Texte in eine Form zu bringen, die Computer verstehen können. Die Autoren von DHPLT haben sich gedacht: „Warum nicht die harte Arbeit schon erledigen?"
Sie haben für bestimmte Schlüsselwörter (wie „KI", „Arbeit" oder „Liebe") bereits Bedeutungs-Brillen geschliffen:
- Statische Brillen (Word2Vec): Diese zeigen, welche Wörter oft zusammen vorkommen. Wenn man die Brille von 2011 aufsetzt, sieht man bei „KI" vielleicht Wörter wie „Roboter" oder „Videospiel". Setzt man die Brille von 2024 auf, sieht man plötzlich „ChatGPT" und „Generativ".
- Dynamische Brillen (Transformer-Modelle): Diese sind noch genauer und verstehen den Kontext besser. Sie zeigen, wie sich die Nuancen eines Wortes verschieben.
- Wort-Ersatz-Listen: Das ist wie ein Spiel, bei dem man versucht, ein Wort durch ein anderes zu ersetzen. Wenn man 2011 „KI" durch ein anderes Wort ersetzt, kommt vielleicht „Computer" heraus. 2024 wäre es vielleicht „Algorithmus".
4. Ein konkretes Beispiel: Die Reise des Wortes „KI"
Um zu zeigen, wie gut das funktioniert, haben die Autoren das englische Wort „AI" (Künstliche Intelligenz) untersucht:
- In den 2010ern: Das Wort war eng mit Videospielen verbunden („NPCs", „RPGs"). Es war eher Spielerei.
- In den 2020ern: Es wurde technischer („Roboter", „IoT", „Chatbots").
- Heute (2024): Es ist allgegenwärtig und spezifisch („Generative AI", „LLMs", „ChatGPT").
Das gleiche Muster fand sich auch im Spanischen („IA") und Russischen. Die Daten zeigen klar, wie sich die Welt verändert hat und wie die Sprache darauf reagiert hat.
Warum ist das wichtig?
Früher mussten Forscher erst mühsam ihre eigenen Daten sammeln, was oft Jahre dauerte und nur für wenige Sprachen möglich war. Mit DHPLT ist das wie der Unterschied zwischen dem Jagen und Sammeln von Beeren im Wald und dem Betreten eines voll ausgestatteten Supermarkts.
Jeder Forscher, Student oder Neugierige kann jetzt sofort loslegen und untersuchen, wie sich Sprache in 41 verschiedenen Kulturen verändert hat. Es öffnet die Tür, um zu verstehen, wie die Welt denkt, spricht und sich wandelt – und das nicht nur für die großen Sprachen, sondern für die ganze Welt.
Kurz gesagt: DHPLT ist ein riesiges, kostenloses Geschenk an die Wissenschaft: Eine Zeitreise durch 41 Sprachen, bereit, um die Geheimnisse der Sprachveränderung zu entschlüsseln.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.