DHPLT: large-scale multilingual diachronic corpora and word representations for semantic change modelling
In dit artikel wordt DHPLT gepresenteerd, een open collectie van diachrone corpora in 41 talen met vooraf berekende woordembeddings en lexicale substituties, die is ontwikkeld om het gebrek aan meertalige bronnen voor het modelleren van semantische verandering aan te vullen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
DHPLT: De "Tijdmachine" voor Woorden in 41 Talen
Stel je voor dat je een enorme bibliotheek hebt, maar dan niet met boeken die jaren oud zijn, maar met de hele wereld van internet. In deze bibliotheek staan miljarden pagina's, van nieuwsberichten tot blogposts, in 41 verschillende talen.
De onderzoekers van dit paper hebben een nieuw project gelanceerd genaamd DHPLT. Je kunt dit zien als een tijdmachine voor taal. Hun doel? Kijken hoe woorden veranderen in betekenis naarmate de tijd verstrijkt.
Hier is hoe het werkt, vertaald naar alledaagse taal:
1. Het Bouwstenen: Een Web van Internetpagina's
Vroeger moesten taalkundigen handmatig oude krantenarchieven zoeken om te zien hoe taal veranderde. Dat was als het zoeken naar een naald in een hooiberg, en vaak alleen beschikbaar voor talen als Engels of Duits.
De auteurs van DHPLT hebben een slimme truc bedacht. Ze hebben gekeken naar enorme verzamelingen van internetpagina's die al door computers zijn verzameld (de "HPLT" datasets). In plaats van te wachten tot een mens een datum opschrijft, kijken ze naar de tijdstempel van het downloaden.
- De Analogie: Stel je voor dat je een foto maakt van een straat. Je weet niet precies wanneer de mensen op de foto zijn geboren, maar je weet wel dat de foto niet later is gemaakt dan de dag dat je hem nam. Als je foto's maakt in 2015, 2020 en 2024, heb je een goed beeld van hoe de straat eruitzag op die momenten, zelfs als er op de 2024-foto nog wat oude gebouwen staan.
Ze hebben voor 41 talen (van Nederlands en Spaans tot Japans en Tamil) drie "tijdschijven" geselecteerd:
- Oude tijden: 2011-2015.
- De Coronatijd: 2020-2021.
- Heden: 2024 en later.
2. De "Woord-Deelneemsters"
Om te zien hoe taal verandert, kun je niet alle woorden op de hele wereld analyseren; dat is te veel werk. Daarom hebben ze een selectie gemaakt van interessante woorden, zoals "AI", "remote" (op afstand) of "juridisch".
Ze hebben voor deze woorden een rekenmachine gebouwd die de betekenis in kaart brengt.
- Statische foto's: Ze hebben voor elk tijdvak een "woord-kaart" gemaakt. Dit is als een foto van hoe een woord wordt gebruikt.
- De dynamische video: Door deze foto's naast elkaar te leggen, kunnen ze zien hoe het woord "AI" is veranderd.
3. Een Voorbeeld: Het Woord "AI"
Laten we kijken naar het woord "AI" (Kunstmatige Intelligentie) in het Engels, zoals beschreven in het paper:
- In 2011-2015: Als je naar de "buren" van het woord AI keek, zag je vooral termen uit videospellen: NPC's, RPG's, FPS. AI was toen vooral iets voor gamers en robots in films.
- In 2020-2021: De buren veranderden. Nu zag je woorden als chatbots, IoT (Internet of Things) en robotics. AI werd serieuzer, maar nog steeds technisch.
- In 2024: De buren zijn nu ChatGPT, generative AI, LLM's. AI is overal, het is creatief en het maakt ons soms zelfs een beetje bang (woorden als censorship en scammers duiken op).
Dit laat zien hoe snel de wereld verandert en hoe woorden diezelfde snelheid volgen. En het mooie is: dit hebben ze niet alleen voor Engels gedaan, maar ook voor het Spaanse "IA" en het Russische "ИИ".
4. Waarom is dit belangrijk?
Vroeger konden onderzoekers alleen kijken naar taalverandering in een handvol rijke talen (zoals Engels of Duits). DHPLT opent de deur voor 41 talen.
- Het is alsof je vroeger alleen naar de weersverwachting in Amsterdam kon kijken, en nu kun je het weer in heel Europa, Azië en Afrika tegelijk vergelijken.
- Dit helpt ons te begrijpen of taalverandering overal hetzelfde gaat, of dat culturen hun eigen unieke manier hebben om woorden te laten evolueren.
5. De Grootte van de Schaal
Het project is enorm. Ze hebben ongeveer 1 miljoen documenten per taal per tijdvak verzameld. Dat is in totaal ongeveer 59 miljard woorden! Ze hebben ook al de zware rekenwerkzaamheden voor de woordbetekenissen voor je gedaan, zodat andere onderzoekers direct kunnen beginnen met experimenteren zonder zelf maandenlang computers te laten draaien.
Kortom: DHPLT is een gigantische, gratis openbare bibliotheek die ons toelaat om terug te reizen in de tijd om te zien hoe woorden in 41 verschillende talen hun jas hebben verwisseld. Het is een hulpmiddel om te begrijpen hoe de wereld verandert, één woord tegelijk.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.