Evaluating Metalinguistic Knowledge in Large Language Models across the World's Languages
Deze studie toont aan dat de metalinguïstische kennis van grote taalmodellen beperkt en gefragmenteerd is, sterk afhankelijk van de digitale beschikbaarheid van talen en bronnen in plaats van een algemeen grammaticaal inzicht, en introduceert een nieuw meerlinguïstisch evaluatiekader gebaseerd op WALS.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een groep zeer slimme, digitale bibliothecarissen hebt. Deze bibliothecarissen (de Large Language Models of LLM's) hebben miljarden boeken gelezen en kunnen in duizenden talen vloeiend praten, verhalen schrijven en vragen beantwoorden. Ze lijken alsof ze alles weten.
Maar hier is de vraag die de auteurs van dit onderzoek stellen: Weten ze echt iets over hoe taal werkt, of zijn ze gewoon heel goed in het nabootsen van wat ze hebben gelezen?
Het is het verschil tussen iemand die perfect kan zingen (taal gebruiken) en iemand die de muziektheorie kan uitleggen (metataal-kennis).
Hier is een simpele uitleg van wat ze hebben gedaan en wat ze ontdekten, met een paar creatieve vergelijkingen:
1. De Grote Test: De "Taal-Atlas"
De onderzoekers wilden weten of deze AI's echt begrijpen hoe talen zijn opgebouwd. Om dit te testen, gebruikten ze een enorme, wereldwijde kaart van talen, genaamd WALS. Dit is als een gigantische encyclopedie die 2.660 verschillende talen beschrijft, van het Engels tot talen die alleen nog maar door een paar honderd mensen in de jungle worden gesproken.
In deze encyclopedie staan 192 soorten "taal-regels" (zoals: "Zet je het bijvoeglijk naamwoord voor of na het zelfstandig naamwoord?", "Heeft deze taal klanken die we niet in het Engels hebben?").
De onderzoekers veranderden deze regels in een meerkeuzetest. Ze vroegen de AI's: "Hoe werkt het meervoud in de taal X?" met vier mogelijke antwoorden.
2. Het Resultaat: Slimme Nachtmensen, maar geen Taalmeesters
De uitkomst was verrassend en een beetje teleurstellend voor de hype rond AI:
- Ze zijn niet zo slim als ze doen: Zelfs de slimste AI (GPT-4o) haalde maar een 37% score. Dat is net iets beter dan raden, maar ver weg van een "A" op school. De open-source modellen deden het nog slechter.
- Ze gissen op patronen: De AI's deden het net iets beter dan puur gokken, maar ze deden het niet beter dan iemand die altijd het meest voorkomende antwoord zou kiezen.
- Vergelijking: Stel je voor dat je een quiz doet over de hoofdsteden van de wereld. Als je altijd "Parijs" zou raden, zou je in veel gevallen goed zitten, omdat Parijs een bekende stad is. De AI's doen precies dat: ze raden de "bekende" taalregels, maar als je ze vraagt over een zeldzame taal, raken ze in paniek. Ze hebben geen diep inzicht; ze hebben een statistisch geheugen.
3. De "Zichtbaarheid"-Factor: Waarom sommige talen beter scoren
Er was een duidelijk patroon in de resultaten:
- Populaire talen (zoals Engels, Spaans, Chinees): De AI's deden het hier redelijk goed.
- Moeilijke, zeldzame talen (zoals talen van inheemse volkeren in het Amazonegebied): De AI's deden het hier verschrikkelijk slecht.
De oorzaak? Het heeft alles te maken met online zichtbaarheid.
- Vergelijking: Stel je voor dat de AI's een spiegel zijn die alleen kan reflecteren wat er in de kamer staat. Als er een groot, fel verlicht schilderij van een Spaanse taal aan de muur hangt (veel boeken, websites, Wikipedia-artikelen), ziet de spiegel dat helder. Maar als er een klein, donker schilderij van een zeldzame taal in de hoek hangt (weinig data), ziet de spiegel er niets van.
- De AI's weten niet meer over een taal dan wat er op internet over te vinden is. Als er weinig data is, is hun kennis "brokkelig" en onbetrouwbaar.
4. Wat betekent dit voor de toekomst?
De onderzoekers concluderen dat deze AI's geen echte taalkundigen zijn. Ze hebben geen universeel inzicht in hoe menselijke taal werkt. Ze zijn meer als super-imitators die alleen goed zijn in de talen waar ze veel van hebben gelezen.
Dit is een groot probleem voor talen die al in gevaar zijn om uit te sterven. Mensen hopen vaak dat AI kan helpen om deze talen te bewaren of te vertalen. Maar dit onderzoek laat zien: als een taal niet digitaal aanwezig is, kan de AI haar niet helpen. De AI "weet" die taal niet.
Samenvattend in één zin:
Deze digitale bibliothecarissen zijn uitstekend in het reciteren van wat ze hebben gelezen in populaire boeken, maar ze hebben geen idee hoe de grammatica van een taal werkt als ze die taal nooit in een boek hebben gezien. Ze zijn slim, maar hun kennis is gebaseerd op wat er op internet staat, niet op een echt begrip van de wereld.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.