\textit{Versteasch du mi?} Computational and Socio-Linguistic Perspectives on GenAI, LLMs, and Non-Standard Language
Dit interdisciplinaire artikel onderzoekt vanuit kritische sociolinguïstische en computationele perspectieven hoe generatieve AI en grote taalmodellen omgaan met niet-standaard talenvariëteiten, zoals Zuid-Tiroler dialecten en Koerdisch, en welke technische en beleidsmatige stappen nodig zijn om de digitale taaldivisie te overbruggen en decoloniale strategieën te bevorderen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
"Versteasch du mi?" – Waarom AI je dialect soms niet begrijpt
Stel je voor dat je met je beste vriend in je eigen huispraat, vol met grappige woorden, lokale uitdrukkingen en een beetje 'snoep' in je zinnen. Je zegt: "Versteasch du mi?" (Begrijp je me? in het Zuid-Tiroolse dialect). Maar als je dit tegen een slimme robot vertelt, kijkt die je raar aan en zegt hij: "Sorry, ik ken dat woord niet."
Dit is precies waar dit onderzoek over gaat. De auteurs, Verena, John en Sina, kijken naar waarom de slimste computers ter wereld (zoals ChatGPT) vaak niet snappen wat mensen zeggen die een dialect spreken of een minderheidstaal gebruiken.
Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.
1. De "Standaard" is de enige die telt (tot nu toe)
Stel je voor dat de wereld van taal een enorme school is. In deze school is er één taal die als "de echte taal" wordt gezien: de Standaardtaal (zoals Standaard-Duits of Standaard-Engels). Dit is de taal die op school wordt geleerd, in de krant staat en door de overheid wordt gebruikt.
Alle andere talen en dialecten worden gezien als "huiswerk" of "vrijwilligerswerk". Ze zijn leuk om te doen in de tuin, maar niet serieus genoeg voor de klas.
De kunstmatige intelligentie (AI) is opgeleid met boeken, kranten en websites. Omdat die bijna allemaal in de "Standaardtaal" zijn geschreven, denkt de AI dat alleen die taal bestaat. Als je dialect spreekt, is het voor de AI alsof je probeert een recept te geven in een taal die de chef-kok nog nooit heeft gehoord.
2. De "Taal-Taks" (De Token-Boete)
Dit is misschien wel het belangrijkste punt in het artikel. Computers lezen tekst niet woord voor woord, maar in stukjes die ze "tokens" noemen.
- Standaardtaal: Het woord "tokenization" is voor de computer één of twee grote stukjes. Dat is makkelijk en goedkoop.
- Dialect: Het woord in je dialect is voor de computer een raadsel. Omdat de computer het niet kent, breekt hij het woord op in heel kleine, betekenisloze stukjes (zoals letters of rare lettercombinaties).
De analogie:
Stel je voor dat je een pakketje wilt versturen.
- Als je een standaardpakketje hebt, past het in één doosje. De postbode betaalt €1.
- Als je een dialect-pakketje hebt, moet de postbode het eerst in 10 kleine doosjes doen omdat hij het niet begrijpt. Hij moet 10 keer betalen voor het verzendkosten.
Dit noemen de auteurs de "Token-Boete". Mensen die dialect spreken betalen letterlijk meer (in tijd, geld en rekenkracht) om dezelfde boodschap te sturen als iemand die Standaardtaal spreekt. Het is een vorm van digitale discriminatie.
3. Twee voorbeelden uit de praktijk
De auteurs kijken naar twee specifieke groepen om hun punt te maken:
A. Het Zuid-Tiroolse Dialect (Italië)
In Zuid-Tirol (Italië) praten mensen in het dagelijks leven een mix van Duits en lokale dialecten. Maar in de scholen en bij de overheid is alleen Standaard-Duits de norm.
- Het probleem: De computer ziet dit dialect niet als een aparte taal. Er is geen "identiteitskaart" (een ISO-code) voor het dialect. Voor de computer bestaat het dus niet. Als je vraagt of de robot het begrijpt, zegt hij misschien "ja", maar dat is omdat hij het Standaard-Duits eronder probeert te verbergen. Hij begrijpt de echte ziel van het dialect niet.
B. De Koerdische Talen
Koerdisch wordt door 40 miljoen mensen gesproken, maar het is verdeeld over verschillende landen (Turkije, Iran, Irak, Syrië). Er zijn veel verschillende varianten (zoals Kurmanji, Sorani, Zazaki).
- Het probleem: De varianten die door de overheid worden erkend (zoals Sorani in Irak) krijgen wel wat aandacht van computers. Maar de kleinere varianten (zoals Hawrami of Laki) worden genegeerd.
- De cyclus: Omdat er weinig tekst op internet is van deze kleine varianten (omdat ze vroeger verboden waren), leert de computer ze niet. Omdat de computer ze niet kent, durven mensen ze niet online te gebruiken. En zo blijft het een vicieuze cirkel: geen data = geen AI = geen gebruik.
4. Wat kunnen we eraan doen?
De auteurs zeggen: "Het is niet alleen een technisch probleem, het is een politiek probleem." We kunnen de robots niet gewoon "slimmer" maken; we moeten de regels veranderen.
Ze stellen drie oplossingen voor:
De "Grote Tech" bedrijven moeten verantwoording afleggen:
Bedrijven zoals Google of Meta moeten eerlijk zeggen: "Onze AI werkt 50% slechter voor dialectsprekers dan voor Standaard-sprekers." Ze moeten een beloningssysteem krijgen als ze dit verbeteren, net als een school die een prijs krijgt voor het helpen van zwakke leerlingen."Niets over ons zonder ons":
De mensen die het dialect spreken, moeten zelf de baas zijn over hun data. In plaats dat een groot bedrijf hun taal "afpikt" om hun AI te trainen, moeten de gemeenschappen zelf beslissen wat er met hun taal gebeurt. Zij moeten de "hoeders" van hun eigen taal zijn.Samenwerking tussen experts:
Taalkundigen (die begrijpen hoe mensen praten) moeten samenwerken met computerwetenschappers (die de robots bouwen). Zodat de robots niet alleen "correct" zijn, maar ook "echt" en "menselijk".
Conclusie
Kortom: AI is momenteel als een enorme bibliotheek die alleen boeken in Standaardtaal heeft. Als je een verhaal in dialect wilt vertellen, moet je het eerst vertalen naar Standaardtaal voordat de bibliotheek het accepteert.
De auteurs willen een bibliotheek waar alle verhalen welkom zijn, ongeacht hoe ze klinken. Want als AI alleen de standaardtaal begrijpt, verliezen we een groot deel van de mensheid en hun cultuur in de digitale wereld. Het gaat erom dat AI niet alleen slim is, maar ook eerlijk.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.