💬 NLP

Corpora deduplication or duplication in Natural Language Processing of few resourced languages ? A case of study: The Mexico's Nahuatl

Dit onderzoek toont aan dat gecontroleerde duplicatie van teksten in het Nahuatl, een taal met beperkte digitale bronnen, de prestaties van taalkundige modellen voor zinssemantische gelijkenis matig verbetert.

Oorspronkelijke auteurs: Juan-José Guzman-Landa, Juan-Manuel Torres-Moreno, Graham Ranger, Miguel Figueroa-Saavedra, Martha-Lorena Avendaño-Garrido, Elvys Linhares-Pontes, Luis-Gil Moreno-Jiménez

Gepubliceerd 2026-04-09

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Juan-José Guzman-Landa, Juan-Manuel Torres-Moreno, Graham Ranger, Miguel Figueroa-Saavedra, Martha-Lorena Avendaño-Garrido, Elvys Linhares-Pontes, Luis-Gil Moreno-Jiménez

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek wilt bouwen om een taal te leren, maar je hebt maar één klein boekje. Dat is precies de situatie voor talen als Nahuatl (gesproken in Mexico) in de wereld van kunstmatige intelligentie (AI).

Deze wetenschappers stellen een verrassende vraag: Wat als we dat ene boekje niet weggooien, maar er 30 exacte kopieën van maken om de bibliotheek groter te maken?

Hier is een simpele uitleg van hun onderzoek, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Hongerige" AI

Grote AI-modellen (zoals de slimme chatbots die we vandaag kennen) zijn als extreem hongerige kinderen. Om een taal echt te begrijpen, moeten ze miljarden woorden "eten". Voor talen als Engels of Chinees is er een overvloed aan voedsel (teksten op internet).

Maar voor talen als Nahuatl (een taal met veel dialecten en complexe woordopbouw) is er bijna niets. Er is geen "buffet", slechts een paar kruimels. Zonder genoeg data kan de AI de taal niet leren.

2. De Oplossing: Het "Kopieer-En-Plak" Trucje

Normaal gesproken zeggen AI-experts: "Doe geen dubbele teksten in je dataset! Dat maakt de AI dom en lui." Ze noemen dit deduplication (het verwijderen van dubbele stukken).

Deze onderzoekers dachten echter: "Wacht eens even. Als je maar één tekst hebt, maakt het niet uit als je die 30 keer herhaalt. Misschien helpt herhaling juist om de AI de fijne kneepjes van die specifieke taal te leren."

Ze namen een bestaande verzameling Nahuatl-teksten (het π-YALLI corpus) en maakten er kopieën van. Ze verdubbelden, verdrievoudigden, en gingen zelfs tot 30 keer zo groot. Het was alsof ze een klein stukje brood in 30 stukjes hieuwen en die stapelden, zodat het leek op een groot brood.

3. Het Experiment: De Taaltest

Om te kijken of dit werkte, lieten ze verschillende AI-modellen (de "leerlingen") oefenen op deze vergrote stapels. Vervolgens gaven ze ze een proef: "Welke twee zinnen betekenen hetzelfde?"

Ze gebruikten een meetlat (een statistische score) om te zien hoe goed de AI het deed.

4. De Resultaten: Wie won?

Het was een beetje zoals een sportwedstrijd met verschillende atleten:

De Winnaars (FastText en Word2Vec): Deze modellen werden beter door de herhaling.
- De Analogie: Stel je voor dat je een nieuwe dansstap probeert te leren. Als je het maar één keer doet, vergeet je het snel. Maar als je het 10 of 20 keer herhaalt, begint je spiergeheugen het te "voelen". De AI leerde door de herhaling de structuur van Nahuatl beter te snappen.
- Het model Word2Vec werd zelfs 35% beter door de kopieën.
- Het model FastText werd 8% beter.
De Verliezer (Glove): Dit model werd niet beter, en werd zelfs een beetje slechter.
- De Analogie: Dit was als een atleet die door te veel herhaling in de war raakte. Het leerde niet van de extra kopieën.
De Vergelijking: Zelfs de beste AI's die we hebben, getraind op enorme databases van Wikipedia of het internet, deden het slechter dan de AI die speciaal getraind was op de "geknipte" Nahuatl-teksten. Dit bewijst dat voor een taal als Nahuatl, kwaliteit en specifieke herhaling belangrijker zijn dan een enorme, maar ongerelateerde hoeveelheid data.

5. Waarom is dit belangrijk?

Voor talen die weinig digitale bronnen hebben (de onderzoekers noemen ze "π-talen"), is dit een doorbraak. Het betekent dat we niet hoeven te wachten tot er miljoenen nieuwe boeken in Nahuatl geschreven worden. We kunnen bestaande teksten slim hergebruiken om AI-tools te bouwen die:

Vertalingen kunnen maken.
Samenvattingen kunnen schrijven.
De taal levend houden voor de gemeenschap.

Conclusie

De boodschap van dit papier is simpel: Soms is herhaling goud waard. Voor talen die vergeten dreigen te raken door de digitale storm, kan het simpelweg kopiëren van beschikbare teksten de sleutel zijn om slimme computers die taal weer te laten spreken. Het is alsof je een zeldzame plant niet weggooit omdat je maar één zaadje hebt, maar die plant 30 keer plant om een tuin te maken waaruit nieuwe generaties kunnen groeien.

Technische Samenvatting: Corpora Verdubbeling voor Taalmodellen in Nahuatl

1. Het Probleem: Schaarste aan Data voor $\pi$ -talen

Grote Taalmodellen (LLM's) vereisen doorgaans honderden miljoenen tot miljarden woorden om de diepe structuur van een taal te leren. Voor talen met veel computerruimte ( $\tau$ -talen) is dit geen probleem, maar voor talen met beperkte middelen, ofwel $\pi$ -talen (zoals Nahuatl), is er een kritisch tekort aan representatieve en grootschalige tekstcorpora.

Nahuatl: Een agglutinerende en polysynthetische taal die door ongeveer 1,65 miljoen mensen in Mexico wordt gesproken. Het kent enorme dialectale diversiteit (29 variëteiten) en ontbreekt vaak aan gestandaardiseerde schrijfsystemen.
De uitdaging: Bestaande corpora, zoals het $\pi$ -YALLI corpus (ongeveer 6,6 miljoen woorden), zijn te klein om effectieve contextuele embeddings (zoals BERT) te trainen. Statistische modellen hebben echter ook baat bij meer data, maar de beschikbare hoeveelheid is onvoldoende voor optimale prestaties.
Huidige aanpak: In de literatuur wordt duplicatie van data meestal gezien als een probleem (dat moet worden verwijderd via deduplication) om overfitting te voorkomen bij rijke talen. Voor $\pi$ -talen is dit echter een omgekeerd probleem: er is geen overvloed, maar schaarste.

2. Methodologie: Gecontroleerde Incrementele Verdubbeling

De auteurs stellen een nieuwe strategie voor: gecontroleerde duplicatie van bestaande tekstuele data om de corpusgrootte kunstmatig te vergroten.

Doel: Het trainen van statische embeddings (woordvectoren) die beter presteren in NLP-taken, specifiek voor Nahuatl.
Techniek: Het $\pi$ $π$ -YALLI corpus werd $\rho$ $ρ$ keer exact gekopieerd. De verdubbelingsfactor $\rho$ $ρ$ varieerde van 1 (origineel) tot 30.
- Dit resulteerde in corpora van 6,6 miljoen tot 198 miljoen woorden.
- De data werd vooraf verwerkt (opschoning, zinssegmentatie, verwijdering van stopwoorden).
Modellen: Er werden drie populaire algoritmen voor statische embeddings getraind op deze geëxpandeerde corpora:
1. Word2Vec (in CBow en Skip-gram modus)
2. FastText (in CBow en Skip-gram modus)
3. GloVe
Validatie: De kwaliteit van de embeddings werd getest met een semantische similariteitstask op zinsniveau.
- Opzet: 30 referentiezinnen met elk 5 kandidaat-zinnen.
- Evaluatie: De rangschikking van de kandidaten door het model werd vergeleken met de rangschikking door native sprekers.
- Maatstaf: De correlatie tussen de rangschikkingen werd gemeten met Kendall's $\tau$ (een niet-parametrische correlatiemaat).

3. Belangrijkste Resultaten

De experimenten leverden verrassende inzichten op over de impact van data-verdubbeling op statische modellen:

Algemene Prestatieverbetering: In tegenstelling tot de heersende mening dat duplicatie schadelijk is, leidde gecontroleerde verdubbeling tot een gematigde tot significante verbetering in de prestaties van FastText en Word2Vec.
Beste Modellen:
- FastText (Skip-gram): Bereikte de beste absolute prestaties. De maximale Kendall's $\tau$ steeg van 0,459 (zonder verdubbeling) naar 0,495 bij een verdubbelingsfactor van $\rho=10$ . Dit is een verbetering van ongeveer 7,8%.
- Word2Vec (Skip-gram): Toonde de grootste relatieve verbetering. De score steeg van 0,357 naar 0,483 bij $\rho=22$ , een verbetering van meer dan 35%.
- GloVe: Presteerde over het algemeen slecht en toonde slechts een minimale verbetering (3,4%), wat suggereert dat dit algoritme minder gevoelig is voor deze specifieke verdubbelingstechniek.
Vergelijking met externe modellen: De modellen getraind op het verdubbelde $\pi$ -YALLI corpus presteerden aanzienlijk beter dan bestaande, voorgeprogrammeerde embeddings getraind op het Nahuatl Wikipedia-corpus of Common Crawl (die rond de 0,240 lagen).
Optimale Verdubbeling: Er is een "sweet spot" gevonden. Te weinig verdubbeling levert weinig winst, maar te veel (boven de 20-30x) leidt niet noodzakelijk tot verdere verbetering en verhoogt de rekentijd.

4. Bijdragen en Significantie

Nieuwe Paradigmaverschuiving: Dit artikel is een van de eerste die systematisch onderzoekt of duplicatie (in plaats van verwijdering) nuttig kan zijn voor talen met beperkte middelen. Het daagt de standaardpraktijk van deduplication uit voor $\pi$ -talen.
Praktische Toepassing: Voor taalkundigen en NLP-onderzoekers die werken met agglutinerende talen zoals Nahuatl, biedt deze techniek een kosteneffectieve manier om de kwaliteit van embeddings te verhogen zonder nieuwe data te moeten verzamelen (wat vaak onmogelijk is).
Inzicht in Agglutinerende Talen: De resultaten bevestigen dat voor agglutinerende talen, waar één woord vaak een volledige zin vertegenwoordigt, het verhogen van het aantal token-voorkomens (via duplicatie) helpt bij het leren van robuuste vectorvoorstellingen.
Toekomstperspectief: De auteurs plannen om deze techniek uit te breiden naar andere taken zoals automatische tekstsamenvatting en naam-entiteitherkenning, en om te onderzoeken hoe normalisatie van tekst (om dialectale variatie te beheersen) de resultaten verder kan verbeteren.

Conclusie:
Voor $\pi$ -talen zoals Nahuatl is het gecontroleerd verdubbelen van bestaande corpora een effectieve strategie om de prestaties van statische embedding-modellen (met name FastText en Word2Vec in Skip-gram modus) te verbeteren. Dit biedt een haalbare weg om NLP-tools te ontwikkelen voor talen die anders te weinig data hebben voor moderne taalmodellen.