💬 NLP

Examining the Limits of Word2Vec with Toki Pona

Deze studie toont aan dat Word2Vec effectief semantische relaties kan vastleggen, zelfs met een extreem kleine woordenschat van ongeveer 130 woorden, mits er voldoende distributionele data aanwezig is, en onthult dat incidentele niet-kerntokens in het corpus de nabijheid van woorden juist verbeteren in plaats van de prestaties te hinderen.

Oorspronkelijke auteurs: Daniel Zhenhan Huang, Hongchen Wu

Gepubliceerd 2026-06-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Daniel Zhenhan Huang, Hongchen Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, superintelligente bibliotheekassistent hebt genaamd Word2Vec. Zijn taak is om te begrijpen hoe woorden met elkaar verband houden. Meestal leert deze assistent door enorme bibliotheken te lezen die honderdduizenden verschillende woorden bevatten. Hij ontdekt dat "koning" gerelateerd is aan "koningin" omdat ze vaak in vergelijkbare verhalen voorkomen.

Maar wat gebeurt er als je deze assistent een piepklein, minimalistisch woordenboek geeft met slechts 130 woorden? Dat is de uitdaging waar dit artikel zich mee bezighoudt, gebruikmakend van Toki Pona, een zelfbedachte taal die ontworig is om zo simpel mogelijk te zijn.

Hier is het verhaal van wat de onderzoekers ontdekten, uitgelegd via eenvoudige analogieën:

1. Het kleine woordenboek versus de grote ruis

De onderzoekers verzamelden meer dan 1,4 miljoen zinnen van Toki Pona van het internet. Er zat echter een addertje onder het gras. Ongeveer 23% van deze zinnen bevatte "vreemde" woorden—zoals namen van mensen (Sonja), merknamen (Discord), of straattaal die niet thuishoort in het officiële woordenboek van 130 woorden.

Denk aan het proberen te leren aan een kind hoe het kleuren herkent met slechts een doos van 130 krijtjes. Maar af en toe krijgt het kind een willekeurige sticker van een auto of het gezicht van een beroemdheid in de handen gedrukt.

De vraag: Verwarft deze "ruis" (de stickers) het kind, of helpt het het kind juist om de krijtjes beter te begrijpen?

Om dit te achterhalen, bouwden de onderzoekers twee versies van de assistent:

Het "Volledige" Model: Leerde van alles, inclusief de willekeurige namen en straattaal.
Het "Zuivere" Model: Leerde alleen van het strikte woordenboek van 130 woorden, waarbij alle "ruis" was verwijderd.

2. De test: Woorden groeperen als een puzzel

Om te zien of de assistenten hun werk goed deden, vroegen de onderzoekers hen niet om complexe raadsels op te lossen (dat is moeilijk met slechts 130 woorden). In plaats daarvan vroegen ze hen om woorden in groepen te sorteren, zoals het in één stapel leggen van alle "dieren" en in een andere stapel van alle "kleuren".

Ze gebruikten twee methoden om het werk te controleren:

De Silhouette Score: Stel je een groep vrienden voor die in een kamer staan. Een hoge score betekent dat de vrienden in de "Dier"-groep dicht bij elkaar staan, terwijl de "Dier"-groep ver weg staat van de "Kleur"-groep.
De Centroid Check: Ze berekenden het "middelpunt" van elke groep (zoals de gemiddelde locatie van alle dieren) en controleerden hoe dicht elk woord bij het middelpunt van zijn eigen groep was.

3. De verrassende resultaten

De resultaten waren contra-intuïtief en fascinerend:

De "Ruis" hielp eigenlijk: Het model dat de willekeurige namen en straattaal bevatte (het "Volledige" model), deed het eigenlijk een beetje beter in het bij elkaar houden van verwante woorden dan het "Zuivere" model.
- De analogie: Denk aan de willekeurige woorden als extra lijm. Hoewel "YouTube" geen Toki Pona-woord is, verschijnt het vaak in de buurt van woorden voor "website" of "video". Deze extra verbinding hielp de assistent te beseffen: "Ah, deze woorden horen in dezelfde buurt!" De ruis verwarde de kaart niet; het maakte de buurten dichter en makkelijker te vinden.
De structuur bleef intact: Beide modellen slaagden erin om te begrijpen dat woorden als "hond", "kat" en "vogel" bij elkaar horen, en "rood", "blauw" en "groen" bij elkaar horen. Dit deden ze, zelfs hoewel het woordenboek zo klein was dat bijna elk woord een dubbel of drievoudig beroep moest doen (polysemie).
- De analogie: Het is alsof je probeert een kast te organiseren met slechts drie kledinghangers. Je zou verwachten dat het een bende wordt. Maar de assistent slaagde erin om de overhemden aan de ene, de broeken aan de andere en de schoenen aan de derde te hangen, waardoor het verrassend georganiseerd bleef.
Het "Zuivere" Model was spanniger: Het model met alleen de 130 woorden (zonder ruis) creëerde een ruimte waarin woorden heel dicht bij elkaar stonden, maar het was moeilijker om de groepen van elkaar te onderscheiden. Het was als een drukke kamer waar iedereen schouder aan schouder staat; je kunt niet gemakkelijk zien waar de ene groep eindigt en de andere begint. Het "Volledige" model had wat meer ademruimte, waardoor de groepen duidelijker waren.

4. De belangrijkste les

De belangrijkste les van dit artikel gaat over hoe deze AI-assistenten leren.

Normaal gesproken denken we dat je een enorme woordenschat (duizenden woorden) nodig hebt om een AI iets over betekenis te leren. Deze studie laat zien dat dat niet nodig is. Zelfs met een piepkleine woordenschat van slechts 130 woorden, als de woorden in genoeg verschillende contexten (patronen) voorkomen, kan de AI nog steeds een slimme kaart bouwen van hoe dingen met elkaar verband houden.

Het is alsof je zegt dat je niet een miljoen verschillende gereedschappen nodig hebt om te begrijpen hoe een huis wordt gebouwd; als je een meester-timmerman genoeg keren in verschillende situaties een hamer, een zaag en een schroevendraaier ziet gebruiken, kun je uiteindelijk het hele huis begrijpen.

Kortom: Word2Vec is verrassend robuust. Het kan diepe betekenis leren, zelfs van een kleine, minimalistische taal, en een beetje "ruis" (zoals namen en straattaal) helpt het zelfs om de verbindingen tussen woorden duidelijker te tekenen.

Technische Samenvatting: Het onderzoeken van de grenzen van Word2Vec met Toki Pona

Probleemstelling
Word embeddings, in het bijzonder Word2Vec, zijn uitgebreid gevalideerd op natuurlijke talen met grote vocabulaire (tienduizenden tot honderdduizenden woorden). De effectiviteit ervan bij de extreme ondergrens van de omvang van de vocabulaire is echter nog niet getest. Deze studie onderzoekt of Word2Vec er succesvol in kan slagen om semantische relaties in Toki Pona te vatten, een kunstmatige taal met een kernvocabulaire van slechts ~130 woorden. In een dergelijk minimalistisch systeem zijn woorden sterk polyseem (bijv. tomo verwijst zowel naar kamers als naar voertuigen), en zijn co-occurrentieprofielen inherent minder discriminerend vanwege de hoogfrequente interacties tussen een kleine set termen.

Een secundaire uitdaging die wordt aangepakt, is de aanwezigheid van "linguïstische ruis". Ongeveer 23% van de zinnen in de Toki Pona-communitycorpus bevat niet-kern-tokens, waaronder eigennamen, leenwoorden en neologismen. Het is onduidelijk of deze tokens noodzakelijke contextuele verrijking bieden of fungeren als ruis die de semantische structuur van de kernvocabulaire vertroebelt.

Methodologie
De onderzoekers stelden een corpus samen van 1,42 miljoen zinnen (7,95 miljoen tokens) uit de Toki Pona-community (2016–2025). Om de impact van niet-kern-tokens te isoleren, werden twee afzonderlijke datasets voorbereid:

Volledig Corpus: Behoudt alle tokens, inclusief niet-Toki Pona woorden.
Zuivere Toki Pona Corpus: Filtert alle zinnen met niet-kern-tokens eruit, wat resulteert in 1,10 miljoen zinnen (5,90 miljoen tokens).

Er werden twee Word2Vec-modellen vanaf nul getraind met behulp van het skip-gram algoritme met een venstergrootte van 5 over 10 epochs. Op basis van de lexiconomvang en corpuskenmerken werd de optimale vectordimensie bepaald op 24 dimensies.

Evaluatie werd uitgevoerd met drie primaire methoden, aangepast aan de beperkingen van een minimale vocabulaire:

Nabijheid van categorie-centra (Category Centroid Proximity): Een grondwaarheid-set van 27 semantische categorieën (afgeleid van WordNet supersenses maar aangepast aan de syntactische flexibiliteit van Toki Pona) werd gebruikt. De cosinus-gelijkenis tussen woordvectoren en categorie-centra werd gemeten tegen een dynamische drempelwaarde (gemiddelde gelijkenis + 1 standaarddeviatie).
Ongesuperviseerde Clustering: Agglomeratieve hiërarchische clustering met complete linkage werd toegepast om te bepalen of semantische clusters natuurlijk ontstaan. Silhouette-scores werden berekend over variërende afstandsdrempels om de optimale cluster-scheiding te identificeren, vergeleken met een willekeurige baseline.
Cross-linguïstische Vergelijking: Representational Similarity Analysis (RSA) werd gebruikt om de semantische structuur van de Toki Pona-modellen te vergelijken met een vooraf getraind Engels model (Google News corpus) om convergente validiteit te beoordelen.

Belangrijkste Resultaten

Structurele Stabiliteit: Beide modellen bereikten silhouette-scores (0,261 voor het Volledige Corpus, 0,267 voor de Zuivere Toki Pona Corpus) die significant hoger waren dan de willekeurige baseline (0,166). De structurele ordening van clusters (bijv. dieren, kleuren, verwantschap) bleef grotendeels invariant tussen de twee modellen, wat aangeeft dat schaarse niet-kern-tokens de fundamentele semantische topologie niet verstoren.
Impact van Niet-Kern-Tokens: In tegenstelling tot de hypothese dat niet-kern-tokens als ruis fungeren, vertoonde het Volledige Corpus-model een hogere semantische dichtheid. De gemiddelde cosinus-gelijkenis met categorie-centra was hoger in het Volledige Corpus-model ( $\mu=0,879$ ) vergeleken met het Zuivere Toki Pona-model ( $\mu=0,817$ ). Dit suggereert dat incidentele tokens (bijv. de eigennaam Jutu voor YouTube) contextuele bruggen vormen die gerelateerde kernconcepten (bijv. lipu voor website) dichter bij elkaar trekken in de vectorruimte.
Categorie-extractie: Beide modellen identificeerden succesvol 124 van de 125 woord-categorie-toezigningen. Hoewel de algehele structuur stabiel was, beïnvloedde de verwijdering van niet-kern-tokens specifieke abstracte categorieën (bijv. evaluative.positive) sterker dan concrete categorieën (bijv. animals).
Cross-linguïstische Consistentie: Kwalitatieve analyse van de representational similarity matrices toonde aan dat de relatieve nabijheidspatronen tussen semantische categorieën in Toki Pona de patronen weerspiegelden die in het Engelse model werden gevonden, wat suggereert dat de modellen werkelijke semantische structuren hebben geleerd in plaats van corpus-artefacten.

Betekenis en Claims
Het artikel claimt dat de effectiviteit van Word2Vec meer wordt gedreven door distributieve patronen dan door de loutere omvang van de lexicon, zelfs bij de extreme ondergrens van ~130 woorden. De studie demonstreert dat betekenisvolle semantische structuur kan ontstaan in een hoogst polyseme, minimalistische taal. Bovendien daagt het de aanname uit dat "ruis" in de vorm van leenwoorden en eigennamen de kwaliteit van de embedding noodzakelijkerwijs verslechtert; in deze context lijken dergelijke tokens de cohesie van semantische clusters juist te versterken door extra distributieve context te bieden. De bevindingen suggereren dat word embedding-modellen robuust genoeg zijn om te functioneren in omgevingen met radicaal gereduceerde vocabulaire, mits er voldoende distributieve data beschikbaar is.

1. Het kleine woordenboek versus de grote ruis

2. De test: Woorden groeperen als een puzzel

3. De verrassende resultaten

4. De belangrijkste les

Meer zoals dit