Entropy of Ukrainian

1. Probleemstelling

Het artikel behandelt het gebrek aan empirische gegevens met betrekking tot de entropie (onvoorspelbaarheid en informatiedichtheid) van de Oekraïense taal. Hoewel Claude Shannons experiment uit 1951 een methodologie vestigde voor het meten van taalentropie via menselijke voorspelling, en latere studies deze hebben gekwantificeerd voor het Engels en het Hebreeuws, was er voor het Oekraïens nog geen dergelijk onderzoek uitgevoerd.

Bestaande schattingen voor het Oekraïens berustten op statistische N-grammodellen (Babenko en Sushko, 2012), die een entropie opleverden van 1,25–1,40 bits per karakter (bpc) voor $N=9$. N-grammodellen lijden echter last van data-schaarste naarmate de contextlengte toeneemt en kunnen lange-afstandsafhankelijkheden die inherent zijn aan natuurlijke taal niet vastleggen. De auteurs beogen Shannons menselijk-gokexperiment te repliceren om een nauwkeurigere, contextonafhankelijke bovengrens voor de Oekraïense entropie te bieden.

2. Methodologie

Het onderzoek repliceert Shannons experiment met behulp van een vrijwilligersgebaseerd online platform, waarbij de methodologie van Ren et al. (2019) (die het Engels bestudeerden) wordt aangepast.

• Experimenteel Ontwerp:

  • Deelnemers: 184 vrijwilligers gerekruteerd via Telegram en mond-tot-mondreclame.
  • Taak: Deelnemers kregen zinnen uit Oekraïense nieuwsartikelen (Ukrainska Pravda) te zien. De eerste 70 tekens werden onthuld, en deelnemers moesten achtereenvolgens het volgende teken raden totdat het juiste teken werd ingevoerd.
  • Beperkingen: Om betrokkenheid te behouden, begon het experiment op positie 70 in plaats van 0. Zinnen werden gefilterd om tussen de 120 en 200 tekens te liggen.
  • Dataverzameling: 323 gebruikers registreerden zich; 184 startten sessies. Het onderzoek verzamelde 17.023 juiste gokken (observaties) uit 501 voltooide sessies en 192 onvolledige sessies.

• Entropieberekening:

  • De ware entropie $H$ wordt begrensd door $H_{lower} \le H \le H_{upper}$.
  • Bovengrens ($H_{upper}$): Berekend op basis van de verdeling van het aantal gokken dat nodig was om het juiste teken te vinden.
  • Ondergrens ($H_{lower}$): Berekend op basis van de "minst verrassende" verdeling (aannemende dat een teken dat op de $i$-de poging wordt geraden, een waarschijnlijkheid heeft van $1/i$).
  • Formule: $H_{upper} = -\sum_{i=1}^{K} q_i \log_2 q_i$, waarbij $q_i$ het fractie is van tekens die correct werden geraden op de $i$-de poging.

• Gegevensverwerking en Filtering:

  • Verwijdering van Afwijkingen: Een binomiale analyse werd gebruikt om "verdachte" sessies (4,3%) te verwijderen waarbij de prestaties statistisch onwaarschijnlijk waren (waarschijnlijk door bedrog of het opzoeken van antwoorden online).
  • Trimmen: Om het "vrijwilligereffect" (lagere betrokkenheid dan betaalde werknemers) te mitigeren, trimden de auteurs agressief de onderste 65% van de presterende sessies. Dit werd gekozen om de breedte van het betrouwbaarheidsinterval te minimaliseren terwijl natuurlijke variatie behouden bleef.
  • Samenvoegen: Gegevens van posities 70 tot 110 werden samengevoegd om de uiteindelijke entropie te berekenen, aangezien context verder dan 70 tekens afnemende meerwaarde bood voor goknauwkeurigheid.

3. Belangrijkste Bijdragen

1. Eerste Menselijke Entropiemeting voor het Oekraïens: Dit is het eerste onderzoek dat Shannons gokexperiment toepast op de Oekraïense taal.
2. Verfijnde Bovengrens: Het onderzoek vestigt een nieuwe bovengrens van 1,201 bpc voor het Oekraïens, wat lager is dan eerdere N-gram-schattingen (1,25–1,40 bpc), wat aangeeft dat langere contexten de onvoorspelbaarheid aanzienlijk verminderen.
3. LLM Benchmarking: De auteurs vergeleken menselijke prestaties met state-of-the-art Large Language Models (LLM's) op hetzelfde corpus, waardoor een basislijn werd geboden voor model-efficiëntie versus menselijke intuïtie.
4. Open Source: De code, data en experimentele interface zijn gepubliceerd om toekomstig onderzoek te faciliteren.

4. Belangrijkste Resultaten

Menselijke Prestaties

• Bovengrens: 1,201 bpc (95% Betrouwbaarheidsinterval: [1,10, 1,19]).
• Ondergrens: 0,5987 bpc.
• Redundantie: De taal vertoont ongeveer 76,4% redundantie.
• Vergelijking met Engels: De entropie van het Oekraïens (1,201 bpc) is opmerkelijk vergelijkbaar met die van het Engels (1,22 bpc), ondanks dat het Oekraïens een groter alfabet heeft (33 letters + spatie versus 26 + spatie). De auteurs suggereren dat minder frequente letters in het Oekraïens de totale entropie niet significant verhogen.

Prestaties van Large Language Models (LLM's)

De auteurs testten verschillende vooraf getrainde modellen (Gemma-3, Llama-3.1, Qwen, Mistral en het Oekraïens-specifieke Lapa-model) op hetzelfde dataset.

• Beste Presterenden: Gemma-3 (27B) behaalde 0,717 bpc, en Lapa (12B) behaalde 0,734 bpc.
• Vergelijking: LLM's presteren aanzienlijk beter dan mensen (een lagere BPC is beter).
• Zorg over Overfitting: Hoewel LLM's de menselijke ondergrens (0,599 bpc) benaderen, merken de auteurs op dat dit kan wijzen op overfitting op het specifieke nieuws-corpus in plaats van het vastleggen van de ware entropie van de volledige taal. De kloof tussen de menselijke bovengrens (1,201) en de LLM-resultaten suggereert dat de ware entropie ergens in het midden ligt.

5. Betekenis en Beperkingen

Betekenis:

• Informatiedichtheid: Bevestigt dat het Oekraïens een vergelijkbare informatiedichtheid heeft als het Engels, wat cross-linguale compressie- en modelleerannames valideert.
• Modelbeoordeling: Biedt een rigoureuze menselijke basislijn voor het evalueren van Oekraïense NLP-modellen. Het feit dat top-LLM's de menselijke ondergrenzen benaderen, suggereert dat ze zeer effectief zijn in het modelleren van Oekraïense syntaxis en semantiek, hoewel mogelijke overfitting moet worden onderzocht.
• Methodologisch Inzicht: Benadrukt de uitdagingen van vrijwilligersgebaseerde experimenten (betrokkenheid, bedrog) en de noodzaak van agressieve datatrimming om betrouwbare entropieschattingen te verkrijgen.

Beperkingen:

• Steekproefgrootte: Het dataset (17k observaties) is kleiner dan vergelijkbare Engelstalige studies (Ren et al. hadden ~172k), wat leidt tot bredere betrouwbaarheidsintervallen.
• Contextvenster: Het experiment begon op positie 70, wat het berekenen van een entropiecurve vanaf positie 0 verhindert en extrapolatie naar oneindige context moeilijk maakt.
• Dataset-Bias: Het corpus bestond uit slechts 5 nieuwsartikelen, wat informele spraak, regionale dialecten of creatief schrijven mogelijk niet vertegenwoordigt, wat potentieel de ware entropie van de volledige taal onderschat.
• Vrijwilliger-Bias: Onbetaalde vrijwilligers waren minder betrokken dan betaalde werknemers, wat de entropieschatting mogelijk heeft opgeblazen (de taal lijkt onvoorspelbaarder dan hij is).

Conclusie

Het artikel kwantificeert met succes de entropie van het Oekraïens op ongeveer 1,201 bpc, verfijnt eerdere schattingen en demonstreert dat het Oekraïens en het Engels vergelijkbare informatiedichtheden delen. Hoewel moderne LLM's mensen in voorspellingstaken overtreffen, onderstreept het onderzoek de noodzaak van grotere, diversere datasets en betere controles om onderscheid te maken tussen ware taalmodellering en overfitting op specifieke domeinen.