The Distribution of Phoneme Frequencies across the World's Languages: Macroscopic and Microscopic Information-Theoretic Models

Dit artikel biedt een verenigde informatie-theoretische uitleg voor de frequentieverdeling van fonemen in wereldwijd talen door macroscopische patronen die overeenkomen met een Dirichlet-verdeling en microscopische voorspellingen gebaseerd op een Maximum Entropy-model te combineren.

De kern

De Geheime Orde van Klanken: Een Verhaal over Taal, Kans en Evenwicht

Stel je voor dat elke taal ter wereld een enorme, levende bibliotheek is. In deze bibliotheek zijn de letters niet de hoofdrolspelers, maar de klanken (zoals de 'a', 't', of 'ng'). De onderzoekers van dit paper, Fermín en Suchir van de Universiteit van Cambridge, hebben een fascinerend geheim ontdekt: hoe vaak deze klanken voorkomen, volgt niet zomaar willekeurige regels, maar een diep, wiskundig patroon dat werkt op twee niveaus.

Laten we dit uitleggen alsof we het bespreken aan de koffiebar.

1. Het Grote Plaatje: De "Klanken-Balans" (Macroscopisch)

Stel je een grote bal met honderden vakjes voor. In elke taal vullen we deze vakjes met klanken.

• De oude gedachte: Mensen dachten dat de frequentie van klanken net zo werkte als woorden: de meest gebruikte klank is heel vaak, de volgende iets minder, en zo verder, in een rechte lijn op een grafiek (een zogenaamde "machtswet").
• De nieuwe ontdekking: De onderzoekers zeggen: "Nee, dat klopt niet helemaal." Klankenlijsten zijn te klein en te gesloten voor zo'n rechte lijn.

In plaats daarvan gebruiken ze een wiskundig model dat ze de Symmetrische Dirichlet-verdeling noemen. Dat is een moeilijke naam voor een simpel idee:
Stel je voor dat je een taart hebt en je moet hem verdelen over verschillende mensen (de klanken).

• Als een taal maar weinig verschillende klanken heeft (een kleine taart met weinig stukjes), dan is de verdeling vaak heel ongelijk. Sommige stukjes zijn gigantisch groot, andere heel klein.
• Als een taal veel verschillende klanken heeft (een enorme taart met honderden stukjes), dan wordt de verdeling juist heel gelijkmatig. Niemand krijgt een gigantisch stukje meer; iedereen krijgt een redelijk klein, gelijkmatig stukje.

De "Compensatie-regel":
Dit is het meest interessante deel. De onderzoekers noemen dit de Compensatie-hypothese.

• Taal is als een budget. Als je veel verschillende klanken hebt (een groot "inventaris"), moet je die klanken "sparen" door ze allemaal ongeveer even vaak te gebruiken. Je kunt niet 50 verschillende klanken hebben en ze allemaal heel vaak gebruiken; dat zou te veel energie kosten voor je hersenen.
• Dus: Hoe meer klanken een taal heeft, hoe meer ze "uitgebalanceerd" worden. De "chaos" (in de wiskunde: entropie) neemt af. Het is alsof de taal zichzelf corrigeert: "Oké, we hebben veel opties, dus laten we ze allemaal eerlijk verdelen."

2. Het Kleine Plaatje: Waarom is 'N' vaker dan 'Z'? (Microscopisch)

Nu gaan we de diepte in. Waarom is de klank 'n' in het Engels vaker dan de klank 'z'? Het antwoord ligt in drie soorten "kosten" die een klank moet betalen:

1. De Fysieke Kosten (Het Lichaam):
   Sommige klanken zijn zwaar om te maken. Je moet je tong, lippen en longen hard werken.

   • Analogie: Het is makkelijker om een lichte bal te gooien dan een zware steen.
   • Resultaat: Klanken die overal ter wereld "zwaar" zijn om te maken (zoals bepaalde geplofte geluiden), komen minder vaak voor. Klanken die makkelijk zijn (zoals 'm' of 'n'), zijn de "lichte ballen" en worden vaker gebruikt.

2. De Voorspelbaarheid (De Context):
   Dit is een beetje tegenintuïtief. Je zou denken dat voorspelbare klanken vaker voorkomen. Maar de onderzoekers ontdekten het omgekeerde.

   • Analogie: Stel je voor dat je een raadsel oplost. Als het antwoord heel voorspelbaar is (bijvoorbeeld "h" na "t" in "th"), dan is het saai. Je hersenen "slakken" die klank soms over (het wordt "geëlimineerd").
   • Resultaat: Klanken die in een zin verrassend zijn (ze voegen nieuwe informatie toe), worden juist vaker gebruikt. Ze moeten "opvallen" om het woord te onderscheiden.

3. De Woord-Identiteit (Het Lexicon):
   Klanken bestaan om woorden van elkaar te onderscheiden.

   • Analogie: Stel je voor dat je een telefoonnummer belt. Als je "0" belt, weet je nog niets. Als je "5" belt, weet je misschien al dat het een mobiel is.
   • Resultaat: Klanken die heel goed helpen om woorden van elkaar te onderscheiden (die veel "informatie" geven), worden vaker gebruikt. De taal "belohnt" deze klanken met meer gebruik.

3. Het Grote Experiment: De "Maximale Entropie"

De onderzoekers hebben een slimme truc gebruikt. Ze hebben een computermodel gemaakt dat zegt: "Geef me de meest waarschijnlijke verdeling van klanken, zolang ik maar rekening houd met de fysieke kosten, de voorspelbaarheid en de informatie-inhoud."

Het resultaat? Het model voorspelde de echte frequenties van klanken in verschillende talen met verbazingwekkende nauwkeurigheid.
Het was alsof je een recept voor een taart hebt, en je zegt: "Gebruik de ingrediënten die het makkelijkst te vinden zijn en die het lekkerst smaken." En dan blijkt dat de taart die de mensen in het echt bakken, precies zo smaakt als jouw voorspelling.

Samenvatting in één zin

Talen zijn als slimme organisaties: als ze te veel verschillende opties (klanken) hebben, verdelen ze die eerlijk om energie te besparen (Macroscopisch), en ze gebruiken de "handigste" en "informatiefste" klanken het vaakst, terwijl ze de zware en saaie klanken beperken (Microscopisch).

Deze studie laat zien dat taal niet willekeurig is, maar een perfect evenwicht zoekt tussen wat makkelijk is om te zeggen, wat makkelijk is om te horen, en wat nodig is om boodschappen over te brengen.

Technische samenvatting

1. Probleemstelling

Hoewel de frequentieverdeling van woorden in talen goed bestudeerd is (vaak beschreven als een machtsverdelingswet of Zipf's wet), is er weinig onderzoek gedaan naar de frequentieverdeling van fonemen (de kleinste klanken van een taal). Bestaande studies hebben zich voornamelijk beperkt tot het modelleren van de relatie tussen de rangorde en de frequentie van fonemen, vaak met machtswetten of de Yule-Simon-verdeling.

De auteurs identificeren twee fundamentele tekortkomingen in de huidige literatuur:

1. Gebrek aan causaliteit: Bestaande modellen beschrijven hoe fonemen zijn verdeeld, maar niet waarom specifieke fonemen vaker voorkomen dan anderen.
2. Ongepaste modellen: Fonemeninventarissen zijn kleine, gesloten sets (zelden meer dan een paar dozijn contrasten), terwijl machtswetten typisch van toepassing zijn op open-ended vocabulaires die meerdere ordes van grootte beslaan. De auteurs tonen aan dat fonemfrequenties geen echte machtswetten volgen, zelfs niet in de "linker staart" (hoogfrequente fonemen).

Het doel van dit onderzoek is een verenigd informatie-theoretisch model te ontwikkelen dat fonemfrequenties zowel op macroscopisch (algemene structuur) als microscopisch (specifieke fonem-eigenschappen) niveau verklaart.

2. Methodologie

De auteurs gebruiken drie datasets met fonemfrequenties:

• Sigurd (1968): 5 talen (o.a. Amerikaans-Engels, Bengaals).
• Macklin-Cordes & Round (2020): 166 Australische taaltalen (hoge kwaliteit, maar beperkte typologische diversiteit).
• UDHR-dataset: 53 talen, semi-automatisch gegenereerd via het Cross-linguistic Phonological Frequencies Corpus (XPF) en de Universal Declaration of Human Rights. Deze dataset biedt brede genetische en geografische diversiteit, hoewel met wat meer ruis dan handmatig gecurateerde data.

Het onderzoek is opgebouwd uit twee niveaus:

A. Macroscopisch Niveau: Symmetrische Dirichlet-verdeling

De auteurs modelleren de fonemfrequenties als een multinomiale verdeling binnen een $(n-1)$-simplex, waarbij $n$ het aantal fonemen is.

• Model: Ze passen een symmetrische Dirichlet-verdeling toe met een concentratieparameter $\alpha$. Omdat er geen a priori reden is om aan te nemen dat één fonem waarschijnlijker is dan een ander, zijn de parameters gelijk ($\alpha_1 = ... = \alpha_n = \alpha$).
• Analyse: Ze schatten de optimale $\hat{\alpha}$ voor elke taal en analyseren de relatie tussen $\alpha$ en de grootte van het fonemische inventaris ($n$).
• Reconstructie: Ze gebruiken ordestatistieken om de verwachte rang-frequentie plots te genereren op basis van alleen de inventarisgrootte.

B. Microscopisch Niveau: Maximum Entropy (MaxEnt) Model

Om te verklaren waarom specifieke fonemen vaker voorkomen, gebruiken ze het Principe van Maximum Entropy (Jaynes, 1989). Dit model voorspelt de waarschijnlijkheid $p(p)$ van een fonem $p$ door de entropie te maximaliseren onder bepaalde constraints (beperkingen).

De auteurs introduceren drie soorten constraints (kenmerken $f_k$):

1. Fysieke factoren (Articulatie/Perceptie): Gemeten via de cross-linguistische incidentie. Fonemen die zeldzaam zijn in wereldwijde talen worden geacht een hogere "fysieke kost" te hebben (moeilijker te articuleren of waarnemen).
   • Proxy: $cost(p) = -\log(\text{incidentie})$.
2. Fonotactische factoren (Predictiviteit): Gemeten via segmentale informatie. Fonemen die in voorspelbare contexten voorkomen, hebben de neiging om in de loop van de tijd te verdwijnen (elisie).
   • Proxy: $I_s(p)$, gebaseerd op de verrassing (surprisal) van een fonem in een specifieke context.
3. Lexicale factoren (Discriminatie): Gemeten via lexicale informatie-winst. Fonemen die bijdragen aan het onderscheid tussen woorden (lexicale diversiteit) zouden vaker moeten voorkomen.
   • Proxy: $H(W|p)$, de conditionele entropie van woorden gegeven een specifiek fonem.

Het model lost de Lagrange-multiplicatoren ($\lambda_k$) op om de waarschijnlijkheid te voorspellen:
$$\log p^*(p) = \lambda_0 + \sum \lambda_k f_k(p)$$

3. Belangrijkste Resultaten

Macroscopische Bevindingen

• Dirichlet-fit: De rang-frequentie verdelingen van fonemen volgen nauwkeurig de ordestatistieken van een symmetrische Dirichlet-verdeling.
• Schaalrelatie: Er is een sterke negatieve correlatie tussen de grootte van het fonemische inventaris ($n$) en de concentratieparameter ($\alpha$).
  • Formule: $\hat{\alpha}(n) \approx 19.47 \cdot n^{-0.95}$.
  • Talen met veel fonemen hebben een lage $\alpha$ (meer schuine verdeling), terwijl talen met weinig fonemen een hoge $\alpha$ hebben (meer uniforme verdeling).
• Compensatiehypothese: Omdat $\alpha$ daalt naarmate $n$ stijgt, neemt de relatieve entropie (de evenwichtigheid van de verdeling) af bij talen met grotere inventarissen. Dit betekent dat de toename in informatiekosten door meer fonemen wordt gecompenseerd door een minder evenwichtige verdeling.

Microscopische Bevindingen

• Voorspellende Kracht: Het MaxEnt-model, gebaseerd op de drie constraints, voorspelt fonemfrequenties zeer nauwkeurig. De correlatie tussen de voorspelde en waargenomen waarschijnlijkheid is sterk (de regressielijn volgt de identiteitslijn).
• Richting van Effecten:
  • Fysieke kosten: Negatief effect ($\lambda < 0$). Fonemen met hoge kosten (zeldzaam wereldwijd) komen minder vaak voor.
  • Fonotactische verrassing: Positief effect ($\lambda > 0$). Fonemen in verrassende (minder voorspelbare) contexten komen vaker voor. Dit ondersteunt het idee dat voorspelbare fonemen in de loop van de tijd verdwijnen.
  • Lexicale winst: Positief effect ($\lambda > 0$). Fonemen die bijdragen aan het onderscheid tussen woorden, komen vaker voor.
• Interactie: Er is een zwakke correlatie tussen de fysieke kosten en lexicale factoren, wat suggereert dat talen die gevoelig zijn voor lexicale discriminatie minder gevoelig zijn voor fysieke kosten.

4. Bijdragen en Significatie

1. Unificatie van Schalen: Het artikel biedt het eerste verenigde informatie-theoretisch kader dat fonemfrequenties zowel macroscopisch (via Dirichlet-statistieken) als microscopisch (via MaxEnt-constraints) verklaart.
2. Alternatief voor Machtswetten: Het weerlegt de noodzaak van machtswetten voor fonemfrequenties en biedt in plaats daarvan een "vrijwel parameter-vrij" model gebaseerd op de grootte van het inventaris.
3. Kwantitatieve Onderbouwing van Compensatie: Het levert direct bewijs voor de Compensatiehypothese (Hockett, Martinet) op het niveau van unigram-fonemverdelingen. Talen met complexe systemen (veel fonemen) compenseren dit door minder evenwichtige frequentieverdelingen, wat de totale informatielast beperkt.
4. Nieuwe Methodologie: Het introduceert een generatieve aanpak (MaxEnt) voor linguïstische analyse, waarbij de structuur van de taal wordt afgeleid uit fundamentele beperkingen (fysiek, fonotactisch, lexicaal) in plaats van alleen empirische fitting.
5. Insight in Taalontwikkeling: De resultaten suggereren dat de frequentie van fonemen het resultaat is van een dynamisch evenwicht tussen articulatoire kosten, perceptuele voorspelbaarheid en de noodzaak om woorden te onderscheiden.

Kortom, de auteurs tonen aan dat de schijnbaar chaotische verdeling van fonemen in de wereldtalen in feite strikt wordt gestuurd door fundamentele informatie-theoretische principes en beperkingen.