Zipf's Law of Abbreviation in a Logographic Script: Coding-Theoretic Bounds on Chinese Character Stroke Counts

Taal is een systeem van afwegingen. Aan de ene kant is er de noodzaak om duidelijk begrepen te worden; aan de andere kant is er de menselijke drang om snel te spreken en te schrijven. Al meer dan zeventig jaar observeren taalkundigen een consistent patroon in hoe talen dit probleem oplossen: de woorden die we het meest gebruiken, hebben de neiging om het kortst te zijn. Dit staat bekend als de wet van de afkorting. Het komt voor in gesproken klanken, in de lengte van geschreven woorden en zelfs in de roepen van dieren. Het idee is simpel: als je een woord een miljoen keer per dag zegt, loont het om het kort te maken. Als je het slechts één keer per jaar zegt, maakt het niet uit of het lang is. Maar een diepere vraag is recentelijk naar voren gekomen. We weten dat talen deze regel volgen, maar hoe dicht komen ze bij de absolute limiet van efficiëntie? Hoe veel korter zou een taal kunnen zijn als deze perfect ontworpen zou zijn, en hoeveel van dat potentieel blijft onbenut?

Tot nu toe is deze vraag voornamelijk bestudeerd in alfabetische talen zoals Engels of Spaans, waarbij de kosten van een woord worden gemeten aan het aantal letters dat het bevat. Een nieuwe studie brengt dit onderzoek naar een totaal ander type schrijfsysteem: Chinees. In het Chinees is de basiseenheid niet een letter, maar een karakter, en de kosten van het schrijven van een karakter worden gemeten aan het aantal penseel- of penstreken dat nodig is om het te tekenen. Omdat Chinese karakters zijn opgebouwd uit een vaste set van vijf basisstreeptypes, kunnen onderzoekers de theoretische limiet van efficiëntie met een precisie berekenen die onmogelijk is voor alfabetische schriften. Door de aantal streken van elk karakter in de standaardset te analyseren tegenover hoe vaak ze daadwerkelijk worden gebruikt, onthult de studie dat het Chinese schrift opmerkelijk efficiënt is, maar dat het net tekortschiet voor de perfectie om een zeer specifieke, structurele reden.

De onderzoekers begonnen met het verzamelen van een enorme hoeveelheid gegevens. Ze namen een database die elk enkele volgorde van streken bevatte voor de 20.902 standaard Chinese karakters en koppelden deze aan twee enorme collecties van echte teksten. Eén collectie bevatte bijna 260 miljoen karakters uit bewerkte boeken en kranten, terwijl de andere meer dan 190 miljoen karakters uit sociale mediaberichten bevatte. Ze telden de streken voor elk karakter en berekenden het gemiddelde aantal streken dat nodig is om de tekst te schrijven die mensen daadwerkelijk lezen. De resultaten bevestigden het verwachte patroon: de meest voorkomende karakters zijn inderdaad de eenvoudigste om te schrijven. Het gemiddelde karakter in het hele woordenboek vereist ongeveer 12,7 streken om te schrijven, maar het gemiddelde karakter dat je tegenkomt tijdens het lezen van een normale tekst vereist slechts ongeveer 7,2 streken. De honderd meest frequente karakters, die bijna 40 procent van alle geschreven tekst vormen, hebben gemiddeld slechts zes streken per stuk.

Om te begrijpen hoe efficiënt dit systeem werkelijk is, vergeleken het team de tekst uit de echte wereld met twee theoretische extremen. De eerste was een willekeurige ordening, waarbij de meest voorkomende woorden door puur toeval de langste, meest complexe karakters kregen toegewezen. De tweede was een perfecte ordening, waarbij de meest voorkomende woorden de kortst mogelijke karakters kregen toegewezen, en de zeldzaamste woorden de langste kregen. Het werkelijke Chinese schrijfsysteem viel ergens tussenin. Het was veel beter dan willekeurig, maar het was niet perfect. De studie berekende een optimaliteitsscore, die meet hoe dicht het systeem bij die perfecte ordening ligt. Voor vereenvoudigd Chinees was de score 0,668, wat betekent dat het systeem ongeveer twee derde van de weg naar de theoretische best is. Dit cijfer is opvallend vergelijkbaar met de scores gevonden voor woordlengtes in tientallen andere talen die alfabeten en syllabaria gebruiken, wat suggere না dat er een universele limiet is aan hoeveel een communicatiesysteem kan worden gecomprimeerd terwijl het bruikbaar blijft.

De studie ging echter verder dan alleen het meten van efficiëntie. Omdat het Chinese schrijfsysteem gebruikmaakt van een gesloten set van vijf streeptypes, konden de onderzoekers de absolute wiskundige limiet berekenen van wat mogelijk is. Ze bepaalden dat als het systeem een perfect efficiënte code zou zijn, het gemiddelde karakter in een lopende tekst slechts ongeveer 4,34 streken zou vereisen. Het feit dat het werkelijke gemiddelde 7,22 streken is, betekent dat het systeem ongeveer 1,66 keer meer streken gebruikt dan het absolute minimum. In een typische alfabetische taal zou een dergelijke kloof weggeschreven kunnen worden als eenvoudige inefficiëntie of een gebrek aan planning. Maar de onderzoekers ontdekten dat deze kloof geen fout is; het is een kenmerk.

De reden waarom het systeem niet verder gecomprimeerd kan worden, ligt in de manier waarop de karakters zijn opgebouwd. Als het Chinees een perfect eendimensionale code zou zijn, zoals een reeks letters waarbij alleen de volgorde het woord definieert, dan zou elk karakter een unieke sequentie van streken hebben. Maar in het Chinees delen veel verschillende karakters exact dezelfde sequentie van streken. Bijvoorbeeld, de streken voor "persoon", "binnenkomen" en "acht" zijn identiek in sequentie; ze worden alleen onderscheiden door de ruimtelijke ordening van die streken op de pagina. Evenzo gebruiken de karakters voor "geleerde" en "aarde" dezelfde streken in dezelfde volgorde, maar verschillen ze in de lengte van één horizontale lijn. Omdat de sequentie van streken niet uniek is, kan het systeem niet tot de wiskundige limiet worden gecomprimeerd zonder het vermogen te verliezen om woorden uit elkaar te houden. De "extra" streken die redundant lijken, zijn eigenlijk noodzakelijk om een tweedimensionale structuur te creëren die het mogelijk maakt om visuele componenten te hergebruiken. Deze ruimtelijke ordening maakt het schrijfsysteem transparant; een lezer die het karakter voor "water" kent, kan vaak de betekenis van andere karakters raden die diezelfde component bevatten, zelfs als hij ze nog nooit heeft gezien.

De studie onderzocht ook een belangrijke historische gebeurtenis om te zien of het systeem verbeterd kon worden. In het midden van de twintigste eeuw onderging China een vereenvoudigingshervorming die de vorm van duizenden karakters veranderde, vaak door het aantal streken te verminderen. De onderzoekers behandelden deze hervorming als een gecontroleerd experiment. Ze vonden dat de hervorming de efficiëntie van het schrijfsysteem succesvol had verhoogd, waarbij de optimaliteitsscore steeg van 0,555 naar 0,668. Cruciaal was dat de hervorming zich richtte op de meest frequente karakters, door ze gemiddeld met twee streken te verkorten, terwijl de zeldzame, complexe karakters grotendeels ongemoeid werden gelaten. Dit is precies wat een perfect coderingssysteem zou doen: de meeste inspanning besparen op de vormen die het meest worden gebruikt. Het feit dat de hervorming deze verbetering bereikte, suggereert dat de resterende kloof tussen het huidige systeem en de theoretische limiet echt en acteerbaar is, maar het laat ook zien dat het overgrote deel van de compressie al natuurlijk was gebeurd door eeuwenlang gebruik, lang voordat er enige officiële hervorming plaatsvond.

Uiteindelijk concludeert het artikel dat het Chinese schrijfsysteem niet faalt om perfectie te bereiken; het lost een ander probleem op. Het offert een deel van de compressie op om winst te boeken in helderheid en structuur. De "inefficiëntie" van het gebruik van meer streken dan het wiskundige minimum is de prijs die betaald wordt voor een systeem waarbij betekenis wordt opgebouwd uit herkenbare onderdelen die in de ruimte zijn gerangschikt. De studie bevestigt dat hoewel de wet van de afkorting standhoudt, de limiet van compressie niet alleen een kwestie is van het tellen van streken of letters. Het wordt bepaald door de architectuur van het schrift zelf. Het feit dat het Chinees, met zijn unieke visuele logica, in hetzelfde efficiëntiebereik landt als alfabetische talen, suggereert dat alle menselijke communicatiesystemen dezelfde fundamentele druk ervaren: de drang om kort te zijn en de behoefte om duidelijk te zijn.