💬 NLP

Rethinking the Relationship between the Power Law and Hierarchical Structures

Deze studie weerlegt de gangbare interpretatie dat machtswetten in taalcorpora bewijs vormen voor onderliggende hiërarchische structuren, door aan te tonen dat de statistische aannames hierover niet opgaan voor syntactische structuren in zowel Engels als Japans.

Oorspronkelijke auteurs: Kai Nakaishi, Ryo Yoshida, Kohei Kajikawa, Koji Hukushima, Yohei Oseki

Gepubliceerd 2026-03-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kai Nakaishi, Ryo Yoshida, Kohei Kajikawa, Koji Hukushima, Yohei Oseki

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Waarom de "Wiskundige Regels" van Taal Misschien Net Even Anders Werken dan We Dachten

Stel je voor dat taal een enorme, ingewikkelde stad is. In deze stad wonen woorden die met elkaar praten. Wetenschappers hebben al lang ontdekt dat deze stad een heel specifiek patroon volgt: hoe verder twee woorden van elkaar verwijderd zijn in een zin, hoe minder ze met elkaar lijken te "praten". Maar hier is het interessante: ze praten niet zomaar minder, ze praten minder volgens een heel specifiek wiskundig ritme dat we een machtsregel (power law) noemen.

Het is alsof je een steen in een meer gooit. De golven worden langzaam zwakker, maar ze verdwijnen niet snel; ze reiken ver. Dit patroon is zo sterk dat wetenschappers dachten: "Ah! Dit betekent dat taal een hiërarchische structuur heeft, net als een boom met takken en wortels. En omdat die boomstructuur bestaat, moeten die golven zich zo gedragen."

Een bekend theorie (van Lin en Tegmark) zei zelfs: "Als je een computerprogramma maakt dat hiërarchische bomen bouwt (zoals een PCFG), dan krijg je precies diezelfde machtsregel. Dus, de machtsregel is het bewijs dat taal een boomstructuur heeft."

Maar... is dat wel waar?

De auteurs van dit nieuwe onderzoek, Kai Nakaishi en zijn team, zeggen: "Wacht even. Laten we dat niet zomaar aannemen. Laten we de boom zelf eens in de hand nemen en tellen." Ze hebben de theorie getest met echte zinnen uit het Engels en het Japans. En hun conclusie is verrassend: De theorie klopt niet voor zinnen.

Hier is hoe ze dat hebben uitgezocht, vertaald in simpele beelden:

1. De Boom is geen Perfecte Boom (De "Scheve Boom")

De theorie gaat uit van een perfecte, symmetrische boom. Stel je een boom voor waar elke tak precies evenveel nieuwe takjes heeft, en die takjes zijn allemaal even lang. In zo'n boom groeit de afstand tussen twee bladeren (de woorden) razendsnel als je de structuur (de takken) vergroot.

Maar echte zinnen? Die zijn scheef.

In het Engels hangen de zijkanten vaak naar rechts (zoals een boom die in de wind buigt).
In het Japans hangen ze vaak naar links.
Het resultaat: De afstand tussen woorden groeit niet razendsnel, maar juist heel traag. Het is alsof je in een smalle gang loopt in plaats van een open veld. Omdat de "boom" scheef is, werkt de wiskundige formule van de theorie niet meer. De machtsregel die we zien, kan dus niet komen van die specifieke boomstructuur.

2. De "Onzichtbare Band" is te sterk

De theorie zegt: "In een hiërarchische boom moet de invloed van een woord op een ander woord snel verdwijnen naarmate je verder de boom in gaat."
Maar de onderzoekers keken naar de mutuele informatie (een maat voor hoe sterk twee woorden met elkaar verbonden zijn). Ze ontdekten dat deze verbindingen in echte zinnen niet snel verdwijnen. Ze blijven langzaam afnemen (de machtsregel), zelfs als de woorden ver uit elkaar staan in de boomstructuur.

Analogie: In de theorie is het alsof je een fluitje blaast in een grote hal; het geluid klinkt snel zwak. In echte zinnen is het alsof je in een tunnel met echo's staat; het geluid blijft lang hangen, ongeacht hoe ver je loopt. De "boom" van de theorie heeft geen echo's, maar echte taal wel.

3. De Computer kan de Mens niet nabootsen

De onderzoekers maakten een computermodel (een PCFG) dat probeerde de zinnen na te bootsen. Ze lieten de computer duizenden zinnen genereren.

Het resultaat: De computerzinnen gedroegen zich anders dan echte menselijke zinnen. De computerzinnen waren te "klein" en te "strak" om het gedrag van de echte taal te laten zien.
De les: Het is alsof je probeert te leren zwemmen door in een klein badje te zitten. Je leert misschien de bewegingen, maar je voelt de stroming van de echte oceaan niet. De theorie werkt misschien voor het badje (de computer), maar niet voor de oceaan (de echte taal).

Wat betekent dit voor ons?

De boom is er wel, maar de verklaring is fout: Taal heeft zeker een hiërarchische structuur (woorden hangen aan elkaar in groepen), maar de reden waarom de "golven" (de correlaties) zich gedragen als een machtsregel, is niet omdat die boom perfect symmetrisch is.
Het geldt ook voor dieren en kinderen: Omdat de theorie al gebruikt is om te zeggen dat vogelgezang of chimpanseegestures ook "taalachtige bomen" hebben, moet dat nu opnieuw worden bedacht. Als de theorie niet eens werkt voor de zinnen van volwassen mensen, werkt hij waarschijnlijk ook niet voor de kortere reeksen van vogels of kinderen.
Waar moeten we nu zoeken?
- Misschien ligt het antwoord niet in de zin, maar in het verhaal. Een heel boek of een gesprek heeft misschien wel die grote, hiërarchische structuur die de theorie beschrijft.
- Of misschien is het iets heel anders, zoals kritische fenomenen uit de natuurkunde (zoals water dat net kookt). Taal zou dan net op het randje staan tussen chaos en orde, wat die speciale wiskundige patronen verklaart.

Kortom:
De onderzoekers hebben de "heilige graal" van de taalkunde (de link tussen wiskunde en boomstructuren) even op zijn kop gezet. Ze zeggen: "De boom bestaat, maar de wiskunde die we dachten dat hem beschreef, klopt niet voor de zinnen die we elke dag spreken. We moeten een nieuwe kaart tekenen."

Probleemstelling

Statistische analyses van taalcorpora hebben aangetoond dat correlaties in natuurlijke taal (bijvoorbeeld tussen woorden of tekens) vervallen volgens een machtsvergelijking (power law) in plaats van een exponentiële vervalling. Deze observatie wordt vaak geïnterpreteerd als bewijs voor onderliggende hiërarchische structuren (zoals syntaxis, semantiek en discours).

Een specifieke theorie, voorgesteld door Lin en Tegmark (2017), probeert dit verband wiskundig te verklaren. Zij stellen dat machtsvergelijkingen in sequenties ontstaan uit twee aannames over probabilistische context-vrije grammatica's (PCFG's):

Correlaties vervallen exponentieel met de structurele afstand (afstand in de boomstructuur).
De sequentiële afstand (aantal woorden ertussen) groeit exponentieel met de structurele afstand (wat impliceert dat bomen gebalanceerd zijn).

Het probleem is dat deze aannames empirisch nooit zijn getoetst op echte natuurlijke taaldata. Bovendien lijken ze in strijd met linguïstische feiten, zoals de bekende neiging van zinnen tot links- of rechtsvertakkende bias (wat de groei van de sequentiële afstand vertraagt). De auteurs vragen zich af of deze theorie wel geldig is voor de syntactische structuren van menselijke taal.

Methodologie

De auteurs testen de validiteit van de argumenten van Lin en Tegmark door drie kernvragen te beantwoorden met behulp van statistische analyses op parse-boomen (syntactische bomen) uit grote corpora.

Data:

BLLIP: Een groot Engels corpus (Wall Street Journal) met Penn Treebank-annotaties.
WikiText: Een Engels corpus van Wikipedia-artikelen.
NPCMJ: Een Japans corpus (NINJAL), typologisch verschillend van het Engels (hoofd-eindig, links-vertakkend).
Preprocessing: De bomen werden binair gemaakt (binarized), een-unair vertakkende knopen samengevoegd, en de categorieën (POS-tags en phrasal tags) gegroepeerd in 11 brede categorieën om statistische ruis te verminderen.

Metingen en Metrieken:

Mutuele Informatie (MI): Gebruikt als maat voor correlatie. De auteurs berekenden de MI tussen tags op verschillende afstanden. Ze gebruikten geavanceerde schatters (Grassberger) om bias door eindige steekproeven te minimaliseren.
- Vraag i: Vervalt de correlatie exponentieel met de structurele afstand ( $r_{str}$ )?
- Vraag ii: Groeit de sequentiële afstand ( $r_{seq}$ ) exponentieel met de structurele afstand?
Context-Free Independence Breaking (CFIB): Een metriek om afwijkingen van PCFG's te kwantificeren. In een ideale PCFG zijn de kinderen van twee knopen onafhankelijk als de ouders bekend zijn. CFIB meet de wederzijdse informatie tussen kinderen van twee knopen, gegeven hun ouders. Een waarde van 0 betekent een perfecte PCFG.
- Vraag iii: Afwijken de statistische eigenschappen van syntactische structuren significant van PCFG's?
Vergelijking met PCFG: De auteurs construeerden een PCFG op basis van de frequenties in het BLLIP-corpus (Maximum Likelihood Estimation) en genereerden hiermee synthetische bomen om te vergelijken met de echte parse-boomen.
Fitting: De data werden gefit met zowel exponentiële ( $A e^{-\lambda r}$ ) als machtsvergelijkingen ( $B r^{-\alpha}$ ) om te bepalen welke vorm de data het beste beschrijft (gebruikmakend van de reduced chi-square statistic, $\chi^2_\nu$ ).

Kernresultaten

De analyse leverde negatieve antwoorden op alle drie de vragen op, wat de aannames van Lin en Tegmark weerlegt voor natuurlijke taal:

Correlatie in Structuren (Vraag i):
- In tegenstelling tot de theorie, vervalt de correlatie in syntactische structuren niet exponentieel, maar volgens een machtsvergelijking ( $I \sim r_{str}^{-\alpha}$ ).
- Dit betekent dat de eerste voorwaarde van het argument (exponentiële vervalling in de structuur) niet opgaat voor natuurlijke taal.
Groei van Sequentiële Afstand (Vraag ii):
- De sequentiële afstand groeit niet exponentieel met de structurele afstand. De data tonen een groei die zelfs trager is dan lineair ( $r_{seq} \sim r_{str}^{0.72}$ ).
- Dit bevestigt de linguïstische observatie van sterke vertakkingsbias (vaak rechts- of links-gericht), wat de "gebalanceerde boom"-aanname van Lin en Tegmark weerlegt.
Afwijking van PCFG's (Vraag iii):
- De CFIB-waarden zijn duidelijk positief en vervallen volgens een machtsvergelijking. Dit betekent dat syntactische structuren fundamenteel verschillen van PCFG's; de context-vrije onafhankelijkheid is gebroken, zelfs op grote afstanden.
- Echte syntactische structuren vertonen dus niet de eigenschappen van een eenvoudige PCFG.
PCFG-simulaties:
- Wanneer men een PCFG genereert die op het corpus is getraind, vertoont deze wel exponentiële vervalling op zeer grote afstanden (zoals de theorie voorspelt). Echter, binnen de lengte van individuele zinnen (de "pre-asymptotische" regio) gedraagt de PCFG zich ook als een machtsvergelijking.
- Dit suggereert dat de theorie van Lin en Tegmark alleen geldt voor oneindig grote structuren, wat niet overeenkomt met de lengte van zinnen, kindertaal of dierencommunicatie.

Bijdragen

Empirische Validatie: Het is de eerste studie die de theoretische aannames van Lin en Tegmark (2017) kwantitatief test op grote schaal met echte syntactische data (Engels en Japans).
Ontmaskering van Aannames: De studie toont aan dat de link tussen machtsvergelijkingen en hiërarchieën in natuurlijke taal niet kan worden verklaard door de specifieke mechanismen die Lin en Tegmark voorstellen (gebalanceerde bomen en exponentiële vervalling in PCFG's).
Methodologische Innovatie: Introductie en toepassing van CFIB en geavanceerde MI-schattingen om de afwijking van PCFG's in natuurlijke taal te kwantificeren.
Robuustheid: De bevindingen zijn consistent over verschillende talen (Engels, Japans), domeinen (nieuws, Wikipedia) en annotatieschema's.

Significantie en Implicaties

Heroverweging van Taaltheorie: De relatie tussen machtsvergelijkingen en hiërarchische structuren moet opnieuw worden bedacht. De huidige interpretatie dat machtsvergelijkingen direct bewijs zijn voor syntactische hiërarchieën via het mechanisme van Lin en Tegmark, is onjuist.
Toepasbaarheid op Andere Domeinen: De theorie is waarschijnlijk niet van toepassing op kindertaal, vogelzang of chimpanseegedrag, omdat de sequentielengtes in deze domeinen vergelijkbaar zijn met die van individuele zinnen. In deze gevallen is het onwaarschijnlijk dat de asymptotische gedragingen (die nodig zijn voor de theorie) optreden.
Discours-niveau: De auteurs suggereren dat de machtsvergelijkingen misschien wel ontstaan op het niveau van discours (hele teksten met meerdere zinnen), waar de hiërarchische structuur groter is. Dit vereist echter veel grotere corpora met discours-annotaties.
Fysica en LLM's: Een alternatieve verklaring voor machtsvergelijkingen in taal zou kunnen liggen in kritieke verschijnselen uit de statistische fysica (faseovergangen), wat ook wordt waargenomen bij Large Language Models (LLM's).
LLM-onderzoek: Het feit dat PCFG's syntactische structuren van natuurlijke taal niet goed benaderen, heeft implicaties voor theoretisch onderzoek naar LLM's dat vaak synthetische data op basis van PCFG's gebruikt.

Samenvattend concludeert de auteurs dat de bestaande theorie de statistische eigenschappen van natuurlijke taal niet kan verklaren en dat er een fundamenteel nieuw perspectief nodig is om het verband tussen machtsvergelijkingen en taalhiërarchie te begrijpen.