💬 NLP

Repeated Sequences Reveal Gaps between Large Language Models and Natural Language

Dit artikel introduceert een nieuw evaluatiekader op basis van herhaalde subreeksen en Rényi-entropieën om aan te tonen dat, in tegenstelling tot natuurlijke taal die een stabiele langetermijnstructurele organisatie vertoont, de meest geavanceerde grote taalmodellen systematische en grootte-afhankelijke afwijkingen vertonen in hun entropiegroeipatronen, wat fundamentele gaten blootlegt in hoe zij de diepe statistische structuur van tekst vangen, voorbij oppervlakkige vloeiendheid.

Oorspronkelijke auteurs: Kumiko Tanaka-Ishii

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kumiko Tanaka-Ishii

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Vloeiendheid versus Structuur

Stel je voor dat je naar twee mensen luistert die een verhaal vertellen.

Persoon A spreekt perfect. Elke zin loopt soepel, de grammatica is correct en ze stottert nooit.
Persoon B spreekt ook perfect, maar heeft een geheim: ze herhaalt eigenlijk slechts een paar zinnen keer op keer, of ze bouwt een verhaal door kleine, voorgefabriceerde Lego-blokjes aan elkaar te naaien zonder ooit een nieuw vorm te creëren.

Lange tijd dachten we dat Large Language Models (LLM's) zoals GPT zo goed werden dat ze precies als mensen klonken. Maar dit artikel stelt een diepere vraag: Begrijpen ze echt hoe ze een lang verhaal van binnenuit moeten opbouwen, of zijn ze gewoon erg goed op het klinken als vloeiend op de korte termijn?

De auteur, Kumiko Tanaka-Ishii, ontwikkelde een nieuwe manier om naar deze verhalen te "luisteren", niet door te controleren of ze grammaticaal kloppen, maar door te kijken naar hoe ze hun eigen woorden en patronen over lange afstanden hergebruiken.

Het Gereedschap: De "Echo"-detector

Om het verschil te vinden, gebruikt de auteur een concept dat Herhaalde Subsequenties wordt genoemd.

Stel je een tekst voor als een lange gang.

Natuurlijke Taal (Mensen): Wanneer een mens een roman schrijft, plant hij vroeg zaadjes. Hij introduceert een personage, een thema of een specifieke zin. Naarmate het verhaal vordert, komt hij terug bij die zaadjes, watert hij ze en doet hij nieuwe takken groeien. Het verhaal "echoot" zichzelf. Het hergebruikt oude structuren om nieuwe betekenis te bouwen.
LLM's (AI): De auteur ontdekte dat AI-modellen vaak werken als een beschadigde plaat of een spiegelkabinet. Ze herhalen misschien dingen, maar ze lijken niet diezelfde diepe, structurele "echo" te hebben waarbij oude delen van het verhaal actief worden herorganiseerd om de nieuwe delen te ondersteunen.

Het artikel meet dit door te tellen hoe vaak kleine stukjes tekst (zoals reeksen van 5 of 10 letters) later in het document opnieuw voorkomen.

De Twee Soorten Groei: De Tuin versus de Fabriek

Het artikel vergelijkt hoe "informatie" groeit naarmate een tekst langer wordt. Het identificeert twee hoofdmanieren waarop dit kan gebeuren:

De Krachtwet-Tuin (Natuurlijke Taal):
Stel je een tuin voor waar je steeds nieuwe, unieke bloemen plant, maar waar je ook steeds dezelfde pergola's en omheiningen hergebruikt om ze te ondersteunen. Naarmate de tuin groeit, neemt de variatie aan bloemen toe, maar de structuur (de omheiningen en pergola's) wordt keer op keer hergebruikt.
Het artikel stelt vast dat menselijk schrijven zich zo gedraagt. Het volgt een "Log-Kracht" patroon. Dit betekent dat de tekst voortdurend haar eigen structurele DNA recyclet. Het is efficiënt en diep met elkaar verbonden.
De Fabriekslijn (AI-modellen):
Stel je een fabriek voor die voortdurend producten produceert. Naarmate de fabriek langer draait, maakt hij iets verschillende items, maar lijkt hij niet diezelfde diepe, recursieve hergebruik van zijn eigen interne blauwdruk te hebben.
Het artikel vond dat AI-modellen, vooral oudere of kleinere, zich anders gedragen. Ze vertonen een "Krachtwet" patroon dat suggereert dat ze voortdurend nieuwe structurele complexiteit genereren zonder hetzelfde niveau van diep, efficiënt hergebruik dat in menselijk schrijven wordt gevonden.

Het Experiment: De "Shuffle"-test

De auteur testte dit op:

Door mensen geschreven romans (van Project Gutenberg).
Door AI gegenereerde verhalen (gemaakt door GPT-3.5, GPT-4 en nieuwere modellen).

Ze zorgden dat de lengtes overeenkwamen zodat de vergelijking eerlijk was. Vervolgens voerden ze een wiskundige "echo-test" uit (met behulp van zoiets als Rényi-entropie) om te zien hoe de tekst zichzelf hergebruikte.

De Resultaten:

Mensen: Ongeacht hoe dik het boek was, bleef het "echo"-patroon stabiel. Mensen hergebruikten consequent hun eigen structurele patronen op een voorspelbare, efficiënte manier.
AI: Het patroon van de AI veranderde afhankelijk van hoe "groot" het model was.
- Kleinere AI-modellen waren erg chaotisch in hoe ze structuur hergebruikten (of faalden daarin).
- Naarmate de AI-modellen groter werden (zoals GPT-5), begonnen ze er meer op te lijken als mensen, maar ze vertoonden nog steeds een systematisch verschil. Ze werden beter in het nabootsen van de "echo", maar de onderliggende wiskunde van hoe ze hun verhalen bouwden, was nog steeds verschillend van die van een menselijke auteur.

De Valkuil van "Maximale Herhaling"

Het artikel keek ook naar de langste herhaalde zin in een tekst (zoals het vinden van de langste zin die twee keer voorkomt).

Eerdere studies richtten zich op deze "extreme" herhalingen.
De auteur betoogt dat dit is alsof je probeert een bos te begrijpen door alleen naar de hoogste boom te kijken. Het is onstabiel en misleidend.
In plaats daarvan geeft het kijken naar alle herhaalde stukjes (de "verdeling") een veel duidelijker, stabieler beeld van de ware structuur van de tekst.

De Conclusie

Dit artikel zegt niet dat AI "slecht" is of dat het geen goede verhalen kan schrijven. Het zegt dat AI en mensen verhalen op verschillende manieren opbouwen.

Mensen schrijven door voortdurend te verwijzen naar en te combineren met hun eigen eerdere woorden en structuren, waardoor een strak, efficiënt web van betekenis ontstaat dat op een specifieke wiskundige manier groeit (Log-Kracht).
AI schrijft door het volgende woord te voorspellen, wat een ander soort groeipatroon creëert (dichterbij Krachtwet). Zelfs de slimste AI-modellen hebben de menselijke kunst van "structureel recycleren" over lange afstanden nog niet helemaal onder de knie.

De auteur concludeert dat we nieuwe tools nodig hebben om AI te meten. We kunnen niet alleen vragen: "Heeft het de test gehaald?" of "Is het vloeiend?". We moeten vragen: "Bouwt het zijn wereld op zoals een mens dat doet?" En op dit moment is het antwoord: Nog niet helemaal.

Technische Samenvatting: Herhaalde Sequenties Onthullen Kloven tussen Grootte Taalmodellen en Natuurlijke Taal

Probleemstelling
Hoewel Grootte Taalmodellen (LLM's) hoge vloeiendheid en coherentie tonen in lokale contexten, blijft het een open uitdaging om vast te stellen of ze de langetermijn statistische organisatie van natuurlijke taal vangen. Bestaande evaluatiemethoden, die sterk vertrouwen op taakgerichte benchmarks of analyses van korte contexten, bieden slechts indirecte bewijzen met betrekking tot de globale structuur van gegenereerde tekst. Eerdere studies hebben problemen geïdentificeerd zoals excessieve herhaling en verminderde diversiteit in de output van LLM's, wat suggereert dat hoge taakprestaties geen mensachtige langetermijnstructuur garanderen. Specifiek ontbreekt het aan kwantitatieve diagnostische middelen die kunnen onderscheiden hoe natuurlijke taal en LLM's gevestigde structurele elementen over lange spanwijdtes opnieuw gebruiken.

Methodologie
De auteurs stellen een complementair evaluatiekader voor dat gebaseerd is op de verdeling van herhaalde subsequenties over schalen, waarbij deze statistieken worden gekoppeld aan hogere-orde Rényi-entropieën.

Telling van Herhaalde Subsequenties: De methode definieert het aantal herhaalde blokken ( $D_m$ ) van lengte $m$ binnen een sequentie van lengte $n$ . In tegenstelling tot analyses die zich richten op maximale herhalingen (die numeriek instabiel kunnen zijn), onderzoekt deze aanpak de verdeling van alle herhaalde subsequenties.
Hogere-orde Rényi-entropie: De auteurs relateren het spectrum van herhaalde blokken aan Rényi-entropieën ( $H_\alpha$ ) van orde $\alpha \ge 2$ . Dit maakt een karakterisering van entropiegroei op eindige lengte mogelijk. De empirische entropie $\hat{H}_\alpha(m)$ wordt berekend op basis van de frequentie van waargenomen bloktypes.
Functionele Karakterisering: Het artikel modelleert de groei van het effectieve aantal onderscheidbare blokken ( $\log_2 S_m$ $lo g_{2} S_{m}$ ) met behulp van twee sublineaire vormen:
- Power-law ansatz: $\log_2 S_m \propto m^\beta$ , geassocieerd met uitbreidende structurele vrijheidsgraden.
- Logaritmisch-power ansatz: $\log_2 S_m \propto (\log_2 m)^\gamma$ , geassocieerd met sterke structurele hergebruik waarbij de beschrijvingslengte langzaam groeit ten opzichte van de sequentielengte.
Schattingsprocedure: Er wordt een tweekaps schatting toegepast om eindige-grootte-effecten te hanteren. Eerst wordt een correctieterm ( $\Delta_\alpha$ ), afgeleid van Touchard-polynomen, geschat op basis van de verhouding tussen totale blokken en onderscheiden blokken. Ten tweede worden de exponenten $\beta$ en $\gamma$ aangepast aan de gecorrigeerde empirische entropiewaarden.

Experimentele Opzet
De studie vergelijkt teksten in natuurlijke taal met door GPT gegenereerde teksten over vier modelgeneraties: gpt-3.5turbo, gpt-4o-mini, gpt-5-mini en gpt-5.

Datasets: Teksten in natuurlijke taal werden bemonsterd uit Project Gutenberg (romans) om de lengteverdelingen van de GPT-outputs te matchen. Alle teksten werden voorverwerkt om metadata en niet-alphabetische karakters te verwijderen.
Controles: Experimenten werden uitgevoerd op 100 teksten per categorie, met lengte-gematchte verdelingen om effecten van sequentielengte te controleren. Aanvullende tests op essays en wetenschappelijke schrijfstijlen bevestigden dat de trends die in verhalen werden waargenomen, consistent waren over verschillende genres.

Belangrijkste Resultaten

Modelpassing: Over de datasets heen leverde het logaritmisch-powermodel over het algemeen een betere passing ( $R^2 > 0.97$ ) voor natuurlijke taal dan het power-lawmodel, met name voor langere teksten. Dit suggereert dat de entropiegroei van natuurlijke taal wordt gedomineerd door structureel hergebruik in plaats van een continue uitbreiding van nieuwe structurele vrijheidsgraden.
Stabiliteit in Natuurlijke Taal: Natuurlijke taal vertoonde stabiele patronen van entropiegroei (gemiddelde exponenten $\beta$ en $\gamma$ ) over verschillende datasets en tekstlengtes, ondanks variabiliteit tussen individuele teksten. Dit duidt op een vorm van "zwakke universaliteit" op populatieniveau.
Systematische Verschuivingen in LLM's: Daarentegen vertoonden door GPT gegenereerde teksten systematische, statistisch significante verschuivingen in geschatte exponenten naarmate de modelgrootte toenam.
- Kleinere modellen (bijv. gpt-3.5turbo) toonden een sterke voorkeur voor het log-powermodel, maar met verschillende exponentkarakteristieken.
- Naarmate de modelgrootte toenam tot gpt-5, namen zowel $\beta$ als $\gamma$ monotoon toe, weg van de stabiele patronen van natuurlijke taal.
- Statistische tests (Welch twee-steekproeven t-toetsen) bevestigden een duidelijke scheiding tussen natuurlijke taal en GPT-5-outputs ( $p \approx 0$ ).
Vergelijking met Maximale Herhaling: Hoewel de groei van maximaal herhaalde subsequenties (exponent $\eta$ ) enige convergentie toonde tussen gpt-5 en natuurlijke taal, onthulde de voorgestelde op verdeling gebaseerde methode meer uitgesproken en systematische verschillen in langetermijnorganisatie.

Belangrijkste Bijdragen

Distributieformulering: Het artikel stelt een distributieformulering van herhaling voor die een karakterisering van entropiegroei op eindige lengte mogelijk maakt via hogere-orde Rényi-entropieën, en zo voorbijgaat aan de instabiliteit van statistieken van maximale herhaling.
Structurele Diagnostiek: Het demonstreert systematische verschillen tussen natuurlijke taal en door LLM gegenereerde tekst in het gedrag van entropiegroei. Specifiek onthult het dat terwijl natuurlijke taal stabiele, hergebruik-gedomineerde patronen vertoont, LLM's systematische verschuivingen in structurele organisatie vertonen die correleren met de modelgrootte.

Betekenis en Claims
Het artikel beweert dat entropie van herhaalde subsequenties dient als een kwantitatieve structurele diagnostiek die in staat is systematische verschillen in langetermijnorganisatie bloot te leggen die onzichtbaar zijn voor oppervlakkige vloeiendheid of taakgerichte evaluaties.

De auteurs interpreteren de logaritmisch-power schaling in natuurlijke taal als bewijs van "sterk structureel hergebruik", waarbij teksten worden gegenereerd door recombinatie en her-indexering van gedeelde linguïstische bronnen. Daarentegen suggereren de verschuivende exponenten in LLM's een zwakkere manifestatie van deze "structuur als referentie"-organisatie, mogelijk vanwege het doel van voorspelling van de volgende token en het gebruik van een eindige context. Het werk stelt vast dat huidige state-of-the-art LLM's, ondanks hun vloeiendheid, de langetermijn statistische organisatie van natuurlijke taal niet volledig repliceren, en biedt een nieuwe maatstaf voor het beoordelen van de structurele fideliteit van gegenereerde tekst.