💬 NLP

How Surprising Is Historical Italian to Language Models? Tokenization Tax, Comprehension Tax, and a Simple Mitigation

Dit artikel stelt een diagnostisch kader voor dat de kosten van tokenisatie ontrafelt van semantisch begrip in historisch Italiaans, waarbij wordt onthuld dat hoewel 17e-eeuwse teksten een hoge voorspellende onzekerheid veroorzaken ondanks robuuste embedding-gelijkenis, deze generatieve instabiliteit effectief met ongeveer 60% kan worden verminderd door middel van eenvoudige temporele context-prompting.

Oorspronkelijke auteurs: Maria Levchenko

Gepubliceerd 2026-06-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Maria Levchenko

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer intelligente, moderne bibliothecaris hebt (een Large Language Model) die bijna alles op het internet heeft gelezen. Je vraagt deze moderne bibliothecaris om je te helpen een stoffige, eeuwenoude bibliotheek te ordenen vol boeken van 300 jaar oud. De vraag op het papier is: Hoe verward raakt deze moderne bibliothecaris bij het lezen van deze oude boeken?

De auteur, Maria Levchenko, betoogt dat we meestal denken dat "oude boeken moeilijk zijn" als één groot, rommelig probleem. Maar dit artikel breekt dit probleem af in drie duidelijke delen, waarbij Italiaanse en Russische geschiedenisboeken als testgevallen worden gebruikt.

Hier is de uitsplitsing met eenvoudige analogieën:

1. De "Tokenisatiebelasting": De kapotte rits

Denk aan een taalmodel als een persoon die een boek probeert te lezen waarbij de letters op vreemde manieren aan elkaar geplakt zijn.

Het Probleem: Moderne computers lezen tekst door woorden op te delen in kleine stukjes die "tokens" worden genoemd. Oude boeken gebruiken oude spelling (zoals de lange "s" die op een "f" lijkt of Russische letters die niet meer bestaan).
Het Resultaat: Omdat de computer deze oude letters niet herkent, moet hij de woorden in kleine, inefficiënte stukjes hakken. Het is alsoal een jas proberen dicht te ritsen waarbij de tanden verbogen zijn; je moet veel harder en langer aan de rits trekken om hem te sluiten.
De Bevinding: Deze "belasting" kost de computer meer energie en geheugen. Interessant genoeg gebeurt dit evenveel voor 17e-eeuws Italiaans als voor 18e-eeuws Russisch. Beide talen dwingen de computer om extra mechanisch werk te verrichten om de woorden simpelweg te zien.

2. De "Begripsbelasting": De verwarde vertaler

Stel je nu voor dat de computer erin is geslaagd de jas open te ritsen (de woorden te lezen). Begrijpt hij ook echt wat hij leest?

De Verrassing: Hier gedragen de twee talen zich heel verschillend.
- Russisch: Zelfs al waren de letters vreemd en moeilijk te ritsen, begreep de computer de betekenis zodra hij ze zag bijna perfect. Het was alsof hij een boek las dat in een vreemd lettertype was geschreven, maar het verhaal was nog steeds heel bekend.
- 17e-eeuws Italiaans: Dit was een ander verhaal. Zelfs nadat de computer de woorden had "ontritst", was hij echt verward. De woordenschat was archaïsch en de zinsstructuren leken op het Latijn. De computer was "verrast" door wat hij las.
De Metafoor: Denk aan de Russische tekst als een modern recept geschreven in een vreemd lettertype. Je kunt het gemakkelijk lezen. De 17e-eeuwse Italiaanse tekst is als een recept geschreven in een taal die je nauwelijks kent, met ingrediënten waarvan je nog nooit hebt gehoord. De computer kent de woorden, maar kan niet voorspellen wat er volgt.
Belangrijk Inzicht: Alleen omdat een tekst moeilijk te typen is (tokeniseren), betekent het niet dat het ook moeilijk is om te begrijpen. Het artikel bewijst dat dit twee aparte problemen zijn.

3. De "Semantische Veiligheid": De geblinddoekte kunstenaar

Dit is de belangrijkste bevinding voor bibliotheken.

De Vraag: Als de computer verward is en de volgende woorden niet kan voorspellen, begrijpt hij dan nog steeds de betekenis van de zin?
Het Antwoord: Ja! Het artikel vond dat zelfs wanneer de computer moeite had met het "spreken" of voorspellen van de tekst, hij de betekenis nog perfect kon "zien".
De Analogie: Stel je een kunstenaar voor die geblinddoekt een kat probeert te tekenen. Ze kunnen misschien moeite hebben met de lijnen (hoge verwarring), maar als je hen vraagt: "Is dit een kat of een hond?", zullen ze met 99% zekerheid naar de kat wijzen.
Waarom het ertoe doet: Dit betekent dat digitale bibliotheken deze AI-modellen veilig kunnen gebruiken om oude documenten te zoeken en te vinden. De AI kan struikelen als je hem vraagt de tekst te herschrijven, maar hij is uitstekend in weten waar de tekst over gaat.

De Magische Fix: De "Tijdreis"-hint

Het artikel testte een zeer eenvoudige truc om de computer te helpen.

De Truc: Voordat de onderzoekers de oude tekst aan de computer lieten zien, voegden ze simpelweg een kleine notitie toe: "Dit is een tekst uit 1687."
Het Resultaat: Deze eenvoudige hint verminderde de verwarring van de computer met ongeveer 60%.
De Analogie: Het is alsof je een tijdreizende toerist vertelt: "Je bent in het jaar 1687, dus verwacht dat mensen anders gekleed zijn en anders praten." Zodra de computer de "tijdzone" weet, stopt hij met het verwachten van moderne grammatica en past hij zijn verwachtingen aan, waardoor de oude tekst veel gemakkelijker te verwerken is.

Wat betreft Beroemde Boeken?

Het artikel waarschuwt ons ook voor het gebruik van beroemde boeken (zoals De Bruidgetrouw van Manzoni) als testgevallen.

Het Probleem: Deze beroemde boeken zijn zo populair dat de AI ze waarschijnlijk duizenden keren heeft gelezen tijdens zijn training. Ze zijn als "cheat codes".
De Realiteit: Als je de AI op deze beroemde boeken test, lijkt hij een genie. Maar als je hem test op obscure, stoffige, niet-beroemde archieven (de "long tail"), worstelt hij veel meer. Het artikel zegt dat we de capaciteit van de AI om met geschiedenis om te gaan niet moeten beoordelen op basis van zijn prestaties op klassieke meesterwerken.

Samenvatting

Oude tekst is duur om te verwerken (Tokenisatiebelasting) vanwege vreemde letters.
Oude tekst is verwarrend om te voorspellen (Begripsbelasting) als de stijl erg anders is dan die van vandaag.
Maar de AI begrijpt de betekenis nog steeds (Semantische Robuustheid), dus hij is uitstekend in het doorzoeken van archieven.
Een eenvoudige hint over de datum lost de meeste verwarring op.
Vertrouw niet alleen op beroemde boeken als test; echte geschiedenis is moeilijker dan de klassiekers.

Technische Samenvatting: Hoe verrassend is historisch Italiaans voor taalmodellen?

Probleemstelling

Grote taalmodellen (LLM's) worden steeds vaker geïntegreerd in workflows van digitale bibliotheken voor taken zoals OCR-postcorrectie, indexering en retrieval. Het vermogen van deze modellen om historische taal te verwerken, is echter nog onvoldoende begrepen. Huidige evaluaties behandelen "historische moeilijkheid" vaak als een monolithische barrière, waarbij drie onderscheidende factoren worden samengevoegd: orthografische variatie, linguïstische afstand en pretraining-blootstelling. Deze samenvoeging vertroebelt de vraag of modellen worstelen door mechanische encoding-inefficiënties (tokenisatie) of door werkelijke begripsproblemen (predictieve onzekerheid). Bovendien leidt de afhankelijkheid van canonieke historische teksten (bijv. Manzoni's I Promessi Sposi) als benchmarks tot mogelijk te optimistische resultaten vanwege de hoge blootstelling in trainingscorpora, wat niet representatief is voor de uitdagingen van niet-canonieke, niet-gestandaardiseerde archiefmaterialen.

Methodologie

De auteurs stellen een diagnostisch kader voor dat historische moeilijkheid deelt op in vier afzonderlijke dimensies:

Tokenisatiekosten: Het meten van "token-inflatie" (de relatieve toename in het aantal tokens vergeleken met een gemoderniseerde baseline) om encoding-inefficiëntie te kwantificeren.
Predictieve Onzekerheid (Surprisal): Het meten van perplexiteit ($PPL$) om de onzekerheid van het model bij de voorspelling van het volgende token te beoordelen, wat dient als een proxy voor begripsmoeilijkheid.
Semantische Robuustheid: Het berekenen van de cosinusovereenkomst tussen de embeddings van historische en moderne zinnen om te bepalen of archaïsche oppervlaktevormen naar stabiele semantische ruimtes mappen.
Contextgevoeligheid: Het evalueren van de impact van minimale temporele contextprompts (bijv. "Italiaanse tekst uit 1687") op het verminderen van perplexiteit.

Datasets:
De studie evalueert drie datasets die drie eeuwen beslaan om specifieke bronnen van moeilijkheid te isoleren:

17e-eeuws Italiaans (1610–1689): Een nieuw samengesteld corpus van vijf niet-canonieke teksten (religieuze traktaten, academische proza, etc.) gedigitaliseerd van originele pagina-afbeeldingen. Deze dataset bevat archaïsche orthografie (bijv. de lange s ſ), Latijn-geïnspireerde syntaxis en een lage waarschijnlijkheid van letterlijke pretraining-blootstelling.
19e-eeuws Italiaans (I Promessi Sposi, Quarantana-editie): Een controleconditie met hoge blootstelling. Als canonieke tekst dient dit als een "best-case" baseline om het gedrag van het model te illustreren wanneer de orthografie gestandaardiseerd is en de lexicale bekendheid hoog is.
18e-eeuwse Russische Civiele Boeken: Een contrastieve stress-test met extreme orthografische divergentie (verouderde karakters zoals yat, fita), maar een relatief beperkte lexicale en syntactische afstand tot het moderne Russisch.

Modellen:

Tokenisatie: OpenAI o200k_base (GPT-4o/5 familie) en Qwen 2.5 tokenizers.
Perplexity: Qwen 2.5-1.5B (base checkpoint) om pure waarschijnlijkheidsverdelingen te waarborgen.
Embeddings: OpenAI text-embedding-3-large, Google LaBSE, en Qwen 2.5-1.5B verborgen toestanden (hidden states).

Belangrijkste Resultaten

1. Dissociatie tussen Encoding-kosten en Begrip

De studie onthult een duidelijke ontkoppeling tussen tokenisatie-efficiëntie en predictieve moeilijkheid.

Tokenisatiebelasting: Zowel 18e-eeuws Russisch als 17e-eeuws Italiaans brengen vergelijkbare tokenisatie-penaliteiten met zich mee (ongeveer 25–30% inflatie). In het Russisch wordt dit veroorzaakt door byte-level fallback voor verouderde karakters; in het Italiaans wordt dit primair veroorzaakt door de lange s (ſ), wat zorgt voor subword-fragmentatie ondanks de aanwezigheid in de vocabulaire.
Predictieve Moeilijkheid: Ondanks vergelijkbare encoding-kosten divergeren de perplexiteitsratio's scherp.
- Russisch: Vertoont slechts een bescheiden toename in perplexiteit (1.25× moderne baseline), wat aangeeft dat orthografische verstoring alleen de predictieve capaciteiten van het model niet significant in verwarring brengt.
- 17e-eeuws Italiaans: Is gemiddeld 2.4× verrassender dan zijn moderne equivalent, waarbij academisch proza zelfs 3.2× bereikt.
Conclusie: Tokenisatiekosten zijn een slechte proxy voor historische complexiteit. Hoge token-inflatie impliceert niet noodzakelijkerwijs een hoge begripsmoeilijkheid, en vice versa.

2. Genre en Register wegen zwaarder dan Chronologie

Historische moeilijkheid is geen lineaire functie van tijd.

Binnen het 17e-eeuwse corpus waren de meest moeilijke tekst (Academische Inleiding, 1687) en de gemakkelijkste tekst (Beschrijvende Portretten, 1689) slechts twee jaar uit elkaar gepubliceerd.
De academische tekst vertoonde een perplexiteitsratio van 3.22×, terwijl de beschrijvende tekst 1.81× was.
Bevinding: Register (bijv. structurele fragmentatie in academisch proza versus rituele redundantie in theologische narratieven) is een sterkere determinant voor modelprestaties dan chronologische ouderdom. Canonieke 19e-eeuwse teksten fungeren als baselines met hoge blootstelling, waardoor de structurele uitdagingen van niet-canonieke materialen worden gemaskeerd.

3. Semantische Robuustheid ondanks Generatieve Instabiliteit

Hoge perplexiteit impliceert geen representatieve degradatie.

De embedding-gelijkenis tussen historische en moderne zinnen blijft robuust over alle datasets (Cosinusovereenkomst $\ge$ 0.85).
Het Qwen 2.5-model behaalde een gelijkenis van 0.938 voor 17e-eeuws Italiaans, ondanks de hoge perplexiteit waargenomen in generatieve taken.
Implicatie: Modellen kunnen succesvol archaïsche oppervlaktevormen naar de juiste semantische ruimte mappen, zelfs wanneer ze niet de probabilistische zekerheid hebben om ze token voor token te genereren.

4. Mitigatie via Temporele Context

Een minimale, model-agnostische interventie vermindert de moeilijkheid aanzienlijk.

Het voorafgaan van een korte temporele contextprompt (bijv. "Italiaanse tekst uit 1687") verminderde de historische verrassing (surprisal) voor 17e-eeuws Italiaans met ongeveer 60%.
Het effect was minder uitgesproken voor Russisch (17% reductie), wat suggereert dat context-priming het meest cruciaal is voor teksten met een hoge distributionele divergentie (lexicale/syntactische drift) in plaats van teksten met voornamelijk orthografische ruis.

Betekenis en Claims

Het artikel betoogt dat "historische moeilijkheid" niet één enkel, onoplosbaar probleem is, maar een samengestelde factor van interagerende dimensies die afzonderlijk geëvalueerd moeten worden:

Ontkoppelde Metrieken: De studie toont aan dat tokenisatie-efficiëntie (een mechanische belasting) niet gecorreleerd is met semantische robuustheid. Digitale bibliotheken kunnen LLM's veilig inzetten voor semantische retrieval-taken (zoeken, clustering, classificatie), zelfs wanneer ze te maken hebben met teksten die hoge tokenisatiekosten en hoge perplexiteit veroorzaken, aangezien de modellen stabiele interne representaties behouden.
Validiteit van Benchmarks: Vertrouwen op canonieke, met hoge mate blootgestelde teksten (zoals Manzoni) leidt tot een systematische onderschatting van de uitdagingen van de "long tail" van archiefmaterialen. Evaluaties moeten niet-canonieke, niet-gestandaardiseerde teksten bevatten om de geschiktheid van modellen accuraat te beoordelen.
Strategische Inzet:
- Retrieval: Kan worden ingezet met minimale normalisatie, aangezien de semantische uitlijning hoog blijft.
- Generatie: Taken zoals OCR-correctie of samenvatting blijven gevoelig voor hoge perplexiteit en vereisen specifieke mitigatiestrategieën.
Kosteneffectieve Mitigatie: De auteurs laten zien dat eenvoudige temporele prompting een zeer effectieve, kosteloze strategie is om de kloof tussen modelverwachtingen en historische registers te overbruggen, waardoor de predictieve fout met meer dan de helft wordt verminderd zonder dat finetuning of agressieve tekstnormalisatie nodig is.

Concluderend pleit het artikel voor een verschuiving in evaluatiekaders: voorbij oppervlakkige metrieken zoals token-aantallen om onderscheid te maken tussen de mechanische kosten van encoding, de onzekerheid van voorspelling en de stabiliteit van semantische representatie. Dit stelt digitale bibliotheken in staat om LLM's effectief in te zetten als "bekwame lezers" van de geschiedenis, zelfs als ze nog geen "perfecte sprekers" zijn.