💬 NLP

Loci Similes: A Benchmark for Extracting Intertextualities in Latin Literature

Dit artikel introduceert "Loci Similes", een benchmark-dataset van 545 door experts geverifieerde parallellen tussen laatantieke en klassieke Latijnse auteurs, ontworpen om het tekort aan gestandaardiseerde bronnen voor het trainen en evalueren van grote taalmodellen op de detectie van intertekstualiteiten te overwinnen.

Oorspronkelijke auteurs: Julian Schelb, Michael Wittweiler, Marie Revellio, Barbara Feichtinger, Andreas Spitz

Gepubliceerd 2026-07-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Julian Schelb, Michael Wittweiler, Marie Revellio, Barbara Feichtinger, Andreas Spitz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen in een gigantische, eeuwenoude bibliotheek. Het mysterie? Ontdekken welke oude verhalen stiekem gekopieerd, aangepast of gefluisterd werden door latere schrijvers. In de wereld van de Latijnse literatuur wordt dit "intertekstualiteit" genoemd. Eeuwenlang moesten geleerden duizenden stoffige rollen met de hand lezen en vertrouwden ze op hun geheugen om te merken wanneer een schrijver als Hiëronymus (een christelijke monnik) stiekem een coole zin leende van Vergilius (een heidense dichter).

Maar dit is het probleem: schrijvers kopieerden niet simpelweg en plakten ook niet zomaar tekst. Ze veranderden de woordvolgorde, vervingen synoniemen of verborgen de referentie zo goed dat een eenvoudige "zoek naar dit woord"-tool de connectie zou missen. Het is also kind van een specifiek liedje zoeken in een afspeellijst door slechts een paar noten te neuriën, maar de zanger heeft het tempo en de tekst lichtelijk veranderd.

Maak kennis met Loci Similes, een nieuwe digitale tool ontwikkeld door een team van computerwetenschappers en Latijnse experts om te helpen dit mysterie op te lossen. Zie het als een enorme, supergeorganiseerde "spiekbrief" voor de bibliotheek.

De Grote Bibliotheek en de Spiekbrief

Het team bouwde een dataset met ongeveer 176.000 kleine tekstfragmenten. Ze verdeelden deze in twee stapels:

De "Query"-stapel: Teksten geschreven door latere auteurs (zoals Hiëronymus, Lactantius en Valerius Flaccus).
De "Source"-stapel: Teksten geschreven door klassieke auteurs (zoals Cicero, Vergilius, Ovidius en Horatius).

Om te controleren of hun computertools daadwerkelijk leerden, maakten ze een "ground truth" spiekbrief aan. Deze sheet bevat 1.490 specifieke verbindingen die menselijke experts als echt hebben geverifieerd. Het is als een antwoordmodel waarbij de experts zeiden: "Ja, deze zin in het boek van Hiëronymus is absoluut een knipoog naar deze zin in het boek van Vergilius."

De Grote Computerrace

De onderzoekers vroegen zich af: Kunnen computers deze verborgen verbindingen beter vinden dan traditionele zoektools?

Ze lieten een race blussen tussen drie soorten computermodellen:

De "Woordteller" (Lexicale Modellen): Deze kijken naar exacte woorden of woordstammen. Ze zijn als een bibliothecaris die alleen controleert of exact dezelfde woorden in beide boeken voorkomen.
De "Diepe Denker" (Dense Neural Modellen): Deze maken gebruik van geavanceerde AI om de betekenis van een zin te begrijpen, zelfs als de woorden anders zijn. Ze zijn als een detective die de vibe van een verhaal begrijpt.
Het "Twee-Stappen-Team" (Retrieve-and-Rerank): Dit team gebruikt eerst de "Woordteller" om een shortlist van verdachten te verzamelen, en gebruikt vervolgens de "Diepe Denker" om hen dubbel te controleren.

Wat Ze Vonden (De Plotwending)

Hier wordt het verhaal interessant, want de resultaten waren niet wat iedereen verwachtte.

1. De "Diepe Denker" won de eerste ronde niet.
Je zou denken dat de fancy AI die betekenis begrijpt, de beste zou zijn bij het vinden van verborgen referenties. Maar het paper suggereert dat voor het Latijn de ouderwetse "Woordteller" (specifiek een methode genaamd BM25 met behulp van lemma's, de woordenboekvormen van woorden) eigenlijk een beter werk leverde tijdens de eerste fase.

Waarom? Latijn is een taal met krankzinnige woorduitgangen die veranderen op basis van grammatica. De fancy AI raakte soms in de war door deze veranderingen, terwijl de "Woordteller" goed was in het strippen van deze uitgangen om de kern van het woord te vinden.
Het resultaat: De "Woordteller" vond ongeveer 78% van de directe, woord-voor-woord kopieën (verbatim referenties) bij het zoeken naar de top 100 kandidaten. De fancy AI-modellen waren dichtbij, maar versloegen het niet.

2. De "Diepe Denker" is nodig voor het moeilijke werk.
Hoewel de "Woordteller" geweldig was in het vinden van exacte kopieën, faalde hij jammerlijk bij het vinden van allusies (subtiele hints waarbij de betekenis vergelijkbaar is maar de woorden totaal anders zijn).

Het probleem: Als Hiëronymus een zin schreef die voelde als die van Vergilius, maar totaal andere woorden gebruikte, zag de "Woordteller" nul connectie.
De oplossing: De "Diepe Denker" (specifiek een model genaamd XLM-R Large) was veel beter in het opsporen van deze subtiele verbindingen met een lage overlap. Het kon zeggen: "Hé, ook al zijn de woorden anders, deze twee zinnen gaan over hetzelfde angstaanjagende gevoel."

3. De Winnende Strategie: Het Twee-Stappen-Team.
Het paper suggereert dat de beste manier om het mysterie op te lossen niet is om één detective te kiezen, maar om een team te gebruiken.

Stap 1: Gebruik de "Woordteller" om de hele bibliotheek te scannen en de top 100 meest waarschijnlijke verdachten voor elke query naar voren te halen.
Stap 2: Geef die shortlist aan de "Diepe Denker om te beslissen welke van hen echte referenties zijn en welke slechts toevalligheden zijn.
Het resultaat: Deze teamaanpak slaagde erin om 63% van de ware verborgen referenties te herstellen, terwijl de lijst met zaken die een menselijke geleerde zou moeten lezen met 97% werd verkleind. Het is alsof je een hooiberg van een miljoen naalen verandert in een klein mandje met 1.900 naalden, wat het werk veel gemakkelijker maakt.

Wat het Paper Uitsluit

De auteurs zijn zeer duidelijk over wat niet goed werkt:

Alleen fancy AI gebruiken is niet genoeg. Als je alleen op de "Diepe Denker" vertrouwt zonder een goede eerste filter, mis je te veel verbindingen.
Alleen simpele woordmatching is niet genoeg. Als je alleen naar exacte woorden kijkt, mis je de subtiele, slimme referenties die het meest interessant zijn voor het onderzoek.
Het is geen "opgelost" probleem. Het paper stelt expliciet dat het vinden van deze subtiele links nog steeds "uitdagend" is. De AI is goed, maar maakt nog steeds fouten, vooral wanneer de connectie erg kort is of de woorden erg verschillend zijn.

De Kernboodschap

Het paper suggereert dat hoewel AI een krachtig nieuw hulpmiddel is voor het bestuderen van oude literatuur, het geen toverstaf is die alles direct oplost. De beste aanpak op dit moment is een hybride een: gebruik eenvoudige, snelle tools om de zoektocht in te perken, en gebruik vervolgens slimme, deep-learning tools om de definitieve beslissing te nemen.

De auteurs geven toe dat hun dataset niet perfect is (het is niet elke verbinding die ooit heeft bestaan) en dat het definiëren van wat een "referentie" is, zelfs voor mensen lastig kan zijn. Maar met 1.490 door experts geverifieerde voorbeelden en een nieuwe benchmark genaamd Loci Similes, hebben ze toekomstige onderzoekers een solide startpunt gegeven om nog betere tools te bouwen. Het mysterie van de eeuwenoude bibliotheek wordt nog steeds opgelost, maar nu hebben we een veel betere zaklamp.

Technische Samenvatting: Loci Similes: Een Benchmark voor het Extraheren van Intertekstualiteit in de Latijnse Literatuur

Probleemstelling
Het traceren van intertekstuele verbindingen in de Latijnse literatuur is een fundamentele taak binnen de klassieke filologie, essentieel voor het reconstrueren van de "virtuele bibliotheek" van een auteur en het begrijpen van culturele receptie, met name in de Laat-Antieke periode waar christelijke auteurs pagense teksten hercontextualiseerden. Automatische detectie wordt echter beperkt door het gebrek aan gestandaardiseerde benchmarks en toegankelijke datasets. Bestaande methoden vertrouwen vaak op exacte $n$ -gram matching of heuristische filtering, wat faalt in het vastleggen van subtiele allusies, parafrases en morfologische variaties die geen significante oppervlakkige vocabulaire delen. Hoewel taalmodellen potentieel bieden voor het vastleggen van semantische gelijkenis buiten lexicale overlap, wordt hun ontwikkeling voor dit specifieke domein gehinderd door het gebrek aan gecureerde, door experts geverifieerde grondwaarheid (ground truth) data.

Methodologie
De auteurs introduceren Loci Similes, een uitgebreide benchmark ontworpen om computationele benaderingen voor de detectie van Latijnse intertekstualiteit te evalueren. De methodologie bestaat uit drie primaire componenten:

Dataset Constructie:
- Corpus: De dataset bestaat uit $\sim$ 176.000 tekstsegmenten, verdeeld in een Query Corpus (latere auteurs: Hiëronymus, Lactantius en Valerius Flaccus) en een Source Corpus (eerdere canonieke auteurs: Cicero, Vergilius, Ovidius, etc.).
- Grondwaarheid (Ground Truth): Een samengevoegde dataset van 1.490 door experts geverifieerde intertekstuele links werd geconstrueerd door 545 nieuw gecureerde referenties te combineren met 945 gelabelde referenties uit een eerdere studie (Burns et al., 2021).
- Annotatieschema: Links worden geclassificeerd in drie categorieën: Geen Match, Letterlijke Referentie (cit.) (inclusief gemarkeerd, ongemarkeerd en geparafraseerd hergebruik) en Allusie (cf.) (thematische of stilistische echo's met lage lexicale overlap). Annotatie werd uitgevoerd door vier experts in de Latijnse literatuur met criteria gebaseerd op ongewoon vocabulaire, getuigenis van frequentie en conduit-functie.
Experimentele Opzet:
- Taken: De studie evalueert drie methodenfamilies: (i) Alleen Retrieval (rangschikken van bronsegmenten), (ii) Alleen Classificatie (onderscheid maken tussen typen matches op een vaste kandidaatverzameling), en (iii) Retrieve-and-Rerank pipelines.
- Modellen:
  - Retrievers: Sparse lexicale methoden (TF-IDF, BM25 met oppervlakte-tokens en lemma's), word embeddings (Word2Vec, LatinBERT), en dense bi-encoders (multilinguale modellen zoals BGE-M3, E5, en Latijn-specifieke SPhilBERTa).
  - Classifiers: Lexicale baselines (LogReg, GBDT) en cross-encoder transformers (mmBERT, XLM-R, mBERT, en Latijn-specifieke varianten).
- Evaluatie: De studie gebruikt 5-voudige kruisvalidatie met realistische retrieval-scenario's (query versus in-domain distractors). Metrics zijn onder meer Recall@k, Precision, Recall, F1, en foutenpercentages (SMR, FPR, FNR).

Belangrijkste Bijdragen

Gecureerde Benchmark: De release van een dataset met $\sim$ 176k segmenten en 1.490 gelabelde links, waarbij onderscheid wordt gemaakt tussen letterlijke referenties en allusies, wat een kritiek gat opvult in de gestandaardiseerde bronnen voor Latijnse intertekstualiteit.
Evaluatiekader: Een afstemming van computationele evaluatie met praktische filologische workflows, specifiek getest op het vermogen om subtiele allusies naast directe citaten te detecteren.
Baseline Resultaten: Uitgebreide baseline-prestaties voor retrieval- en classificatiemodellen, wat een fundament legt voor toekomstig vergelijkend onderzoek.

Resultaten

Retrieval Prestaties: In tegen tegenstelling tot trends in algemene NLP, overtroffen sparse lexicale methoden de dense neurale retrievers. Specifiek bereikte BM25 met gelimmatiseerde unigrammen de beste Recall@100 (0,78 voor letterlijke referenties, 0,58 voor allusies). Dense multilinguale encoders (bijv. BGE-M3) presteerden beter dan Latijn-specifieke baselines, maar bleven achter bij de lexicale methoden.
Classificatie Prestaties: Transformer cross-encoders presteerden significant beter dan lexicale classifiers, met name voor allusies. XLM-R Large behaalde de beste F1 voor letterlijke referenties (0,76), terwijl mmBERT het best presteerde voor allusies (F1 0,13), hoewel detectie van allusies uitdagend bleef met een lage precisie.
Retrieve-and-Rerank Pipeline: Het combineren van BM25 retrieval met een cross-encoder reranker leverde de meest praktische resultaten op. Bij $k=100$ herstelde de pipeline 63% van de ware intertekstuele referenties, terwijl de kandidaatverzameling met 97% werd verminderd ten opzichte van de retrieval-only baselines, wat de scope voor menselijke inspectie aanzienlijk verkleinde.
Foutanalyse: Prestaties zijn sterk gecorreleerd met lexicale overlap voor letterlijke referenties, maar ontkoppelen voor allusies. False positives ontstaan vaak door hoog-overlap generieke zinnen (bijv. omnia timeo), terwijl false negatives optreden wanneer korte, laag-overlap allusies verloren gaan in sentence-level pooling.

Betekenis en Claims
Het artikel stelt dat hoewel taalmodellen een veelbelovende weg bieden voor het detecteren van semantische gelijkenis in het Latijn, de primaire uitdaging blijft het onderscheiden van betekenisvol hergebruik van toevallige lexicale overlap. De auteurs stellen dat:

Hybride benaderingen noodzakelijk zijn: De rijke morfologie van Latijnse fragmenten onder subword tokenizers geeft sparse, lemma-gebaseerde methoden een voordeel in de retrieval-fase.
Neurale modellen excelleren in nuance: Cross-encoders bieden een duidelijk voordeel ten opzichte van lexicale classifiers voor het detecteren van subtiele allusies waar lexicale kenmerken falen.
Huidige beperkingen: Het detecteren van korte, laag-overlap parallellen blijft moeilijk. De auteurs suggereren dat toekomstig werk zich moet richten op token-level matching (late-interaction retrievers) en span-level analyse om signalen te herstellen die verloren gaan door sentence-level pooling.

De studie concludeert dat Loci Similes de noodzakelijke infrastructuur biedt voor de vooruitgang van intertekstueel onderzoek, maar dat verdere architecturale ontwikkelingen vereist zijn om de detectie van subtiele, gehercontextualiseerde echo's in de Latijnse literatuur volledig te automatiseren.