CzechTopic: A Benchmark for Zero-Shot Topic Localization in Historical Czech Documents

Dit artikel introduceert CzechTopic, een menselijk geannoteerd benchmark voor nul-shot onderwerplokalisatie in historische Tsjechische documenten, en evalueert diverse grote taalmodellen en BERT-varianten, waarbij de beste modellen menselijke overeenkomst benaderen ondanks variatie in prestaties.

De kern

🕵️‍♂️ De Grote Schatjagers: Over het vinden van onderwerpen in oude brieven

Stel je voor dat je een enorme berg oude, vergeelde brieven uit de 19e eeuw hebt. Je bent een historicus en je bent op zoek naar iets specifieks: bijvoorbeeld "stakingsacties" of "liefdesverdriet".

In het verleden konden computers alleen zeggen: "Ja, in dit hele document komt het woord 'staking' voor." Maar dat is niet genoeg. Je wilt weten waar in de brief het over gaat. Is het in de eerste zin? Of pas in de laatste alinea? En wat als de schrijver overal over praat, maar alleen op één specifieke plek echt boos is?

Dat is precies wat dit paper onderzoekt: Topic Localization (onderwerp-lokalisatie). Het is als het vinden van de exacte zinnen in een verhaal die over een bepaald onderwerp gaan, in plaats van alleen te zeggen dat het onderwerp ergens in het verhaal voorkomt.

🇨🇿 De Uitdaging: Oude Tsjechische Teksten

De auteurs (onderzoekers uit Tsjechië) hebben een nieuw spel bedacht om dit te testen. Ze hebben een enorme verzameling oude Tsjechische teksten geselecteerd.

• Het probleem: Oude teksten zijn vaak rommelig, moeilijk te lezen en vol met nuance.
• De oplossing: Ze hebben een "proef" gemaakt. Mensen kregen een onderwerp (bijv. "Stakingen") en moesten de exacte zinnen in de tekst aanwijzen die daarover gaan.

Het is alsof je een groep vrienden vraagt om in een roman de zinnen te markeren die over "verdriet" gaan. Je zult zien dat de ene vriend een zinnetje extra markeert en de ander een zinnetje mist. Dat is normaal! Mensen zijn niet altijd 100% hetzelfde.

🤖 De Strijd: Mensen vs. Robots (LLMs)

De onderzoekers wilden weten: Kunnen slimme AI-modellen (zoals ChatGPT) dit net zo goed als mensen?

Ze hebben verschillende soorten "robots" getest:

1. De Grote Reuzen (LLMs): Dit zijn de super-slimme modellen die je misschien kent. Ze kunnen praten, schrijven en redeneren.
2. De Gespecialiseerde Werkpaarden (BERT-modellen): Dit zijn kleinere, opgeleide modellen die specifiek getraind zijn om zinnen te analyseren.

Het resultaat was verrassend:

• De Grote Reuzen waren soms briljant. Ze konden het onderwerp herkennen bijna net zo goed als mensen. Maar... als het ging om het precies markeren van de zinnen, maakten ze soms rare fouten. Het was alsof ze de betekenis begrepen, maar de "vinger" niet precies op de juiste plek konden leggen.
• De Werkpaarden verrasten iedereen. Ondanks dat ze veel kleiner en simpeler waren, deden ze het bijna net zo goed als de grote reuzen, en soms zelfs beter dan de kleinere versies van die reuzen. Ze waren als een ervaren ambachtsman die precies weet waar hij moet hameren.

🎯 De Belangrijkste Lerenlessen

1. Er is geen enkele "Goed" antwoord
In de oude tijd dachten we dat er één juiste oplossing was (zoals een meerkeuzevraag). Maar bij het markeren van zinnen is dat niet zo. Als twee mensen naar dezelfde tekst kijken, zullen ze het misschien niet 100% eens zijn over waar een zin begint en eindigt.

• De analogie: Stel je voor dat je een schilderij moet inkleuren. De ene schilder vindt dat de rand van de boom hier moet zitten, de ander vindt dat hij daar moet zitten. Beide zijn redelijk. De onderzoekers hebben daarom gekeken naar hoeveel mensen het met elkaar eens waren, in plaats van naar één "perfect" antwoord.

2. De "Leraar" en de "Leerling"
Om de robots te trainen, maakten ze eerst een gigantische set van voorbeelden met behulp van een AI (een "leraar"). Daarna leerden ze de kleinere robots (de "leerlingen") op basis daarvan.

• De verrassing: De kleine robots leerden zo goed, dat ze bijna net zo goed presteerden als de leraar die hen had gemaakt. Dit betekent dat je niet altijd de duurste, grootste computer nodig hebt om dit soort taken goed te doen.

3. Taal maakt niet uit
Het was interessant om te zien dat het niet uitmaakte of je de instructies aan de AI gaf in het Tsjechisch of in het Engels. De AI begreep de opdracht even goed in beide talen.

🏁 Conclusie: Waarom is dit belangrijk?

Dit paper laat zien dat computers steeds beter worden in het begrijpen van nuance in tekst. Het is een belangrijke stap voor historici, bibliothecarissen en onderzoekers.

Stel je voor dat je een archief hebt met duizenden brieven. Met deze technologie kun je automatisch alle stukken vinden waarover "armoede" gaat, precies de zinnen markeren en zo een heel verhaal over de geschiedenis van armoede opbouwen, zonder dat je zelf duizenden pagina's hoeft te lezen.

Kortom: We hebben een nieuwe manier gevonden om te meten hoe goed computers tekst kunnen "lezen" en "begrijpen", en we hebben ontdekt dat soms de kleine, slimme robots net zo goed zijn als de grote, dure supercomputers. En dat is geweldig nieuws voor de toekomst!

Technische samenvatting

Titel: CzechTopic: Een Benchmark voor Zero-Shot Topic-Localisatie in Historische Tsjechische Documenten

1. Het Probleem: Topic Localisatie

Het paper introduceert en bestudeert de taak van topic localisatie. In tegenstelling tot traditionele documentclassificatie (waarbij een heel document een label krijgt) of topicsegmentatie (waarbij een document in continue blokken wordt opgesplitst), vereist topic localisatie het identificeren van de exacte tekstspans (reeksen woorden) binnen een document die een specifiek onderwerp uitdrukken.

De uitdagingen zijn:

• Granulariteit: Het gaat om woord-niveau grenzen in plaats van document-niveau labels.
• Complexiteit: Spans kunnen overlappen, niet-contigu zijn (verspreid over het document) en meerdere keren voorkomen.
• Subjectiviteit: De grenzen van een onderwerp zijn vaak vaag, wat leidt tot variatie in menselijke annotatie.
• Context: De focus ligt op historische Tsjechische documenten, wat extra complexiteit toevoegt door verouderde taal en specifieke domeinkennis.

2. Methodologie en Dataset

De CzechTopic Dataset:
De auteurs hebben een nieuw, menselijk geannoteerd dataset ontwikkeld, afgeleid van gedigitaliseerde historische Tsjechische bronnen (boeken en periodieken).

• Opbouw: De dataset bevat 525 teksten, verdeeld over 105 semantische clusters. Er zijn 363 menselijk gedefinieerde topics (met naam en beschrijving) en in totaal 1.820 geannoteerde (tekst, topic)-paren.
• Annotatieproces (Twee fasen):
  1. Fase 1 (Topic Definitie): Annotatoren kregen clusters van teksten en moesten 2-5 terugkerende thema's definiëren en lokaliseren.
  2. Fase 2 (Localisatie-Accord): Verschillende annotatoren kregen dezelfde vooraf gedefinieerde topics en moesten alleen de spans lokaliseren. Dit stelt de auteurs in staat om inter-annotator overeenstemming te meten in plaats van te vertrouwen op één "gouden" referentie.
• Distillatie voor Training: Omdat menselijke annotatie tijdrovend is, hebben de auteurs een grootschalig ontwikkelingsdataset (15.550 teksten, 187.773 paren) gegenereerd met behulp van het LLM gpt-5-mini. Dit dataset werd gebruikt om kleinere modellen te fine-tunen.

Evaluatieprotocol:
In plaats van een enkele gouden standaard te gebruiken, wordt de prestatie van modellen vergeleken met de gemiddelde menselijke overeenstemming.

• Niveaus: Evaluatie op tekstniveau (is het topic aanwezig?) en woordniveau (precieze span-localisatie).
• Metrieken: Precision, Recall, F1-score en Intersection over Union (IoU). De menselijke baseline wordt berekend als de gemiddelde paarwijze overeenstemming tussen alle annotatoren.

Modellen:

• LLM's: Een breed scala aan grote taalmodellen (o.a. GPT-5, Llama 3, Gemma, Gemini) getest in zero-shot en few-shot settings, met verschillende prompting-strategieën (tagging vs. matching).
• BERT-gebaseerde modellen: Cross-encoder modellen (geïnspireerd door GLiNER) die zijn gefinetuned op het gedistilleerde dataset. Deze modellen coderen de topic-beschrijving en de tekst gezamenlijk in.

3. Belangrijkste Resultaten

• Menselijke Overeenstemming: Menselijke annotatoren vertonen een hoge mate van consistentie (Krippendorff's $\alpha$ rond 0.60), maar er is nog steeds een significante variatie, wat aantoont dat de taak inherent subjectief is.
• Prestatie van LLM's:
  • Er is een grote variatie in prestaties tussen verschillende LLM's. De beste modellen (zoals GPT-5-2) benaderen menselijke prestaties op tekstniveau, maar blijven achter op woordniveau.
  • De beste LLM bereikte een woordniveau F1-score van 61,1 (menselijke baseline: 68,7).
  • Kleinere of minder capabele modellen presteerden aanzienlijk slechter (F1 tot 13,2), wat aantoont dat de benchmark een serieuze uitdaging vormt.
• Prestatie van Fine-tuned BERT:
  • Gefinetuned cross-encoder modellen (zoals robeczech) presteren verrassend goed en zijn concurrerend met veel grotere LLM's, ondanks hun kleinere schaal.
  • Ze behalen een woordniveau F1 van ongeveer 48,3, wat beter is dan veel kleinere LLM's, maar nog steeds onder de menselijke baseline ligt.
• Ablatie-studie LLM-configuratie:
  • De extractiestrategie heeft de grootste impact: de "matching"-aanpak (genereren van de span-inhoud) presteert significant beter dan "tagging" (invoegen van markers).
  • Few-shot prompting (voorbeelden geven) leverde slechts een marginale verbetering op.
  • De taal van de prompt (Tsjechisch vs. Engels) had geen meetbaar effect op de prestaties.

4. Bijdragen

1. Nieuwe Benchmark: Introductie van CzechTopic, het eerste menselijk geannoteerde dataset specifiek voor topic localisatie in historische Tsjechische teksten, met open-ended topicdefinities.
2. Methodologische Innovatie: Een evaluatieframework dat modellen vergelijkt met menselijke overeenstemming (inter-annotator agreement) in plaats van een enkele referentie, wat realistischer is voor subjectieve taken.
3. Schaalbare Training: Een methode voor het genereren van een groot, gedistilleerd trainingsdataset via LLM's om fine-tuning van kleinere modellen mogelijk te maken.
4. Empirische Inzichten: Aantonen dat hoewel sterke LLM's dicht bij menselijke prestaties komen, er nog een significant gat blijft bestaan in de precisie van span-localisatie, en dat gespecialiseerde, kleinere modellen (BERT) zeer competitief kunnen zijn.

5. Significantie

Dit paper is significant omdat het een onderbelicht gebied in NLP (topic localisatie) naar voren brengt en een robuuste benchmark biedt voor historische documentanalyse. Het benadrukt dat:

• Subjectiviteit een kernaspect is van semantische analyse en dat evaluaties hier rekening mee moeten houden.
• Grote modellen niet automatisch de beste oplossing zijn voor fijne granulariteit taken; gespecialiseerde architecturen blijven essentieel.
• De dataset en het evaluatiekader een waardevolle basis vormen voor toekomstig onderzoek in digitale geesteswetenschappen, automatisch taggen en corpusannotatie.

De dataset en het evaluatiekader zijn openbaar beschikbaar via GitHub, wat de reproduceerbaarheid en verdere ontwikkeling in dit domein stimuleert.