SlovKE: A Large-Scale Dataset and LLM Evaluation for Slovak Keyphrase Extraction

Dit artikel introduceert SlovKE, een groot dataset van 227.432 wetenschappelijke abstracts met auteur-toegewezen sleutelwoorden voor het Slowaaks, en toont aan dat LLM-gebaseerde extractie (KeyLLM) statistische methoden overtreft door de uitdaging van morfologische variatie in deze taalkundig rijke taal beter aan te pakken.

De kern

🇸🇰 De Grote Slowaakse Woordenschat-Opdracht: Een Reis door de Wereld van Sleutelwoorden

Stel je voor dat je een enorme bibliotheek hebt met 227.000 wetenschappelijke scripties uit Slowakije. Elke scriptie heeft een korte samenvatting (een abstract) en een lijstje met sleutelwoorden die de auteur zelf heeft gekozen om het onderwerp samen te vatten.

Het probleem? De Slowaakse taal is een kameleon. Woorden veranderen hun vorm afhankelijk van hoe ze in de zin worden gebruikt (net als in het Nederlands: de hond, van de hond, aan de hond, maar dan veel extremer).

De onderzoekers van deze studie wilden weten: Kunnen computers die scripties lezen en de juiste sleutelwoorden terugvinden, of raken ze de draad kwijt door al die woordveranderingen?

Hier is hoe ze het aanpakken, vertaald in alledaagse termen:

1. Het Bouwproject: Een Schat vinden in de Modder 🏗️

Voorheen was er slechts een klein, rommelig hoopje data (ongeveer 9.000 documenten) om op te werken. Dat was als proberen een auto te bouwen met slechts een paar bouten.

• De oplossing: De onderzoekers zijn gaan "scrapen" (digitaal verzamelen) bij het Slowaakse centrale register van scripties. Ze vonden bijna 800.000 documenten!
• De schoonmaak: Maar veel data was vuil. Sommige samenvattingen waren in het Engels, andere hadden auteursnamen erin verwerkt, en weer anderen hadden de sleutelwoorden aan het einde van de tekst geplakt in plaats van in een apart vakje.
• Het resultaat: Ze hebben een enorme, schone dataset gemaakt genaamd SlovKE. Dit is nu 25 keer zo groot als alles wat er eerder was. Het is alsof ze van een klein dorpje een hele stad hebben gemaakt.

2. De Uitdaging: De "Kameleon"-Probleem 🦎

Dit is het hart van het probleem.

• De Auteur schrijft een sleutelwoord in de "stamvorm": Rozvojový potenciál (Ontwikkelingspotentieel).
• De tekst in de samenvatting gebruikt het woord in een andere vorm: rozvojového potenciálu (van het ontwikkelingspotentieel).

Stel je voor dat je een zoekmachine gebruikt om "Hond" te vinden, maar de tekst zegt "Hondje", "Honden" of "Van de hond". Een simpele computer die exact zoekt, denkt dan: "Nee, dat is niet 'Hond', dat is iets anders!" en slaat het over.

3. De Test: Drie Robots vs. Een Slimme AI 🤖

De onderzoekers testten drie soorten "robots" om te zien wie het beste kon zoeken:

1. De Statistische Robot (YAKE): Kijkt naar hoe vaak woorden terugkomen.
2. De Grafische Robot (TextRank): Kijkt naar hoe woorden met elkaar verbonden zijn (net als een web van draden).
3. De Embedding-Robot (KeyBERT): Kijkt naar de "betekenis" van woorden, alsof hij een woordenboek in zijn hoofd heeft.

Het resultaat van de robots: Ze waren behoorlijk slecht in het vinden van de exacte woorden van de auteur.

• Ze haalden maar ongeveer 11% van de juiste woorden exact goed.
• Maar als je ze toestond om ook op deels te zoeken (bijv. "ontwikkeling" matcht met "ontwikkelingspotentieel"), dan haalden ze 51%.
• De les: De robots vonden het juiste idee, maar faalden omdat ze niet konden omgaan met de kameleon-vormen van de Slowaakse taal.

4. De Superheld: KeyLLM (De Generatieve AI) 🦸‍♂️

Daarna testten ze KeyLLM, een systeem dat gebruikmaakt van een grote taalmodel (zoals GPT-3.5).

• In plaats van alleen woorden uit de tekst te plukken (zoals de robots), schreef deze AI de sleutelwoorden zelf op.
• Het magische effect: De AI wist: "Ah, de tekst zegt 'van het ontwikkelingspotentieel', maar de juiste, nette titel is 'Ontwikkelingspotentieel'."
• De AI schreef het woord in de juiste vorm op, alsof het een mens was die de tekst begrijpt in plaats van alleen letters telt.

Het resultaat: De kloof tussen "exact goed" en "deels goed" werd veel kleiner. De AI kon de kameleon-vormen omzetten naar de standaardvorm.

5. De Menselijke Check: Wat vinden echte mensen? 👨‍🏫

Omdat computers soms vals spelen (door op deels te scoren), hebben de onderzoekers 100 scripties door mensen laten nakijken.

• Verrassing: De menselijke beoordelaars vonden dat de AI (KeyLLM) vaak beter was dan de automatische cijfers lieten zien. De AI vond relevante concepten die de auteurs zelfs niet hadden opgeschreven, maar die wel in de tekst stonden.
• De fout van de AI: Soms plukte de AI alleen bijvoeglijke naamwoorden (bijv. "belangrijk") zonder het zelfstandige naamwoord erbij. Dat is als zeggen "Rood" in plaats van "Rode auto".

🏁 De Conclusie in Eén Zin

Deze studie toont aan dat voor talen zoals Slowaaks (en veel andere talen met veel woordveranderingen), simpele zoekrobots niet genoeg zijn. Je hebt slimme, generatieve AI nodig die de betekenis begrijpt en woorden in hun juiste vorm kan schrijven, anders mis je de helft van de waarheid.

Ze hebben nu een enorme, schone database (SlovKE) vrijgegeven aan de wereld, zodat andere onderzoekers en AI-ontwikkelaars dit probleem voor alle talen kunnen oplossen. Het is alsof ze een nieuwe, perfecte kaart hebben getekend voor een gebied dat voorheen onbekend terrein was.

Technische samenvatting

Probleemstelling

Het paper adresseert het gebrek aan onderzoek naar sleutelwoordextractie (keyphrase extraction) voor taalkundig rijke, low-resource talen, met name het Slowaaks. Hoewel er sterke resultaten zijn geboekt voor Engels, ondervinden talen met een rijke morfologie (zoals Slowaaks, Tsjechisch, Pools) fundamentele uitdagingen:

• Morfologische mismatch: Een enkele lemma (basisvorm) kan in de tekst voorkomen in tientallen vervoegde vormen (bijv. naamvallen). Modellen die tekst extraheren, vinden vaak de vervoegde vorm (bijv. rozvojového potenciálu in de genitief), terwijl de auteurs de canonieke vorm als sleutelwoord hebben opgegeven (bijv. Rozvojový potenciál in de nominatief).
• Data-schaarste: Bestaande datasets voor het Slowaaks waren klein, onzuiver en niet representatief. De grootste vorige dataset bevatte slechts ongeveer 9.000 documenten met kwaliteitsproblemen.
• Evaluatiebias: Standaard evaluatiemetrics (zoals exacte match) straffen correcte concepten af als ze in een andere grammaticale vorm voorkomen, wat leidt tot een vertekend beeld van de prestaties van extractieve modellen.

Methodologie

1. Dataset Constructie: SlovKE

De auteurs hebben een grootschalig dataset gecureerd genaamd SlovKE (Slovak Keyphrase Extraction):

• Bron: Het Slowaakse Centraal Register van Scripties en Proefschriften (794.527 oorspronkelijke records).
• Verzamelingsproces: Systematisch scrapen en filteren op basis van jaar en alfabetische prefixen om sessielimieten te omzeilen.
• Data Cleaning Pipeline: Een uitgebreide multi-stap reinigingsprocedure:
  • Verwijdering van duplicaten.
  • Herstel van sleutelwoorden die door universiteiten aan de abstracttekst waren toegevoegd in plaats van in een apart veld.
  • Verwijdering van ruis (metadata zoals auteursnamen, "Bachelor Thesis", paginanummers) aan het begin van abstracts.
  • Taalverificatie: 20% van de als Slowaaks gelabelde abstracts bleek Engels te zijn; deze werden verwijderd.
  • Normalisatie van sleutelwoorden: Opsplitsing van samengevoegde lijsten, verwijdering van items langer dan 4 woorden, en filtering op abstractlengte (500-2000 tekens) en aantal sleutelwoorden (4-15).
• Resultaat: Een schone dataset van 227.432 wetenschappelijke abstracts met door auteurs toegewezen sleutelwoorden. Dit is een 25-voudige toename ten opzichte van eerdere werken en vergelijkbaar in schaal met Engelstalige benchmarks zoals KP20K.

2. Evaluatie Framework

De auteurs evalueerden drie klassieke, onbewaakte (unsupervised) baselines en één generatieve LLM-methode:

• Baselines (Extractief):
  • YAKE: Statistische methode gebaseerd op frequentie en context.
  • TextRank: Grafische methode (PageRank-variant).
  • KeyBERT: Embedding-gebaseerd (gebruikmakend van SlovakBERT).
  • Kenmerk: Deze modellen extraheren tokens direct uit de tekst (surface tokens), wat vatbaar is voor morfologische mismatch.
• Generatieve Methode:
  • KeyLLM: Gebruikt een Large Language Model (GPT-3.5-turbo) via prompting om sleutelwoorden te genereren in plaats van ze te extraheren. Hierdoor kan het model canonieke vormen produceren, ongeacht de vorm in de tekst.
• Evaluatiemetrics:
  • Exact Match: Strikte overeenkomst.
  • Partial Match: Overlap van fragmenten.
  • F1@k: F1-score bij een vast aantal top-k sleutelwoorden (voornamelijk F1@6).
  • Manuele Evaluatie: Een subset van 100 documenten werd handmatig beoordeeld door native sprekers (Cohen's kappa = 0.61) om semantische relevantie te meten die automatische metrics missen.

Belangrijkste Resultaten

1. Prestaties van Baselines

• De onbewaarde baselines presteerden matig op exacte match vanwege de morfologische variatie:
  • YAKE: Beste prestatie met een F1@6 van 11,6% (exact match).
  • TextRank: 8,6% (exact match).
  • KeyBERT: 4,3% (exact match).
• De "Exact-Partial Gap": Er is een enorme kloof tussen exacte en partiële matches. Voor YAKE is de partiële F1@6 40,6%, en voor TextRank zelfs 51,5%.
  • Dit betekent dat de modellen vaak het juiste concept vinden, maar in de verkeerde grammaticale vorm. De kloof van ~30-43 punten illustreert de ernst van het morfologische probleem.

2. Prestaties van KeyLLM

• Verbetering: KeyLLM (GPT-3.5-turbo) behaalde een exacte F1@6 van ~15,2%, wat aanzienlijk hoger is dan de beste baseline (YAKE).
• Gap-verkleining: De kloof tussen exact en partiële match voor KeyLLM is kleiner (~34 punten) dan voor de extractieve modellen. Dit bewijst dat generatieve modellen beter in staat zijn om canonieke lemma-vormen te genereren in plaats van vervoegde oppervlaktevormen te kopiëren.
• Kosten: Het gebruik van embeddings voor clustering om kosten te besparen bleek minder effectief dan het direct verwerken van documenten, hoewel het bij hoge drempelwaarden (0.90) vergelijkbare resultaten gaf.

3. Manuele Evaluatie en Foutanalyse

• Manuele vs. Automatisch: Manuele evaluatie toonde aan dat KeyLLM en YAKE vaak relevante concepten extraheren die niet in de auteurslijst stonden (bijv. methodologieën, specifieke entiteiten), maar die door automatische exact-match metrics worden genegeerd.
• Foutpatronen:
  • YAKE: De dominante fout is morfologische mismatch (extraheren van aktívnej politiky in plaats van aktívna politika). Ook treedt er vaak semantische redundantie op (meerdere variaties van hetzelfde concept) en onmotiverde bijvoeglijke naamwoorden.
  • KeyLLM: De primaire zwakte is het extraheren van alleenstaande bijvoeglijke naamwoorden zonder substantief, wat de precisie verlaagt bij hogere k-waarden.

Bijdragen

1. SlovKE Dataset: De publicatie van de grootste en schoonste dataset voor Slowaakse sleutelwoordextractie (227k documenten), die de schaal van Engelstalige benchmarks benadert.
2. Systematische Evaluatie: Een gedetailleerde analyse die aantoont dat standaard exact-match metrics de prestaties van extractieve modellen in morfologisch rijke talen systematisch onderschatten.
3. LLM Validatie: Het bewijs dat generatieve LLM's (KeyLLM) superieur zijn aan extractieve methoden voor morfologisch rijke talen, omdat ze morfologische normalisatie inherent kunnen uitvoeren.
4. Inzicht in Evaluatie: De aanbeveling om zowel exacte als partiële matches te rapporteren en de "gap" ertussen te gebruiken als diagnose voor morfologische uitdagingen.

Betekenis en Toekomstperspectief

Dit werk legt de basis voor NLP in het Slowaaks en andere Slavische talen. Het toont aan dat:

• Datakwaliteit cruciaal is; reiniging van de dataset verbeterde de prestaties van YAKE aanzienlijk.
• Voor morfologisch rijke talen de kloof tussen "wat het model vindt" en "wat de mens ziet" groot is, en dat generatieve modellen deze kloof kunnen dichten.
• De dataset (SlovKE) een fundamentele infrastructuur biedt voor toekomstig toezicht (supervised learning), cross-linguale transfer naar verwante talen (Tsjechisch, Pools) en de ontwikkeling van morfologie-bewuste evaluatiemetrics.

De dataset en evaluatiecode zijn openbaar beschikbaar gesteld, wat de gemeenschap in staat stelt om verder te bouwen op deze resultaten en geavanceerde, morfologie-bewuste modellen te ontwikkelen.