An Extreme Multi-label Text Classification (XMTC) Library Dataset: What if we took "Use of Practical AI in Digital Libraries" seriously?

Deze paper introduceert een tweetalig corpus en een machine-actievere GND-taxonomie voor het trainen en evalueren van AI-systemen die bibliothecarissen ondersteunen bij het automatisch toewijzen van onderwerpswoorden aan catalogusrecords.

De kern

Stel je voor dat een bibliotheek een enorme, levende stad is. In deze stad wonen miljoenen boeken, artikelen en onderzoeken. Om deze stad bewoonbaar te houden, hebben bibliothecarissen een heel belangrijk werk: ze geven elk boek een adres en een naam op het stadhuis. In de bibliotheekwereld noemen we dit "onderwerpsindexering".

Vroeger deden mensen dit met de hand. Ze lazen een boek en dachten: "Ah, dit gaat over 'Duurzaamheid' en 'Zonne-energie'." Ze schreven die woorden op een kaartje en legden het in de juiste lade.

Maar nu? De stad groeit razendsnel. Er komen elke maand duizenden nieuwe boeken bij, in verschillende talen (vooral Engels en Duits). De menselijke bibliothecarissen raken de benen kwijt. Ze kunnen niet meer alles zelf doen.

Hier komt dit paper om de hoek kijken. Het is als een groot bouwplan voor een slimme robot-assistent die de bibliothecarissen helpt.

1. Het Grote Probleem: De "Naamloze" Stad

Het probleem is dat er niet zomaar willekeurige namen zijn. In bibliotheken gebruiken ze een Grote Boek van Namen (in het Duits: de GND). Dit is geen gewoon woordenboek, maar een strenge, officiële lijst. Als je over "zonne-energie" schrijft, mag je niet zomaar "zonkracht" of "zonne-energie" gebruiken. Je moet de officiële term kiezen die in dat Grote Boek staat.

Dit is lastig voor computers, want:

• Er zijn honderdduizenden mogelijke namen.
• Sommige namen komen heel vaak voor (zoals "Geschiedenis"), maar andere zijn heel zeldzaam (zoals "Specifieke isotoop van broom").
• Computers zijn gewend om te gokken, maar bibliothecarissen willen precisie.

2. De Oplossing: TIB-SID (Het Trainingskamp)

De auteurs van dit paper hebben een enorm trainingskamp gebouwd, genaamd TIB-SID.
Stel je dit voor als een gigantische oefenstad met 136.000 voorbeelden.

• De Inhoud: Elke "oefenbood" heeft een titel en een samenvatting (de tekst).
• Het Antwoord: Bij elke bood staat precies welke officiële namen uit het Grote Boek erbij horen.
• Twee Talen: Het kamp is tweetalig (Engels en Duits), want de bibliotheek is internationaal.

Met dit kamp kunnen we AI-modellen trainen. Het is alsof we een student laten oefenen met duizenden oude examens, zodat hij de kunst van het "toewijzen van officiële namen" onder de knie krijgt.

3. De Drie Robot-Assistenten

Om te testen of dit werkt, hebben ze drie verschillende soorten "robots" (AI-systemen) getest. Je kunt ze vergelijken met drie verschillende manieren om een zoektocht te doen:

• Robot 1 (De Gelijkeniszoeker):
  Deze robot kijkt: "Heeft dit nieuwe boek iets te maken met boeken die ik al ken?"
  Hij zoekt naar boeken die op elkaar lijken (zoals twee vrienden die dezelfde hobby hebben). Als hij een gelijkaardig boek vindt, neemt hij de namen van dat boek over.

  • Nadeel: Soms is het boek wel heel erg op elkaar, maar heeft het toch een heel ander onderwerp. De robot wordt dan een beetje "slordig" en plakt namen op waar ze niet horen.

• Robot 2 (De Slimme Vertaler):
  Deze robot is een beetje als een slimme chatbot. Hij leest de tekst en zegt: "Oké, dit gaat over X, Y en Z." Hij maakt een lijstje met suggesties.
  Vervolgens kijkt hij in het Grote Boek of die suggesties daar ook echt staan.

  • Nadeel: Soms bedenkt hij een woord dat klinkt alsof het bestaat, maar dat niet in het officiële boek staat. Dan moet hij het woord "vertalen" naar de juiste officiële naam, en dat gaat soms mis.

• Robot 3 (De Mix-Master):
  Deze robot is de winnaar. Hij is een hybride. Hij gebruikt de slimme chatbot om ideeën te genereren, maar combineert dat met de strenge regels van de oude, bewezen methodes.
  Hij is als een chef-kok die een nieuw recept probeert, maar altijd eerst de basisregels van de keuken controleert.

  • Resultaat: Hij maakt de minste fouten en vindt de juiste namen het vaakst.

4. Wat Leerden We? (De Lessen)

De onderzoekers keken niet alleen naar cijfers, maar ook naar waarom de robots fouten maakten.

• De "Zeldzame" Problemen: Robots zijn goed in dingen die vaak voorkomen (zoals "Geschiedenis"). Maar als een boek gaat over iets heel speciaals en zeldzaams (zoals een specifieke munt uit 1920), dan raken ze in de war. Dat is lastig voor AI, omdat ze weinig voorbeelden hebben om van te leren.
• De Menselijke Hand: De robots zijn goed, maar niet perfect. Ze kunnen een lijstje maken met 20 suggesties. De echte bibliothecaris kijkt dan nog even snel: "Ja, deze drie zijn goed, die andere twee zijn raar."
• De Toekomst: De boodschap is: AI is geen vervanger voor de bibliothecaris, maar een superkrachtige assistent. Hij doet het zware, saaie werk (het doorzoeken van miljoenen namen), en de mens doet het eindcontrole en de moeilijke beslissingen.

Samenvattend

Dit paper is een handleiding voor het bouwen van een slimme bibliotheek-assistent. Ze hebben een enorme dataset gemaakt (TIB-SID) om te laten zien hoe we AI kunnen leren om de strenge regels van bibliotheken te respecteren.

Het is alsof we een robot-student hebben opgeleid in een bibliotheekstad. Hij is nog niet perfect, maar hij kan al veel meer doen dan een mens alleen. En met de hulp van deze robot kunnen bibliotheken hun schatten vindbaar houden, zelfs als de stad blijft groeien.

Kortom: We nemen "Praktische AI" serieus, niet om mensen te vervangen, maar om hen te helpen om de enorme wereld van kennis overzichtelijk en vindbaar te houden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "An Extreme Multi-label Text Classification (XMTC) Library Dataset: What if we took 'Use of Practical AI in Digital Libraries' seriously?", geschreven in het Nederlands.

1. Probleemstelling

Bibliotheken staan voor een grote uitdaging: het handmatig onderwerpenindexeren van een snel groeiende, meertalige collectie catalogusrecords is niet langer vol te houden. Hoewel grote taalmodellen (LLMs) en agentische systemen potentieel bieden voor ondersteuning, missen deze vaak de nodige gronding in geautoriseerde vocabulaires (zoals de Duitse Gemeinsame Normdatei of GND). Bestaande benchmarks voor Extreme Multi-label Text Classification (XMTC) zijn vaak generiek of gebaseerd op gebruikers gedefinieerde labels, en missen de strikte autoriteit en hiërarchische coherentie die nodig zijn voor professioneel bibliotheekwerk. Er is een gebrek aan datasets die XMTC-problemen koppelen aan een operationele, vertrouwde taxonomie met reproduceerbare evaluatiemethoden.

2. Methodologie en Dataset (TIB-SID)

De auteurs introduceren TIB-SID (TIB Subject Indexing Dataset), een machine-learning-klaar corpus dat specifiek is ontworpen voor onderwerpenindexering in bibliotheken.

• Datumsamenstelling: Het dataset bevat 136.569 bibliografische records van de TIB (Leibniz-Informaticentrum voor Wetenschap en Technologie). De records zijn tweetalig (Engels en Duits) en afkomstig uit diverse domeinen (wetenschap, techniek, sociale wetenschappen).
• Taxonomie: De records zijn gelabeld met onderwerpen uit de GND (Gemeinsame Normdatei), een geautoriseerd vocabulaire met ongeveer 207.001 unieke onderwerpen (Sachbegriff). De auteurs hebben de GND omgezet naar een gestructureerd JSON-formaat en SKOS, inclusief alternatieve namen, gerelateerde onderwerpen en definities.
• Preprocessing: De ruwe data is schoongemaakt door taalidentificatie, het verwijderen van records zonder abstract, en het filteren van ongepaste recordtypes. Er zijn vooraf gedefinieerde splitsingen (train/dev/test) gemaakt die gebalanceerd zijn op recordtype en taal.
• Statistische Kenmerken:
  • Langstaartverdeling: Het dataset vertoont een sterke langstaartverdeling; veel zeldzame onderwerpen coëxisteren met frequente hoofdonderwerpen.
  • Distributiedrift: Er is sprake van significante distributiedrift tussen de train-, dev- en testsets (gemeten via KL-divergentie en Chi-kwadraat), wat modellen dwingt om om te gaan met schaarste en verschuivingen.
  • Polysemie: De analyse toont aan dat echte polysemie (dezelfde string met verschillende betekenissen) zeldzaam is in de GND (<1%), maar dat alternatieve namen wel tot verwarring kunnen leiden bij zoekopdrachten.

3. Belangrijkste Bijdragen

1. Eerste XMTC-benchmark voor bibliotheekindexering: TIB-SID is de eerste grote, tweetalige dataset die XMTC-taken koppelt aan een strikt gecontroleerde, autoritaire taxonomie (GND) met vooraf gedefinieerde splitsen.
2. Ontologie-bewuste evaluatie: De dataset faciliteert evaluaties die niet alleen kijken naar nauwkeurigheid, maar ook naar hiërarchische coherentie, bruikbaarheid voor catalogisten en transparantie.
3. Vergelijkende analyse van systemen: De auteurs evalueren drie representatieve systemen die tijdens de SemEval 2025 en GermEval 2025 taken zijn ontwikkeld, variërend van pure embedding-methoden tot hybride LLM- en XMTC-architecturen.

4. Resultaten

Drie systemen werden getest op de dataset met als hoofdmeter nDCG@k (Normalized Discounted Cumulative Gain), wat de rangschikking van de voorspellingen beoordeelt.

• Systeem 1 (LA2I2F): Een embedding-gebaseerde aanpak die semantische zoekopdrachten combineert met analogisch redeneren (zoeken naar vergelijkbare documenten).
  • Resultaat: Beste prestaties bij Engelstalige artikelen, maar over het algemeen lager dan de andere systemen. Het systeem neigt ertoe om alle labels van vergelijkbare documenten over te nemen, wat leidt tot valse positieven.
• Systeem 2 (KIFSPrompt): Een Few-Shot prompting aanpak met LLM's (Ministral-8B en Llama-3.1) zonder fine-tuning. Het gebruikt retrieval-augmented generation om keywords te genereren en deze vervolgens te mappen naar GND-termen.
  • Resultaat: Sterke prestaties zonder training, maar last van mapping-fouten waar LLM-gegenereerde termen niet exact overeenkomen met de GND-taxonomie.
• Systeem 3 (Annif): Een hybride systeem dat traditionele XMTC-algoritmen (Omikuji Bonsai, MLLM, XTransformer) combineert met LLM's voor vertaling, synthetische data-generatie en her-ranking.
  • Resultaat: De beste prestaties (nDCG@5 = 0,6020). Het systeem presteert consistent goed over alle recordtypes en talen.
  • Analyse: Het systeem heeft moeite met zeer zeldzame onderwerpen (low-frequency) omdat de onderliggende modellen afhankelijk zijn van trainingsdata, maar overtreft de pure LLM-aanpakken in nauwkeurigheid en stabiliteit.

Kwalitatieve Analyse:
Menselijke experts beoordeelden de output. Hoewel systemen goed in staat zijn om thematisch gerelateerde termen te vinden, worstelen ze vaak met het onderscheiden van semantisch verschillende, maar gerelateerde onderwerpen binnen dezelfde context. Systeem 3 toonde de beste balans, maar ook hier bleven fouten bestaan bij zeer specifieke, zeldzame onderwerpen.

5. Betekenis en Conclusie

Dit artikel toont aan dat het serieus nemen van "praktische AI" in bibliotheken meer vereist dan het simpelweg toepassen van generieke LLM's.

• Hybride is beter: De beste resultaten worden behaald door traditionele, getrainde XMTC-methoden te combineren met LLM's voor data-augmentatie en her-ranking, in plaats van te vertrouwen op pure generatieve modellen.
• Autoriteit is cruciaal: Voor bibliotheektoepassingen is het essentieel dat outputs direct gekoppeld zijn aan een vertrouwde, geautoriseerde taxonomie (GND) om interoperabiliteit en vindbaarheid te garanderen.
• Toekomstperspectief: De dataset biedt een robuust platform voor het onderzoeken van meertalige embeddings, het verbeteren van zero-shot capabilities voor zeldzame termen, en het ontwikkelen van "co-pilots" die catalogisten daadwerkelijk helpen in plaats van hen te vervangen.

De dataset is openbaar beschikbaar onder een CC BY 4.0 licentie, wat de gemeenschap uitnodigt om verder te werken aan betrouwbare, transparante en bruikbare AI voor de kennisorganisatie.