Does generative AI supersede supervised XMLC? A Benchmark Study on Automated Subject Indexing with German Scientific Literature

Technische Samenvatting: Een Benchmarkstudie naar Geautomatiseerde Onderwerpsindexering van Duitse Wetenschappelijke Literatuur

Probleemdefinitie
Geautomatiseerde onderwerpsindexering voor bibliotheken houdt het toekennen van genormeerde onderwerptermen uit een gecontroleerde vocabulaire aan documenten in. In de context van de Duitse Nationale Bibliotheek (DNB) maakt deze taak gebruik van de Geïntegreerde Autoriteitsfile (GND), een enorme verzameling labels die ongeveer 1,4 miljoen concepten bevat. De specifieke uitdaging die in dit onderzoek wordt aangepakt, is Extreme Multi-Label Classification (XMLC) vanwege de enorme omvang van de vocabulaire, de extreme schaarste van de labelverdeling (een "long-tail" probleem waarbij veel labels zelden voorkomen) en de hoge onbalans tussen frequente en zeldzame labels. De studie richt zich op twee specifieke inputmodaliteiten: indexering gebaseerd op enkel boektitels en indexering gebaseerd op de eerste 30.000 tekens van volledige wetenschappelijke tekstboeken.

Methodologie
De auteurs hebben een uitgebreide benchmark uitgevoerd waarin drie categorieën algoritmen worden vergeleken:

1. Supervised XMLC-methoden: Deze omvatten gevestigde algoritmen ontworpen voor extreme classificatie, zoals:

   • DiSMEC++ en Omikuji: Maakt gebruik van ijle (sparse) TF-IDF-kenmerken en 1-vs-All of Partitioned Label Tree (PLT) benaderingen.
   • ZestXML: Een zero-shot in staat methode die tekstkenmerken correleert met labelkenmerken.
   • AttentionXML en XR-Transformer: Dense benaderingen die gebruikmaken van Transformers (gebaseerd op LSTM of BERT) gecombineerd met labelbomen.
   • NGAME: Een methode die gebruikmaakt van labeltekst-embeddings om de afstand tussen document- en label-embeddings te minimaliseren.

2. Unsupervised/Matching-methoden:

   • Lexicale Matching (MLLM): Een baseline die gebruikmaakt van de Annif-toolkit via een Maui-achtige benadering, gebaseerd op trefwoordmatching en heuristische rangschikking.
   • Embedding-Based Matching (EBM): Een gemoderniseerde benadering die gebruikmaakt van dense vector retrieval (bijv. BGE-m3, jina-embeddings) gevolgd door re-ranking.

3. Generatieve LLM-gebaseerde methoden:

   • LLM-Ensemble: Combineert meerdere Large Language Models (bijv. Llama-3, Mistral) met vaste few-shot prompts, waarbij hybride zoekopdrachten worden gebruikt om gegenereerde termen naar de vocabulaire te mappen.
   • KI-FSPrompt: Een retrieval-augmented generation (RAG) benadering die dynamisch few-shot prompts samenstelt met behulp van trainingsvoorbeelden die vergelijkbaar zijn met het invoerdocument.

Evaluatiemetrieken
De studie hanteerde een duale evaluatiestrategie:

• Binaire Relevantie: Vergelijking met een gouden standaard, geannoteerd door DNB-onderwerpsexperts volgens de Duitse catalogiseringregels (RSWK). De metrieken omvatten Area Under the Precision-Recall Curve (AUCpr), optimale F1-score ($F1^*$), en conditionally propensity-scored metrieken (cps-F1, cps-AUCpr) om rekening te houden met de prestaties van de long-tail labels.
• Gegradeerde Relevantie: Een menselijke evaluatie door onderwerpsexperts op voorheen ongezien materiaal. Experts beoordeelden de top 5 suggesties op een ordinale schaal (0: onjuist, 1: enigszins nuttig, 2: nuttig, 3: zeer nuttig) op basis van de bruikbaarheid bij zoeken in plaats van strikte regelnaleving. De metrieken omvatten generalized precision, recall en F1-score.

Belangrijkste Resultaten

• Binaire Relevantie (Algemeen): Supervised XMLC-methoden die vertrouwen op dense transformer-kenmerken, in het bijzonder XR-Transformer, behaalden de beste resultaten in termen van algemene AUCpr en $F1^*$ voor zowel de titel- als de volledige teksttaak. Voor de volledige teksttaak was de prestatiewinst van de transformer-component marginaal vergeleken met TF-IDF-gebaseerde methoden zoals DiSMEC++, wat suggereert dat TF-IDF-kenmerken dominant bleven voor deze specifieke dataset.
• Long-Tail Prestaties: Bij het evalueren van de prestaties op zeldzame labels met behulp van propensity-scored metrieken, presteerden LLM-gebaseerde methoden (specifiek KI-FSPrompt voor titels en LLM-Ensemble voor volledige tekst) beter dan traditionele supervised XMLC-methoden.
• Gegradeerde Relevantie: De LLM-Ensemble methode presteerde significant beter dan alle andere benaderingen in termen van de generalized F1-score. Experts beoordeelden de suggesties als "nuttig" of "enigszins nuttig", wat aangeeft dat hoewel LLM's de gouden standaard niet altijd exact matchen, ze meer helpende zoekopdrachten bieden dan supervised modellen.
• Efficiëntie: Supervised methoden (DiSMEC++, Omikuji) vertoonden inferentietijden van minder dan 1 ms per record. In contrast waren LLM-gebaseerde methoden ordes van grootte langzamer (honderden milliseconden tot bijna een seconde), waarbij LLM-Ensemble aanzienlijke GPU-bronnen vereiste, wat het momenteel onhaalbaar maakt voor grootschalige dagelijkse bibliotheekverwerking zonder optimalisatie.

Betekenis en Claims
De auteurs positioneren dit werk als de eerste benchmark van XMLC-algoritmen op een puur Duitstalige dataset, waarbij zowel korte (titels) als lange (volledige tekst) contexten worden behandeld. De studie stelt dat hoewel supervised XMLC-algoritmen momenteel de beste balans bieden tussen prestaties en efficiëntie voor algemene binaire relevantie, generatieve LLM-gebaseerde methoden een veelbelovend alternatief vormen voor toekomstig productief gebruik, met name wanneer het doel is om genuanceerde, long-tail onderwerpstermen te vangen en "nuttige" suggesties aan gebruikers te bieden, zelfs als deze licht afwijken van strikte catalogiseringsregels.

Het artikel concludeert dat een hybride benadering of een ensemble van deze methoden waarschijnlijk de meest levensvatbare weg voorwaarts is voor bibliotheekautomatisering. Het merkt expliciet beperkingen op, waaronder de computationele onhaalbaarheid van het verwerken van volledige tekstboeken in één enkele pass, de snelle veroudering van specifieke LLM-snapshots, en de moeilijkheid om resultaten te generaliseren naar niet-Duitse of niet-wetenschappelijke domeinen. De auteurs benadrukken dat hun bevindingen specifiek zijn voor de GND-vocabulaire en de collectie van de DNB, en zij roepen op tot verder onderzoek naar het verfijnen van retrieval-augmented prompting pipelines (zoals KI-FSPrompt) en het ontwikkelen van ensemblestrategieën die grote labelruimtes effectief kunnen beheren.