Does generative AI supersede supervised XMLC? A Benchmark Study on Automated Subject Indexing with German Scientific Literature

Sintesi Tecnica: Uno studio di benchmark sull'indicizzazione automatica dei soggetti con la letteratura scientifica tedesca

Definizione del problema
L'indicizzazione automatica dei soggetti per le biblioteche consiste nell'assegnazione di intestazioni di materia normalizzate da un vocabolario controllato ai documenti. Nel contesto della Biblioteca Nazionale Tedesca (DNB), questo compito utilizza il File delle Autorità Integrate (GND), un massiccio insieme di etichette contenente circa 1,4 milioni di concetti. La sfida specifica affrontata in questo studio è l'Estrema Classificazione Multi-Etichetta (XMLC) a causa delle dimensioni enormi del vocabolario, dell'estrema scarsità della distribuzione delle etichette (un problema di "coda lunga" dove molte etichette appaiono raramente) e dell'elevato squilibrio tra etichette frequenti e rare. Lo studio si concentra su due specifiche modalità di input: l'indicizzazione basata esclusivamente sui titoli dei libri e l'indicizzazione basata sui primi 30.000 caratteri di libri di testo scientifici a testo completo.

Metodologia
Gli autori hanno condotto un benchmark completo confrontando tre categorie di algoritmi:

1. Metodi XMLC supervisionati: Questi includono algoritmi stabiliti progettati per la classificazione estrema, quali:

   • DiSMEC++ e Omikuji: Utilizzano caratteristiche sparse TF-IDF e approcci 1-vs-All o Partitioned Label Tree (PLT).
   • ZestXML: Un metodo capace di zero-shot che correla le caratteristiche testuali con le caratteristiche delle etichette.
   • AttentionXML e XR-Transformer: Approcci densi che utilizzano i Transformer (basati su LSTM o BERT) combinati con alberi di etichette.
   • NGAME: Un metodo che sfrutta gli embedding del testo delle etichette per minimizzare la distanza tra gli embedding del documento e dell'etichetta.

2. Metodi non supervisionati/di matching:

   • Corrispondenza Lessicale (MLLM): Un baseline che utilizza l'approccio simile a Maui del toolkit Annif, basato sul matching di parole chiave e sul ranking euristico.
   • Corrispondenza basata su Embedding (EBM): Un approccio modernizzato che utilizza il recupero di vettori densi (ad es., BGE-m3, jina-embeddings) seguito da un re-ranking.

3. Metodi basati su LLM Generativi:

   • LLM-Ensemble: Combina molteplici Large Language Models (ad es., Llama-3, Mistral) con prompt fixed few-shot, utilizzando la ricerca ibrida per mappare i termini generati nel vocabolario.
   • KI-FSPrompt: Un approccio di generazione aumentata dal recupero (RAG) che assembla dinamicamente prompt few-shot utilizzando esempi di addestramento simili al documento di input.

Metriche di valutazione
Lo studio ha impiegato una strategia di valutazione duale:

• Rilevanza Binaria: Confronto rispetto a uno standard di riferimento annotato da esperti di materia della DNB secondo le regole di catalogazione tedesche (RSWK). Le metriche includono l'Area Sotto la Curva Precision-Recall (AUCpr), l'F1-score ottimale ($F1^*$) e metriche con punteggio di propensione condizionale (cps-F1, cps-AUCpr) per tenere conto delle prestazioni delle etichette nella coda lunga.
• Rilevanza Graduata: Una valutazione umana da parte di esperti di materia su materiale precedentemente non visto. Gli esperti hanno valutato i primi 5 suggerimenti su una scala ordinale (0: falso, 1: leggermente utile, 2: utile, 3: molto utile) basandosi sull'utilità di ricerca piuttosto che sul rigoroso rispetto delle regole. Le metriche includono precisione, recall e F1-score generalizzati.

Risultati Chiave

• Rilevanza Binaria (Generale): I metodi XMLC supervisionati che si affidano a caratteristiche dense transformer, in particolare XR-Transformer, hanno ottenuto i migliori risultati in termini di AUCpr complessiva e $F1^*$ sia per i compiti sui titoli che su quelli sul testo completo. Per il compito sul testo completo, il guadagno di prestazioni dalla componente transformer è stato marginale rispetto ai metodi basati su TF-IDF come DiSMEC++, suggerendo che le caratteristiche TF-IDF sono rimaste dominanti per questo specifico dataset.
• Prestazioni sulla Coda Lunga: Valutando le prestazioni sulle etichette rare utilizzando metriche con punteggio di propensione, i metodi basati su LLM (specificamente KI-FSPrompt per i titoli e LLM-Ensemble per il testo completo) hanno superato i metodi XMLC supervisionati tradizionali.
• Rilevanza Graduata: Il metodo LLM-Ensemble ha superato significativamente tutti gli altri approcci in termini di F1-score generalizzato. Gli esperti hanno valutato i suoi suggerimenti come più "utili" o "leggermente utili", indicando che, sebbene gli LLM possano non corrispondere sempre esattamente allo standard di riferimento, forniscono query di ricerca più utili rispetto ai modelli supervisionati.
• Efficienza: I metodi supervisionati (DiSMEC++, Omikuji) hanno dimostrato tempi di inferenza inferiori a 1 ms per record. Al contrario, i metodi basati su LLM sono ordini di grandezza più lenti (centinaia di millisecondi o quasi un secondo), con LLM-Ensemble che richiede risorse GPU significative, rendendolo attualmente impraticabile per l'elaborazione quotidiana ad alto volume in biblioteca senza ottimizzazione.

Significatività e Rivendicazioni
Gli autori pongono questo lavoro come il primo benchmark di algoritmi XMLC su un dataset puramente in lingua tedesca, affrontando sia contesti brevi (titoli) che lunghi (testo completo). Lo studio sostiene che, mentre gli algoritmi XMLC supervisionati offrono attualmente il miglior equilibrio tra prestazioni ed efficienza per la rilevanza binaria generale, i metodi generativi basati su LLM rappresentano un'alternativa promettente per un uso produttivo futuro, in particolare quando l'obiettivo è catturare termini di materia sfumati e a coda lunga e fornire suggerimenti "utili" agli utenti, anche se questi deviano leggermente dalle rigide regole di catalogazione.

Il documento conclude che un approccio ibrido o un ensemble di questi metodi è probabilmente la via più percorribile per l'automazione bibliotecaria. Esso nota esplicitamente i limiti, tra cui l'infeasibilità computazionale di elaborare libri di testo completi in un unico passaggio, l'oscurità rapida di specifici snapshot di LLM e la difficoltà di generalizzare i risultati a domini non tedeschi o non scientifici. Gli autori sottolineano che le loro scoperte sono specifiche per il vocabolario GND e la collezione della DNB, e invitano a ulteriori ricerche per perfezionare le pipeline di prompting aumentate dal recupero (come KI-FSPrompt) e per sviluppare strategie di ensemble che possano gestire efficacemente grandi spazi di etichette.