Does generative AI supersede supervised XMLC? A Benchmark Study on Automated Subject Indexing with German Scientific Literature

Resumen Técnico: Un Estudio de Referencia sobre la Indexación Automática de Temas con Literatura Científica Alemana

Definición del Problema
La indexación temática automatizada para bibliotecas consiste en asignar encabezados de materia normalizados de un vocabulario controlado a los documentos. En el contexto de la Biblioteca Nacional Alemana (DNB), esta tarea utiliza el Archivo Integrado de Autoridades (GND), un conjunto masivo de etiquetas que contiene aproximadamente 1,4 millones de conceptos. El desafío específico abordado en este estudio es la Clasificación Multietiqueta Extrema (XMLC) debido al enorme tamaño del vocabulario, la extrema dispersión de la distribución de etiquetas (un problema de "cola larga" donde muchas etiquetas aparecen raramente) y el alto desequilibrio entre etiquetas frecuentes y raras. El estudio se centra en dos modalidades de entrada específicas: la indexación basada únicamente en títulos de libros y la indexación basada en los primeros 30.000 caracteres de libros de texto científicos completos.

Metodología
Los autores llevaron a cabo un benchmark exhaustivo comparando tres categorías de algoritmos:

1. Métodos de XMLC Supervisados: Incluyen algoritmos establecidos diseñados para la clasificación extrema, tales como:

   • DiSMEC++ y Omikuji: Utilizando características dispersas de TF-IDF y enfoques de 1-contra-Todos o Árbol de Etiquetas Particionado (PLT).
   • ZestXML: Un método capaz de zero-shot que correlaciona características de texto con características de etiquetas.
   • AttentionXML y XR-Transformer: Enfoques densos que utilizan Transformers (basados en LSTM o BERT) combinados con árboles de etiquetas.
   • NGAME: Un método que aprovecha los embeddings de texto de las etiquetas para minimizar la distancia entre los embeddings de documento y de etiqueta.

2. Métodos de Emparejamiento No Supervisados:

   • Emparejamiento Léxico (MLLM): Un baseline que utiliza el enfoque tipo Maui del toolkit Annif, basado en el emparejamiento de palabras clave y el ranking heurístico.
   • Emparejamiento Basado en Embeddings (EBM): Un enfoque modernizado que utiliza la recuperación de vectores densos (por ejemplo, BGE-m3, jina-embeddings) seguida de un re-ranking.

3. Métodos Generativos Basados en LLM:

   • LLM-Ensemble: Combina múltiples Modelos de Lenguaje Grande (por ejemplo, Llama-3, Mistral) con prompts de few-shot fijos, utilizando búsqueda híbrida para mapear los términos generados al vocabulario.
   • KI-FSPrompt: Un enfoque de generación aumentada por recuperación (RAG) que ensambla dinámicamente prompts de few-shot utilizando ejemplos de entrenamiento similares al documento de entrada.

Métricas de Evaluación
El estudio empleó una estrategia de evaluación dual:

• Relevancia Binaria: Comparación contra un estándar de oro anotado por expertos en materia de la DNB de acuerdo con las reglas de catalogación alemanas (RSWK). Las métricas incluyeron el Área Bajo la Curva de Precisión-Recall (AUCpr), el F1-score óptimo ($F1^*$) y métricas de propensión condicionalmente ponderadas (cps-F1, cps-AUCpr) para tener en cuenta el rendimiento de las etiquetas de cola larga.
• Relevancia Graduada: Una evaluación humana realizada por expertos en la materia sobre material previamente no visto. Los expertos calificaron las 5 sugerencias superiores en una escala ordinal (0: falso, 1: ligeramente útil, 2: útil, 3: muy útil) basándose en la utilidad de búsqueda en lugar de la adherencia estricta a las reglas. Las métricas incluyeron precisión, recall y F1-score generalizados.

Resultos Clave

• Relevancia Binaria (General): Los métodos de XMLC supervisados que dependen de características densas de transformers, particularmente XR-Transformer, lograron los mejores resultados en términos de AUCpr general y $F1^*$ tanto para las tareas de título como de texto completo. Para la tarea de texto completo, la ganancia de rendimiento del componente transformer fue marginal en comparación con los métodos basados en TF-IDF como DiSMEC++, lo que sugiere que las características de TF-IDF siguieron siendo dominantes para este conjunto de datos específico.
• Rendimiento de la Cola Larga: Al evaluar el rendimiento en etiquetas raras utilizando métricas de propensión, los métodos basados en LLM (específicamente KI-FSPrompt para títulos y LLM-Ensemble para texto completo) superaron a los métodos tradicionales de XMLC supervisados.
• Relevancia Graduada: El método LLM-Ensemble superó significativamente a todos los demás enfoques en términos de F1-score generalizado. Los expertos calificaron sus sugerencias como más "útiles" o "ligeramente útiles", indicando que, aunque los LLM no siempre coinciden exactamente con el estándar de oro, proporcionan consultas de búsqueda más útiles que los modelos supervisados.
• Eficiencia: Los métodos supervisados (DiSMEC++, Omikuji) demostraron tiempos de inferencia inferiores a 1 ms por registro. En contraste, los métodos basados en LLM fueron órdenes de magnitud más lentos (cientos de milisegundos a casi un segundo), y el LLM-Ensemble requirió recursos significativos de GPU, lo que lo hace actualmente inviable para el procesamiento diario de alto volumen en bibliotecas sin optimización.

Significancia y Reivindicaciones
Los autores posicionan este trabajo como el primer benchmark de algoritmos de XMLC en un dataset puramente de lengua alemana, abordando tanto contextos cortos (títulos) como largos (texto completo). El estudio afirma que, si bien los algoritmos de XMLC supervisados ofrecen actualmente el mejor equilibrio entre rendimiento y eficiencia para la relevancia binaria general, los métodos generativos basados en LLM representan una alternativa prometedora para un uso productivo futuro, particularmente cuando el objetivo es capturar términos temáticos matizados de la cola larga y proporcionar sugerencias "útiles" para los usuarios, incluso si estas se desvían ligeramente de las reglas estrictas de catalogación.

El artículo concluye que un enfoque híbrido o un ensamble de estos métodos es probablemente el camino más viable para la automatización de bibliotecas. Los autores señalan explícitamente las limitaciones, incluyendo la inviabilidad computacional de procesar libros de texto de longitud completa en una sola pasada, la rápida obsolescencia de los snapshots específicos de LLM y la dificultad de generalizar los resultados a dominios no alemanes o no científicos. Los autores enfatizan que sus hallazgos son específicos para el vocabulario GND y la colección de la DNB, y hacen un llamado a la investigación adicional para refinar las canalizaciones de prompting de recuperación aumentada (como KI-FSPrompt) y desarrollar estrategias de ensamble que puedan gestionar espacios de etiquetas extensos de manera efectiva.