Does generative AI supersede supervised XMLC? A Benchmark Study on Automated Subject Indexing with German Scientific Literature

Resumo Técnico: Um Estudo de Referência sobre Indexação Automática de Assuntos com Literatura Científica Alemã

Definição do Problema
A indexação automática de assuntos para bibliotecas envolve a atribuição de cabeçalhos de assunto normalizados a partir de um vocabulário controlado para documentos. No contexto da Biblioteca Nacional Alemã (DNB), esta tarefa utiliza o Arquivo de Autoridades Integrado (GND), um conjunto massivo de rótulos contendo aproximadamente 1,4 milhão de conceitos. O desafio específico abordado neste estudo é a Classificação Multirrótulo Extrema (XMLC) devido ao tamanho colossal do vocabulário, à extrema esparsidade da distribuição de rótulos (um problema de "cauda longa", onde muitos rótulos aparecem raramente) e ao alto desequilíbrio entre rótulos frequentes e raros. O estudo foca em duas modalidades de entrada específicas: indexação baseada exclusivamente em títulos de livros e indexação baseada nos primeiros 30.000 caracteres de livros didáticos científicos de texto completo.

Metodologia
Os autores realizaram um benchmark abrangente comparando três categorias de algoritmos:

1. Métodos de XMLC Supervisionados: Incluem algoritmos estabelecidos projetados para classificação extrema, tais como:

   • DiSMEC++ e Omikuji: Utilizando recursos esparsos de TF-IDF e abordagens de 1-contra-Todos ou Árvore de Rótulos Particionada (PLT).
   • ZestXML: Um método capaz de zero-shot que correlaciona características de texto com características de rótulo.
   • AttentionXML e XR-Transformer: Abordagens densas utilizando Transformers (baseados em LSTM ou BERT) combinados com árvores de rótulos.
   • NGAME: Um método que aproveita embeddings de texto de rótulos para minimizar a distância entre os embeddings de documento e de rótulo.

2. Métodos de Correspondência Não Supervisionada/Matching:

   • Correspondência Lexical (MLLM): Um baseline utilizando a abordagem tipo Maui do toolkit Annif, baseando-se em correspondência de palavras-chave e ranking heurístico.
   • Correspondência Baseada em Embedding (EBM): Uma abordagem modernizada utilizando recuperação de vetores densos (ex: BGE-m3, jina-embeddings) seguida de re-ranking.

3. Métodos Baseados em LLM Generativo:

   • LLM-Ensemble: Combina múltiplos Grandes Modelos de Linguagem (ex: Llama-3, Mistral) com prompts de poucos disparos (few-shot) fixos, utilizando busca híbrida para mapear termos gerados para o vocabulário.
   • KI-FSPrompt: Uma abordagem de geração aumentada por recuperação (RAG) que monta dinamicamente prompts de few-shot usando exemplos de treinamento similares ao documento de entrada.

Métricas de Avaliação
O estudo empregou uma estratégia de avaliação dupla:

• Relevância Binária: Comparação contra um padrão de ouro anotado por especialistas em assuntos da DNB de acordo com as regras de catalogação alemãs (RSWK). As métricas incluíram Área Sob a Curva de Precisão-Recall (AUCpr), F1-score ótimo ($F1^*$) e métricas de propensão condicionada (cps-F1, cps-AUCpr) para considerar o desempenho de rótulos de cauda longa.
• Relevância Graduada: Uma avaliação humana por especialistas em assuntos sobre material previamente não visto. Os especialistas classificaram as 5 principais sugestões em uma escala ordinal (0: falso, 1: ligeiramente útil, 2: útil, 3: muito útil) com base na utilidade de busca, em vez de uma adesão estrita às regras. As métricas incluíram precisão generalizada, recall e F1-score.

Resultos Principais

• Relevância Binária (Geral): Métodos de XMLC supervisionados que dependem de características densas de transformer, particularmente o XR-Transformer, alcançaram os melhores resultados em termos de AUCpr geral e $F^*$ para as tarefas de título e texto completo. Para a tarefa de texto completo, o ganho de desempenho do componente transformer foi marginal em comparação com métodos baseados em TF-IDF como o DiSMEC++, sugerindo que os recursos de TF-IDF permaneceram dominantes para este conjunto de dados específico.
• Desempenho de Cauda Longa: Ao avaliar o desempenho em rótulos raros usando métricas de propensão, os métodos baseados em LLM (especificamente KI-FSPrompt para títulos e LLM-Ensemble para texto completo) superaram os métodos tradicionais de XMLC supervisionados.
• Relevância Graduada: O método LLM-Ensemble superou significativamente todas as outras abordagens em termos de F1-score generalizado. Os especialistas classificaram suas sugestões como mais "úteis" ou "ligeiramente úteis", indicando que, embora os LLMs possam nem sempre coincidir exatamente com o padrão de ouro, eles fornecem consultas de busca mais úteis do que os modelos supervisionados.
• Eficiência: Métodos supervisionados (DiSMEC++, Omikuji) demonstraram tempos de inferência inferiores a 1ms por registro. Em contraste, os métodos baseados em LLM foram ordens de magnitude mais lentos (centenas de milissegundos a quase um segundo), com o LLM-Ensemble exigindo recursos significativos de GPU, tornando-o atualmente inviável para o processamento diário de alto volume em bibliotecas sem otimização.

Significância e Alegações
Os autores posicionam este trabalho como o primeiro benchmark de algoritmos de XMLC em um conjunto de dados puramente de língua alemã, abordando tanto contextos curtos (títulos) quanto longos (texto completo). O estudo alega que, embora os algoritmos de XMLC supervisionados ofereçam atualmente o melhor equilíbrio de desempenho e eficiência para relevância binária geral, os métodos generativos baseados em LLM representam uma alternativa promissora para uso produtivo futuro, particularmente quando o objetivo é capturar termos de assunto matizados de cauda longa e fornecer sugestões "úteis" para usuários, mesmo que desviem ligeiramente das regras rigorosas de catalogação.

O artigo conclui que uma abordagem híbrida ou um ensemble desses métodos é provavelmente o caminho mais viável para a automação de bibliotecas. Ele nota explicitamente limitações, incluindo a inviabilidade computacional de processar livros didáticos de comprimento total em uma única passagem, a rápida obsolescência de snapshots específicos de LLM e a dificuldade de generalizar os resultados para domínios não alemães ou não científicos. Os autores enfatizam que seus achados são específicos para o vocabulário GND e para a coleção da DNB, e pedem mais pesquisas para refinar pipelines de prompting aumentados por recuperação (como o KI-FSPrompt) e desenvolver estratégias de ensemble que possam gerenciar espaços de rótulos amplos de forma eficaz.