An Extreme Multi-label Text Classification (XMTC) Library Dataset: What if we took "Use of Practical AI in Digital Libraries" seriously?

Este artigo apresenta um novo corpus bilíngue (inglês/alemão) e uma taxonomia de arquivo de autoridade (GND) para treinar e avaliar sistemas de classificação de texto multi-rótulo, visando aprimorar a indexação e o trabalho dos catalogadores em bibliotecas digitais por meio de IA transparente e baseada em autoridade.

O essencial

Imagine que você tem uma biblioteca gigante, do tamanho de um continente, cheia de milhões de livros, artigos e teses. O problema é que, para encontrar o que você precisa, alguém precisa colocar "etiquetas" (temas) em cada item. Se você tem um livro sobre "física quântica", precisa de uma etiqueta para isso. Se é sobre "história da arte", outra etiqueta.

No mundo das bibliotecas reais, essas etiquetas não são palavras soltas; elas vêm de um dicionário oficial e super rigoroso (chamado GND, na Alemanha). É como se a biblioteca tivesse um "código de barras" único para cada ideia, garantindo que todos falem a mesma língua.

O problema? Essa biblioteca cresce tão rápido e tem tantos idiomas (alemão e inglês) que os bibliotecários humanos não conseguem mais etiquetar tudo sozinhos. É como tentar encher um balde furado com uma mangueira de incêndio.

Aí entra a Inteligência Artificial (IA). Mas a IA comum é como um estudante que decorou o dicionário, mas não entende o contexto. Ela pode sugerir "cachorro" quando você precisa de "animal de estimação", ou errar feio em termos técnicos.

O que este paper faz?
Os autores criaram um "campo de treinamento" (um dataset) para ensinar a IA a ser um assistente de bibliotecário de verdade. Eles pegaram 136.000 registros reais da biblioteca, com seus títulos, resumos e as etiquetas oficiais que os humanos já colocaram.

Eles lançaram esse material para o mundo inteiro (o dataset se chama TIB-SID) e disseram: "Ei, IA, tente adivinhar as etiquetas certas baseadas apenas no texto. Veja quem acerta mais!"

A Analogia do "Detetive de Livros"
Pense no sistema de classificação de livros como um jogo de detetive:

1. O Caso: Um livro novo chega (o texto).
2. A Suspeita: A IA precisa escolher, de um catálogo de 200.000 suspeitos (temas), quais são os culpados (os temas corretos).
3. O Desafio: A maioria dos temas é muito rara (como um assassino que só aparece uma vez no ano). A IA precisa ser boa em encontrar tanto os "assassinos famosos" (temas comuns) quanto os "raros" (temas de nicho).

O que eles testaram?
Eles colocaram três "detetives" (sistemas de IA) para competir:

• Detetive 1 (O "Intuitivo"): Usa a lógica de "quem se parece com quem". Ele olha para o livro novo e diz: "Isso parece muito com aquele livro que li ontem, então vou usar as mesmas etiquetas".
  • Resultado: Funciona bem para temas comuns, mas às vezes copia etiquetas erradas de livros parecidos.
• Detetive 2 (O "Consultor de IA"): Usa um modelo de linguagem gigante (como o ChatGPT). Ele lê o livro, pede para a IA sugerir palavras-chave, e depois tenta encaixar essas palavras no dicionário oficial.
  • Resultado: É criativo e entende bem o contexto, mas às vezes inventa palavras que não existem no dicionário oficial ou se confunde com termos ambíguos.
• Detetive 3 (O "Veterano Híbrido"): Mistura a intuição da IA com a força bruta de algoritmos matemáticos antigos e testados. Ele usa a IA para traduzir e preparar o terreno, mas usa máquinas de aprendizado tradicionais para fazer a classificação final.
  • Resultado: Venceu a competição. Ele foi o mais preciso, especialmente em temas difíceis.

O que aprendemos com isso?

1. IA não é mágica: Apenas jogar um modelo de IA gigante no problema não resolve tudo. O melhor sistema foi aquele que combinou IA com métodos tradicionais.
2. O "Rabo Longo" é difícil: A IA é ótima em temas populares (como "Economia"), mas ainda tropeça nos temas muito específicos e raros (como "Mineração de um tipo específico de rocha").
3. Precisão é tudo: Para um bibliotecário, não basta a IA dar 10 sugestões. Ela precisa dar as 3 certas logo no topo. Se a IA sugerir 20 coisas e 19 estiverem erradas, ela atrapalha mais do que ajuda.

Conclusão Simples
Este paper é um manual de instruções e um desafio para a comunidade de tecnologia. Eles disseram: "Olha, aqui está o material de treino real. Vamos construir assistentes de IA que não apenas acertam o teste, mas que realmente ajudam os bibliotecários a organizar o conhecimento humano, sem alucinar e sem perder tempo."

É como se eles tivessem dado a chave da biblioteca para a IA e dito: "Agora, aprenda a organizar as prateleiras como um humano faria, mas na velocidade de um robô." E o resultado foi um passo gigante para o futuro das bibliotecas digitais.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo em português, estruturado conforme solicitado:

Título do Artigo: Um Conjunto de Dados de Biblioteca para Classificação de Texto Multi-rótulo Extremo (XMTC): O que aconteceria se levássemos a "Uso de IA Prática em Bibliotecas Digitais" a sério?

1. O Problema

A indexação de assuntos é fundamental para a descoberta de recursos em bibliotecas, mas os fluxos de trabalho manuais tornam-se insustentáveis diante do volume crescente, multilíngue e diversificado de registros de catálogo. Embora os Grandes Modelos de Linguagem (LLMs) e pipelines de agentes prometam suporte, eles enfrentam desafios específicos no contexto bibliográfico:

• Falta de Grounding Autoritário: Modelos genéricos não estão ancorados em vocabulários controlados (ontologias) que as bibliotecas já utilizam e confiam.
• Desafios de XMTC: A tarefa de atribuir múltiplos rótulos (assuntos) a um documento, onde o espaço de rótulos é enorme e segue uma distribuição de cauda longa (poucos rótulos frequentes, muitos raros), é complexa.
• Falta de Benchmarks Específicos: Existem poucos conjuntos de dados prontos para Machine Learning (ML) que combinem registros de catálogo reais, anotações em vocabulários controlados (como a GND alemã) e divisões de treino/teste padronizadas para avaliação reprodutível.
• Avaliação Inadequada: Métricas genéricas de classificação de texto não capturam a "utilidade" real para bibliotecários, como a coerência hierárquica, a explicabilidade e o esforço economizado.

2. Metodologia e o Conjunto de Dados (TIB-SID)

Os autores lançam o TIB-SID (TIB Subject Indexing Dataset), um recurso massivo e bilingue (Inglês/Alemão) projetado para preencher essa lacuna.

• Composição dos Dados:
  • Corpus: 136.569 registros bibliográficos da TIB (Centro de Informação Leibniz para Ciência e Tecnologia), incluindo artigos, livros, conferências, relatórios e teses.
  • Anotação: Cada registro é anotado com termos de assunto da GND (Gemeinsame Normdatei / Arquivo de Autoridade Integrado), uma ontologia rica usada por bibliotecas de língua alemã.
  • Taxonomia: A GND Sachbegriff (termos de assunto) foi convertida para um formato JSON estruturado e SKOS, contendo 207.001 termos únicos, incluindo nomes preferidos, variantes, definições e relações semânticas.
  • Divisões: O conjunto de dados possui divisões pré-definidas e balanceadas por tipo de registro e idioma (Treino: ~90k, Dev: ~20k, Teste: ~26k).
• Análise Estatística:
  • O dataset exibe uma forte espalhamento de cauda longa (long-tail), com apenas ~36% de sobreposição de rótulos entre as divisões (Treino/Teste), exigindo generalização few-shot e zero-shot.
  • Há uma divergência distribucional significativa entre as divisões, indicando que os modelos devem lidar com mudanças de distribuição (distribution shift).
  • A ambiguidade (polissemia) nos rótulos da GND é rara (<1% dos casos), o que simplifica a tarefa de mapeamento, mas o mapeamento de texto livre para termos controlados permanece desafiador.

3. Contribuições Principais

1. Recurso de Benchmarking: Disponibilização do TIB-SID, o maior corpus bilingue de registros de biblioteca anotados com uma ontologia controlada, pronto para tarefas de Classificação Multi-rótulo Extrema (XMTC).
2. Taxonomia Machine-Actionable: Fornecimento da taxonomia GND em formatos estruturados (JSON/SKOS) que permitem modelagem consciente da ontologia.
3. Avaliação Centrada no Humano: Proposta de métricas e protocolos que avaliam não apenas a precisão, mas a utilidade, a transparência e a consistência hierárquica, alinhados com o fluxo de trabalho real de catalogadores.
4. Análise de Sistemas: Avaliação comparativa de três abordagens distintas (baseadas em LLMs e ML tradicional) para estabelecer baselines para a comunidade.

4. Resultados e Análise de Sistemas

Os autores avaliaram três sistemas representativos desenvolvidos para a tarefa de indexação automática:

• Sistema 1 (LA2I2F - Raciocínio Analógico e Ontológico):
  • Abordagem: Usa embeddings (sentence-transformers) para mapear registros e rótulos em um espaço semântico. Combina raciocínio ontológico (comparação direta) e analógico (recuperação de documentos similares).
  • Desempenho: Melhorou em registros do tipo "Artigo" e em inglês.
  • Limitações: Tendência a superestimar rótulos comuns devido ao domínio do raciocínio analógico, resultando em falsos positivos e perda de rótulos raros (falsos negativos) que eram corretos no ramo ontológico.
• Sistema 2 (KIFSPrompt - Few-Shot Prompting):
  • Abordagem: Pipeline de quatro etapas: Recuperação de exemplos few-shot (BGE-M3), geração de palavras-chave via LLM (Ministral-8B), mapeamento para GND e reclassificação (Llama-3). Não usa fine-tuning.
  • Desempenho: Estabelece uma base sólida para métodos baseados em LLM sem treinamento (nDCG@5 = 0.49).
  • Limitações: Erros frequentes na etapa de mapeamento (conceitos desconhecidos ou ambíguos na GND) e sugestões tecnicamente corretas, mas irrelevantes no contexto.
• Sistema 3 (Annif - Híbrido Tradicional + LLM):
  • Abordagem: Combina fine-tuning de modelos XMTC tradicionais (Omikuji Bonsai, MLLM, XTransformer) com dados sintéticos gerados por LLMs e reclassificação final por LLM.
  • Desempenho: O melhor desempenho geral (nDCG@5 = 0.6020), superando os outros dois sistemas em todos os tipos de registro (exceto artigos) e idiomas.
  • Insight: A arquitetura híbrida, que utiliza modelos treinados para capturar padrões estatísticos e LLMs para pré-processamento e refinamento, provou ser mais robusta do que o uso puro de LLMs.

Análise de Erros Qualitativa:

• Os sistemas baseados em LLM (Sistemas 1 e 2) capturam bem a proximidade temática, mas lutam para distinguir assuntos semanticamente distintos dentro do mesmo registro.
• O Sistema 3 sofre principalmente com a cauda longa: tem dificuldade em prever termos de baixa frequência no conjunto de treino, pois depende de padrões aprendidos, enquanto os métodos baseados em embeddings (Sistema 1) e prompting (Sistema 2) têm melhor potencial para termos raros, mas sofrem com ruído.

5. Significado e Conclusão

O artigo demonstra que, para aplicações práticas em bibliotecas digitais, a "IA Prática" não deve ser apenas sobre usar LLMs brutos, mas sobre integrar modelos de ML tradicionais com vocabulários controlados e fluxos de trabalho humanos.

• Para a Comunidade de ML: O TIB-SID oferece um desafio real de XMTC com dados multilíngues e ontologicamente ricos, superando benchmarks genéricos como Wiki-500K.
• Para Bibliotecas: O estudo valida que a IA pode auxiliar na catalogação, mas destaca a necessidade de sistemas que priorizem a precisão dos termos raros, a explicabilidade e a integração com ontologias existentes.
• Futuro: O trabalho aponta para a necessidade de melhorar a recuperação de termos de baixa frequência (cauda longa) e desenvolver pipelines que combinem a eficiência dos modelos treinados com a flexibilidade dos LLMs, sempre com avaliação centrada na utilidade para o catalogador humano.

Em suma, o artigo serve como um guia para o desenvolvimento de "co-pilotos" de IA para indexação de assuntos que são não apenas precisos, mas também confiáveis, auditáveis e integrados ao ecossistema de dados ligados das bibliotecas.