Benchmarking Resource-Efficient LLMs for Research Topic Ontology Generation in the Biomedical Field

Resumo Técnico: Avaliação de Desempenho de LLMs Eficientes em Recursos para Geração de Ontologias de Tópicos Biomédicos

Declaração do Problema
Os Sistemas de Organização do Conhecimento (KOSs), como ontologias e taxonomias, são fundamentais para estruturar o conhecimento científico e permitir a recuperação eficiente de dados em bibliotecas digitais. No entanto, a curadoria manual desses sistemas cria um gargalo persistente, resultando em cobertura desigual e atualizações infrequentes que não conseguem acompanhar áreas de pesquisa emergentes. Embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam uma alternativa escalável para a geração automatizada de ontologias, sua capacidade de classificar relações semânticas complexas e específicas do domínio — particularmente no campo biomédico — requer uma avaliação sistemática. As abordagens automatizadas existentes frequentemente lutam com a complexidade granular de terminologias científicas, e as aplicações atuais de LLMs frequentemente dependem de verificação humana no ciclo (human-in-the-loop) em vez de geração autônoma.

Metodologia
Para enfrentar esses desafios, os autores conduziram uma avaliação sistemática de cinco LLMs pequenos e de código aberto (variando de 3,2B a 9,2B de parâmetros) na tarefa de identificar relações semânticas entre pares de tópicos de pesquisa biomédica. O estudo focou em quatro categorias de classificação específicas: broader (tópico pai), narrower (tópico filho), same-as (sinônimo) e other (não relacionado).

A pesquisa empregou os seguintes componentes metodológicos:

1. Construção do Conjunto de Dados (MeSH-Rel-4K): Os autores introduziram um novo conjunto de dados composto por 4.000 relações semânticas extraídas da ontologia Medical Subject Headings (MeSH) (lançamento de janeiro de 2025). O conjunto de dados foi particionado em subconjuntos de treinamento (2.800), validação (400) e teste (800) com uma proporção de 7:1:2, garantindo o isolamento estrito de conceitos de pesquisa para evitar o vazamento de nós (node leakage).
2. Estratégias de Adaptação: Três estratégias distintas foram avaliadas:
   • Prompting Padrão (Standard Prompting): Uso de templates predefinidos para instruir os modelos na tarefa de classificação.
   • Prompting de Cadeia de Pensamento (Chain-of-Thought - CoT): Um mecanismo de prompting sequencial de duas vias onde os modelos primeiro definem os tópicos e constroem sentenças antes de classificar as relações, com verificação bidirecional para resolver discrepâncias.
   • Ajuste Fino (Fine-Tuning): Ajuste Fino de Parâmetros Eficientes (PEFT) usando Low-Rank Adaptation (LoRA) no conjunto de dados MeSH-Rel-4K. Todos os modelos foram quantizados em 4 bits e treinados usando a biblioteca Unsloth em GPUs de nível de consumidor.
3. Modelos Avaliados: O estudo utilizou mistral-7b, llama-3.2-3b-instruct, gemma-2-9b-it, phi-3.5-mini-instruct e zephyr-7b.

Principais Resultados
Os experimentos produziram descobertas significativas sobre a eficácia do ajuste fino versus o prompting:

• Desempenho de Prompting: Embora o prompting CoT tenha proporcionado melhorias moderadas em relação ao prompting padrão (um aumento médio de 5,4 pontos percentuais no F1-score), ele foi insuficiente para preencher as lacunas de raciocínio nos modelos menores. Por exemplo, o menor modelo, llama-3b, teve um ganho marginal de apenas 0,5 ponto percentual com CoT.
• Impacto do Ajuste Fino (Fine-Tuning): O ajuste fino direto provou ser a estratégia mais eficaz, aumentando o F1-score médio em 34,1 pontos percentuais em todos os modelos em comparação com as linhas de base de prompting.
  • O maior modelo, gemma-9b, alcançou o maior desempenho geral com um F1-score de 91,6%.
  • O menor modelo, llama-3b, demonstrou o aumento relativo mais dramático, subindo de um F1-score de 25,7% (com CoT) para 86,2% após o ajuste fino — um aumento de 60,5 pontos percentuais.
• Análise de Erros: Os modelos ajustados finamente destacaram-se na identificação de tópicos não relacionados (categoria other), alcançando precisão e recall quase perfeitos. O principal desafio permaneceu distinguir relações same-as de relações hierárquicas (broader/narrower). Essa confusão foi inversamente proporcional ao tamanho do modelo; o gemma-9b minimizou esses erros, enquanto o llama-3b frequentemente classificou erroneamente termos sinônimos como relações hierárquicas devido às densas sobreposições lexicais na ontologia MeSH.

Significância e Contribuições
O artigo traz três contribuições primárias para o campo da engenharia de ontologias automatizada:

1. Lançamento de Conjunto de Dados: A introdução do MeSH-Rel-4K, um conjunto de dados especializado de 4.000 relações semânticas biomédicas, que está disponível abertamente para apoiar pesquisas futuras em geração de ontologias.
2. Validação Empírica de Eficiência de Recursos: O estudo demonstra que modelos com restrição de parâmetros (abaixo de 10B de parâmetros) podem alcançar um desempenho próximo ao estado da arte em classificação semântica de domínio específico quando submetidos ao ajuste fino direcionado, contornando efetivamente os gargalos de raciocínio tipicamente associados a LLMs menores.
3. Estrutura Metodológica: Os autores fornecem um pipeline reprodutível para construir e evoluir ontologias biomédicas especializadas, confirmando que o ajuste fino direto oferece uma metodologia mais precisa e automatizada do que as abordagens baseadas apenas em prompting.

Os autores concluem que, embora as estratégias de prompting ofereçam utilidade básica, o ajuste fino explícito é necessário para desbloquear o pleno potencial dos LLMs pequenos e de código aberto para a construção e evolução de grafos de conhecimento científicos especializados. Trabalhos futuros são propostos para estender esta análise a outras disciplinas acadêmicas (Humanidades, Ciências Sociais) e para desenvolver pipelines de correspondência e evolução de ontologias.