Resumo Técnico: Alavancando Grandes Modelos de Linguagem para a Geração de Ontologias de Tópicos de Pesquisa

Declaração do Problema

Ontologias e taxonomias são fundamentais para organizar o conhecimento científico, facilitando a classificação, disseminação e recuperação de resultados de pesquisa (ex: artigos, patentes, conjuntos de dados). No entanto, a criação e manutenção desses Sistemas de Organização do Conhecimento (KOSs) são caras, demoradas e dependem fortemente do esforço coordenado de especialistas da área. Consequentemente, as ontologias existentes frequentemente sofrem com cobertura disciplinar desigual, conectividade interdisciplinar fraca e atualizações infrequentes que não conseguem refletir o rápido progresso científico. Embora tentativas anteriores de automatizar a geração de ontologias tenham utilizado ferramentas linguísticas e aprendizado de máquina, elas têm dificuldade em produzir representações de larga escala e de granularidade fina devido à inerente complexidade e especialização dos domínios de pesquisa. Este estudo aborda a lacuna na avaliação sistemática da capacidade dos Grandes Modelos de Linguagem (LLMs) em identificar relações semânticas entre tópicos de pesquisa, uma tarefa central na construção e refinamento de ontologias acadêmicas.

Metodologia

O estudo investiga o desempenho de 12 LLMs de pesos abertos (variando de 3 bilhões a 27 bilhões de parâmetros) através de três estratégias distintas de otimização:

1. Aprendizado Zero-Shot (ZSL): Avaliação de modelos sem treinamento prévio na tarefa específica usando duas estratégias de prompting:
   • Prompting Padrão: Um template predefinido que define a tarefa e o formato de saída.
   • Cadeia de Pensamento (CoT) Bidirecional: Uma técnica de prompting de dois passos onde o modelo primeiro define os tópicos e constrói uma frase, e então classifica a relação, com o processo sendo repetido com a inversão das posições dos tópicos para resolver discrepâncias.
2. Ajuste Fino (Fine-Tuning): Adaptação de modelos usando Low-Rank Adaptation (LoRA) em um novo conjunto de dados.
3. Cenários de Avaliação: O estudo emprega um design experimental modular testando:
   • Específico por disciplina: Treinamento e teste dentro do mesmo domínio.
   • Interdisciplinar: Treinamento em um domínio e teste em outro.
   • Multidisciplinar: Treinamento e teste em um conjunto de dados combinado.

O Conjunto de Dados PEM-Rel-8K

Para apoiar esta análise, os autores introduziram o PEM-Rel-8K, um benchmark inovador contendo mais de 8.000 relações semânticas extraídas de três grandes taxonomias:

• IEEE Thesaurus: Engenharia e Ciência da Computação (~3.200 relações).
• PhySH (Physics Subject Headings): Física (~875 relações).
• MeSH (Medical Subject Headings): Biomedicina (~4.000 relações).

O conjunto de dados categoriza as relações em quatro classes mutuamente exclusivas:

• Broader (Mais amplo): O Tópico A subsume o Tópico B.
• Narrower (Mais restrito): O Tópico A é subsumido pelo Tópico B.
• Same-as (Igual a): Os tópicos são semanticamente equivalentes.
• Other (Outro): Não existe relação semântica (exemplos negativos).

A construção do conjunto de dados envolveu supervisão manual de especialistas, particularmente para identificar relações "same-as", que nem sempre são explicitamente definidas nas taxonomias de origem (ex: distinguir sinônimos de rótulos alternativos).

Principais Contribuições

1. Análise Abrangente de LLMs: Uma avaliação sistemática de 12 LLMs em três disciplinas científicas (Engenharia, Física, Biomedicina) para identificar relações semânticas.
2. Comparação Metodológica: Uma comparação rigorosa das abordagens Zero-Shot, Chain-of-Thought e Fine-Tuning para tarefas de geração de ontologia.
3. Estudo de Transferibilidade Cross-Discipline: Uma investigação sobre se modelos ajustados finamente em uma disciplina podem generalizar para outras, revelando o potencial para modelos multidisciplinares unificados.
4. Benchmark PEM-Rel-8K: A introdução e o lançamento público de um conjunto de dados modular e multidisciplinar projetado especificamente para treinar e avaliar modelos na identificação de relações de tópicos de pesquisa.
5. Lançamento Open Source: Disponibilização do código completo, conjuntos de dados e templates de prompt para garantir a reprodutibilidade.

Resultados

Os experimentos produziram as seguintes descobertas principais:

• Superioridade do Ajuste Fino (Fine-Tuning): O ajuste fino de LLMs no PEM-Rel-8K superou significativamente tanto o prompting Zero-Shot quanto o Chain-of-Thought. O melhor modelo, gemma-2-27b-it, alcançou um F1-score de 93,5% no conjunto de teste multidisciplinar.
• Desempenho do CoT: Embora o CoT Bidirecional tenha superado o prompting padrão em configurações Zero-Shot (melhorando o F1 em ~5,1%), ele ainda ficou significativamente atrás dos modelos com ajuste fino.
• Generalização Cross-Discipline: Modelos ajustados finamente em uma única disciplina demonstraram forte transferibilidade. Por exemplo, um modelo treinado em dados de Física obteve resultados competitivos ao ser testado em Biomedicina. Crucialmente, um modelo ajustado finamente no conjunto de dados combinado PEM-Rel-8K alcançou um F-score médio entre as três disciplinas que foi apenas 1,2% inferior aos modelos ajustados exclusivamente em conjuntos de dados específicos de cada disciplina.
• Variabilidade de Modelos: Embora o gemma-27b tenha sido o melhor desempenho geral, outros modelos como phi-4 e mistral-22b também mostraram capacidades fortes, com o desempenho variando por disciplina (ex: phi-4 teve o melhor desempenho em MeSH, enquanto gemma-9b se destacou em PhySH).
• Análise de Erros: A relação mais desafiadora de classificar foi "same-as" (F1 médio: 88,5%), frequentemente confundida com relações hierárquicas devido à sobreposição lexical e definições inconsistentes entre as ontologias. A categoria "other" (pares não relacionados) foi a mais fácil de identificar.

Significância e Alegações

O artigo afirma que este estudo representa a primeira investigação em larga escala sobre o uso de LLMs para identificar relações semânticas entre tópicos de pesquisa em uma ampla gama de disciplinas científicas. A principal significância reside em demonstrar que o ajuste fino de LLMs em um conjunto de dados multidisciplinar curado pode produzir modelos robustos capazes de generalizar entre diferentes campos científicos.

Os autores afirmam que esta abordagem oferece um caminho viável para superar a fragmentação e a cobertura desigual das atuais ontologias de pesquisa. Ao mostrar que um único modelo pode lidar efetivamente com engenharia, física e biomedicina com perda mínima de desempenho em comparação com modelos especializados, o estudo sugere uma mudança do custoso processo de curadoria manual de ontologias separadas para sistemas de organização de conhecimento automatizados e unificados. Os resultados indicam que os LLMs podem reduzir significativamente a barreira para a criação e manutenção de ontologias de alta qualidade e atualizadas, melhorando assim a descoberta e a análise da literatura científica.

Os autores mantêm a modéstia em relação às limitações atuais, observando que, embora os LLMs sejam ferramentas assistivas poderosas, eles ainda enfrentam desafios em consistência e precisão que podem exigir supervisão humana, particularmente para relações semânticas complexas como "same-as". Um trabalho futuro é proposto para expandir para as ciências sociais e humanas e para desenvolver sistemas de correspondência e evolução de ontologias.