From Prompt to Graph: Comparing LLM-Based Information Extraction Strategies in Domain-Specific Ontology Development

Resumo Técnico: Do Prompt ao Grafo: Comparando Estratégias de Extração de Informação Baseadas em LLM para o Desenvolvimento de Ontologias de Domínio Específico

Problema
As ontologias são críticas para estruturar o conhecimento de domínio a fim de facilitar a interoperabilidade, o compartilhamento de dados e o raciocínio, particularmente em setores industriais complexos como a fundição. No entanto, a construção de ontologias tradicional é laboriosa, dispendiosa e depende fortemente da anotação manual de documentações fragmentadas e não estruturadas. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam potencial para automatizar a extração de conhecimento, as pesquisas existentes carecem de comparações diretas entre diferentes abordagens baseadas em LLM. Além disso, muitas ontologias de manufatura existentes são informais, carecendo de triplas completas de conceito-relação, e estudos anteriores frequentemente assumem o acesso a conjuntos de dados amplos e bem estruturados, o que não é típico em ambientes de manufatura tradicionais.

Metodologia
Este estudo propõe uma estrutura de aprendizado de ontologia semiautomática para extrair termos e relações de textos específicos de domínio (artigos acadêmicos e livros técnicos) utilizando dados limitados. A pesquisa avalia e compara três estratégias distintas baseadas em LLM:

1. Método baseado em LLM pré-treinado: Utiliza um modelo geral pré-treinado (ChatGPT 4.1 mini) guiado por prompts otimizados baseados na metodologia de Cadeia de Pensamento (Chain-of-Thought - CoT). Este método extrai termos e relações diretamente sem exemplos anotados por humanos, baseando-se no conhecimento inerente do modelo.
2. Método de Aprendizado em Contexto (In-Context Learning - ICL): Um processo de duas etapas (extração de termos seguida de extração de relação) que utiliza exemplos $k$-shot de um pequeno conjunto de treinamento para guiar o LLM. Para garantir a relevância semântica, o estudo utiliza o modelo Universal AnglE Embedding (UAE)-Large-V1 para recuperar os $k$ exemplos mais similares (definido como 16) do conjunto de treinamento para cada entrada de teste.
3. Método de Ajuste Fino (Fine-tuning): Uma abordagem de ajuste fino supervisionado de duas etapas, onde dois modelos customizados (um para extração de termos e outro para extração de sinônimos/relações) são treinados em todo o conjunto de dados rotulado. Este método atualiza os parâmetros do modelo para adaptar o modelo base (OpenAI GPT-4.1-mini) ao domínio específico da fundição sem exigir exemplos $k$-shot durante a inferência.

Configuração Experimental
O estudo focou no domínio da fundição, guiado por seis conceitos de alto nível: materiais, processo de fundição, propriedade do produto, parâmetro de fundição, defeito de fundição e equipamento de fundição.

• Dados: Um conjunto de dados de treinamento de 173 textos curtos e um conjunto de dados de teste de 30 parágrafos longos foram curados.
• Anotação: Especialistas humanos rotularam manualmente 538 termos e 321 triplas de relação no conjunto de treinamento, e 590 termos e 481 relações no conjunto de teste.
• Avaliação: O desempenho foi medido usando Precisão, Recall e F1-score. O conhecimento extraído foi estruturado como triplas (sujeito, objeto, relação) e implementado em um banco de dados de grafos Neo4j.

Resultos Principais

• LLM Pré-treinado: Alcançou aproximadamente 77,3% de precisão na extração de termos e 79,5% na extração de relações. No entanto, extraiu significativamente menos entidades (142 termos, 36 relações) em comparação com o ground truth e careceu de informações posicionais, impedindo o cálculo de Recall e F1-score. Foi propenso a alucinações e classificações irrelevantes.
• Método ICL: Extraiu 421 termos (Precisão: 79,8%, Recall: 56,9%, F1: 66,4%) e 424 triplas de relação (Precisão: 63,9%, Recall: 56,3%, F1: 59,9%). Embora eficaz para textos longos, sofreu com nomes de relações inconsistentes (ex: variações de sinônimos para a mesma relação) e reconhecimento pobre de sinônimos (identificando apenas 1 de 22 pares anotados).
• Método de Ajuste Fino (Fine-tuning): Demonstrou o desempenho superior em todas as métricas. Alcançou um F1-score de extração de termos de 90,6% (Precisão: 93,8%, Recall: 87,6%) e um F1-score de extração de relação de 79,5% (Precisão: 86,7%, Recall: 73,4%). Mostrou maior consistência na nomeação de relações e um reconhecimento de sinônimos significativamente melhor (identificando 10 de 22 pares).

Construção da Ontologia
O método de ajuste fino foi selecionado para construir a ontologia final de fundição. Após a consolidação de sinônimos e remoção de duplicatas, 273 conceitos únicos e 620 relações validadas foram retidos. A validação por especialistas confirmou uma precisão de conceito de 97% e uma precisão de relação de 93%. A ontologia resultante foi visualizada no Neo4j, demonstrando uma organização hierárquica da terminologia de fundição.

Significância e Contribuições
O artigo reivindica três contribuições primárias:

1. Uma avaliação comparativa de três métodos baseados em LLM (prompting pré-treinado, ICL e ajuste fino) para extração de termos e relações em um cenário de domínio específico com dados limitados.
2. A proposta de uma estratégia de extração de relação baseada em prompts projetada para melhorar a construção de ontologias em aplicações de manufatura.
3. O desenvolvimento de uma ontologia de fundição de alta qualidade e validada, derivada de literatura acadêmica e técnica, abordando a lacuna de ontologias informais na manufatura.

O estudo conclui que, embora os modelos pré-treinados sirvam como um ponto de partida útil e o ICL ofereça eficiência de custo, a abordagem de ajuste fino é a mais eficaz para o desenvolvimento de ontologias de alta qualidade quando os recursos permitem. Os autores observam que o estudo é limitado pelo tamanho reduzido do conjunto de dados e sugerem que trabalhos futuros devam validar esses métodos em corpora maiores e mais diversos para avaliar a escalabilidade em ambientes industriais reais.