OntoExtend: A Framework for Requirement-driven and Scalable Ontology Extension with LLMs

Resumo Técnico: OntoExtend: Um Framework para Extensão de Ontologias Orientada a Requisitos e Escalável com LLMs

Declaração do Problema
A extensão de ontologias — o processo de enriquecer uma ontologia existente para satisfazer requisitos funcionais emergentes — é tradicionalmente uma tarefa que consome muitos recursos e propensa a erros. Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado potencial na geração de ontologias do zero, as abordagens atuais raramente vinculam explicitamente as tarefas de extensão a requisitos específicos ou modelos principais reutilizáveis. Além disso, os métodos existentes frequentemente carecem de uma avaliação sistemática das saídas dos LLMs. Um desafio técnico significativo surge da escala das ontologias de entrada; elas frequentemente contêm centenas de classes e propriedades que excedem as limitações da janela de contexto dos LLMs atuais. Mesmo quando as ontologias cabem em janelas de contexto amplas, os LLMs podem ser induzidos ao erro por detalhes irrelevantes, produzindo saídas fora do alvo ou inconsistentes. Existe uma lacuna na literatura sobre como os LLMs podem estender ontologias de entrada maduras reaproveitando elementos existentes enquanto modelam requisitos adicionais fornecidos como Questões de Competência (CQs).

Metodologia: O Framework OntoExtend
Os autores propõem o OntoExtend, um framework de geração aumentada por recuperação (RAG) projetado para estender ontologias com base em novos requisitos. O sistema opera através de três subsistemas primários:

1. Ontology Retriever (Recuperador de Ontologia): Para abordar as limitações de contexto, este módulo constrói um índice semântico da ontologia de entrada. Ele analisa entidades OWL (classes, propriedades, anotações) e as serializa em strings delimitadas por pipes contendo URIs, rótulos, comentários e relações estruturais (ex: domínio/intervalo). Esses elementos são incorporados em vetores densos usando um modelo de embedding de frase configurável (especificamente text-embedding-ada-002 nos experimentos principais) e armazenados em um índice FAISS. Quando um usuário fornece uma CQ, ela é incorporada no mesmo espaço vetorial, e o recuperador retorna os top-k elementos de ontologia mais relevantes. Isso garante que a geração seja fundamentada na terminologia e nos padrões de modelagem existentes.
2. Ontology Extender (Extensor de Ontologia): Este módulo monta o prompt para o LLM. Ele agrupa os elementos recuperados por origem, renderiza-os como trechos Turtle e constrói um bloco de prefixo unificado para resolver conflitos de namespace. Crucialmente, o prompt inclui a CQ e o contexto recuperado, juntamente com restrições de modelagem específicas (ex: exigindo formas SHACL para uso industrial ou restrições OWL para uso em projetos da UE). O LLM gera um fragmento candidato de TBox. Um validador de dois estágios verifica a correção sintática (parser Turtle) e a adesão às convenções de modelagem (ex: declarações explícitas de domínio/intervalo).
3. Ontology Integrator (Integrador de Ontologia): Este módulo incorpora o fragmento validado na ontologia de entrada. Ele realiza a deduplicação (removendo axiomas, classes e prefixos repetidos) e concatena o fragmento limpo. Opcionalmente, os fragmentos gerados podem ser reindexados para servir como contexto para CQs subsequentes, embora isso tenha sido desativado na avaliação para garantir uma avaliação independente.

Configuração Experimental
O framework foi avaliado em dois casos de uso do mundo real:

• Onto-DESIDE: Uma rede de ontologias de um projeto público da UE focada na interoperabilidade de dados da economia circular (20 CQs).
• Bosch Industrial Ontology: Uma ontologia interna que segue um perfil de manufatura (19 CQs).

O conjunto de dados foi criado removendo sistematicamente classes e propriedades das ontologias originais e formulando CQs para investigar esses componentes ausentes. O estudo comparou configurações de recuperação (modelos de embedding e separadores de texto) e LLMs (o1-preview e GPT-5). As métricas de avaliação incluíram validade estrutural (scanner de armadilhas OOPS!, reasoner Pellet, verificação de sintaxe), adequação funcional (verificação de CQ via SPARQL, contagem de elementos supérfluos) e uma pesquisa baseada em usuários realizada por seis engenheiros de ontologia classificando Correção e Completude em uma escala Likert de 5 pontos.

Resultos Principais

• Qualidade Estrutural: Os fragmentos gerados exibiram quase nenhum erro de sintaxe. A integração com o OOPS! revelou que o OntoExtend introduziu muito poucas novas armadilhas de modelagem em comparação com trabalhos existentes, que frequentemente relatam armadilhas críticas ou importantes. Observaram-se problemas menores (ex: falta de anotações no caso industrial devido à replicação do estilo de entrada), mas estes eram simples de corrigir.
• Adequação Funcional: Ambos os LLMs alcançaram 100% de verificação de CQ, o que significa que todas as extensões geradas modelaram corretamente os requisitos. A taxa de elementos supérfluos (classes ou propriedades desnecessárias) foi extremamente baixa (<2%), uma melhoria significativa em relação a estudos anteriores que relataram cerca de ~30%.
• Avaliação Humana: Engenheiros de ontologia classificaram os fragmentos de forma alta. Para a ontologia industrial, os fragmentos exigiram apenas mudanças mínimas ou nenhuma alteração (Média de Completude ~4,5). Para o projeto da UE, as pontuações foram ligeiramente menores (Média de Completidade ~3,1), atribuídas à natureza aberta das CQs que exigiam mais decisões de modelagem da ferramenta. Os engenheiros observaram que, embora a saída fosse geralmente correta sintática e semanticamente, às vezes exigia revisão moderada em relação a convenções de nomenclatura, declarações de domínio/intervalo ou ligação com elementos existentes.

Significância e Alegações
O artigo afirma que o OntoExtend oferece um nível de automação praticamente útil para a extensão de ontologias no mundo real. Sua principal significância reside na mudança do papel do engenheiro de ontologia de autor de axiomas manuais para revisor e editor leve de rascunhos, reduzindo assim a barreira de entrada para especialistas do domínio. Os autores postulam que o OntoExtend funciona efetivamente como um "assistente de rascunho" que é sensível à especificidade das CQs de entrada e ao perfil de modelagem.

O estudo sugere ainda que o desempenho do LLM pode servir como um indicador proxy para a qualidade dos requisitos e artefatos ontológicos; quando as CQs são precisas e bem estruturadas, as extensões resultantes são de maior qualidade e com menos erros de modelagem. Por outro lado, a ambiguidade nos requisitos leva a pontuações mais baixas, destacando que o sucesso do framework é dependente da qualidade das especificações de entrada. Os autores concluem que, embora o framework seja eficaz para requisitos precisos, ele permanece sensível à formulação das CQs de entrada e requer supervisão humana para integração.