OntoExtend: A Framework for Requirement-driven and Scalable Ontology Extension with LLMs

Sintesi Tecnica: OntoExtend: Un framework per l'estensione di ontologie guidata dai requisiti e scalabile con gli LLM

Problematica
L'estensione delle ontologie — il processo di arricchimento di un'ontologia esistente per soddisfare nuovi requisiti funzionali — è tradizionalmente un compito che richiede molte risorse ed è soggetto a errori. Sebbene i Large Language Models (LLM) abbiano dimostrato potenziale nella generazione di ontologie da zero, gli approcci attuali raramente legano esplicitamente i compiti di estensione a specifici requisiti o a modelli core riutilizzabili. Inoltre, i metodi esistenti spesso mancano di una valutazione sistematica degli output degli LLM. Una sfida tecnica significativa deriva dalla scala delle ontologie di input; esse contengono frequentemente centinaia di classi e proprietà che superano i limiti della finestra di contesto degli attuali LLM. Anche quando le ontologie rientrano in ampie finestre di contesto, gli LLM possono essere fuorviati da dettagli irrilevanti, producendo output fuori bersaglio o incoerenti. Esiste una lacuna nella letteratura su come gli LLM possano estendere ontologie di input mature riutilizzando elementi esistenti mentre modellano ulteriori requisiti forniti come Competency Questions (CQ).

Metodologia: Il framework OntoExtend
Gli autori propongono OntoExtend, un framework di generazione aumentata dal recupero (RAG) progettato per estendere le ontologie sulla base di nuovi requisiti. Il sistema opera attraverso tre sottosistemi primari:

1. Ontology Retriever: Per affrontare i limiti di contesto, questo modulo costruisce un indice semantico dell'ontologia di input. Analizza le entità OWL (classi, proprietà, annotazioni) e le serializza in stringhe delimitate da pipe contenenti URI, etichette, commenti e relazioni strutturali (es. dominio/range). Questi elementi vengono incorporati in vettori densi utilizzando un modello di embedding testuale configurabile (specificamente text-embedding-ada-002 negli esperimenti principali) e memorizzati in un indice FAISS. Quando un utente fornisce una CQ, questa viene incorporata nello stesso spazio vettoriale e il retriever restituisce i top-k elementi dell'ontologia più rilevanti. Ciò assicura che la generazione sia fondata sulla terminologia e sui pattern di modellazione esistenti.
2. Ontology Extender: Questo modulo assembla il prompt per l'LLM. Raggruppa gli elementi recuperati per origine, li renderizza come snippet Turtle e costruisce un blocco di prefisso unificato per risolvere i conflitti di namespace. Fondamentalmente, il prompt include la CQ e il contesto recuperato, insieme a specifici vincoli di modellazione (es. richiedere forme SHACL per uso industriale o restrizioni OWL per l'uso in progetti UE). L'LLM genera un candidato frammento di TBox. Un validatore a due stadi controlla la correttezza sintattica (parser Turtle) e l'aderenza alle convenzioni di modellazione (es. dichiarazioni esplicite di dominio/range).
3. Ontology Integrator: Questo modulo incorpora il frammento validato nell'ontologia di input. Esegue la deduplicazione (rimozione di assiomi, classi e prefissi ripetuti) e concatena il frammento pulito. Opzionalmente, i frammenti generati possono essere ri-indicizzati per servire come contesto per successive CQ, sebbene ciò sia stato disabilitato nella valutazione per garantire una valutazione indipendente.

Configurazione Sperimentale
Il framework è stato valutato su due casi d'uso reali:

• Onto-DESIDE: Una rete di ontologie di un progetto pubblico UE focalizzata sull'interoperabilità dei dati dell'economia circolare (20 CQ).
• Bosch Industrial Ontology: Un'ontologia interna che segue un profilo di produzione (19 CQ).

Il dataset è stato creato rimuendo sistematicamente classi e proprietà dalle ontologie originali e formulando CQ per sondare questi componenti mancanti. Lo studio ha confrontato le configurazioni di recupero (modelli di embedding e separatori di testo) e gli LLM (o1-preview e GPT-5). Le metrici di valutazione hanno incluso la validità strutturale (scanner dei pitfall OOPS!, ragionatore Pellet, controllo della sintassi), l'adeguatezza funzionale (verifica della CQ tramite SPARQL, conteggio degli elementi superflui) e un sondaggio basato su utenti da parte di sei ingegneri di ontologie che hanno valutato Correttezza e Completezza su una scala Likert a 5 punti.

Risultati Chiave

• Qualità Strutturale: I frammenti generati hanno mostrato quasi nessun errore di sintassi. L'integrazione con OOPS! ha rivelato che OntoExtend ha introdotto pochissimi nuovi pitfall di modellazione rispetto al lavoro esistente, che spesso riporta pitfall critici o importanti. Sono stati osservati problemi minori (es. annotazioni mancanti nel caso industriale a causa della replicazione dello stile di input), ma erano facilmente risolvibili.
• Adeguatezza Funzionale: Entrambi gli LLM hanno raggiunto il 100% di verifica delle CQ, il che significa che tutte le estensioni generate hanno modellato correttamente i requisiti. Il tasso di elementi superflui (classi o proprietà non necessarie) è stato estremamente basso (<2%), un miglioramento significativo rispetto agli studi precedenti che riportavano circa il 30%.
• Valutazione Umana: Gli ingegneri di ontologie hanno valutato i frammenti molto positivamente. Per l'ontologia industriale, i frammenti richiedevano solo modifiche minime o nulle (Completezza Media ~4.5). Per il progetto UE, i punteggi erano leggermente inferiori (Completezza Media ~3.1), attribuiti alla natura aperta delle CQ che richiedeva maggiori decisioni di modellazione da parte dello strumento. Gli ingegneri hanno notato che, sebbene l'output fosse generalmente corretto dal punto di vista sintattico e semantico, talvolta richiedeva una revisione moderata riguardo alle convenzioni di denominazione, alle dichiarazioni di dominio/range o al collegamento con gli elementi esistenti.

Significatività e Rivendicazioni
L'articolo sostiene che OntoExtend offre un livello di automazione praticamente utile per l'estensione di ontologie reali. La sua principale significatività risiede nello spostamento del ruolo dell'ingegnere di ontologie dalla redazione manuale di assiomi alla revisione e leggera editing di bozze, riducendo così la barriera all'ingresso per gli esperti di dominio. Gli autori sostengono che OntoExtend funzioni efficacemente come un "assistente alla stesura" sensibile alla specificità delle CQ di input e al profilo di modellazione.

Lo studio suggerisce inoltre che le prestazioni dell'LLM possono servire come indicatore proxy della qualità dei requisiti e degli artefatti ontologici; quando le CQ sono precise e ben strutturate, le estensioni risultanti sono di qualità superiore con meno errori di modellazione. Al contrario, l'ambiguità nei requisiti porta a punteggi inferiori, evidenziando come il successo del framework dipenda dalla qualità delle specifiche di input. Gli autori concludono che, sebbene il framework sia efficace per requisiti precisi, rimane sensibile alla formulazione delle CQ di input e richiede la supervisione umana per l'integrazione.