From Prompt to Graph: Comparing LLM-Based Information Extraction Strategies in Domain-Specific Ontology Development

Sintesi Tecnica: Dal Prompt al Grafo: Confronto tra le strategie di estrazione delle informazioni basate su LLM per lo sviluppo di ontologie specifiche di dominio

Definizione del problema
Le ontologie sono fondamentali per strutturare la conoscenza di dominio al fine di facilitare l'interoperabilità, la condivisione dei dati e il ragionamento, particolarmente in settori industriali complessi come la produzione di fusioni. Tuttavia, la costruzione tradizionale delle ontologie è laboriosa, costosa e si basa pesantemente sull'annotazione manuale di documentazione frammentata e non strutturata. Sebbene i Large Language Models (LLM) offrano il potenziale per automatizzare l'estrazione della conoscenza, la ricerca esistente manca di confronti affiancati tra diversi approcci basati su LLM. Inoltre, molte ontologie manifatturiere esistenti sono informali, prive di tripli completi concetto-relazione, e gli studi precedenti spesso presuppongono l'accesso a dataset ampi e ben strutturati, il che non è tipico dei tradizionali ambienti manifatturieri.

Metodologia
Questo studio propone un framework di apprendimento ontologico semi-automatizzato per estrarre termini e relazioni da testi specifici del dominio (articoli accademici e libri tecnici) utilizzando dati limitati. La ricerca valuta e confronta tre distinti approcci basati su LLM:

1. Metodo guidato da LLM pre-addestrato: Utilizza un modello pre-addestrato generale (ChatGPT 4.1 mini) guidato da prompt ottimizzati basati sulla metodologia Chain-of-Thought (CoT). Questo metodo estrae termini e relazioni direttamente senza esempi annotati da esseri umani, facendo affidamento sulla conoscenza intrinseca del modello.
2. Metodo In-Context Learning (ICL): Un processo in due fasi (estrazione dei termini seguita dall'estrazione delle relazioni) che utilizza esempi $k$-shot da un piccolo set di addestramento per guidare l'LLM. Per garantire la rilevanza semantica, lo studio impiega il modello Universal AnglE Embedding (UAE)-Large-V1 per recuperare i $k$ campioni di addestramento (impostato a 16) più simili per ogni input di test.
3. Metodo di Fine-tuning: Un approccio di fine-tuning supervisionato in due fasi in cui due modelli personalizzati (uno per l'estrazione dei termini e uno per l'estrazione di sinonimi/relazioni) vengono addestrati sull'intero dataset etichettato. Questo metodo aggiorna i parametri del modello per adattare il modello base (OpenAI GPT-4.1-mini) al dominio specifico della fusione senza richiedere esempi $k$-shot durante l'inferenza.

Configurazione Sperimentale
Lo studio si è concentrato sul dominio della fusione, guidato da sei concetti di alto livello: materiali, processo di fusione, proprietà del prodotto, parametro di fusione, difetto di fusione e attrezzatura di fusione.

• Dati: È stato curato un dataset di addestramento di 173 testi brevi e un dataset di test di 30 paragrafi lunghi.
• Annotazione: Esperti umani hanno etichettato manualmente 538 termini e 321 tripli di relazione nel set di addestramento, e 590 termini e 481 relazioni nel set di test.
• Valutazione: Le prestazioni sono state misurate utilizzando Precision, Recall e F1-score. La conoscenza estratta è stata strutturata come tripli (soggetto, oggetto, relazione) ed è stata implementata in un database a grafo Neo4j.

Risultati Chiave

• LLM Pre-addestrato: Ha raggiunto circa il 77,3% di precisione nell'estrazione dei termini e il 79,5% nell'estrazione delle relazioni. Tuttavia, ha estratto significativamente meno entità (142 termini, 36 relazioni) rispetto alla ground truth e mancava di informazioni posizionali, impedendo il calcolo di Recall e F1-score. Era incline alle allucinazioni e a classificazioni irrilevanti.
• Metodo ICL: Ha estratto 421 termini (Precision: 79,8%, Recall: 56,9%, F1: 66,4%) e 424 tripli di relazione (Precision: 63,9%, Recall: 56,3%, F1: 59,9%). Sebbene efficace per testi lunghi, ha sofferto di una denominazione inconsistente delle relazioni (ad esempio, sinonimi variabili per la stessa relazione) e di un scarso riconoscimento dei sinonimi (identificando solo 1 coppia su 22 annotate).
• Metodo di Fine-tuning: Ha dimostrato la prestazione superiore in tutte le metriche. Ha raggiunto un F1-score di estrazione dei termini del 90,6% (Precision: 93,8%, Recall: 87,6%) e un F1-score di estrazione delle relazioni del 79,5% (Precision: 86,7%, Recall: 73,4%). Ha mostrato una maggiore coerenza nella denominazione delle relazioni e un riconoscimento dei sinonimi significativamente migliore (identificando 10 coppie su 22).

Costruzione dell'Ontologia
Il metodo di fine-tuning è stato selezionato per costruire l'ontologia finale della fusione. Dopo la consolidazione dei sinonimi e la rimozione dei duplicati, sono stati mantenuti 273 concetti unici e 620 relazioni validate. La validazione degli esperti ha confermato una precisione dei concetti del 97% e una precisione delle relazioni del 93%. L'ontologia risultante è stata visualizzata in Neo4j, dimostrando un'organizzazione gerarchica della terminologia della fusione.

Significatività e Contributi
Il documento rivendica tre contributi primari:

1. Una valutazione comparativa di tre metodi basati su LLM (prompting pre-addestrato, ICL e fine-tuning) per l'estrazione di termini e relazioni in un contesto specifico di dominio con dati limitati.
2. La proposta di una strategia di estrazione delle relazioni basata su prompt progettata per migliorare la costruzione di ontologie nelle applicazioni manifatturiere.
3. Lo sviluppo di un'ontologia di fusione di alta qualità e validata, derivata da letteratura accademica e tecnica, che affronta il gap delle ontologie informali nel settore manifatturiero.

Lo studio conclude che, sebbene i modelli pre-addestrati servano come punto di partenza utile e l'ICL offra efficienza nei costi, l'approccio di fine-tuning è il più efficace per lo sviluppo di ontologie di alta qualità quando le risorse lo permettono. Gli autori osservano che lo studio è limitato dalle dimensioni ridotte del dataset e suggeriscono che il lavoro futuro dovrebbe validare questi metodi su corpora più ampi e diversificati per valutare la scalabilità in contesti industriali reali.