From Prompt to Graph: Comparing LLM-Based Information Extraction Strategies in Domain-Specific Ontology Development

Technische Samenvatting: Van Prompt naar Graaf: Vergelijking van LLM-gebaseerde Informatie-extractiestrategieën bij de Ontwikkeling van Domeinspecifieke Ontologieën

Probleemstelling
Ontologieën zijn cruciaal voor het structureren van domeinkennis om interoperabiliteit, gegevensuitwisseling en redeneren te faciliteren, met name in complexe industriële sectoren zoals de gietindustrie. Traditionele ontologieconstructie is echter arbeidsintensief, kostbaar en is sterk afhankelijk van handmatige annotatie van gefragmenteerde, ongestructureerde documentatie. Hoewel Large Language Models (LLMs) potentieel bieden voor het automatiseren van kennisextractie, ontbreekt het in bestaand onderzoek aan zij-aan-zij vergelijkingen van verschillende LLM-gebaseerde benaderingen. Bovendien zijn veel bestaande fabricage-ontologieën informeel, missen ze volledige concept-relatie-triples, en gaan eerdere studies vaak uit van toegang tot grote, goed gestructureerde datasets, wat niet gebruikelijk is in traditionele productieomgevingen.

Methodologie
Deze studie stelt een semi-geautomatiseerd framework voor het leren van ontologieën voor om termen en relaties te extraheren uit domeinspecifieke teksten (academische papers en technische boeken) met behulp van beperkte data. Het onderzoek evalueert en vergelijkt drie verschillende LLM-gebaseerde strategieën:

1. Pre-trained LLM-gestuurde Methode: Maakt gebruik van een algemeen pre-trained model (ChatGPT 4.1 mini) geleid door geoptimaliseerde prompts gebaseerd op de Chain-of-Thought (CoT) methodologie. Deze methode extraheert termen en relaties direct zonder menselijke geannoteerde voorbeelden, vertrouwend op de inherente kennis van het model.
2. In-Context Learning (ICL) Methode: Een tweestaps-proces (termextractie gevolgd door relatie-extractie) dat $k$-shot voorbeelden gebruikt uit een kleine trainingsset om het LLM te begeleiden. Om semantische relevantie te waarborgen, maakt de studie gebruik van het Universal AnglE Embedding (UAE)-Large-V1 model om de top $k$ (gesteld op 16) meest gelijkaardige trainingssamples voor elke testinput op te halen.
3. Fine-tuning Methode: Een tweestaps supervised fine-tuning benadering waarbij twee aangepaste modellen (één voor termextractie, één voor synoniem/relatie-extractie) worden getraind op de volledige gelabelde dataset. Deze methode werkt de modelparameters bij om het basismodel (OpenAI GPT-4.1-mini) aan te passen aan het specifieke gietdomein zonder dat er $k$-shot voorbeelden nodig zijn tijdens de inferentie.

Experimentele Opzet
De studie richtte zich op het gietdomein, geleid door zes top-level concepten: materialen, gietproces, producteigenschap, gietparameter, gietdefect en gietapparatuur.

• Data: Een trainingsdataset van 173 korte teksten en een testdataset van 30 lange paragrafen zijn samengesteld.
• Annotatie: Menselijke experts hebben handmatig 538 termen en 321 relatie-triples gelabeld in de trainingsset, en 590 termen en 481 relaties in de testset.
• Evaluatie: Prestaties werden gemeten aan de hand van Precisie, Recall en F1-score. De geëxtraheerde kennis werd gestructureerd als triples (onderwerp, object, relatie) en geïmplementeerd in een Neo4j graafdatabase.

Belangrijkste Resultaten

• Pre-trained LLM: Behaalde ongeveer 77,3% precisie in termextractie en 79,5% in relatie-extractie. Het extraheerde echter aanzienlijk minder entiteiten (142 termen, 36 relaties) vergeleken met de grondwaarheid (ground truth) en miste positionele informatie, waardoor de berekening van Recall en F1-score werd verhinderd. Het was gevoelig voor hallucinaties en irrelevante classificaties.
• ICL Methode: Extraheerde 421 termen (Precisie: 79,8%, Recall: 56,9%, F1: 66,4%) en 424 relatie-triples (Precisie: 63,9%, Recall: 56,3%, F1: 59,9%). Hoewel effectief voor lange teksten, leed het onder inconsistente naamgeving van relaties (bijv. variërende synoniemen voor dezelfde relatie) en gebrekkige herkenning van synoniemen (identificeerde slechts 1 van de 22 geannoteerde paren).
• Fine-tuning Methode: Demonstreerde de superieure prestatie over alle metrieken. Het behaalde een termextractie F1-score van 90,6% (Precisie: 93,8%, Recall: 87,6%) en een relatie-extractie F1-score van 79,5% (Precisie: 86,7%, Recall: 73,4%). Het vertoonde een grotere consistentie in de naamgeving van relaties en een aanzienlijk betere herkenning van synoniemen (identificeerde 10 van de 22 paren).

Ontologieconstructie
De fine-tuned methode werd geselecteerd voor de constructie van de uiteindelijke giet-ontologie. Na het consolideren van synoniemen en het verwijderen van duplicaten, bleven 273 unieke concepten en 620 gevalideerde relaties over. Expertvalidatie bevestigde een conceptprecisie van 97% en een relatieprecisie van 93%. De resulterende ontologie werd gevisualiseerd in Neo4j, wat een hiërarchische organisatie van de gietterminologie demonstreert.

Betekenis en Bijdragen
Het artikel claimt drie primaire bijdragen:

1. Een vergelijkende evaluatie van drie LLM-gebaseerde methoden (pre-trained prompting, ICL en fine-tuning) voor term- en relatie-extractie in een domeinspecifieke setting met beperkte data.
2. De voorstel van een prompt-gebaseerde strategie voor relatie-extractie, ontworpen om de ontologieconstructie in fabricage-toepassingen te verbeteren.
3. De ontwikkeling van een hoogwaardige, gevalideerde giet-ontologie afgeleid van academische en technische literatuur, waarmee het gat van informele ontologieën in de maakindustrie wordt gedicht.

De studie concludeert dat hoewel pre-trained modellen een nuttig startpunt vormen en ICL kostenefficiënt is, de fine-tuning benadering de meest effectieve is voor hoogwaardige ontologieontwikkeling wanneer middelen dit toelaten. De auteurs merken op dat de studie beperkt wordt door de kleine omvang van de dataset en suggereren dat toekomstig werk deze methoden op grotere, meer diverse corpora moet valideren om de schaalbaarheid in reële industriële omgevingen te beoordelen.