Technische Samenvatting: DKSE – Geautomatiseerde Extractie van Gestructureerde Domeinontologieën

1. Probleemstelling

Softwarevereisten-documenten dienen als de kern van kennisartefacten in enterprise softwareontwikkeling, waarbij ze systeementiteiten, regels, processen en interfaces definiëren. Deze documenten bestaan echter uit ongestructureerde natuurlijke taal, waardoor ze ontoegankelijk zijn voor geautomatiseerde engineering-toolchains. Bijgevolg kunnen downstream-taken zoals testgeneratie, code-scaffolding, naleving van regelgeving en AI-ondersteunde ontwikkeling de specifieke systeemkennis die in deze tekstzware documenten besloten ligt, niet direct verwerken.

Bestaande automatiseringbenaderingen, variërend van vroege heuristieken op basis van patroonherkenning tot recente NLP-pipelines, leveren doorgaans oppervlakkige extracties op (bijv. eenvoudige entiteitenlijsten) en worstelen met de complexiteit van real-world vereisten, inclusief meerpagina-tabellen, kruisverwijzende regels, ingebedde bedrijfslogica en impliciete beperkingen die verspreid zijn over verschillende secties. Hoewel Large Language Models (LLMs) de capaciteit hebben om dergelijke complexe documenten te begrijpen en te synthetiseren, is er een gebrek aan tools die dit begrip omzetten in uitgebreide, machine-leesbare gestructureerde ontologieën die geschikt zijn voor automatisering binnen software engineering.

2. Methodologie: De DKSE-pipeline

De auteur presenteert DKSE (Domain Knowledge Structuring Engine), een tool die ontworpen is om multi-formaat vereisten-documenten automatisch om te zetten in gestructureerde domeinontologieën. Het systeem is geïmplementeerd in Rust (~8.000 regels code) en werkt als een drietraps-pipeline:

2.1 Input en Parsing (Fase 1)

DKSE accepteert inputs in DOCX, PDF, HTML en Markdown-formaten.

• DOCX: Geparsed via ZIP/XML-extractie om tabellen, koppen en sectiestructuren te behouden.
• PDF: Verwerkt via layout-bewuste tekstextractie.
• HTML: Geparsed via DOM-traversering.
  De output van deze fase is genormaliseerde gestructureerde tekst.

2.2 LLM-gestuurde Semantische Analyse (Fase 2)

De genormaliseerde tekst wordt door een LLM (via een OpenAI-compatibele endpoint) verwerkt met domeinspecifieke extractie-prompts. Cruciaal is dat de extractie schema-gestuurd is: de prompts bevatten het doel-YAML-schema om ervoor te zorgen dat de output strikt voldoet aan de ontologiestructuur. De LLM identificeert en structureert:

• Entiteitsdefinities en attribuutschema's.
• Bedrijfsregels met geformaliseerde condities (veld + operator + waarde triples).
• Processtap-sequenties met bijbehorende rollen.
• API-endpoint definities.
• Dictionary enumeraties.

2.3 Ontologie Assemblage en Validatie (Fase 3)

Geëxtraheerde assets worden samengevoegd in een zes-type ontologie-directory. DKSE voert vier specifieke cross-reference validatiecontroles uit:

1. Attribute Type Checking: Controleert of regelcondities verwijzen naar velden met compatibele types in de entiteitsschema's.
2. Relation Cardinality Validation: Verifieert dat relaties (bijv. ONE_TO_MANY) geldige geëxtraheerde entiteiten koppelen.
3. Dictionary Completeness: Bevestigt dat door regels geraadpleegde dictionary-codes bestaan.
4. Duplicate Detection: Vlagt assets met identieke namen binnen een domein.
   Fouten worden gelogd voor menselijke review in plaats van stilzwijgend te worden verwijderd, om een volledig auditspoor te behouden.

2.4 Ontologie Schema

De output is een in YAML gecodeerde ontologie bestaande uit zes verschillende asset-types:

1. Entities (Entiteiten): Naam, beschrijving en attributen (naam, type, vereist).
2. Relations (Relaties): Bron/doel entiteiten en cardinaliteit.
3. Rules (Regels): Naam, beschrijving, prioriteit en geformaliseerde condities.
4. Processes (Processen): Naam en geordende stappen met rollen.
5. APIs: Pad, methode, request en response definities.
6. Dictionaries (Dictionaries): Naam en code-label entries.
   Elk asset bevat een source_requirement veld dat verwijst naar de oorspronkelijke documentsectie voor herkomst-tracking (provenance tracking).

2.5 Kwaliteitsborging en Tooling

DKSE bevat een CLI en webinterface met specifieke commando's:

• dkse validate: Controleert de integriteit van de ontologie (types, cardinaliteit, referenties).
• dkse diff: Vergelijkt versies van de ontologie om incrementele wijzigingen te benadrukken (toegevoegde, gewijzigde, verwijderde assets).
• dkse probe: Genereert machine-gegradeerde evaluatieprobes (exact-waarde, exact-veld, set, geordend) vanuit de ontologie.
• dkse serve: Een web UI voor het browsen, zoeken en vergelijken van ontologieën.

3. Casestudy en Resultaten

De auteur evalueerde DKSE op zes vereisten-documenten (ca. 800.000 Chinese karakters) verspreid over vier bank-subdomeinen: Disbursement Management, Customer Management, Credit Contract Management en Related-Party Transactions.

3.1 Extractie Statistieken

DKSE extraheerde succesvol 3.439 gestructureerde assets:

• Entities: 215
• Rules: 1.227
• Relations: 739
• Processes: 182
• APIs: 594 (cross-domain)
• Dictionaries: 482

3.2 Kwaliteitsmetrieken

• Coverage (Dekking): DKSE bereikte 100% functionele module-dekking, waarbij ten minste één entiteit, regel en proces werd geëxtraheerd voor elke module die in de inhoudsopgaven van de documenten werd vermeld.
• Accuracy (Nauwkeurigheid): Een domeinexpert (senior banking requirements engineer) beoordeelde een gestratificeerde steekproef van 100 assets.
  • 96% werd als volledig accuraat beoordeeld.
  • 3 vertoonden kleine naamvariaties (semantisch equivalent) maar waren bruikbaar.
  • 1 had een conditie-omissie die tijdens een verfijningsronde werd gevangen.
  • 0 gehallucineerde assets werden gevonden.
• Provenance (Herkomst): Alle 100 beproefde assets hadden correcte bronverwijzingen naar de oorspronkelijke documentsecties.

4. Downstream Toepassingen

Het paper demonstreert drie specifieke downstream use cases die mogelijk worden gemaakt door de geëxtraheerde ontologie:

1. Geautomatiseerde Benchmark Generatie: Het dkse probe commando genereerde 1.214 machine-gegradeerde evaluatieprobes voor een institutionele benchmark (FinBench) en 200 probes voor de evaluatie van continual pre-training over vier domeinen.
2. Constructie van LLM Trainingscorpus: De ontologie en de vereisten-tekst werden gecombineerd om een gestructureerde tekstcorpus van ongeveer 2 miljoen tokens te creëren, geschikt voor supervised fine-tuning en continual pre-training.
3. Knowledge Graph Ingestie: De ontologie werd geïnjecteerd in een GraphRAG-systeem, wat resulteerde in 5.803 nodes en 6.261 edges. Dit bood een retrieval-bron voor precisiewaarde-queries, wat een veiligheidsvoordeel biedt ten opzichte van weight-injected training door het fabriceren van onvindbare waarden te voorkomen.

5. Betekenis en Claims

De auteur positioneert dit werk als een proof-of-concept binnen een enkele industrie (Chinese banksector) in plaats van een algemene validatie.

• Kernbijdrage: DKSE demonstreert dat vereisten-documenten kunnen worden getransformeerd tot machine-actieve gestructureerde kennis (ontologieën) die verder gaan dan eenvoudige entiteit-relatie grafen door ook getypeerde regels, geordende processen en API-schema's te bevatten.
• Praktische Waarde: De tool overbrugt de kloof tussen menselijk leesbare vereisten en geautomatiseerde software engineering, wat taken mogelijk maakt zoals geautomatiseerde benchmarking, de creatie van trainingscorpora en kennisgestuurde code-generatie.
• Beperkingen en Omvang: De auteur stelt expliciet dat kwantitatieve evaluatie over aanvullende domeinen, talen en tegenover baseline extractiemethoden wordt overgelaten aan toekomstig werk. Er wordt erkend dat hoewel LLM-extractie een hoge nauwkeurigheid bereikt (96%), menselijke review noodzakelijk blijft voor resterende fouten, en dat het systeem afhankelijk is van de capaciteiten van de onderliggende LLM (bijv. Chinese-getrainde modellen voor Chinese terminologie).
• Evolutie: Het paper benadrukt de transitie van handmatige structurering (weken in beslag nemen voor één domein) naar geautomatiseerde extractie (minuten per domein), terwijl ook wordt opgemerkt dat tabellen een uitdagend formaat blijven dat gespecialiseerde parsing vereist.

Het werk concludeert dat hoewel bredere claims wachten op verdere evaluatie, DKSE succesvol valideert dat het haalbaar is om LLM-gestuurde pipelines te gebruiken om domeinkennis te structureren voor automatisering binnen software engineering.