NL2SHACL-Bench: A Benchmark Suite for Natural Language to SHACL Translation

Technische Samenvatting: NL2SHACL-Bench

Probleemstelling
De Shapes Constraint Language (SHACL) is een W3C-standaard voor het valideren van RDF Knowledge Graphs (KGs), wat de datakwaliteit en consistentie waarborgt. Het schrijven van SHACL-shapes vereist echter expertise in zowel het specifieke domein als in semantische webtechnologieën, een barrière waar de meeste domeinexperts niet over beschikken. Hoewel beperkingen vaak aanvankelijk door experts in natuurlijke taal worden uitgedrukt en handmatig naar SHACL worden vertaald, is dit proces tijdrovend en foutgevoelig. Hoewel Large Language Models (LLMs) een potentiële oplossing bieden voor het automatiseren van deze Natural Language to SHACL (NL2SHACL) vertaling, is deze taak nog niet systematisch bestudeerd. Bestaande bronnen missen gealigneerde beschrijvingen in natuurlijke taal, en huidige evaluatiemethoden vertrouwen op stringvergelijking, wat onvoldoende is omdat semantisch equivalente shapes aanzienlijk kunnen verschillen in serialisatie en grafenstructuur. Bijgevolg is er geen toegewijde benchmark, gestandaardiseerde dataset of evaluatiemethodologie voor NL2SHACL.

Methodologie
Om deze hiaten aan te pakken, presenteren de auteurs NL2SHACL-Bench, een uitgebreide benchmark-suite bestaande uit drie kerncomponenten:

1. NL2SHACL-Framework: Een modulaire, uitbreidbare Python-pipeline voor datasetconstructie en evaluatie.

   • Datasetconstructie: Een semi-geautomatiseerd proces dat shape-fragmenten extraheert uit referentie SHACL-grafen, hun structurele volledigheid valideert en natuurlijke taalbeschrijvingen genereert. Waar bestaande sh:description velden ontbreken of onvoldoende zijn, worden LLMs geprompt om concepten te genereren op basis van de shape en de ontologie, die vervolgens rigoureus worden beoordeeld en gecorrigeerd door menselijke annotatoren om de getrouwheid te waarborgen en "LLM-stijl" formuleringen te verwijderen.
   • Vertaling: Een model-agnostische module die een beschrijving in natuurlijke taal en een ontologie-snippet accepteert om een vertaalde SHACL-graaf te produceren.
   • Evaluatie: Een module die een reeks metrieken toepast om de gegenereerde shapes te beoordelen.

2. NL2SHACL-Dataset: Een gecureerde collectie van 240 handmatig geverifieerde NL–SHACL paren over zes sub-datasets verspreid over vijf specifieke domeinen (CHEMROF, DCAT, ePO, Invoice, SNIK) en één algemeen domein (DBpedia). Elk datapunt bevat een referentie shape-graaf ($S^*$), een beschrijving in natuurlijke taal ($T^*$), en een ontologie-snippet ($O_i$) met de relevante vocabulaire. De dataset dekt 21 van de 33 SHACL Core constraint componenten.

3. NL2SHACL-Metrics: Een set van acht metrieken ontworpen om kwaliteit te evalueren over drie dimensies:

   • Validiteit: Een gelaagde pipeline die RDF-parsing, conformiteit aan de SHACL-specificatie en vocabulaire-correctheid controleert (het detecteren van gehallucineerde niet-standaard predicaten zoals sh:if).
   • Structuur: Metrieken die grafen-niveau gelijkenis meten, inclus\n bij Exact Matching (structurele identiteit na canonicalisering) en Partial Matching (F1-score gebaseerd op triple-overlap).
   • Semantiek: De Semantic Equivalence Rate (SER), die evalueert of de gegenereerde shape dezelfde beperkingen afdwingt als de referentie. Dit wordt bereikt door synthetische RDF-datagrafen te genereren met de referentie shape als schema en de sets van schendende knopen tussen de referentie en de gegenereerde shapes te vergelijken.

Belangrijkste Bijdragen

• Eerste Benchmark: Introductie van NL2SHACL-Bench, de eerste benchmark die specifal is ontworpen voor NL-naar-SHACL vertaling.
• Uitbreidbaar Framework: Voorstel van een gestandaardiseerde pipeline voor het construeren van datasets en het evalueren van vertalingssystemen.
• Multi-domein Dataset: Constructie van een dataset met door mensen gevalideerde beschrijvingen en ontologie-annotaties, die diverse constraint-patronen dekt van eenvoudige cardinaliteit tot complexe logische regels.
• Evaluatiemetrieken: Ontwerp van metrieken die verder gaan dan structurele vergelijking om semantische equivalentie te vangen via validatiegedrag.

Experimentele Resultaten
De auteurs hebben vier state-of-the-art LLMs (Claude Opus 4.7, Gemini 3.1 Pro, Qwen3.5, en GLM 5.1) geëvalueerd met behulp van de benchmark.

• Validiteit: Alle modellen toonden een hoog vermogen om syntactisch geldige SHACL te genereren. Gemini 3.1 Pro behaalde perfecte scores op alle validiteitsmetrieken. Andere modellen vertoonden kleine problemen zoals ontbrekende prefixes, malafide literals, of gehallucineerde niet-standaard vocabulaire (bijv. het vervangen van sh:or/sh:not door uitgevonden constructen zoals sh:condition).
• Structuur: Structurele scores (Exact Matching en Partial Matching) varieerden sterk per dataset. Modellen hadden moeite met het reproduceren van de specifieke structurele organisatie van complexe, onderling verbonden referentie shapes (bijv. in DCAT en ePO), waarbij ze vaak single node shapes met geneste constraints genereerden in plaats van de volledige structuur.
• Semantiek: De Semantic Equivalence Rates (SER) waren over het algemeen hoog voor datasets met eenvoudige constraints (DBpedia, ePO, DCAT, CHEMROF), waarbij ze vaak de 100% naderden. Echter, de prestaties daalden aanzienlijk voor datasets met complexe logische patronen (Invoice, SNIK), waar slechts ongeveer de helft van de records semantisch equivalent was.
• Foutpatronen: De primaire faalmodi betroffen complexe pad-constraints (inverse en sequentiële paden), logische constraints betrokken bij sh:or en sh:not, en semantische substituties (bijv. het gebruik van sh:class in plaats van sh:hasValue).

Betekenis en Claims
Het artikel claimt dat NL2SHACL-Bench een betekenisvolle basis biedt voor het meten van de vooruitgang in de stand van de techniek voor NL-naar-SHACL vertaling. De resultaten wijzen erop dat hoewel huidige LLMs zeer goed in staat zijn om syntactisch geldige SHACL te genereren, ze nog steeds moeite hebben met het produceren van semantisch equivalente constraints voor complexe logische en structurele patronen. De auteurs benadrukken dat structurele metrieken niet moeten worden behandeld als proxies voor semantische correctheid; een shape kan structureel verschillend zijn maar toch semantisch equivalent. De benchmark brengt specifieke gebieden in kaart waar LLMs falen, met name bij het afhandelen van inverse paden en negatie, wat suggereert dat toekomstige verbeteringen zich moeten richten op deze complexe logische patronen in plaats van enkel op syntactische validiteit. De auteurs merken ook beperkingen op, zoals het steekproefgebaseerde karakter van de semantische metriek, die equivalentiefouten kan missen als de gesamplede data de specifieke constraint-schending niet triggert.