Technische Samenvatting: BLINKG – Een Benchmark voor LLM-geïntegreerde Generatie van Kennisgrafieken

Probleemstelling

Het construeren van Kennisgrafieken (KG's) uit heterogene gegevensbronnen blijft een arbeidsintensief proces voor kennisengineers, voornamelijk vanwege de moeilijkheid om semantische correspondenties vast te stellen tussen invoergegevensschema's en ontologietermen. Hoewel declaratieve oplossingen (bijvoorbeeld RML, SPARQL-Anything) delen van dit proces hebben gegeneraliseerd, vereist het afstemmen van schema-elementen op ontologieconcepten nog steeds ingewikkelde transformaties en aanzienlijke handmatige inspanning.

Hoewel Large Language Models (LLM's) steeds vaker worden toegepast om de constructie van KG's en semantische afstemming te automatiseren, ontbreekt het in het veld aan een gestandaardiseerd kader om hun effectiviteit te evalueren. Bestaande studies maken gebruik van diverse scenario's, parameters en metrieken, wat eerlijke vergelijkingen bemoeilijkt. Bovendien richten bestaande benchmarks zoals RODI zich voornamelijk op relationele databases en afstemming op schema-niveau, terwijl uitdagingen zoals SemTab zich richten op het annoteren van tabellen tegen bestaande KG's in plaats van het mappen naar niet-gepopuleerde ontologieën. Er is een kritieke behoefte aan een benchmark die de expliciete, declaratieve mappingscapaciteiten van LLM's evalueert over diverse gegevensformaten en variërende niveaus van schema-afstemming.

Methodologie

Het artikel introduceert BLINKG, een benchmark ontworpen om de mappingscapaciteiten van LLM's bij het construeren van KG's te beoordelen. De methodologie is gestructureerd rondom drie progressief complexere scenario's, een reeks gedefinieerde constructietaken en een rigoureus evaluatieprotocol.

1. Benchmark-scenario's

BLINKG definieert drie scenario's gebaseerd op de mate van afstemming tussen invoergegevens en de doelontologie:

• Scenario 1 (Basis): Omvat acht atomaire gevallen met eenvoudige invoer (CSV, JSON, XML) en een minimale ontologie. Deze gevallen isoleren kerntaken zoals klassenidentificatie, onderwerpgeneratie en eenvoudige joins om fundamentele mappingsgedragingen te testen.
• Scenario 2 (Schema-afgestemd): Richt zich op het vervoersdomein met behulp van GTFS-Madrid-Bench. De ontologie is van onderop opgebouwd vanuit de GTFS-specificatie, wat resulteert in een hoge lexicaal en structurele afstemming. Dit scenario test de capaciteit van LLM's om modelleerconstructies specifiek voor de ontologie (bijvoorbeeld classhiërarchieën, gecontroleerde vocabulaires/SKOS) en transformatiefuncties in een realistische setting te hanteren.
• Scenario 3 (Schema-verwijderd): Richt zich op openbare aanbestedingen met behulp van de e-Procurement Ontology (ePO) en gegevens van het Spaanse CODICE-platform. De invoergegevens (diep geneste XML) en de ontologie zijn semantisch gerelateerd maar structureel en lexicaal veraf. Dit scenario daagt LLM's uit om diepgaande domeinexpertise toe te passen om mappen tot stand te brengen zonder directe schema-afstemming.

2. Gedefinieerde Taken

De benchmark decomposeert KG-constructie in specifieke subtaken, verder dan end-to-end black-box-evaluatie:

• Identificatie van Ontologieklassen: Het mappen van invoervelden naar ontologieklassen.
• Generatie van Onderwerpen: Het creëren van unieke URI's voor instanties (eenvoudige versus complexe/composiettoetsen).
• Identificatie van Ontologie-eigenschappen: Het koppelen van gegevensvelden aan ontologie-eigenschappen.
• Identificatie van Gegevensreferenties: Het specificeren hoe toegang wordt verkregen tot invoergegevens (bijvoorbeeld kolomnamen, XPath).
• Gerelateerde Entiteitsklasse en Joins: Het definiëren van voorwaarden voor objecteigenschappen en het verbinden van meerdere bronnen.
• Taal- en Datatype-annotatie: Het toekennen van correcte taallabels en XSD-datatypes.
• Transformatiefuncties: Het toepassen van logica om gegevens te normaliseren (bijvoorbeeld datumopmaak, enum-naar-taxonomie-mapping).

3. Evaluatieprotocol

• Geëvalueerde Modellen: Zes state-of-the-art LLM's zijn getest, waaronder DeepSeek-R1, Gemini 2.5 Pro, GPT-4 Omni, OpenAI o3, LLaMa 3.3 70B Instruct en Mixtral 8x22B Instruct.
• Outputformaat: Modellen worden geprompt om gestructureerde tabulaire outputs te genereren die mappen voor elke taak opsommen, in plaats van ruwe code of beschrijvingen in natuurlijke taal.
• Metrieken: Prestaties worden gemeten met behulp van Precisie, Recall en F-score. Om de beperkingen van strikte stringmatching aan te pakken, maken de auteurs gebruik van een op gelijkenis gebaseerde evaluatie die Levenshtein-afstand, ruwe tekstembedding-cosijn-gelijkwaardigheid en ontologie-verbaal gemaakte embedding-cosijn-gelijkwaardigheid combineert.
• Evaluatietypes: Resultaten worden geanalyseerd via Expertevaluatie (handmatige validatie), Ruwe Evaluatie (directe toepassing van metrieken) en Post-processed Evaluatie (heuristische reiniging van outputs).

Belangrijkste Bijdragen

Het artikel schetst vijf primaire bijdragen:

1. C1: Een uitgebreid, domein-onafhankelijk kader met meerdere scenario's, gouden standaarden en metrieken ontworpen om het gedrag van LLM's bij KG-constructie te beoordelen.
2. C2: Drie progressief complexere scenario's die real-world uitdagingen weerspiegelen, waarbij een representatieve reeks typische mappings taken wordt gedekt.
3. C3: Open en herbruikbare bronnen (ontologieën, datasets, gouden standaarden) om reproduceerbaarheid en gemeenschapsadoptie te stimuleren.
4. C4: Een uitgebreide evaluatie van zes state-of-the-art LLM's, waarbij hun prestaties en generalisatiecapaciteiten worden geanalyseerd met een focus op traceerbaarheid en transparantie.
5. C5: Praktische aanbevelingen en geïdentificeerde onderzoeksrichtingen voor het bevorderen van (semi-)geautomatiseerde, door LLM's gedreven KG-constructie.

Resultaten

De experimentele evaluatie onthult duidelijke prestatiepatronen over de scenario's heen:

• Scenario 1 (Basis): LLM's presteren goed in eenvoudige, lexicaal afgestemde taken. Identificatie van Entiteitsklassen en Identificatie van Ontologie-eigenschappen bereiken hoge gelijkenisscores (vaak >0,95). Het genereren van Join-voorwaarden blijft echter uitdagend (scores variërend van 0,37–0,69), en Taalannotatie toont aanzienlijke variantie tussen modellen.
• Scenario 2 (Schema-afgestemd): Modellen hanteren entiteits- en gegevensreferentie-afstemming goed (gelijkenis >0,90). De prestaties dalen echter aanzienlijk voor structurele redeneertaken. Join-voorwaarden blijven moeilijk (geen enkel model overschrijdt 0,60), en Functie-gerelateerde taken (benaming en outputgeneratie) presteren slecht (vaak <0,20), wat wijst op strijd met abstractie en domeinspecifieke logica. Post-processing verbetert de scores voor syntactische fouten aanzienlijk, maar lost geen semantische kloven op.
• Scenario 3 (Schema-verwijderd): De prestaties verslechteren scherp over alle taken. Geen enkele taak overschrijdt een gemiddelde gelijkenis van 0,53. Hoewel Identificatie van Entiteitsklassen de sterkste taak blijft, scoren structureel complexe taken zoals Joins, Datatypen en Functies onder de 0,40. Prompt-engineering (zero-shot versus few-shot) verbetert de prestaties op "lokale" taken (bijvoorbeeld het selecteren van klassen), maar slaagt er niet in het complexe redeneren te activeren dat nodig is voor joins en transformaties.

Betekenis en Claims

Het artikel stelt dat BLINKG een noodzakelijk gestandaardiseerd kader biedt om voorbij gefragmenteerde evaluaties van LLM's in KG-constructie te gaan. De benchmark toont aan dat hoewel huidige LLM's veelbelovende oplossingen bieden voor goed afgestemde, gecontroleerde scenario's, hun prestaties beperkt zijn in complexe, schema-verwijderde omgevingen die diepgaande domeinredenering en structurele logica vereisen.

Belangrijke leerpunten die door de auteurs worden benadrukt, zijn:

• Hybride Benaderingen zijn Essentieel: Algemeen toepasbare LLM's zullen onwaarschijnlijk geldige oplossingen produceren in uiterst complexe semantische omgevingen alleen. De auteurs suggereren het combineren van LLM's met symbolisch redeneren (bijvoorbeeld OWL-gebaseerde inferentie) of validatie met menselijke tussenkomst.
• Traceerbaarheid: In tegenstelling tot end-to-end pijplijnen biedt de taakniveau-evaluatie van BLINKG transparantie over waar systemen slagen of falen, waarbij wordt benadrukt dat fouten in complexe taken (zoals joins) niet louter opmaakproblemen zijn, maar fundamentele redeneerkloven.
• Beperkingen van Huidige Benchmarks: De auteurs erkennen dat bestaande benchmarks vaak vertrouwen op memorisatie van publieke datasets. Zij stellen voor dat toekomstige iteraties van BLINKG synthetische ontologieën en gegevens moeten gebruiken om ware redeneercapaciteiten beter te isoleren van datalekken.

Het artikel concludeert dat hoewel LLM's initiële mappingsconcepten kunnen genereren, menselijke expertise essentieel blijft voor het valideren van mappen en het waarborgen van semantische correctheid, met name in complexe, real-world toepassingen.