🤖 AI

Evo-DKD: Dual-Knowledge Decoding for Autonomous Ontology Evolution in Large Language Models

Evo-DKD is een nieuw framework dat autonome ontologie-evolutie mogelijk maakt door gebruik te maken van een dual-decoder mechanisme binnen Large Language Models om simultaan gestructureerde bewerkingen en natuurlijke taalverantwoordingen te genereren, die worden gecoördineerd via een dynamisch gatesysteem en worden gevalideerd in een gesloten redeneerlus om single-stream baselines te overtreffen in precisie en prestaties bij downstream-taken.

Oorspronkelijke auteurs: Vishal Raman, Vijai Aravindh R, Abhijith Ragav

Gepubliceerd 2026-07-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Vishal Raman, Vijai Aravindh R, Abhijith Ragav

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het internet voor als een enorme, chaotische bibliotheek waar constant boeken worden geschreven, maar waarbij het catalogussysteem vastzit in de steentijd. In deze bibliotheek zijn "ontologieën" als het meesterlijke archiefsysteem—een strikte set regels die ons precies vertelt hoe dingen met elkaar verband houden (bijvoorbeeld dat een "hond" een type "zoogdier" is, en dat "zoogdieren" voedsel nodig hebben). Het bijhouden van deze catalogus up-to-date houden is een nachtmerrie voor mensen omdat de wereld te snel verandert; elke seconde duiken er nieuwe feiten op, en het handmatig bijwerken van het archiefsysteem is traag en saai.

Maak kennis met "Large Language Models" (LLM's). Denk aan deze als superintelligente, gulzige lezers die bijna alles in de bibliotheek hebben gelezen. Ze kunnen nieuwe verhalen en feiten direct begrijpen. Er is echter een addertje onder het gras: hoewel ze geweldig zijn in chatten en het schrijven van verhalen, zijn ze slecht in het volgen van strikte archiefregels. Als je hen vraagt om de catalogus bij te werken, kunnen ze feiten verzinnen (een probleem dat "hallucinatie" wordt genoemd) of de informatie in een slordige paragraaf schrijven in plaats van in een net gestructureerd item. De grote vraag waar wetenschappers zich mee bezighouden is: kunnen we deze superlezers leren om niet alleen dingen te weten, maar ze ook perfect te organiseren zonder dat een mens hun hand vasthoudt?

Hier komt een nieuw idee genaamd Evo-DKD om de hoek kijken. De onderzoekers achter dit project, Vishal Raman, Vijai Aravindh R en Abhijith Ragav, stellen een slimme manier voor om deze AI-modellen te laten fungeren als een team van twee experts die samenwerken. In plaats van één brein dat alles probeert te doen, simuleren ze een "dual-decoder"-systeem. Stel je een bouwploeg voor waarbij de ene werker een strikte architect is die alleen spreekt in blauwdrukken en afmetingen (de "Structured Decoder"), terwijl de andere een praatgrage voorman is die in gewone mensentaal uitlegt waarom ze het op die manier bouwen (de "Unstructured Decoder").

In deze opstelling stelt de "architect" een nieuw feit voor om toe te voegen aan de kennisgrafiek (zoals "Ozempic helpt bij gewichtsverlies"), terwijl de "voorman" onmiddellijk een zin schrijft die de redenatie uitlegt ("Artsen bevelen Ozempic aan omdat..."). Een speciaal "gating-mechanisme"—denk aan een verkeerslicht of een scheidsrechter—beslist wanneer er geluisterd wordt naar de architect en wanneer er geluisterd wordt naar de voorman. Het beste eraan is dat de uitleg van de voorman wordt gebruikt om de blauwdruk van de architect te controleren. Als de uitleg niet logisch is, wordt het nieuwe feit afgewezen. Dit creëert een "closed loop" waarbij de AI zijn eigen werk controleert, de database bijwerkt en die nieuwe kennis vervolgens gebruikt om toekomstige vragen beter te beantwoorden.

De onderzoekers testten dit idee met een kleiner AI-model (TinyLlama-1.1B) omdat ze geen toegang hadden tot enorme supercomputers. In plaats van twee aparte fysieke breinen te bouwen, gebruikten ze een slimme truc met prompts om het dual-decoder-team te simuleren op één enkele tekststroom. Ze probeerden dit uit in drie verschillende werelden: de gezondheidszorg (medische feiten), semantisch zoeken (begrijpen wat mensen bedoelen als ze zoeken) en cultureel erfgoed (geschiedenis en artefacten).

De resultaten waren veelbelovend, hoewel de auteurs er voorzichtig bij opmerken dat dit een simulatie is. Wanneer ze hun "dual-decoder"-team vergeleken met modellen die óf alleen in blauwdrukken spraken óf alleen in paragrafen, won het team. In hun tests behaalde de dual-decoder-aanpak een score van 0,97 voor "Relaxed Accuracy" (wat betekent dat het de feiten goed kreeg, zelfs als de bewoording iets anders was) en een score van 0,93 voor "Exact Accuracy". Het produceerde ook veel betere uitleg, met een score van 0,88 op een semantische gelijkenisstest (BERTScore) en 0,76 op een beoordelingsscore door een rechter.

Bijvoorbeeld, in een scenario in de gezondheidszorg, toen de AI werd verteld dat "Ozempic helpt bij het beheersen van gewichtsverlies", voegde het systeem niet zomaar blindelings iets toe aan de database. Het genereerde het gestructureerde feit (Ozempic, beheert, gewicht) en schreef tegelijkertijd: "Artsen bevelen Ozempic aan om gewichtsverlies bij diabetes te helpen beheersen." Wanneer ze een zoekmachine testten met deze nieuwe kennis, kon het systeem eindelijk vragen beantwoorden over medicijnen voor gewichtsverlies bij diabetici, terwijl het dat daarvoor niet wist.

Het papier is echter duidelijk over de beperkingen. Dit is nog geen toverstaf die alles oplost. Het systeem vertrouwt op de interne kennis van de AI; als de AI een feit van zichzelf niet kent, kan het het niet correct verzinnen. Ook wordt de "validatie"-stap door de AI zelf gedaan, niet door een mens, wat betekent dat het geen perfecte garantie voor waarheid is. De onderzoekers suggereren dat dit in de toekomst gecombineerd kan worden met externe zoekmachines of menselijke beoordelaars om het nog veiliger te maken. Maar voor nu suggereert Evo-DKD een fascinerend pad vooruit: het leren aan AI om met zichzelf te praten in twee stemmen—één strikte en één praatgrage—om zo een slimmere, zelf-bijwerkende bibliotheek van de menselijke kennis op te bouwen.

Technische Samenvatting: Evo-DKD

1. Probleemstelling

Ontologieën en kennisgrafen (KGs) zijn essentieel voor het bieden van gestructureerde, verifieerbare kennis in AI-systemen, maar ze vereisen voortdurende evolutie om accuraat te blijven naarmate domeinen uitbreiden. Traditioneel onderhoud steunt op arbeidsintensieve handmatige curatie of semi-geautomatiseerde pipelines die moeite hebben om het tempo van de snelle groei van ongestructureerde informatie bij te houden. Hoewel Large Language Models (LLMs) over een enorme hoeveelheid ongestructureerde kennis beschikken, leidt hun naïeve toepassing vaak tot hallucinaties en outputs die niet voldoen aan het gestructureerde formaat dat vereist is voor directe ontologie-updates. De kernuitdaging is het afstemmen van ongestructureerde LLM-redenering op gestructureerde ontologie-bewerking in een betrouwbare, geautomatiseerde lus om autonome ontologie-evolutie mogelijk te maken.

2. Methodologie: Evo-DKD Framework

De auteurs stellen Evo-DKD (Dual-Knowledge Decoding) voor, een framework dat is ontworpen om de ongestructureerde kenniscapaciteiten van een LLM te integreren met gestructureerde ontologie-operaties.

Architectuur

Het systeem is gebouwd op een pre-trained Transformer-gebaseerde LLM-backbone met twee gespecialiseerde decoding-stromen:

Gestructureerde Decoder (Ontologie-stroom): Genereert outputs in een gestructureerd formaat dat compatibel is met ontologieën (bijv. triples zoals (Onderwerp, Relatie, Object) of OWL/RDF-axioma's). De vocabulaire is beperkt tot ontologie-elementen.
Ongestructureerde Decoder (Tekst-stroom): Genereert vrije natuurlijke taal om redeneringen te articuleren, bewijs te leveren en voorgestelde wijzigingen te verwoorden. Deze stroom maakt gebruik van de volledige vocabulaire van de LLM om contextuele rechtvaardiging voor gestructureerde voorstellen te garanderen.

Coördinatie en Gating

De twee decoders worden gecoördineerd door een dynamisch op aandacht gebaseerd gating-mechanisme. Op elk decoding-tijdstip $t$ berekent de gating-module een gewicht $\alpha_t$ op basis van de verborgen toestanden (hidden states) van beide decoders en de encoder-context. Dit gewicht bepaalt de nadruk op de gestructureerde versus de ongestructureerde stroom.

Switching Mode: Het model committeert zich aan een gestructureerde token of een ongestructureerd woord op basis van een drempelwaarde (bijv. $\alpha_t > 0,5$ ).
Mixture Mode: De outputverdeling is een convexe combinatie van beide decoders.
Opmerking over Implementatie: Vanwege GPU-beperkingen hebben de auteurs geen volledig getrainde dual-decoder architectuur met een geleerd gating-netwerk geïmplementeerd. In plaats daarvan hebben ze dit gedrag gesimuleerd met behulp van prompt-gebaseerde moduscontrole binnen een enkele decoder-stroom, waarbij het model wordt gestuurd om te alterneren tussen gestructureerde triples en verklarende tekst.

Closed-Loop Validatie

Het systeem werkt in een gesloten redeneerlus:

Generatie: Het model stelt een ontologie-edit voor en een bijbehorende natuurlijke taal-rechtvaardiging.
Validatie: Een validatiemodule controleert het voorstel op twee dimensies:
- Ontologie Consistentie: Ervoor zorgen dat de edit geen schema-beperkingen (domain/range) schendt of duplicaten introduceert.
- Rechtvaardigings Cross-Check: Het gebruik van een LLM-gebaseerde verifieerder om te bevestigen dat de tekstuele uitleg de voorgestelde edit feitelijk ondersteunt.
Integratie: Als de validatie slaagt, wordt de edit geïnjecteerd in de kennisbank. De bijgewerkte ontologie wordt vervolgens teruggevoerd in de context voor opeenvolgende iteraties, waardoor het systeem autonoom kan groeien en verbeteren.

3. Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

Dual-Decoder Ontologie Evolutie Architectuur: Een nieuw ontwerp (gesimuleerd via prompting) dat gelijktijdige redenering in natuurlijke taal en formele ontologie-ruimte mogelijk maakt, waarbij een gemeenschappelijke encoder wordt gedeeld.
Dynamisch Gating en Validatie Mechanisme: Een conceptueel framework voor een op aandacht gebaseerde router die decoder-outputs balanceert en een validatiemodule die gestructureerde edits kruiscontroleert met tekstuele rechtvaardigingen om updates met een hoge betrouwbaarheid te garanderen.
Closed-Loop Autonome Update: Een systeem waarbij ontologie-updates onmiddellijk worden teruggekoppeld naar de context van de LLM, wat het mogelijk maakt dat de kennisbank in de loop van de tijd evolueert zonder directe menselijke tussenkomst.
Experimentele Evaluatie: Een uitgebreide evaluatie over drie domeinen (Gezondheidszorg, Semantische Zoekopdrachten, Cultureel Erfgoed) waarbij "Structured-only", "Unstructured-only" en "Full Dual-Decoder" modi worden vergeleken.

4. Resultaten en Evaluatie

De auteurs hebben TinyLlama-1.1B gefinetuned op 600 synthetische voorbeelden en geëvalueerd op 120 gecureerde testparen (40 per domein).

Prestatie-metrieken: De "Full Dual-Decoder" modus (gesimuleerd) presteerde consistent beter dan de single-mode baselines.
- Triple Extractie: Behaalde een 0,93 Exact Match en 0,97 Relaxed Match nauwkeurigheid.
- Verklarende Kwaliteit: Bereikte een BLEU-score van 0,81 en een BERTScore van 0,88.
- Betrouwbaarheid: De LLM-Judge Score was 0,76, wat duidt op hoogwaardige, goed onderbouwde verklaringen.
Cross-Domein Analyse:
- Gezondheidszorg: Toonde de hoogste prestaties in triple-extractie, wat wijst op een effectieve behandeling van gestructureerde medische kennis.
- Cultureel Erfgoed: Toonde significante winst met de dual-decoder aanpak, wat suggereert dat ongestructureerde redenering helpt bij het generaliseren over minder gestandaardiseerde historische expressies.
- Semantische Zoekopdrachten: Bleef het meest uitdagende domein vanwege de inherente ambiguïteit in gebruikersintentie.
Casestudy (Gezondheidszorg): In een Retrieval-Augmented Generation (RAG) scenario integreerde het systeem succesvol een nieuw feit (Ozempic, beheert, gewicht) afgeleid van gebruikersinput. Deze update verbeterde onmiddellijk de downstream QA, waardoor het systeem vragen kon beantwoorden over gewichtsafname medicijnen voor diabetici die het voorheen niet kon beantwoorden.

5. Betekenis en Claims

Het artikel positioneert Evo-DKD als een prototype voor zelfverbeterende kennissystemen. De betekenis ligt in:

Neuro-Symbolische Integratie: Verder gaan dan eenvoudige retrieval-augmented benaderingen door de LLM de rol van een actieve editor te geven die structurele wijzigingen aan een kennisbank voorstelt en rechtvaardigt.
Autonome Evolutie: Het demonstreren van een pad naar "lifelong learning" waarbij het model updates structureel internaliseert in plaats van enkel te vertrouwen op externe retrieval of statische training.
Interpreteerbaarheid: Door een tekstuele rechtvaardiging te eisen voor elke structurele edit, biedt het systeem een auditeerbaar spoor, wat het vertrouwen in door AI gecureerde kennisbanken vergroot.

De auteurs hanteren een bescheiden toon met betrekking tot hun implementatie en erkennen dat hun huidige werk een gecontroleerde simulatie is met behulp van prompt-gebaseerde moduscontrole in plaats van een volledig getrainde dual-decoder architectuur met een geleerd gating-netwerk. Ze presenteren de resultaten als bewijs van de waarde van het integreren van gestructureerde en ongestructureerde redenering, waarmee zij de weg vrijmaken voor toekomstig werk op het gebied van dedicated decoder-coördinatie en complexere ontologie-herstructurering.