KG-Orchestra: An Open-Source Multi-Agent Framework for Evidence-Based Biomedical Knowledge Graphs Enrichment.

KG-Orchestra is een open-source multi-agent framework dat Retrieval-Augmented Generation (RAG) en gespecialiseerde agents combineert om biomedische kennisgrafieken te verrijken met gedetailleerde, evidence-based causale relaties en traceerbare provenance, waardoor de betrouwbaarheid en bruikbaarheid voor toepassingen zoals medicijnhergebruik en pathway-analyse aanzienlijk wordt verbeterd.

De kern

🎻 KG-Orchestra: De Dirigent voor Biologische Kennis

Stel je voor dat de wereld van de biomedische wetenschap (alles over ziekten, medicijnen en ons lichaam) een gigantische, chaotische bibliotheek is. Er zijn miljoenen boeken (wetenschappelijke artikelen), maar ze liggen overal verspreid. Sommige boeken zijn perfect geordend, maar de meeste liggen in stapels op de vloer, in verschillende talen, en sommige bevatten zelfs tegenstrijdige informatie.

Het probleem:
Wetenschappers willen graag een "kennisnetwerk" (een Knowledge Graph) bouwen dat laat zien hoe alles met elkaar samenhangt. Bijvoorbeeld: Medicijn A remt Ziekte B.

• Als je dit met de hand doet (met mensen die lezen en noteren), is het extreem nauwkeurig, maar het duurt eeuwen. Het is te traag voor de snelheid van nieuwe ontdekkingen.
• Als je dit met een simpele computer doet, gaat het snel, maar de computer maakt vaak fouten, verzonnen feiten (hallucinaties) of mist de subtiele details. Het resultaat is een rommelige, onbetrouwbare kaart.

De oplossing: KG-Orchestra
De auteurs van dit paper hebben KG-Orchestra bedacht. De naam is geen toeval: het werkt als een orkest.

In plaats van één supercomputer die alles probeert te doen (wat vaak fouten oplevert), hebben ze een team van gespecialiseerde "agenten" (software-bots) gemaakt. Elke agent heeft een specifieke rol, net als muzikanten in een orkest:

1. De Zoeker (Retrieval Agent): Zoekt in de enorme bibliotheek naar de juiste stukjes tekst die bewijzen wat er gebeurt.
2. De Vertaler (Schema Agent): Zorgt dat alle termen overeenkomen (bijv. dat "hartkloppingen" en "tachycardie" als hetzelfde worden gezien).
3. De Criticus (Validator Agent): Leest alles na en vraagt: "Is dit echt waar? Past dit bij de bewijzen?"
4. De Dirigent (Orchestrator): Zorgt dat ze allemaal samenwerken en dat het eindresultaat een harmonieus geheel is.

🕵️‍♂️ Hoe werkt het in de praktijk?

Stel je voor dat je een klein, onvolledig kaartje hebt van een stad (een Seed Graph). Je weet dat er een weg is van punt A naar punt B, maar je mist de details: Hoe kom je daar precies? Zijn er omwegen? Zijn er bruggetjes?

KG-Orchestra pakt dit kaartje en gaat aan de slag:

1. Het startpunt: Het kijkt naar je kleine kaartje.
2. Het onderzoek: De "Zoeker" gaat de bibliotheek in en haalt de nieuwste artikelen op die over A en B gaan.
3. De constructie: De "Bouwer" probeert een route te maken tussen A en B op basis van die artikelen.
4. De controle: De "Criticus" kijkt kritisch: "Hebben ze dit echt in het artikel gezegd, of verzonnen ze het?" Als het niet klopt, wordt het stukje weggegooid of op de 'te controleren'-stapel gelegd.
5. Het resultaat: Je krijgt een veel gedetailleerdere, betrouwbaardere kaart, met bewijsstukken (zoals een verwijzing naar een specifiek boek) bij elke nieuwe weg.

🧪 Wat hebben ze getest?

Ze hebben dit systeem getest op twee moeilijke puzzels:

1. Nelivaptan en Alzheimer: Een medicijn dat normaal voor depressie wordt gebruikt, zou misschien helpen tegen Alzheimer. De link was vaag. KG-Orchestra vond nieuwe, gedetailleerde routes in de wetenschap die laten zien hoe dit medicijn via hormonen en stressreacties het brein zou kunnen beschermen.
2. De Darm-Hersenen As: Hoe beïnvloeden probiotica (gezonde bacteriën) je hersenen? Het systeem vulde de gaten in dit complexe netwerk met nieuwe feiten over hoe bacteriën je stemming en immuniteit beïnvloeden.

🏆 De resultaten: Waarom is dit speciaal?

• Niet te groot, niet te klein: Ze hebben getest met verschillende "hersenen" (AI-modellen). Ze ontdekten dat een model van middelgrote grootte (Qwen 3) het beste werkt: slim genoeg om complexe zinnen te begrijpen, maar niet zo zwaar dat het de computer laat crashen.
• Samenwerking werkt: Als je de "Criticus" weghaalt, maakt de computer veel meer fouten. Door het team aan te laten werken, is de kwaliteit veel hoger.
• Betrouwbaar: Als je het programma drie keer achter elkaar laat draaien, krijg je bijna exact hetzelfde resultaat. Het is niet willekeurig; het is consistent.
• Open Source: Het is gratis beschikbaar. Iedereen kan het gebruiken, van een student met een laptop tot een groot ziekenhuis met supercomputers.

🚀 Waarom is dit belangrijk voor de toekomst?

Vroeger moesten artsen en onderzoekers urenlang zoeken in duizenden artikelen om een verband te vinden. Met KG-Orchestra kan een computer dit in een fractie van de tijd doen, maar dan wel met de nauwkeurigheid van een expert.

Het helpt bij:

• Het vinden van nieuwe medicijnen (bijv. een bestaand medicijn gebruiken voor een nieuwe ziekte).
• Het begrijpen van complexe ziekten zoals kanker of Alzheimer.
• Het controleren of wat we al weten nog steeds klopt met de nieuwste wetenschap.

Kortom: KG-Orchestra is als een super-slome, onfatsoenlijke assistent die niet alleen snel leest, maar ook slim nadenkt, alles controleert en je een perfecte, bewezen kaart geeft van hoe het leven in ons lichaam werkt.

Technische samenvatting

1. Het Probleem

Biomedische Kennisgrafieken (BKG's) zijn essentieel voor het integreren van complexe biologische data, maar hun bruikbaarheid wordt beperkt door twee tegenstrijdige benaderingen bij hun constructie:

• Handmatige curatie: Biedt hoge nauwkeurigheid en mechanistische detail, maar is niet schaalbaar en kan niet bijhouden met de explosieve groei van wetenschappelijke publicaties.
• Volledig geautomatiseerde methoden (LLM's): Kunnen schaalbaar zijn, maar genereren vaak brede netwerken die gebrek hebben aan mechanistische granulariteit, causale duidelijkheid en traceerbaarheid van bewijs.

Bestaande geautomatiseerde systemen kampen vaak met "hallucinaties", gebrek aan context, en het onvermogen om causale relaties te onderscheiden van bloot correlaties. Er is een dringende behoefte aan een framework dat de schaalbaarheid van AI combineert met de hoge kwaliteit van bewijsgebaseerde curatie, specifiek gericht op het verrijken van bestaande "zaad"-grafieken (seed graphs) met gedetailleerde, causale kennis uit de literatuur.

2. Methodologie: KG-Orchestra Framework

KG-Orchestra is een open-source, multi-agent framework dat gebruikmaakt van Retrieval-Augmented Generation (RAG) en gespecialiseerde Large Language Models (LLM's) om BKG's autonoom te verrijken. Het proces start met een bestaande, handmatig samengestelde "seed graph" en breidt deze uit door bewijs uit wetenschappelijke publicaties te halen.

Kerncomponenten en Workflow:

1. Evidence Retrieval Pipeline:
   • Het systeem gebruikt een query-gestuurde aanpak om relevante tekstdelen te vinden.
   • Chunking-strategie: In plaats van zinnen, worden tekstfragmenten opgesplitst in blokken van maximaal 512 tokens. Dit behoudt de semantische context van biologische paden die vaak over meerdere zinnen lopen.
   • Hybride Zoeken: Er wordt gebruikgemaakt van een combinatie van dense embeddings (semantische betekenis) en sparse embeddings (SPLADE voor exacte term-overlap). Dit verhoogt de relevantie van gevonden bewijsstukken aanzienlijk.
2. Multi-Agent Architectuur:
   De workflow wordt verdeeld over gespecialiseerde agents om de taak te splitsen en fouten te minimaliseren:
   • Paragraph Evaluator: Beoordeelt of gevonden paragrafen sterk, gedeeltelijk of niet relevant zijn voor de query.
   • Path Builder: Construeert gerichte, mechanistische paden (head $\to$ tail) op basis van de relevante paragrafen.
   • Schema Aligner: Mappt geëxtraheerde entiteiten en relaties naar het bestaande schema van de seed graph om "type-explosie" te voorkomen en consistentie te garanderen.
   • Entity Matcher: Lost entiteiten op via exacte matching of normalisatie naar UMLS (Unified Medical Language System) om redundantie te voorkomen.
   • Triplet Validation Team: Een groep agents die de gegenereerde triplets (head-relation-tail) valideert op biologische plausibiliteit, richting, causaliteit en compatibiliteit met het bewijs. Ongeldige triplets worden door een "Triplet Fixer" geprobeerd te repareren.
3. Backbone LLM:
   Verschillende open-source modellen (DeepSeek-R1, Magistral, Gemma 3, Qwen 3) werden getest. Qwen 3 (32B) werd geselecteerd als de optimale backbone vanwege de superieure redeneercapaciteiten en balans tussen kwaliteit en rekenkosten.

3. Belangrijkste Bijdragen

• Open-Source Framework: KG-Orchestra is volledig open-source en flexibel inzetbaar, van een enkele laptop GPU tot high-performance clusters.
• Evidence-Based Verrijking: Het systeem transformeert schaarse zaadgrafieken in dichte, hoog-resolutie netwerken door expliciete, traceerbare bewijslijnen (met DOI/PMID) toe te voegen.
• Multi-Agent Validatie: Door de taak te verdelen over gespecialiseerde agents (generator, criticus, validator) wordt de hallucinatiegraad verlaagd en de biologische validiteit verhoogd.
• Hybride Retrieval Strategie: Het paper demonstreert dat hybride zoekopdrachten (dense + sparse) cruciaal zijn voor het vinden van nauwkeurige bewijsstukken in biomedische teksten, vooral bij kleinere, efficiëntere modellen.

4. Resultaten

Het framework werd getest op twee specifieke casestudies:

1. NADKG: Verrijking van een kennisgrafiek over het verband tussen Nelivaptan (een medicijn) en de ziekte van Alzheimer.
2. ProPreSyn-GBA: Verrijking van een grafiek over probiotica, prebiotica en het darm-hersenas.

Kernresultaten:

• Kwaliteit: Qwen 3 (32B) behaalde de beste scores, met een biologische validiteit van 89% en een compatibiliteit met bewijs van 75% op triplet-niveau.
• Schaalbaarheid: Grotere modellen (Qwen 3 235B) leverden nog betere kwaliteit (97% biologische validiteit) en meer dekking, maar Qwen 3 32B bood de beste trade-off tussen kwaliteit en rekentijd.
• Hybride Retrieval: Het gebruik van hybride zoekopdrachten verbeterde de prestaties van open-source modellen aanzienlijk, waardoor ze bijna gelijkwaardig werden aan gesloten modellen (zoals OpenAI's text-embedding-3-large).
• Reproduceerbaarheid: Drie onafhankelijke runs leverden een semantische overeenkomst van 0,97 tot 0,98, wat aantoont dat het systeem stabiel is ondanks de stochastische aard van LLM's.
• Groei: Bij de ProPreSyn-GBA casus werd het aantal knooppunten met 141% en het aantal relaties met 182% vergroot, terwijl de kwaliteit van de toegevoegde data hoog bleef (93% biologische validiteit).
• Ablatie-studie: Het verwijderen van de "Schema Aligner" leidde tot een explosie van onnodige entiteitstypen (van 49 naar 70+), wat aantoont dat dit agent essentieel is voor de structuur van de grafiek.

5. Betekenis en Toekomstperspectief

KG-Orchestra biedt een oplossing voor het "schaalbaarheids-dilemma" in de biomedische wetenschap. Het stelt onderzoekers in staat om:

• Ontbrekende mechanistische paden te ontdekken (bijv. hoe een medicijn een ziekte beïnvloedt via een onbekend pad).
• Nieuwe entiteiten (zoals nieuwe medicijnen) snel te integreren in bestaande kennisnetwerken voor drug repurposing.
• Bestaande grafieken retroactief te valideren tegen de nieuwste literatuur.

De studie benadrukt dat voor de toekomstige evolutie van kennisgrafieken niet alleen meer data nodig is, maar vooral diepere, causale en contextbewuste kennis. KG-Orchestra legt de basis voor het automatiseren van ontologie-verrijking (zoals Gene Ontology) en het creëren van dynamische, bewijsgebaseerde kennisbronnen die de snelheid van wetenschappelijke ontdekkingen kunnen bijhouden. De auteurs plannen toekomstige verbeteringen, waaronder het integreren van "reasoning-aware" retrieval en het gebruik van 1-bit LLM-architecturen voor nog lagere kosten.