CIViC MCP: Integrating Large Language Models with the Clinical Interpretations of Variants in Cancer

Dit artikel introduceert de CIViC MCP-server, een open-source tool die grote taalmodellen integreert met de CIViC-kennisbank om gebruikers via natuurlijke taal snelle samenvattingen te bieden van klinische interpretaties van kankervarianten.

De kern

🧬 CIViC MCP: De Slimme Vertaler voor Kankeronderzoek

Stel je voor dat CIViC een gigantische, onuitputtelijke bibliotheek is die vol staat met de allerbelangrijkste feiten over kanker. In deze bibliotheek staan duizenden boeken (wetenschappelijke studies) over specifieke mutaties in ons DNA, welke medicijnen werken en welke niet. Maar er is een groot probleem: deze bibliotheek is zo complex en de boeken zijn zo technisch geschreven, dat zelfs de slimste mensen er moeite mee hebben om snel het juiste antwoord te vinden.

Tot nu toe moesten onderzoekers en artsen zelf door de gangen lopen, de juiste kasten zoeken en de moeilijke taal zelf vertalen.

De oplossing? De auteurs van dit paper hebben een slimme robot-assistent gebouwd, genaamd CIViC MCP.

1. Het Probleem: De "Grote Boze Wolf" van de AI

Stel je voor dat je een zeer slimme AI (zoals een chatbot) vraagt: "Werkt dit medicijn tegen deze specifieke kankertype?"
De AI is heel slim, maar ze heeft een zwak punt: ze leert uit wat ze in het verleden heeft gelezen (haar "training"). Maar de bibliotheek van CIViC wordt elke dag bijgewerkt met nieuwe feiten. De AI kent deze nieuwe feiten niet.

• Het risico: De AI probeert het antwoord te raden. Ze kan dingen verzinnen (hallucineren) of oude informatie geven. Het is alsof je een student vraagt een examen te maken over een boek dat gisteren is herschreven; de student zal proberen het te raden op basis van wat hij al weet, en dat gaat vaak fout.

2. De Oplossing: De "MCP" als Telefooncel

De auteurs hebben een MCP-server (Model Context Protocol) gemaakt. Denk hierbij niet aan een robot die zelf door de bibliotheek loopt, maar aan een speciale telefooncel die direct verbinding maakt met de bibliotheek.

• Hoe het werkt:
  1. Jij (de gebruiker) praat tegen de AI in gewone taal: "Wat betekent deze mutatie?"
  2. De AI pakt haar "telefoon" (de MCP-server).
  3. De AI belt direct de bibliotheek op en zegt: "Geef me de feiten over deze mutatie, alstublieft."
  4. De bibliotheek stuurt de exacte, actuele feiten terug.
  5. De AI leest deze feiten en vertelt jou het antwoord, inclusief de bron waar ze vandaan komen.

3. Waarom is dit zo slim? (De Analogie van de Vertaler)

Stel je voor dat de bibliotheek in een vreemde taal is geschreven (de technische databestanden).

• Zonder MCP: De AI moet proberen de vreemde taal te raden. Soms lukt het, maar vaak maakt ze fouten of zoekt ze op Google (wat traag en onnauwkeurig is).
• Met MCP: De AI heeft een vertaler die de vragen omzet in een taal die de bibliotheek perfect begrijpt. De bibliotheek geeft direct het juiste antwoord terug. De AI hoeft niet meer te gissen; ze hoeft alleen maar te vertellen wat de bibliotheek zegt.

4. Het Experiment: Wie wint er?

De auteurs hebben een test gedaan om te bewijzen dat hun idee werkt. Ze gaven dezelfde moeilijke vragen aan drie verschillende "studenten":

1. De AI alleen: (Probeerde het te raden). Resultaat: Slecht. Veel fouten.
2. De AI als "browser": (Wandelde zelf door de bibliotheek op zoek naar antwoorden). Resultaat: Beter, maar het duurde 10 keer zo lang. Alsof je zelf door een labyrint loopt in plaats van een lift te nemen.
3. De AI met de MCP-server: (Belde direct de bibliotheek op). Resultaat: Perfect! Ze gaf bijna altijd het juiste antwoord en was net zo snel als de AI die alleen maar giste.

5. Wat betekent dit voor de toekomst?

Dit is een doorbraak voor de geneeskunde.

• Voor artsen: Ze kunnen nu in gewone taal vragen stellen aan een computer en krijgen direct een betrouwbaar, wetenschappelijk onderbouwd antwoord over welke behandeling voor een patiënt werkt.
• Voor patiënten: Het betekent dat de juiste behandeling sneller gevonden kan worden.
• Veiligheid: Omdat de AI de feiten direct uit de bron haalt, is de kans dat ze iets verzonnen, bijna nihil.

Kortom: De auteurs hebben een brug gebouwd tussen de complexe wereld van kankerdata en de natuurlijke taal van mensen. Ze hebben de AI niet slimmer gemaakt, maar ze hebben haar wel de juiste gereedschappen gegeven om de waarheid te vinden, zonder te hoeven gissen.

Technische samenvatting

Probleemstelling

De precisie-oncologie is afhankelijk van de identificatie van moleculaire varianten om klinische beslissingen te sturen. Hoewel databases zoals CIViC (Clinical Interpretation of Variants in Cancer) waardevolle, door de gemeenschap gecureerde informatie bieden over de klinische betekenis van deze varianten, is de toegang voor gebruikers complex.

• Beperkingen van LLM's: Grote Taalmodellen (LLM's) kunnen geen betrouwbare toegang garanderen tot gespecialiseerde, snel bijgewerkte bronnen zoals CIViC op basis van hun vooropleiding alleen. Ze lopen het risico details te verzinnen (hallucineren) of de complexe datastructuur van CIViC verkeerd te interpreteren.
• Beperkingen van huidige zoekmethodes: Chatbots die vertrouwen op webzoekopdrachten of "agent-based" browsen (waarbij een model websites simuleert te bezoeken) zijn vaak inefficiënt, beperkt in hun ontdekkingsvermogen en minder accuraat dan directe, gestructureerde API-toegang.
• De uitdaging: Er is een behoefte aan een interface die LLM's in staat stelt CIViC-data nauwkeurig, reproduceerbaar en met bronvermelding op te vragen zonder de risico's van hallucinatie of inefficiëntie.

Methodologie

De auteurs hebben de CIViC Model Context Protocol (MCP) server ontwikkeld om LLM's naadloos te koppelen aan de CIViC API via een gestandaardiseerd protocol.

1. Architectuur:

   • De server is gehost op Cloudflare en is publiek toegankelijk.
   • In plaats van te vertrouwen op de LLM om complexe GraphQL-query's zelf te schrijven (wat leidde tot fouten in eerdere tests), definieert de MCP server vooraf gedefinieerde tools die specifieke GraphQL-query's uitvoeren.
   • Er zijn twee hoofdtools:
     • Evidence Item Tool: Haalt gedetailleerde informatie op uit individuele studies (evidentiestrkte, samenvatting, PubMed-ID's).
     • Assertion Tool: Haalt hogere niveau samenvattingen op die collecties van Evidence Items synthetiseren binnen een specifieke kanker-variant context.

2. Normalisatie en Zoeklogica:

   • De server normaliseert gebruikersinput (moleculaire profielen, kankertypes, therapieën) naar de "preferred labels" van CIViC.
   • Hiervoor worden vooraf berekende alias-lijsten gebruikt, afgeleid van bronnen zoals de VICC Gene Normalization Service, Disease Ontology en NCI Thesaurus.
   • De matching gebeurt met de Dice-Sørensen-coëfficiënt over character bigrams, gekozen vanwege de snelheid en lage geheugenvraag, geschikt voor Cloudflare Workers.

3. Workflow:

   • De gebruiker stelt een vraag in natuurlijke taal.
   • De LLM extrahere entiteiten en kiest het juiste MCP-tool.
   • De MCP server voert de query uit, retourneert gestructureerde data (inclusief definities van velden en URL's) en de LLM genereert een antwoord gebaseerd uitsluitend op deze data, met directe bronvermelding.

Belangrijkste Bijdragen

• CIViC MCP Server: Een open-source implementatie die LLM's toestaat CIViC-data via een gestandaardiseerde interface op te vragen.
• Integratie van Tools: Het introduceren van vooraf gedefinieerde tools om de onbetrouwbaarheid van door LLM's gegenereerde GraphQL-query's te omzeilen.
• Chatbot-interface: Een MCP-ondersteunde chatbot is beschikbaar voor gebruikers op civicdb.org/mcp-chat.
• Benchmarking: Een rigoureuze evaluatie van de prestaties van LLM's met en zonder MCP, vergeleken met een "Agent Mode" (webbrowsing).

Resultaten

De auteurs hebben een classificatietest uitgevoerd met 100 willekeurig geselecteerde CIViC-triplets (moleculair profiel, kankertype, therapie) om te bepalen of er ondersteunend bewijs is voor een bepaalde klinische betekenis.

• Nauwkeurigheid:
  • GPT-5 + MCP: Bereikte een algehele nauwkeurigheid van 0,95 en een gewogen F1-score van 0,98.
  • GPT-5 (zonder MCP): Bereikte slechts 0,30 nauwkeurigheid en een F1-score van 0,46.
  • GPT-5 Agent Mode (webbrowsing): Bereikte 0,83 nauwkeurigheid en een F1-score van 0,91.
• Efficiëntie (Latentie):
  • GPT-5 + MCP: ~43,1 seconden.
  • GPT-5 (zonder MCP): ~42,9 seconden.
  • Agent Mode: ~425,0 seconden (ongeveer 10 keer trager dan de MCP-aanpak).

Conclusie van de resultaten: De MCP-aanpak biedt een aanzienlijke verbetering in nauwkeurigheid ten opzichte van zowel de basis-LLM als de agent-based benadering, zonder extra vertraging toe te voegen.

Betekenis en Toekomstperspectief

De CIViC MCP server demonstreert dat gestructureerde, API-gedreven toegang via MCP-servers de kloof kan overbruggen tussen de capaciteiten van LLM's en gespecialiseerde biomedische databases.

• Vertrouwen en Reproduceerbaarheid: Het systeem reduceert het risico op hallucinaties en levert antwoorden op die direct traceerbaar zijn naar de originele literatuur en CIViC-entries.
• Schaalbaarheid: De aanpak kan worden uitgebreid om andere kennisbanken (zoals DGIdb, ClinVar, OncoKB) te integreren, waardoor een unificatie van multi-database zoekopdrachten mogelijk wordt via één conversatie-interface.
• Toekomst: Verdere ontwikkelingen richten zich op het creëren van beperkte query-samenstellingsmethoden die het veilig uitvoeren van door LLM's geschreven queries mogelijk maken voor onvoorspelbare gebruikersvragen, terwijl de integriteit van de data behouden blijft.

Kortom, dit werk biedt een cruciale technische oplossing om complexe oncologische kennis toegankelijk te maken voor zowel experts als niet-experts via natuurlijke taal, met behoud van wetenschappelijke nauwkeurigheid.