Coding-Free and Privacy-Preserving MCP Framework for Clinical Agentic Research Intelligence System

Probleemstelling

Klinisch datagedreven onderzoek staat voor aanzienlijke barrières die de participatie van clinici en externe onderzoekers beperken:

1. Technische complexiteit: Het vertalen van klinische hypotheses naar actiebare inzichten vereist diepgaande domeinkennis, programmeervaardigheden (voor data-preprocessing en modelontwikkeling) en ervaring met complexe workflows.
2. Data-toegang en privacy: Onderzoekers hebben vaak geen directe toegang tot gevoelige patiëntdata vanwege strikte privacyregels en ethische beperkingen. Bestaande systemen bieden vaak geen veilige manier om analyses uit te voeren zonder de ruwe data te verlaten.
3. Fragmentatie: Bestaande AI-oplossingen richten zich vaak op geïsoleerde taken (zoals automatische ML of documentgeneratie) maar missen een geïntegreerde, end-to-end workflow die voldoet aan de specifieke regelgeving en ethische eisen van klinisch onderzoek (zoals IRB-goedkeuring).

Methodologie: Het CARIS Framework

De auteurs hebben CARIS (Clinical Agentic Research Intelligence System) ontwikkeld, een interactief systeem dat de volledige klinische onderzoeksworkflow automatiseert zonder dat de gebruiker hoeft te coderen of directe toegang tot de ruwe data nodig heeft.

Kernarchitectuur:

• Model Context Protocol (MCP): CARIS gebruikt MCP als een gestructureerde interface tussen Large Language Models (LLMs) en externe tools. Dit creëert een client-server architectuur waarbij de LLM tools aanroept zonder directe toegang tot de onderliggende databases. De ruwe patiëntdata blijft veilig binnen de MCP-server; de gebruiker ziet alleen de verwerkte resultaten en rapporten.
• Agente Workflow: Het systeem bestaat uit meerdere gespecialiseerde agenten die samenwerken via natuurlijke taalinteractie:
  1. Onderzoeksplanning Agent: Gebruikt het PIMO-framework (Patient, Input, Model, Outcome) om onderzoeksvragen te verfijnen, relevante PubMed-literatuur te zoeken en te analyseren, en een gestructureerd onderzoeksplan op te stellen.
  2. IRB-documentatie Agent: Genereert automatisch documenten voor de Institutionele Toetsingscommissie (IRB), inclusief achtergrond, methodologie en hypotheses, gebaseerd op het onderzoeksplan en ethische richtlijnen.
  3. Vibe Machine Learning (ML) Agent: Voert Exploratory Data Analysis (EDA) uit, pre-processie (imputatie, encoding), feature-selectie (o.a. RFE, SHAP, Boruta) en modeltraining. Het ondersteunt diverse algoritmen (Random Forest, XGBoost, LightGBM, etc.) met hyperparameter-tuning via grid search en cross-validatie.
  4. Rapportage Agent: Genereert een volledig manuscript in Word-formaat, conform de TRIPOD+AI-richtlijnen, inclusief alle standaard secties, tabellen en figuren.

Data-omgeving:
Het systeem is getest op drie heterogene datasets:

• MIMIC-IV: Voorspelling van IC-heropname.
• INSPIRE: Voorspelling van postoperatief acuut nierfalen (AKI).
• SyntheticMass: Voorspelling van de progressie van pre-diabetes naar diabetes.

Belangrijkste Bijdragen

1. Coding-Free Onderzoek: CARIS elimineert de noodzaak voor programmeerkennis, waardoor clinici en niet-technische onderzoekers complexe ML-studies kunnen uitvoeren via natuurlijke taal.
2. Privacy-Preserving Architectuur: Door de MCP-architectuur wordt de privacy gewaarborgd; de LLM heeft geen toegang tot de ruwe data, maar voert alleen geaggregeerde analyses en queries uit binnen de veilige serveromgeving.
3. End-to-End Automatisering: Het systeem dekt de volledige cyclus af: van het opstellen van het onderzoeksplan en IRB-documentatie tot data-analyse, modeltraining en het genereren van een publicatieklaar rapport.
4. Human-in-the-Loop: Het systeem is ontworpen voor iteratieve interactie, waarbij onderzoekers tussentijds input kunnen geven om plannen, methoden en resultaten te verfijnen.

Resultaten

Het systeem werd geëvalueerd op de drie genoemde datasets met de volgende uitkomsten:

• Efficiëntie: Onderzoeksplannen en IRB-documenten werden binnen 3 tot 4 iteraties voltooid. De totale doorlooptijd voor de volledige workflow varieerde van enkele uren (voor planning en IRB) tot maximaal 10 uur voor uitgebreide ML-exploratie, wat aanzienlijk sneller is dan traditionele methoden.
• Kwaliteit van IRB-documenten: De gegenereerde documenten behaalden een 96% dekking op een checklist gebaseerd op TRIPOD+AI volgens een LLM-evaluatie, en 82% volgens menselijke evaluatie. De belangrijkste verbeterpunten waren toegankelijkheid voor niet-experten en ethische verklaringen.
• ML-prestaties: De gegenereerde modellen presteerden vergelijkbaar met handmatig ontwikkelde studies:
  • ICU-heropname (MIMIC): XGBoost met AUROC van 71,50%.
  • Postoperatief AKI (INSPIRE): LightGBM met AUROC van 85,77%.
  • Pre-diabetes naar Diabetes (SyntheticMass): XGBoost met AUROC van 88,58%.
• Rapportkwaliteit: De gegenereerde rapporten toonden een hoge volledigheid. Menselijke en LLM-evaluatoren kwamen sterk overeen (Cohen's kappa = 0,6989), hoewel LLM's soms te mild waren bij het beoordelen van originaliteit en code-beschikbaarheid.

Betekenis en Impact

CARIS introduceert een nieuw paradigma voor klinisch onderzoek door de drempels voor data-gedreven studies drastisch te verlagen.

• Democratisering: Het stelt clinici in staat om zelfstandig data-gedreven onderzoek te doen zonder afhankelijk te zijn van data-scientists of programmeurs.
• Schaalbaarheid en Samenwerking: Door de privacy-bewuste architectuur kan het systeem worden ingezet in omgevingen met strikte data-toegangsbeperkingen, waardoor samenwerking tussen verschillende instellingen en tussen publieke en private data-omgevingen mogelijk wordt.
• Toekomstperspectief: Hoewel het systeem momenteel beperkt is tot gestructureerde tabulaire data en vooraf gedefinieerde datasets, vormt het een solide basis voor de integratie van multimodale data (zoals medische beeldvorming) en medische foundation models in de toekomst.

Kortom, CARIS bewijst dat agentic AI fundamenteel de routine van klinisch datagebruik kan transformeren door hypotheses om te zetten in uitvoerbare workflows, terwijl de integriteit en privacy van patiëntdata volledig worden gewaarborgd.