Structured Schemas for LLM-Modeler Collaboration in Quantitative Systems Pharmacology Model Calibration

Dit paper introduceert MAPLE, een raamwerk dat gestructureerde validatieschema's gebruikt om de samenwerking tussen grote taalmodellen en modelbouwers te sturen bij het kalibreren van kwantitatieve systemfarmacologie-modellen, waardoor hallucinaties worden tegengegaan en reproduceerbare, goed gedocumenteerde data-extractie wordt gewaarborgd.

De kern

Stel je voor dat je een heel complexe machine bouwt, bijvoorbeeld een robot die een ziekte in het menselijk lichaam moet bestrijden. Om deze robot goed te laten werken, moet je hem "kalibreren". Dat betekent dat je hem de juiste instellingen geeft, gebaseerd op feiten uit duizenden wetenschappelijke artikelen.

In de wereld van de geneeskunde heet dit Kwantitatieve Systematische Farmacologie (QSP). Maar hier zit een groot probleem: het verzamelen van die feiten is als het zoeken naar een naald in een hooiberg, alleen dan met een hooiberg van 50 jaar aan onderzoek.

Hier is hoe dit nieuwe onderzoek, genaamd MAPLE, dat probleem oplost, vertaald naar een eenvoudig verhaal:

1. Het Probleem: De Slome Mens en de Dromerige Robot

Vroeger deden wetenschappers dit werk allemaal met de hand. Ze lasen artikelen, schreven cijfers op in een Excel-lijst en beslisten welke cijfers belangrijk waren.

• Het nadeel: Dit is extreem saai, duurt eeuwen en als je een collega wisselt, weet diegene niet meer waarom jij die specifieke cijfers hebt gekozen. De "receptuur" gaat verloren.

Nu proberen we AI (grote taalmodellen) om dit te doen.

• Het nadeel: AI is slim, maar het is ook een beetje een "dromer". Het kan cijfers verzinnen die er heel echt uitzien, maar die nergens in het artikel staan (dit noemen ze "hallucinaties"). Voor een medicijn dat mensen moet redden, mag je geen cijfers gebruiken die uit de lucht gegrepen zijn.

2. De Oplossing: MAPLE (De Slimme Kwaliteitscontroleur)

De auteurs van dit papier hebben MAPLE bedacht. Dit is geen AI die alles zelf doet, maar een samenwerkingssysteem tussen de menselijke expert en de AI.

Stel je MAPLE voor als een super-veiligheidscontroleur in een fabriek:

• De AI is de arbeider: Hij zoekt in de boekenkast, leest de artikelen en pakt de cijfers.
• De Mens is de chef: Hij geeft aan wat er nodig is en controleert of de AI niet aan het dromen is.
• MAPLE is de inspecteur: Hij heeft een strikte checklist (de "schema's") en mag de AI niet doorlaten als hij fouten maakt.

3. Hoe werkt het? (Met Analogieën)

Het systeem gebruikt twee soorten "checklists" voor twee soorten werk:

A. De "Losse Onderdelen" Checklist (SubmodelTarget)

Soms moet je weten hoe snel één specifiek onderdeel werkt, bijvoorbeeld: "Hoe snel groeien kankercellen als je ze alleen in een petrischaaltje zet?"

• Hoe het werkt: De AI zoekt het antwoord. Maar MAPLE zegt: "Stop! Je mag niet zomaar een getal typen. Je moet de zin uit het artikel kopiëren waar dat getal staat."
• De Metafoor: Het is alsof je een getuige vraagt wat hij zag. De AI mag niet zeggen: "Ik denk dat hij 100 km/u reed." De AI moet zeggen: "In het verslag staat: 'De auto reed 100 km/u'." Als de AI een getal verzonnen heeft, vindt MAPLE de zin niet en zegt: "Probeer het opnieuw!"

B. De "Hele Machine" Checklist (CalibrationTarget)

Soms moet je weten hoe het hele systeem werkt, bijvoorbeeld: "Hoe groot is de tumor na een maand behandeling?" Dit is complexer omdat alles met elkaar samenhangt.

• Hoe het werkt: Hier moet de AI niet alleen cijfers halen, maar ook een klein stukje code schrijven dat de wetenschapper kan gebruiken om de robot te testen.
• De Metafoor: De AI is als een kok die een recept schrijft. MAPLE is de keukenschef die zegt: "Je hebt 500 gram suiker geschreven, maar het recept vraagt om 50 gram. En je hebt geen bron vermeld waar je die suiker vandaan haalt. Ga terug naar de winkel en doe het opnieuw."

4. Wat is het resultaat?

De onderzoekers hebben dit getest op een model voor alvleesklierkanker.

• De AI deed het meeste werk: Hij las de artikelen en schreef de eerste versies.
• De mens deed de belangrijke beslissingen: De menselijke expert moest in 65% van de gevallen toch nog de instellingen aanpassen. Waarom? Omdat de AI soms de verkeerde "soort" model koos voor een bepaald cijfer.
• De winst: Dankzij MAPLE is het resultaat niet dat de mens overbodig wordt. Integendeel, de mens wordt een supervisor.
  • Alles is nu traceerbaar: Je kunt precies zien welk cijfer uit welk artikel komt.
  • Alles is herhaalbaar: Als je over een jaar weer begint, weet je precies wat er gedaan is.
  • Fouten worden gevangen: De AI probeerde soms cijfers te verzinnen of verkeerde links te geven. MAPLE ving dit op en liet de AI het opnieuw doen, voordat de mens er zelfs maar naar keek.

Conclusie in één zin

MAPLE is geen robot die de wetenschapper vervangt, maar een slimme assistent met een strenge checklist die ervoor zorgt dat de AI niet in de war raakt, zodat de menselijke expert zich kan focussen op de echte, moeilijke beslissingen voor het genezen van patiënten.

Technische samenvatting

Titel: Gestructureerde Schemas voor LLM-Modelleerder Samenwerking bij Kalibratie van Kwantitatieve Systemfarmacologie (QSP) Modellen

1. Het Probleem

Kwantitatieve systemfarmacologie (QSP) modellen zijn complexe mechanistische modellen (vaak bestaande uit tientallen tot honderden differentiaalvergelijkingen) die nodig zijn om drugresponsen te voorspellen. De kalibratie van deze modellen vereist data uit diverse bronnen in de literatuur, variërend van geïsoleerde in vitro-experimenten tot klinische eindpunten.

• Handmatige curatie: Is arbeidsintensief, leidt tot inconsistente documentatie en verlies van redenering bij personeelswisselingen.
• Automatische extractie met LLMs: Grote Taalmodellen (LLMs) kunnen literatuur lezen en structureren, maar lijden aan "hallucinaties" (verzonnen waarden) en fabricage (verzonnen citaten). Deze fouten zijn onaanvaardbaar voor kwantitatieve modellering waar nauwkeurigheid cruciaal is.
• De bottleneck: Er is geen gestructureerde interface die de flexibiliteit van LLMs combineert met de strenge validatievereisten van wetenschappelijke modellering.

2. Methodologie: Het MAPLE Framework

De auteurs presenteren MAPLE (Model-Aware Parameterization from Literature Evidence), een raamwerk dat gestructureerde validatieschemas gebruikt als een collaboratie-interface tussen LLMs en modelleerders.

A. Twee Complementaire Schemas (YAML/Pydantic)
Het framework onderscheidt twee kalibratieregimes, elk met een specifiek schema dat data-extractie scheidt van modelleerdersbeslissingen:

1. SubmodelTarget: Voor geïsoleerde experimenten (bijv. in vitro) die individuele parameters beperken via vereenvoudigde forward-modellen (bijv. exponentiële groei, Michaelis-Menten).
   • Structuur: Inputs (literatuurwaarden, eenheden, snippets) + Kalibratielaag (hoe de data de parameter beperkt via een vereenvoudigd ODE of algebraïsch model).
2. CalibrationTarget: Voor klinische en in vivo eindpunten die het volledige model beperken via observabelen berekend over de volledige systeemtoestand.
   • Structuur: Definieert observabelen als Python-functies, empirische data (via Monte Carlo simulatie voor statistieken) en scenario-blokken voor behandelingen.

B. Validatie en Foutdetectie
Een kerncomponent is een reeks doelgerichte validators die LLM-fouten opvangen voordat de data wordt gebruikt:

• Value-in-snippet matching: Verplicht dat elke numerieke waarde exact voorkomt in een geciteerde tekstfragment uit de bron. Dit detecteert hallucinaties.
• DOI-resolutie: Verifieert of citaties bestaan en of de titel overeenkomt met de metadata (via CrossRef).
• Code-executie: Voert de gegenereerde Python-code (voor observabelen) uit met dummy-data om logische fouten en eenheidsfouten op te sporen.
• Externe validatie: Haalt papers op (via Europe PMC/Unpaywall) en controleert of de snippets daadwerkelijk in de bron staan.
• Bronrelevantie: Documenteert translatie-onzekerheid (bijv. muis naar mens) en vereist dat deze onzekerheid wordt doorgegeven aan de prior-verdelingen.

C. Workflow en Code Generatie

• Zoekopdracht: De LLM zoekt literatuur op basis van mechanische context uit het QSP-model.
• Iteratie: Als een validator faalt, wordt een automatisch retry-lus gestart met gedetailleerde feedback.
• Generatie: Validated SubmodelTargets worden automatisch vertaald naar Julia-scripts voor Bayesiaanse inferentie (met Turing.jl).

3. Resultaten

De methode werd geëvalueerd op een QSP-model voor pancreaskanker (PDAC), met 87 kalibratiedoelen (18 SubmodelTargets en 59 CalibrationTargets).

• Automatische Extractie: Geen enkele extractie slaagde in de eerste poging. Alle targets vereisten minstens één automatische retry (gemiddeld 2,8 retries per target). De validators vingen 24 fouten op, waarbij eenheidsfouten (38%) en fabricage (17%) het vaakst voorkwamen.
• Menselijke Curatie: Ondanks de automatisering was menselijke input essentieel:
  • Bij SubmodelTargets veranderde de modelleerder het type forward-model in 65% van de bestanden, paste prior-parameters aan in 46%, en herschreef relevantiebeoordelingen in alle bestanden.
  • Bij CalibrationTargets werd observabele-code aangepast in 32% van de bestanden.
• Interactieve vs. Batch: Interactieve extractie (waarbij de modelleerder en LLM in real-time samenwerken) resulteerde in output die dichter bij het eindresultaat lag en minder nabewerking vereiste dan pure batch-extractie.
• Inferentie: De gegenereerde Julia-scripts leverden convergerende Bayesiaanse inferentie op met biologisch plausibele resultaten (bijv. tumordubbelingstijd van ~130 dagen).

4. Belangrijkste Bijdragen

1. Gestructureerde Samenwerking: MAPLE positioneert de LLM niet als vervanging, maar als een krachtige assistent binnen een streng gedefinieerd raamwerk. De scheiding tussen "wat de data zegt" (extractie) en "hoe het gemodelleerd wordt" (kalibratie) maakt de workflow transparant.
2. Robuuste Validatie: De combinatie van tekstuele verificatie (snippets), bibliografische verificatie (DOI) en code-executie creëert een veiligheidsnet tegen de typische zwaktes van LLMs.
3. Reproduceerbaarheid: Door elke waarde te koppelen aan een bron, een snippet en een translatie-justificatie, wordt de volledige herleidbaarheid (provenance) van de kalibratie gegarandeerd.
4. Schaalbaarheid: Het framework ondersteunt zowel geïsoleerde parameters als complexe, geïntegreerde model-eindpunten binnen één architectuur.

5. Betekenis en Toekomstperspectief

Dit onderzoek toont aan dat LLMs nuttig kunnen zijn voor QSP-kalibratie, mits ze worden ingezet binnen een systeem dat menselijke expertise en strenge validatie integreert.

• Impact op Drugontwikkeling: Het verbetert de consistentie van documentatie tussen modelleringsteams en maakt de bijdrage van de modelleerder expliciet en auditabel.
• Beperkingen: Het framework is afhankelijk van de zoekcapaciteiten van de LLM (gesloten toegang tot papers blijft een probleem) en vereist nog steeds aanzienlijke menselijke expertise voor wetenschappelijke beslissingen (zoals het kiezen van forward-modellen).
• Toekomst: Integratie van multimodale LLMs voor het extraheren van data uit figuren en het uitbreiden van de validatie naar andere therapeutische gebieden.

Kortom, MAPLE biedt een praktische oplossing voor de "bottleneck" van data-extractie in complexe biologische modellering door de kracht van AI te combineren met de onmisbare oordeelsvorming van de wetenschapper.