Monte Carlo Committee Simulation with Large Language Models for Predicting Drug Reimbursement Recommendations and Conditions: A Novel Neurosymbolic AI Approach

Dit onderzoek introduceert een neurosymbolische AI-methode, genaamd Monte Carlo Committee Simulation, die met grote taalmodellen en gesimuleerde panelbesprekingen nauwkeurig voorspellingen doet over de specifieke vergoedingsaanbevelingen en voorwaarden van Canadese geneesmiddeleninstanties, zelfs voor data die na de kennisdatum van de modellen zijn gepubliceerd.

De kern

Stel je voor dat een nieuw medicijn op de markt komt. De farmaceutische bedrijven willen weten: "Wordt dit medicijn vergoed door de ziektekostenverzekering?" En zo ja, onder welke voorwaarden? Moet het alleen voor bepaalde patiënten zijn? Moet de arts een specialist zijn? Moet de prijs lager zijn?

In Canada (en veel andere landen) wordt dit beslist door een comité van experts. Dit is een groep mensen met verschillende achtergronden: artsen, economen, patiëntenvertegenwoordigers en beleidsmakers. Zij lezen duizenden pagina's aan documenten en bespreken het samen. Het is een complex proces, en het is moeilijk om te voorspellen wat hun eindoordeel zal zijn.

De auteurs van dit artikel hebben een slimme nieuwe manier bedacht om deze beslissingen te voorspellen, zonder dat ze de experts hoeven te vervangen. Ze noemen het de "Monte Carlo Comité Simulatie".

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het is niet één robot, maar een hele vergaderzaal

Stel je voor dat je één super-intelligente robot vraagt: "Wat denken jullie van dit medicijn?" Die robot geeft één antwoord. Maar wat als die robot zich vergist? Of wat als hij het antwoord uit zijn geheugen haalt in plaats van er echt over na te denken?

In plaats van één robot, hebben de onderzoekers 14 verschillende robot-persona's gecreëerd.

• Sommige robots spelen de rol van een arts (die kijkt naar de gezondheidseffecten).
• Sommige spelen de econoom (die kijkt naar de kosten).
• Sommige zijn patiëntenvertegenwoordigers of beleidsmakers.

Elke robot heeft een eigen "persoonlijkheid" en kijkt naar de documenten vanuit zijn eigen perspectief. Dit is net als een echte vergadering waar iedereen een andere bril op heeft.

2. De "Monte Carlo" methode: Veel keer proberen

Het geheim zit in het woord Monte Carlo. Denk aan een casino of het gooien van dobbelstenen. In plaats van één keer te vragen wat de uitkomst is, laten ze deze 14 robots veel keer (tot wel 50 keer) over hetzelfde medicijn discussiëren.

• In de ene ronde stemt de "arts-robot" misschien voor vergoeding, terwijl de "econoom-robot" tegenstemt.
• In de volgende ronde kan dat weer anders zijn.

Door al deze stemmen te tellen en te wegen, krijgen ze een kansberekening. Ze kunnen zeggen: "We zijn 90% zeker dat het medicijn wordt vergoed, maar dan wel met voorwaarden."

3. De slimme "Stopknop" (Onzekerheid meten)

Dit is het belangrijkste stukje. Als de robots het oneens zijn, of als ze twijfelen, zegt het systeem niet zomaar een antwoord. Het zegt: "Ik weet het niet zeker, vraag het beter aan een mens."

Ze hebben een systeem bedacht dat ze de "Sterkte van het Mandaat" noemen.

• Hoge Sterkte: Alle robots zijn het bijna eens. Dan is het antwoord betrouwbaar.
• Lage Sterkte: De robots ruziën of twijfelen. Dan is het antwoord onbetrouwbaar.

Dit is als een weersvoorspeller die zegt: "Het regent waarschijnlijk" (hoge zekerheid) versus "Het kan regenen, maar ik weet het niet" (lage zekerheid). Voor de bedrijven is dit goud waard: als het systeem twijfelt, weten ze dat ze extra voorbereidingen moeten treffen.

4. Waarom is dit zo speciaal? (Geen "uit het hoofd geleerd")

Een groot probleem met moderne kunstmatige intelligentie is dat ze vaak dingen "uit het hoofd leren" in plaats van erover na te denken. Als een robot alle oude vergoedingsbeslissingen al kent, kan hij ze gewoon opzoeken in plaats van te redeneren.

De onderzoekers hebben dit slim omzeild. Ze hebben hun systeem getest op medicijnen die pas na de kennisdatum van de robots werden aangevraagd.

• Analogie: Het is alsof je een student een examen laat maken over onderwerpen die pas na zijn laatste lesdag zijn bedacht. Als hij het goed doet, betekent dat hij echt begrijpt hoe het werkt, en niet alleen de antwoorden heeft geleerd.

5. Wat levert het op?

Het systeem is verrassend goed:

• Het voorspelt of een medicijn wordt vergoed of niet met 93% nauwkeurigheid (als het systeem zeker is).
• Het kan zelfs voorspellen welke voorwaarden er aan de vergoeding hangen (bijvoorbeeld: "Alleen voor zware gevallen" of "Alleen als de arts een specialist is").
• Het werkt als een voorspellingstool die de menselijke experts helpt, niet vervangt. Het helpt bedrijven om hun strategie te plannen en helpt de gezondheidszorg om budgetten beter in te schatten.

Samenvatting in één zin

De onderzoekers hebben een virtueel comité van 14 verschillende robot-experts gebouwd die samen, door veelvuldig te discussiëren en hun twijfel te meten, kunnen voorspellen of een nieuw medicijn wordt vergoed en onder welke voorwaarden, zonder dat ze ooit de antwoorden uit het verleden hebben geleerd.

Technische samenvatting

Probleemstelling

Health Technology Assessment (HTA) agentschappen, zoals het Canadese CDA-AMC, beoordelen nieuwe therapieën en geven terugbetalingsaanbevelingen. Deze beslissingen bepalen de toegang van patiënten tot nieuwe behandelingen.

• Huidige uitdagingen: Traditionele machine learning-modellen hebben moeite met deze taak vanwege de kleine datasets (HTA-agenten geven slechts tientallen tot honderden aanbevelingen per jaar), de dynamische aard van beleidsrichtlijnen, en de behoefte aan uitgebreide handmatige feature-extractie uit ongestructureerde documenten.
• Beperkingen van bestaande oplossingen: Bestaande modellen voorspellen vaak alleen de categorische uitkomst (bijv. "terugbetalen" of "niet terugbetalen") en niet de specifieke voorwaarden die aan een terugbetaling kunnen worden gekoppeld (zoals populatiebeperkingen of prijsverlagingen).
• LLM-uitdagingen: Het directe gebruik van Large Language Models (LLM's) voor voorspelling is problematisch vanwege het gebrek aan kwantificering van onzekerheid en het risico op "data contamination" (het model onthoudt historische uitkomsten uit zijn trainingsdata in plaats van te redeneren).

Methodologie: Monte Carlo Committee Simulation

De auteurs hebben een neurosymbolisch AI-systeem ontwikkeld dat de deliberatie van een menselijke commissie simuleert.

1. Architectuur (Neurosymbolisch):

   • Neurale component: 14 persona-gedreven LLM-panelleden (gebaseerd op GPT-5 en GPT-5-mini) die ongestructureerde documenten analyseren. De panelleden vertegenwoordigen verschillende expertisegebieden: Patiënt/Publiek, Gezondheidseconomie, Beleid, Klinisch, ITC-specialist, Senior Klinisch en Generiek.
   • Symbolische component: Een stemmechanisme met gewogen stemming, convergentiecriteria en abstentie-drempels om collectieve inferentie te genereren met statistische eigenschappen.

2. Simulatieproces:

   • Het systeem voert meerdere "rondes" uit waarbij de 14 panelleden stemmen over de aanbeveling (Terugbetalen, Terugbetalen met Voorwaarden, Niet Terugbetalen) en de specifieke voorwaarde-categorieën.
   • Gewogen stemming: Panelleden met gestructureerde prompts (Instance 1) hebben een hogere stemwaarde (2.0) dan die met vereenvoudigde prompts (Instance 1.0).
   • Convergentie: De simulatie stopt wanneer de waarschijnlijkheidsverdeling stabiel is (binnen een bepaalde marge) of een maximum aantal rondes bereikt.
   • Onzekerheidsmeting: Het systeem gebruikt een "Two-Axis Uncertainty Model" gebaseerd op stabiliteit tussen rondes en contestatie binnen rondes. Dit resulteert in een "Strength of Mandate" (Sterkte van het Mandaat) metric: Hoog, Contestatie of Zwak.

3. Validatie-ontwerp:

   • Temporele externe validatie: De studie gebruikte data van oktober 2024 tot december 2025. De onderliggende LLM's hadden een kennis-cutoff (september 2024 en mei 2024). Dit garandeert dat het model niet op onthouding (memorization) leunt, maar echt redeneert op basis van de bewijsstukken.
   • Dataset: 67 sponsor-ingediende aanbevelingen van het CDA-AMC (Canada's Drug Agency).

Belangrijkste Bijdragen

• Eerste prospectieve voorspelling van voorwaarden: Dit is de eerste studie die niet alleen de uitkomst voorspelt, maar ook de specifieke voorwaarden (bijv. populatiebeperkingen, economische voorwaarden) die aan een terugbetaling verbonden zijn.
• Neurosymbolische aanpak voor HTA: Het combineren van LLM's voor redenering met symbolische regels voor onzekerheidskwantificering en stemmen, wat transparantie en betrouwbaarheid biedt.
• Robuuste validatie: Door gebruik te maken van data na de kennis-cutoff van de modellen, wordt het probleem van data-contaminatie effectief aangepakt, wat een kritiek punt is in LLM-onderzoek.
• Selectieve voorspelling (Abstention): Het systeem kan zich terugtrekken bij onzekere gevallen, waardoor gebruikers kunnen kiezen tussen dekking (hoeveelheid voorspellingen) en nauwkeurigheid.

Resultaten

1. Voorspelling van Aanbevelingen:

• Nauwkeurigheid: Bij 44 gevallen waar het systeem vertrouwen uitdrukte (90% dekking), werd een nauwkeurigheid van 93,2% bereikt (95% BI: 84,1–100,0%). Dit is significant beter dan het meerderheids-class-baseline (91,8%).
• Discriminatievermogen: De AUROC was 0,817, wat aangeeft dat het model echt onderscheid maakt tussen verschillende uitkomsten, in tegenstelling tot een willekeurige gok (0,50).
• Onzekerheid: De "Strength of Mandate" metric correleerde sterk met nauwkeurigheid:
  • Hoog Mandaat: 96,8% nauwkeurigheid.
  • Contestatie: 84,6% nauwkeurigheid.
  • Zwak Mandaat: 40,0% nauwkeurigheid.
  • 83,3% van de fouten vond plaats in gevallen die door het systeem als onzeker waren gemarkeerd.

2. Voorspelling van Voorwaarden:

• Het systeem voorspelde correct de combinatie van alle 5 voorwaarde-categorieën in 48,8% van de gevallen (subset accuracy). Dit is een aanzienlijke verbetering ten opzichte van een willekeurige baseline (3,1%).
• De Hamming-nauwkeurigheid (correctheid van individuele labels) was 86,3%.
• De nauwkeurigheid varieerde per categorie, met de hoogste scores voor Economische Voorwaarden (97,6%) en de sterkste discriminatie voor Continuatie-voorwaarden (AUROC 0,896).

Betekenis en Conclusie

De studie toont aan dat neurosymbolische AI-systemen, gebaseerd op LLM's, effectief kunnen worden ingezet voor het voorspellen van complexe HTA-beslissingen en de bijbehorende voorwaarden.

• Van reactief naar proactief: Sponsors kunnen nu proactief strategieën ontwikkelen voor markttoegang door specifieke voorwaarden (zoals prijsverlagingen of beperkingen) te anticiperen voordat de commissie zich heeft uitgesproken.
• Mens-AI samenwerking: Het systeem is ontworpen als een voorspellingshulpmiddel dat menselijke deliberatie aanvult, niet vervangt. De ingebouwde onzekerheidsmeting stelt stakeholders in staat om te bepalen welke voorspellingen betrouwbaar zijn en welke menselijke review vereisen.
• Toekomstperspectief: De methode biedt een blauwdruk voor het toepassen van AI in hoog-risico domeinen waar transparantie, kalibratie van onzekerheid en vermijding van data-contaminatie cruciaal zijn. Verdere validatie in andere jurisdicties en in de praktijk is de volgende stap.