CLARITY: Medical World Model for Guiding Treatment Decisions by Modeling Context-Aware Disease Trajectories in Latent Space

Probleemstelling

Klinische besluitvorming in de oncologie vereist het voorspellen van hoe een ziekte evolueert onder invloed van behandeling. Bestaande AI-systemen zijn echter voornamelijk statische voorspellers die alleen uitkomsten op basis van huidige data kunnen schatten. Ze zijn niet in staat om longitudinale, behandelingsafhankelijke ziekteprogressie te modelleren.

• Beperkingen van huidige modellen: Generatieve modellen (zoals diffusion-modellen) in de geneeskunde focussen vaak op het synthetiseren van ruwe beelden (pixels), wat rekenkundig duur is en niet noodzakelijk robuuste visuele kenmerken voor ziekteprogressie levert. Large Language Models (LLM's) zijn niet ontworpen voor gestructureerde, tijdsgebonden ziektevoorspelling.
• De uitdaging: Het plannen van behandelingen is een sequentieel besluitvormingsprobleem met veel onzekerheid. Artsen moeten "what-if" scenario's evalueren (counterfactual reasoning): hoe zou de ziekte evolueren onder een behandeling die nog niet is toegepast? Huidige systemen kunnen deze tegenstrijdige scenario's niet effectief simuleren.

Methodologie: CLARITY

CLARITY is een medisch "wereldmodel" (World Model) dat ziekteprogressie simuleert in een latente ruimte in plaats van in pixelruimte. Het systeem combineert visuele data, klinische context en tijdsintervallen om behandelingsstrategieën te plannen via een gesloten lus van simulatie naar beslissing.

Het architecturen bestaat uit drie hoofdcomponenten:

1. Visuele State Encoding (MRI Encoder):

   • Een vooraf getrainde 3D-vision foundation model (bijv. MRI-CORE) wordt gebruikt om pre-behandeling MRI-scans te coderen.
   • LoRA (Low-Rank Adaptation): De backbone wordt fijngestemd met LoRA om zich aan te passen aan longitudinale ziektemodellering zonder de algemene visuele representaties te verliezen. Dit levert een initieel latente staat $z_{pre}$ op.

2. Therapy Policy Agent (MLLM):

   • Een multimodale Large Language Model (bijv. GPT-5) fungeert als agent die kandidaat-behandelingen genereert op basis van de patiëntcontext (genomica, demografie, eerdere therapieën).
   • Deze agent respecteert medische veiligheidsbeperkingen en genereert gestructureerde therapiecombinaties (chemotherapie, radiotherapie, immunotherapie, etc.).
   • De tekstuele beschrijvingen van de therapieën worden gecodeerd tot een dichte embedding ($h^{drug}$).

3. Actor Module (Ziekte-evolutiemodel):

   • Dit is het kernmodel dat de ziekteprogressie simuleert. Het integreert vier inputs: de visuele staat ($z_{pre}$), klinische context ($h^{clin}$), tijdscontext (sinusoidale embedding van het tijdsinterval $\Delta t$) en de therapie-embedding ($h^{drug}$).
   • Post-Treatment Latent Predictor: Voorspelt de latente staat na behandeling ($\hat{z}_{post}$) in plaats van een nieuwe afbeelding te genereren. Dit wordt getraind met een consistentieverlies en een soft-label contrastive loss om semantisch vergelijkbare behandelingen ook in de latente ruimte dicht bij elkaar te houden.
   • Survival Predictor: Gebruikt een bidirectionele cross-attention module om de relatie tussen de pre- en post-behandeling staat te modelleren en voorspelt overlevingskansen en risicoscores.

Inverse Survival Evaluation (De Besluitvormingslus):
In plaats van direct een behandeling te kiezen, gebruikt CLARITY een iteratief proces:

1. De Agent stelt een set kandidaat-therapieën voor.
2. De Actor simuleert de ziekteverloop voor elke kandidaat en berekent een risicoscore.
3. Deze scores worden als feedback teruggevoerd naar de Agent.
4. De Agent verfijnt de therapievoorstellingen iteratief (maximale entropie optimalisatie) om een strategie te vinden die de cumulatieve overlevingsrisico's minimaliseert. Dit vormt een gesloten lus van simulatie naar beslissing.

Belangrijkste Bijdragen

1. Behandelingsafhankelijke ziektemodellering: Het modelleren van longitudinale progressie als continue fysiologische transities in een visuele representatieruimte, wat tegenstrijdige (counterfactual) simulaties mogelijk maakt.
2. Tijds- en klinische conditionering: Het expliciet coderen van continue tijdsintervallen en multimodale patiëntcontext (genomica, demografie) voor gepersonaliseerde voorspellingen.
3. Integratie van voorspelling en besluitvorming: De introductie van een Inverse Survival Evaluation framework dat latente rollouts omzet in adaptieve, interpreteerbare behandelingsaanbevelingen via een feedback-lus.

Resultaten

CLARITY werd getest op drie datasets: twee hersentumor-cohorten (MU-Glioma-Post en UCSF-ALPTDG voor zero-shot validatie) en een borstkanker-dataset (ISPY-2).

• Behandelingsplanning: CLARITY behaalde state-of-the-art prestaties met een F1-score van 57,1% op MU-Glioma-Post, wat een aanzienlijke verbetering is ten opzichte van de beste medische baseline (Huatuo-Vision: 46,4%) en generieke LLM's.
• Overlevingsanalyse: Het model behaalde een C-index van 0,794, wat significant hoger is dan traditionele overlevingsmodellen zoals DeepSurv (0,664) en RSF (0,672). De Kaplan-Meier-curves tonen een duidelijkere scheiding tussen risicogroepen.
• Efficiëntie: In vergelijking met diffusion-based modellen (die pixelruimte gebruiken) is CLARITY 9 tot 15 keer sneller (0,341s vs 38,6s per simulatie) en vereist het aanzienlijk minder rekenkracht (4,21 TFLOPs vs 61,3 TFLOPs).
• Ablatiestudies:
  • Het gebruik van latente dynamiek in plaats van diffusiële reconstructie gaf de grootste prestatieverbetering (+8,8% F1).
  • De iteratieve feedbacklus (Inverse Survival Evaluation) was cruciaal voor het bereiken van de piekprestaties.
  • Modellen getraind op medische data (MRI-CORE) presteerden aanzienlijk beter dan modellen getraind op natuurlijke afbeeldingen.

Significantie

CLARITY vertegenwoordigt een belangrijke doorbraak in de toepassing van wereldmodellen in de geneeskunde. Door te schakelen van pixel-synthese naar latente state-transities, lost het het probleem aan van rekenkundige inefficiëntie en ruis in medische generatieve modellen. Het systeem biedt voor het eerst een robuust raamwerk voor gepersonaliseerd, sequentieel behandelingsplanning dat rekening houdt met onzekerheid en lange-termijn uitkomsten. Dit stelt artsen in staat om beter onderbouwde "what-if" scenario's te evalueren, wat essentieel is voor complexe oncologische behandelingen waar de keuze van de therapie de toekomstige ziektebaan fundamenteel beïnvloedt.