Technische Samenvatting: Van Hazardfuncties naar Taalruimte

Probleemstelling

Overlevingsanalyse is een fundamentele klinische voorspellingsopgave waarbij het gaat om tijd-tot-gebeurtenis-uitkomsten onder censurering. Hoewel klassieke methoden zoals het Cox proportional hazards model interpreteerbaar en robuust blijven, vertrouwen moderne neurale overlevingsmodellen doorgaans op expliciete predictieve koppen en gespecialiseerde overlevingsverliesfuncties (bijv. de Cox partial likelihood), in plaats van op taalgebaseerd toezicht. Daartegenover staat dat recent werk in tabelvormige Large Language Models (LLMs) heeft aangetoond dat gestructureerde data als natuurlijke taalprompts voor classificatie-taken kunnen worden gebruikt. Het blijft echter onduidelijk of generatieve LLM's de continue, tijd-tot-gebeurtenis risicostructuren die door statistische overlevingsmodellen worden geschat, kunnen internaliseren wanneer zij uitsluitend worden getraind via standaard tekstgeneratie-doelstellingen, zonder expliciete overlevingsspecifieke verliesfuncties.

Methodologie

De auteurs stellen een Cox-gesuperviseerd distillatieframework voor dat overlevingsrisico-informatie overdraagt van een statistisch docentmodel naar een generatieve LLM-student. De pijplijn bestaat uit vier primaire fasen:

1. Cox Docent Training: Een standaard Cox proportional hazards model wordt gefit op gestructureerde klinische covariaten ($x_i$), follow-up tijden ($t_i$) en event indicatoren ($\delta_i$). Dit model genereert patiëntspecifieke 1-jaars overlevingsrisico-inschattingen ($r_i = 1 - S_i(\tau)$), die dienen als de grondwaarheid (ground-truth) trainingsdoelen.
2. Prompt Constructie: Gestructureerde patiëntendossiers worden omgezet in natuurlijke taalprompts. Elke prompt bevat een taakinstructie, een gestructureerde lijst met klinische covariaten (bijv. "Age: 69", "BMI: 26.4") en een cue ("Risk:").
3. LLM Fine-Tuning (Student): Een Qwen2.5-1.5B-Instruct model wordt gefinetuned met behulp van Low-Rank Adaptation (LoRA). De trainingsdoelstelling is standaard autoregressieve supervised fine-tuning (SFT) met een completion-only loss. Het model leert de tekstuele prompt te mappen naar een scalaire risicowaarde geformatteerd als een viercijferige decimale string (bijv. "0.2374"). Cruciaal is dat het model niet wordt geoptimaliseerd met een overlevingsspecifieke verliesfunctie (zoals Eq. 1 in het paper); het wordt puur getraind als een tekstgeneratie-taak waarbij het doel de door de Cox-methode afgeleide risico-string is.
4. Inference en Evaluatie: Tijdens de inference genereert het gefinetunede model risico-strings autoregressief. Deze strings worden geparsed via reguliere expressies om numerieke voorspellingen te extraheren. Prestaties worden geëvalueerd met standaard overlevingsmetrieken: Harrell's C-index (discriminatie), kalibratiefout ($D_{21}$) en percentielgebaseerde Net Reclassification Improvement (NRI).

Het framework werd geëvalueerd op drie publieke datasets: GBSG2 (borstkanker), ACTG320 (HIV/AIDS) en WHAS500 (acuut myocardinfarct).

Belangrijkste Resultaten

Over alle drie de datasets heen behaalde de Qwen-gebaseerde LLM competitieve prestaties vergeleken met het Cox-docentmodel, ondanks dat deze werd getraind als een tekstgeneratie-taak:

• Discriminatie: Op de WHAS500 dataset behaalde de LLM een C-index van 0.7563, wat nauw aansluit bij de 0.7658 van het Cox-model. Vergelijkbare resultaten werden waargenomen op GBSG2 (0.6801 vs. 0.6780) en ACTG320 (0.7066 vs. 0.7038).
• Kalibratie: De LLM behield een matige kalibratie, hoewel deze een iets hogere fout vertoonde dan het Cox-model op WHAS500 (0.0711 vs. 0.0583). In sommige subgroepen (bijv. Leeftijd > 60j in GBSG2) behaalde de LLM een lagere kalibratiefout dan het Cox-model.
• Latente Ruimte Geometrie: t-SNE visualisaties van de verborgen toestanden (hidden states) van het model onthulden gladde risicogradiënten in de latente ruimte. Patiënten met vergelijkbare voorspelde risico's clusterden samen, wat suggereert dat het model overlevingsrisico representeert als een continue structuur in plaats van discrete categorieën.
• Reclassificatie: Percentielgebaseerde NRI-analyse gaf aan dat hoewel de LLM over het algemeen de risicovoordeling behield, het de rangorde van het Cox-model niet volledig behield, met degradatie met name bij event-gevallen (NRI cases = -0.2067 op WHAS500).

Betekenis en Claims

Het paper claimt dat large language models de overlevingsrisico-structuur kunnen internaliseren door middel van louter autoregressieve supervised fine-tuning, zonder expliciete overlevingsdoelstellingen. De belangrijkste bijdragen zijn:

1. Haalbaarheid van Tekst-gebaseerde Overlevingsmodellering: De studie toont aan dat het omzetten van gestructureerde covariaten naar tekst en het trainen van een LLM om risicoscores te genereren een levensvatbaar alternatief is voor traditionele neurale overlevingsarchitecturen.
2. Continue Representatie: De observatie van gladde risicogradiënten in de latente ruimte suggereert dat LLM's klinisch betekenisvolle, continue representaties van tijd-tot-gebeurtenis risico kunnen leren, in plaats van risico als geïsoleerde classificatiebakken te behandelen.
3. Flexibiliteit voor Heterogene Data: De auteurs suggereren dat een tekstgebaseerd framework praktische voordelen kan bieden in omgevingen met heterogene klinische data of incompatibele feature-schema's, aangezien het conditioneert op natuurlijke taalbeschrijvingen in plaats van rigide numerieke feature-vectoren.

De auteurs hanteren een bescheiden standpunt door te erkennen dat het Cox-model het "voorspellende plafond" definieert voor deze distillatie-aanpak en dat de LLM hogere computationele kosten met zich meebrengt. Zij merken op dat het framework de Cox-methode momenteel niet overtreft, maar wel een nieuwe route biedt naar de integratie van tijd-tot-gebeurtenis redeneren in taalmodellen. Toekomstig werk wordt voorgesteld om robuustheid tegen informatieve missingness en distributieverschuivingen tussen instellingen aan te pakken.