Who Benefits From Sinus Surgery? Comparing Generative AI and Supervised Machine Learning for Predicting Surgical Outcomes in Chronic Rhinosinusitis

Technische Samenvatting: Vergelijking van Generatieve AI en Supervised Machine Learning voor het voorspellen van chirurgische uitkomsten bij Chronische Rhinosinusitis

Probleemstelling
Chronische Rhinosinusitis (CRS) is een heterogene aandoening waarbij de uitkomsten voor patiënten na endoscopische sinuschirurgie (ESS) aanzienlijk variëren. Hoewel klinische richtlijnen chirurgie ondersteunen voor in aanmerking komende patiënten, blijft het voorspellen welke individuen een betekenisvolle verbetering in de kwaliteit van leven zullen bereiken een uitdaging. De studie adresseert de noodzaak voor pre-operatieve besluitvormingsondersteuning om patiënten te identificeren die waarschijnlijk geen betekenisvolle verbetering zullen bereiken in de Sino-Nasal Outcome Test-22 (SNOT-22), gedefinieerd als een reductie van ≥8,9 punten na zes maanden. De kernonderzoeksvraag is of modellen die uitsluitend gebruikmaken van pre-operatieve klinische data, retrospectief patiënten kunnen identificeren die een slechte uitkomst zouden hebben (oftewel, zij die chirurgie hadden moeten vermijden), en hoe Generatieve AI (GenAI) systemen zich verhouden tot traditionele supervised Machine Learning (ML) voor deze specifieke voorspellende taak.

Methodologie
De studie maakte gebruik van een prospectief verzamelde, multi-center cohort van 524 patiënten die een ESS ondergingen, afkomstig uit een door de NIH gefinancierde studie (NCT01332136). De dataset bevatte 50 pre-operatieve attributen zoals demografie, comorbiditeiten, fenotype (CRSwNP versus CRSsNP), objectieve ziektebelasting (Lund–Mackay CT-scores, endoscopische ernst) en baseline SNOT-22 scores.

• Dataverwerking: Post-operatieve variabelen werden strikt uitgesloten om data leakage te voorkomen. Kenmerken werden geharmoniseerd, deterministisch gecodeerd en ontbrekende waarden werden afgehandeld door verwijdering. De dataset werd verdeeld in een 80/20 gestratificeerde train-test set.
• Supervised ML Baselines: De auteurs evalueerden vijf classifiers: Logistische Regressie, Support Vector Machines (SVM), Naïve Bayes, Random Forest en een aangepaste Multi-Layer Perceptron (MLP). De MLP (één verborgen laag, 400 neuronen) werd geselecteerd als de primaire baseline vanwege de superieure balans tussen nauwkeurigheid en recall van de minderheidsklasse.
• Generatieve AI Benchmarking: Vijf state-of-the-art LLM's (ChatGPT/GPT-5 Thinking, MedGPT, Gemini 2.5 Pro, Perplexity Sonar, Claude Sonnet 4.5 en DeepSeek-V3.2) werden getest in een zero-shot setting.
  • Protocol: Gestructureerde pre-operatieve data werden geserialiseerd in prompts. Modellen werden beperkt tot een binaire aanbeveling (0: chirurgie niet aanbevolen; 1: chirurgie aanbevolen) en een betrouwbaarheidsniveau.
  • Stabiliteit: Elk geval werd vijf keer uitgevoerd met vaste decoding-parameters, en voorspellingen werden geaggregeerd via een meerderheidsstemming.
  • RAG-analyse: Een Retrieval-Augmented Generation (RAG) experiment werd uitgevoerd met ChatGPT met een corpus van CRS-richtlijnen om te testen of externe kennis de prestaties verbeterde.
• Evaluatiemetrieken: Prestaties werden beoordeeld met behulp van AUROC, F1-score, Average Precision (AP), kalibratie (Brier score, reliability curves) en decision-curve net benefit. Er werd speciale aandacht besteed aan de detectie van de minderheidsklasse (niet-responders, Klasse 0).

Belangrijkste Resultaten

• Supervised ML Prestaties: De MLP behaalde de hoogste algehele prestatie met een nauwkeurigheid van 85%, een AUROC van 0,66 en een F1-score van 0,83. Cruciaal was dat het de beste bekwaamheid toonde om niet-responders te identificeren (Klasse 0 recall van 0,45) terwijl een hoge precisie voor responders werd behouden.
• GenAI Prestaties: Alle GenAI-modellen presteerden onder de gekalibreerde MLP op het gebied van discriminatie en kalibratie.
  • Discriminatie: De AUROC-scores voor de GenAI-modellen varieerden van 0,36 (Perplexity) tot 0,63 (Claude), wat lager is dan de 0,66 van de MLP.
  • Bias: De meeste GenAI-modellen vertoonden een sterke "behandel-iedereen"-bias, waarbij ze er niet in slaagden niet-responders te identificeren. Zo behaalde MedGPT 0% recall voor de niet-responder klasse (0/20), evenals Perplexity.
  • RAG-impact: Retrieval-Augmented Generation verbeterde de discriminatie van ChatGPT niet (AUROC bleef ~0,57) en verbeterde ook de detectie van de minderheidsklasse niet, wat suggereert dat de tekst van de richtlijnen heuristieken herhaalt die de modellen al geïnternaliseerd hebben zonder specifieke patiëntgegevens toe te voegen.
• Interpreteerbaarheid en Alignment: Ondanks de lagere voorspellende nauwkeurigheid, kwamen de redeneerprocessen van de GenAI-modellen nauw overeen met klinische heuristieken en de feature-belangrijkheid van de MLP. Zowel de LLM's als de MLP identificeerden baseline SNOT-22, CT/endoscopische ernst, poliepfenotype en psychosociale comorbiditeiten (bijv. depressie, fibromyalgia) als cruciale voorspellers.

Belangrijkste Bijdragen

1. Eerste Uitgebreide GenAI Benchmark: Dit werk biedt de eerste rigoureuze, head-to-head evaluatie van meerdere GenAI-systemen tegen getunede tabulaire ML-modellen voor het voorspellen van chirurgische uitkomsten bij CRS met behulp van gestructureerde pre-operatieve data.
2. Gestandaardiseerd Evaluatieprotocol: De auteurs hebben een reproduceerbaar framework opgezet voor "tabular-to-GenAI" evaluatie, inclusief gestandaardiseerde zero-shot prompts, beperkte binaire outputs en stabiliteitstesten via meerdere sampling-runs.
3. Inzicht in GenAI Redenering: De studie onthult dat hoewel GenAI-modellen de kalibratie en discriminatie van supervised ML voor deze specifieke taak missen, hun emergente beslissingslogica de expert-klinische redenering en de feature-belangrijkheid van hoogpresterende ML-modellen weerspiegelt.
4. Voorgestelde Workflow: Het artikel stelt een "ML-first, GenAI-augmented" workflow voor. In dit model voert een gekalibreerde tabulaire ML-classifier de primaire triage en risico-inschatting uit, terwijl GenAI dient als een secundaire laag om beslissingen in begrijpelijke taal uit te leggen, wat de transparantie en gedeelde besluitvorming verbetert.

Significantie en Claims
Het artikel claimt dat voor gestructureerde, pre-operatieve voorspellings-taken met klinische tabulaire data, gekalibreerde supervised ML superieur blijft aan huidige GenAI-systemen wat betreft discriminatie, kalibratie en het vermogen om hoog-risico niet-responders te identificeren. De auteurs stellen dat GenAI niet moet worden gebruikt als vervanging voor ML voor primaire besluitvormingsondersteuning in deze context vanwege de instabiliteit en de neiging tot over-aanbeveling. Echter, de studie benadrukt de unieke waarde van GenAI als een "uitlegger" die complexe modelvoorspellingen kan vertalen naar klinisch vertrouwde rationales, waardoor transparantie en patiëntbetrokkenheid worden ondersteund. De bevindingen suggereren dat de optimale weg vooruit een hybride aanpak is die de betrouwbaarheid van ML voor voorspelling combineert met de communicatieve sterktes van GenAI voor uitleg, in plaats van te vertrouwen op GenAI als een standalone voorspeller.