Who Benefits From Sinus Surgery? Comparing Generative AI and Supervised Machine Learning for Predicting Surgical Outcomes in Chronic Rhinosinusitis

Sintesi Tecnica: Confronto tra IA Generativa e Machine Learning Supervisionato per la Predizione degli Esiti Chirurgici nella Rinosinusite Cronica

Definizione del Problema
La rinosinusite cronica (CRS) è una condizione eterogenea in cui gli esiti dei pazienti dopo la chirurgia endoscopica dei seni paranasali (ESS) variano significativamente. Sebbene le linee guida cliniche supportino la chirurgia per i pazienti idonei, prevedere quali individui otterranno un miglioramento significativo della qualità della vita rimane una sfida. Lo studio affronta la necessità di un supporto decisionale pre-operatorio per identificare i pazienti improbabili nel raggiungere una Differenza Clinicamente Importante Minima (MCID) nel test Sino-Nasal Outcome Test-22 (SNOT-22), definita come una riduzione di ≥8,9 punti a sei mesi. La domanda centrale della ricerca è se modelli che utilizzano esclusivamente dati clinici pre-operatori possano identificare retrospettivamente i pazienti che avrebbero avuto esiti scarsi (ovvero, coloro che avrebbero dovuto evitare la chirurgia) e come i sistemi di IA Generativa (GenAI) si confrontino con il tradizionale Machine Learning (ML) supervisionato in questo specifico compito predittivo.

Metodologia
Lo studio ha utilizzato una coorte prospettica multi-centro di 524 pazienti sottoposti a ESS, derivata da uno studio finanziato dall'NIH (NCT01332136). Il dataset includeva 50 attributi pre-operatori quali demografia, comorbidità, fenotipo (CRSwNP vs. CRSsNP), carico patologico oggettivo (punteggi CT Lund–Mackay, severità endoscopica) e punteggi SNOT-22 basali.

• Elaborazione dei Dati: Le variabili post-operatorie sono state rigorosamente escluse per prevenire il data leakage. Le caratteristiche sono state armonizzate, codificate deterministicamente e i valori mancanti gestiti tramite rimozione. Il dataset è stato suddiviso in un set di addestramento-test stratificato 80/20.
• Baseline di ML Supervisionato: Gli autori hanno valutato cinque classificatori: Regressione Logistica, Support Vector Machines (SVM), Naïve Bayes, Random Forest e un Multi-Layer Perceptron (MLP) personalizzato. L'MLP (un livello nascosto, 400 neuroni) è stato selezionato come principale baseline grazie al suo equilibrio superiore tra accuratezza e richiamo (recall) della classe minoritaria.
• Benchmarking della GenAI: Cinque LLM allo stato dell'arte (ChatGPT/GPT-5 Thinking, MedGPT, Gemini 2.5 Pro, Perplexity Sonar, Claude Sonnet 4.5 e DeepSeek-V3.2) sono stati testati in un setting zero-shot.
  • Protocollo: I dati pre-operatori strutturati sono stati serializzati in prompt. I modelli sono stati vincolati a produrre un output binario di raccomandazione (0: chirurgia non raccomandata; 1: chirurgia raccomandata) e un livello di confidenza.
  • Stabilità: Ogni caso è stato eseguito cinque volte con parametri di decoding fissi e le predizioni sono state aggregate tramite voto di maggioranza.
  • Analisi RAG: Un esperimento di Generazione Aumentata da Recupero (RAG) è stato condotto con ChatGPT utilizzando un corpus di linee guida sulla CRS per testare se la conoscenza esterna migliorasse le prestazioni.
• Metriche di Valutazione: Le prestazioni sono state valutate utilizzando AUROC, F1 score, Average Precision (AP), calibrazione (Brier score, curve di affidabilità) e curva di beneficio netto decisionale. Particolare attenzione è stata prestata alla rilevazione della classe minoritaria (non-responder, Classe 0).

Risultati Chiave

• Prestazioni del ML Supervisionato: L'MLP ha ottenuto la prestazione complessiva più elevata con un'accuratezza dell'85%, un AUROC di 0,66 e un F1 score di 0,83. Fondamentalmente, ha dimostrato la migliore capacità di identificare i non-responder (recall della Classe 0 di 0,45) mantenendo un'alta precisione per i responder.
• Prestazioni della GenAI: Tutti i modelli GenAI sono stati inferiori all'MLP calibrato in termini di discriminazione e calibrazione.
  • Discriminazione: Gli score AUROC per i modelli GenAI variavano da 0,36 (Perplexity) a 0,63 (Claude), tutti inferiori allo 0,66 dell'MLP.
  • Bias: La maggior parte dei modelli GenAI ha mostrato un forte bias di "trattamento universale", fallendo nell'identificare i non-responder. Ad esempio, MedGPT ha ottenuto lo 0% di recall per la classe dei non-responder (0/20), così come Perplexity.
  • Impatto RAG: La Generazione Aumentata da Recupero non ha migliorato la discriminazione di ChatGPT (l'AUROC è rimasto ~0,57) né la rilevazione della classe minoritaria, suggerendo che il testo delle linee guida riitera euristiche già interiorizzate dai modelli senza aggiungere segnali specifici del paziente.
• Interpretabilità e Allineamento: Nonostante la minore accuratezza predittiva, i processi di ragionamento dei modelli GenAI si allineavano strettamente alle euristiche cliniche e all'importanza delle caratteristiche (feature importance) dell'MLP. Sia gli LLM che l'MLP hanno identificato il SNOT-22 basale, la severità CT/endoscopica, il fenotipo polipoide e le comorbidità psicosociali (es. depressione, fibromyalgia) come predittori critici.

Contributi Chiave

1. Primo Benchmark Completo della GenAI: Questo lavoro fornisce la prima valutazione rigorosa e diretta di molteplici sistemi GenAI contro modelli di ML tabulare ottimizzati per la predizione degli esiti chirurgici nella CRS utilizzando dati pre-operatori strutturati.
2. Protocollo di Valutazione Standardizzato: Gli autori hanno stabilito un framework riproducibile per la valutazione "da-tabulare-a-GenAI", includendo prompt zero-shot standardizzati, output binari vincolati e test di stabilità tramite molteplici cicli di campionamento.
3. Intuizione sul Ragionamento della GenAI: Lo studio rivela che, sebbene i modelli GenAI manchino della calibrazione e della discriminazione del ML supervisionato per questo specifico compito, il loro logica decisionale emergente rispecchia il ragionamento clinico esperto e l'importanza delle caratteristiche dei modelli ML ad alte prestazioni.
4. Workflow Proposto: Il documento propone un workflow "ML-first, GenAI-augmented". In questo modello, un classificatore ML tabulare calibrato esegue il triage primario e la stima del rischio, mentre la GenAI funge da secondo livello per spiegare le decisioni in linguaggio naturale, migliorando la trasparenza.

Significatività e Rivendicazioni
Il documento sostiene che, per compiti di predizione basati su dati tabulari pre-operatori strutturati, il ML supervisionato calibrato rimane superiore ai sistemi GenAI attuali in termini di discriminazione, calibrazione e capacità di identificare i non-responder ad alto rischio. Gli autori argomentano che la GenAI non debba sostituire il ML per il supporto decisionale primario in questo contesto a causa della sua instabilità e della tendenza all'over-recommendation. Tuttavia, lo studio evidenzia il valore unico della GenAI come "esplicatore" capace di tradurre previsioni di modelli complessi in razionali clinicamente familiari, supportando così la trasparenza e l'impegno del paziente. I risultati suggeriscono che la strada ottimale sia un approccio ibrido che sfrutta l'affidabilità del ML per la predizione e i punti di forza comunicativi della GenAI per la spiegazione, piuttosto che fare affidamento sulla GenAI come predittore autonomo.