Multimodal Fusion of Pathology Free-Text and Clinical Data Enhances Complication-Risk Discrimination After Implant-Based Breast Reconstruction

Sintesi Tecnica: Fusione Multimodale di Testo Libero Patologico e Dati Clinici per la Discriminazione del Rischio di Complicanze

Problematica
La ricostruzione mammaria con protesi è l'opzione chirurgica predominante dopo la mastectomia, eppure circa un terzo delle pazienti sviluppa complicanze entro due anni. Gli attuali modelli di machine learning per la previsione di tali complicanze si affidano esclusivamente a variabili cliniche strutturate e curate manualmente (ad es. BMI, età, comorbidità), ignorando le informazioni prognostiche incorporate nei rapporti patologici narrativi. Sebbene i Large Language Models (LLM) abbiano dimostrato la capacità di estrarre dati categorici dal testo clinico, la morfometria numerica (come il peso del campione di mastectomia) rimane in gran parte inesplorata. Inoltre, nessun studio precedente ha tentato con successo di fondere le caratteristiche derivate dal testo con i dati clinici strutturati per migliorare la stratificazione del rischio in questo dominio.

Metodologia
Gli autori hanno sviluppato una pipeline multimodale completamente on-premise e open-source per colmare questa lacuna. La metodologia si compone di tre componenti primarie:

1. Estrazione di Informazioni Basata su LLM:

   • Un LLM open-source (Gemma 3, 27 miliardi di parametri) è stato implementato in un setting zero-shot per estrarre la morfometria numerica dai rapporti patologici in testo libero.
   • Il modello è stato istruito tramite prompt per estrarre campi specifici, inclusi i pesi dei campioni di mastectomia del seno sinistro/destro (in grammi), le dimensioni, i margini profondi e il numero di linfonodi.
   • L'inferenza è stata eseguita on-premise utilizzando 4× GPU NVIDIA L40S con decoding deterministico per garantire la riproducibilità.
   • Gli output in formato JSON estratti sono stati analizzati con una rigorosa validazione dello schema, normalizzando le unità (ad es. da kg a g) e gestendo i valori mancanti.

2. Allineamento Contrastivo Multimodale (Stile CLIP):

   • Per fondere il testo non strutturato con i dati strutturati, gli autori hanno impiegato un'architettura a doppio encoder ispirata a CLIP (Contrastive Language-Image Pre-training).
   • Encoder: Transformer indipendenti PubMedBERT-base hanno codificato i rapporti patologici originali e le narrazioni cliniche templatizzate (derivate dalle variabili strutturate).
   • Pooling: Per i documenti che superavano il limite di 512 token, sono state elaborate finestre sovrapposte e aggregate tramite uno strato di pooling a self-attention apprendibile per produrre un singolo vettore consapevole del contesto.
   • Obiettivo di Addestramento: Il modello è stato addestrato utilizzando una perdita contrastiva InfoNCE per massimizzare la similarità del coseno tra le coppie patologia-clinica corrispondenti all'interno di un mini-batch.
   • Task Ausiliari: Per garantire la ritenzione semantica, l'addestramento ha incluso classificatori ausiliari: un classificatore softmax sul token [CLS] della patologia per predire la lateralità del campione (sinistra, destra, bilaterale) e un classificatore sigmoidale multi-label sul token [CLS] clinico per ricostruire attributi come lo stato di fumatore e l'ipertensione.

3. Modellazione Predittiva e Fusione:

   • Baseline: Un modello LightGBM addestrato su 62 variabili cliniche strutturate ha servito come baseline primaria.
   • Aggiunta di Morfometria: Le caratteristiche numeriche estratte (specificamente il peso totale della mastectomia) sono state aggiunte alla baseline.
   • Fusione Ensemble: Il modello finale ha utilizzato un ensemble a voto soft (soft-voting). Esso ha combinato:
     • Il classificatore LightGBM addestrato sulle caratteristiche morfometriche.
     • Un Support Vector Classifier (SVC) addestrato sugli embedding [CLS] a 768 dimensioni (troncati a 256 dimensioni e normalizzati L2) provenienti dal doppio encoder.
   • L'ensemble ha assegnato pesi uguali (1:1) alle predizioni morfometriche e a quelle basate sugli embedding.

Risultati Chiave

• Accuratezza dell'Estrazione: L'LLM ha raggiunto un'accuratezza di estrazione combinata del 96,3% (78/81 casi) per i pesi dei campioni di mastectomia. Nello specifico, ha ottenuto un'accuratezza del 100% sui rapporti del seno sinistro (37/37) e del 93,2% sui rapporti del seno destro (41/44). Gli errori sono stati principalmente dovuti a rapporti che omettevano il peso del campione, causando l'errata estrazione del peso dell'impianto da parte del modello.
• Allineamento Cross-Modale: Il modello addestrato con CLIP ha allineato con successo gli embedding clinici e patologici in un manifold UMAP condiviso. Su un set di validazione di 215 coppie, il modello ha ottenuto un arricchimento significativo rispetto alle baseline casuali nel retrieval cross-modale (ad es. Clinical→Pathology Recall@50 = 0,781, un miglioramento di 3,36× rispetto al caso).
• Discriminazione del Rischio:
  • La baseline Clinical LightGBM ha raggiunto un AUROC di 0,740.
  • L'aggiunta del solo peso numerico estratto (M2) ha prodotto un incremento marginale e non significativo a 0,744.
  • Il pieno ensemble multimodale (M2 + entrambi gli embedding [CLS] clinico e patologico) ha ottenuto la performance più elevata con un AUROC di 0,764 (p=0,027 rispetto alla baseline).
  • A una specificità fissa dell'80%, la sensibilità è migliorata da 0,573 (baseline) a 0,609 (miglior ensemble). A una soglia di probabilità di 0,50, il Valore Predittivo Positivo (PPV) è aumentato da 0,668 a 0,828.
• Performance per Sottogruppi: Il modello ha dimostrato una performance robusta attraverso i sottogruppi, con una discriminazione particolarmente forte nelle pazienti con intervalli espansore-impianto più brevi (<180 giorni), dove l'AUROC ha raggiunto lo 0,796.
• Interpretabilità: L'analisi SHAP ha confermato che il modello si è basato su caratteristiche clinicamente coerenti. I principali contributori sono stati l'intervallo tra espansore e impianto (TEtoImplant), il BMI e il peso totale della mastectomia. I grafici di dipendenza hanno rivelato relazioni non lineari, come un aumento del rischio simile a una soglia per intervalli superiori a circa 6–12 mesi.

Significatività e Rivendicazioni
Il paper sostiene che questo studio fornisce la prima prova che gli LLM open-source, operanti on-premises, possono estrarre in modo affidabile morfometrie numeriche ed embedding contestuali da rapporti patologici narrativi per migliorare la predizione del rischio clinico.

• Privacy e Accessibilità: Operando interamente on-premises con modelli open-source, il framework garantisce che le informazioni sanitarie protette (PHI) non lascino mai il controllo istituzionale ed evita costi per singola chiamata, rendendolo accessibile ai centri con risorse limitate.
• Sblocco di Dati Inesplorati: Lo studio dimostra che il testo patologico contiene segnali prognostici (ad es. indizi lessicali fini, relazioni temporali e qualificatori di incertezza) che non vengono catturati dai soli dati strutturati.
• Utilità Clinica: Sebbene il guadagno statistico in AUROC sia modesto (+0,024), gli autori sostengono che anche piccoli miglioramenti producono guadagni clinicamente significativi nell'identificare pazienti ad alto rischio, informando potenzialmente la pianificazione chirurgica, il counseling del paziente e il follow-up postoperatorio.
• Generalizzabilità: Gli autori posizionano questo framework multimodale, interpretabile e rispettoso della privacy come un approccio generalizzabile per potenziare la predizione del rischio nella chirurgia oncologica, andando oltre i limiti delle sole baseline tabulari.

Gli autori rimangono modesti riguardo ai limiti, riconoscendo che la natura monocentrica dello studio può limitare la generalizzabilità a causa di shift di dominio nei template dei rapporti e che l'endpoint composito raggruppa complicazioni eterogenee. Suggeriscono che il lavoro futuro dovrebbe concentrarsi sulla validazione multicentrica e sull'integrazione dei dati di imaging.