Privacy-Preserving Local Language Models for Longitudinal Data Retrieval in Chronic Dermatologic Disease: Implementation in Pemphigus Patients

Riepilogo Tecnico: Modelli Linguistici Locali che Preservano la Privacy per il Recupero di Dati Longitudinali nel Pemfigo

Enunciato del Problema
Le malattie dermatologiche croniche, come il pemfigo, richiedono un follow-up a vita, generando una documentazione clinica longitudinale estesa ed eterogenea. Nella pratica routinaria, i clinici affrontano sfide significative nel sintetizzare anni di note di visita redatte da diversi medici per guidare le decisioni di gestione. L'attuale affidamento su revisioni parziali delle cartelle o sul copia-incolla di documentazione precedente introduce variabilità e aumenta il rischio di trascurare dettagli storici critici (ad esempio, precedenti esposizioni a rituximab, tossicità cumulativa da corticosteroidi o infezioni gravi). Sebbene l'Intelligenza Artificiale (IA) e i Modelli Linguistici di grandi dimensioni (LLM) offrano potenzialità per la sintesi clinica, le soluzioni esistenti spesso si basano su inferenze cloud, sollevando preoccupazioni riguardo alla privacy del paziente, alla governance dei dati e alla possibilità di deployment in ambienti sanitari rigorosi. Inoltre, la maggior parte degli studi si concentra su testi brevi o compiti sintetici piuttosto che su registri longitudinali reali su più anni.

Metodologia
Questa serie di casi retrospettiva ha valutato un sistema di Modelli Linguistici Piccoli (SLM) completamente locale e che preserva la privacy, progettato per recuperare caratteristiche cliniche strutturate e generare riassunti longitudinali da registri di follow-up dermatologici grezzi e non elaborati.

• Dataset: Lo studio ha utilizzato dati provenienti da 30 pazienti affetti da pemfigo trattati presso l'Ospedale di Ricerca e Formazione di Istanbul. Il dataset comprendeva 541 note di visita aggregate in 30 registri longitudinali completi (per un totale di 89.336 parole). Non è stata applicata alcuna sintesi manuale o pre-elaborazione; le note sono state estratte direttamente dal sistema informativo ospedaliero (DermaBase).
• Verità di Riferimento (Ground Truth): Due dermatologi esperti hanno annotato 56 caratteristiche clinicamente rilevanti (categoriche, numeriche e basate su date) e hanno generato rapporti finali rivolti ai clinici per ciascun paziente da utilizzare come verità di riferimento.
• Modello e Deployment: Il sistema ha impiegato il modello Qwen3 4B Thinking 2507, distribuito localmente su una workstation (RTX 4090, 24 GB VRAM, 96 GB RAM) tramite LM Studio. L'accesso a Internet è stato disabilitato per garantire la privacy dei dati.
• Procedura di Inferenza:
  • Il modello ha elaborato l'intero registro longitudinale di ciascun paziente come un singolo input (lunghezza del contesto di 90.000 token).
  • L'inferenza è stata condotta in due fasi: prima, il recupero di 56 caratteristiche strutturate specifiche; successivamente, la generazione di un rapporto di sintesi in testo libero (current_status).
  • Per colmare la mancanza di addestramento del modello nel dominio medico, un contesto esplicativo minimo (ad esempio, specifiche soglie del punteggio T per l'osteoporosi) è stato incorporato direttamente nei prompt per le caratteristiche che richiedevano definizioni standardizzate.
  • La procedura di inferenza è stata ripetuta 10 volte per paziente per valutare la stabilità, risultando in 16.800 inferenze totali.
• Valutazione:
  • Caratteristiche Strutturate: Valutate utilizzando l'accuratezza della corrispondenza esatta rispetto alle annotazioni degli esperti.
  • Sintesi in Testo Libero: Valutate utilizzando metriche automatizzate (BLEU, ROUGE) e una valutazione umana in doppio cieco da parte di due dermatologi esperti (>20 anni di esperienza) su una scala Likert a 10 punti per qualità complessiva, accuratezza clinica e utilità.

Risultati Chiave

• Recupero delle Caratteristiche: Il sistema ha raggiunto un'accuratezza media dell'82,25% su 1.680 attività di recupero delle caratteristiche. Le prestazioni variavano in base al tipo di dato:
  • Caratteristiche categoriche: 86,34%
  • Caratteristiche basate su date: 80,56%
  • Caratteristiche numeriche: 70,61% (gli errori riguardavano principalmente un'estrazione imprecisa piuttosto che una errata classificazione grossolana).
• Generazione dei Rapporti:
  • I punteggi di similarità testuale automatizzati erano moderati (BLEU: 0,36; ROUGE-1: 0,52), con i rapporti generati dal modello che risultavano circa il 107% più lunghi rispetto ai rapporti di verità di riferimento a causa di commenti esplicativi aggiuntivi.
  • Valutazione degli Esperti: I dermatologi hanno valutato molto positivamente le sintesi generate dall'IA:
    • Qualità Complessiva: 8,23 – 8,47
    • Accuratezza Clinica: 7,93 – 8,20
    • Utilità Clinica: 8,47 – 8,50
  • Preferenza: Nel 53,3% delle valutazioni (32/60), gli esperti hanno preferito il rapporto generato dall'IA rispetto al rapporto di verità di riferimento generato dal clinico.
• Prestazioni: Il sistema ha dimostrato velocità di inferenza favorevoli (~130 token/secondo), supportando un utilizzo clinico quasi in tempo reale.

Contributi Chiave

1. Implementazione che Preserva la Privacy: Lo studio dimostra la fattibilità di distribuire un SLM capace interamente in locale (offline) per elaborare registri di pazienti sensibili su più anni senza che i dati lascino l'infrastruttura ospedaliera.
2. Sintesi Longitudinale: A differenza di lavori precedenti focalizzati su note di singola visita, questa ricerca convalida la capacità di un SLM di sintetizzare informazioni attraverso anni di narrazioni cliniche eterogenee per estrarre dati strutturati e generare sintesi coerenti.
3. Valutazione nel Mondo Reale: La valutazione ha utilizzato note cliniche grezze e non strutturate direttamente dai sistemi ospedalieri, catturando sfide reali come documentazione incoerente, rischi di allucinazione e la necessità di affinare i prompt per gestire ambiguità cliniche (ad esempio, distinguere "sospetto" da "diagnosi confermata").
4. Comportamento del Modello Specifico per il Compito: I risultati evidenziano che il modello "Thinking" Qwen3 è più adatto alla sintesi narrativa e alla generazione di rapporti rispetto all'estrazione strutturata rigorosa, suggerendo che la selezione del modello dovrebbe essere guidata dal flusso di lavoro clinico specifico.

Significato e Affermazioni
Il documento afferma che gli SLM distribuiti localmente che preservano la privacy possono generare in modo affidabile sintesi longitudinali clinicamente significative e, in certe valutazioni, superare o eguagliare gli esperti umani in termini di preferenza e utilità. Gli autori posizionano questi sistemi non come decisori autonomi, ma come strumenti di supporto per ridurre il carico di lavoro e il carico cognitivo del clinico durante i follow-up di routine.

Lo studio conclude che, sebbene i LM locali mostrino promesse per il recupero di dati longitudinali, il loro deployment nel mondo reale richiede un'attenta ingegneria dei prompt per mitigare le allucinazioni e affrontare le incoerenze nella documentazione. È proposto un lavoro futuro focalizzato sulla valutazione prospettica della riduzione del carico di lavoro, sull'espansione ad altre malattie croniche e sull'integrazione della Generazione Aumentata dal Recupero (RAG) per migliorare ulteriormente la fattualità. Gli autori mantengono una posizione modesta, riconoscendo limitazioni come la progettazione a centro singolo e la rarità della malattia, che necessitano di dataset multicentrici più ampi per una validazione più ampia.