EveryQuery: Zero-Shot Clinical Prediction via Task-Conditioned Pretraining over Electronic Health Records

Each language version is independently generated for its own context, not a direct translation.

EveryQuery: Il "Cercatore Medico" che non deve immaginare il futuro

Immagina di avere un medico super-intelligente che ha letto la storia medica di milioni di pazienti (cartelle cliniche elettroniche). Il suo compito è rispondere a domande specifiche: "Questo paziente avrà un infarto nei prossimi 30 giorni?" oppure "Riceverà un nuovo farmaco?".

Fino a oggi, i migliori modelli di intelligenza artificiale per fare questo lavoro funzionavano come un scrittore di romanzi fantascientifici. Per rispondere alla domanda, dovevano "inventare" (generare) 20 o 30 possibili futuri diversi per quel paziente, leggerli tutti e poi contare quante volte l'evento era successo in quelle storie immaginarie.

Il problema: È come chiedere a uno scrittore di scrivere 20 finali diversi per un libro solo per vedere se il protagonista muore. È lentissimo, costoso e, se l'evento è raro (come un infarto), spesso in nessuno dei 20 finali succede nulla, quindi il modello dice "non so" o sbaglia.

EveryQuery cambia completamente le regole del gioco. Non è uno scrittore di romanzi, ma un investigatore esperto.

1. Come funziona? (L'analogia del Detective)

Invece di scrivere storie future, EveryQuery prende due cose in mano:

La storia medica del paziente (le prove del passato).
Una domanda specifica (il "caso" da risolvere), scritta in un linguaggio strutturato.

Immagina di entrare in una biblioteca.

Il vecchio modello (autoregressivo) prende un paziente, chiude gli occhi e immagina 20 scenari diversi, sperando che uno di loro contenga la risposta.
EveryQuery prende il paziente, gli mette davanti un cartello con scritto "C'è il codice X nei prossimi 30 giorni?" e guarda direttamente nella storia del paziente per trovare la risposta esatta in un solo colpo d'occhio.

Non deve "immaginare" nulla. Deve solo cercare la risposta basandosi sulla domanda che gli hai fatto.

2. Perché è così veloce? (Il paragone con il volo)

Il vecchio metodo: Per prevedere il tempo per 100 persone, devi far volare 20 aerei diversi per ogni persona, raccogliere i dati e fare la media. Ci vuole una giornata intera.
EveryQuery: Per prevedere il tempo per 100 persone, lanci un solo satellite che scatta una foto istantanea. È 3.000 volte più veloce.

In termini tecnici, il vecchio modello deve fare 20 "passi" di calcolo per ogni paziente. EveryQuery ne fa solo uno.

3. Il superpotere: Gli eventi rari

Questo è il punto più importante.
Immagina di cercare un ago in un pagliaio.

Se il tuo metodo è "immaginare 20 pagliai diversi", è molto probabile che in nessuno di essi ci sia l'ago. Il modello dirà: "Non c'è".
EveryQuery sa esattamente cosa sta cercando (l'ago). Guarda il pagliaio del paziente e dice: "Ecco l'ago, anche se è raro".

Il paper dimostra che EveryQuery è molto meglio dei vecchi modelli proprio quando si tratta di eventi rari (malattie poco comuni), perché non dipende dalla "fortuna" di averli generati in una simulazione casuale.

4. La domanda è tutto (La "Promptabilità")

Con i vecchi modelli, se volevi cambiare la domanda (es. da "30 giorni" a "48 ore"), dovevi spesso riaddestrare il modello o cambiare tutto il processo.
Con EveryQuery, è come usare un motore di ricerca:

Scrivi: "Cerca diabete tra 30 giorni" -> Ottieni una risposta.
Scrivi: "Cerca diabete tra 7 giorni" -> Ottieni una risposta diversa, istantaneamente, senza riavviare nulla.
Il modello è stato addestrato a capire che la domanda fa parte del compito, proprio come quando chiedi a un assistente virtuale "Che tempo fa?" o "Chi è il presidente?".

5. Il limite attuale (La "Sindrome del Tutto o Niente")

C'è un piccolo difetto, come ogni nuova tecnologia.
EveryQuery è bravissimo a rispondere a domande semplici: "Accadrà X?".
Ma fatica con domande complesse che richiedono logica "O": "Accadrà X OPPURE Y OPPURE Z?" (Ad esempio: "Il paziente verrà ricoverato per qualsiasi motivo?").
Per rispondere a questo, il modello dovrebbe fare 70 domande separate e sommare i risultati, perdendo un po' di precisione. Il vecchio modello, che "immagina" l'intero futuro, vede automaticamente se succede qualunque cosa.
Gli autori promettono di risolvere questo problema rendendo la "lingua" delle domande più ricca in futuro.

In sintesi

EveryQuery è un nuovo tipo di intelligenza artificiale medica che non "sogna" il futuro, ma risponde direttamente alle domande basandosi sui dati.

È più veloce: 3.000 volte più veloce.
È più preciso: Soprattutto per le malattie rare.
È più flessibile: Puoi fargli domande diverse in tempo reale senza riaddestrarlo.

È come passare da un oracolo che deve meditare per ore per darti una risposta vaga, a un medico esperto che legge la tua cartella e ti dà una diagnosi precisa in un secondo.

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema: Limiti dei Modelli Autoregressivi per EHR

I modelli fondazione pre-addestrati su Cartelle Cliniche Elettroniche (EHR) hanno dimostrato capacità di previsione clinica "zero-shot" (senza addestramento specifico per il task) generando futuri sintetici dei pazienti tramite approcci autoregressivi. Tuttavia, questo paradigma presenta tre limiti fondamentali:

Costo Computazionale Elevato: Ottenere una singola previsione richiede il campionamento di molte traiettorie future (es. 20 o più) e l'aggregazione statistica dei risultati, rendendo l'inferenza lenta.
Rumore Statistico e Varianza: Le stime sono rumorose, specialmente per eventi clinici rari. Poiché gli eventi rari potrebbero non apparire in nessuna delle traiettorie campionate, le probabilità stimate sono quantizzate e spesso nulle.
Mancanza di "Promptability": Gli utenti non possono condizionare direttamente le previsioni su domande cliniche specifiche senza procedure di aggregazione personalizzate o modifiche alla pipeline di inferenza.

Esistono modelli discriminativi multitask efficienti, ma richiedono addestramento specifico per ogni task, perdendo la generalizzazione zero-shot.

2. Metodologia: EveryQuery e Task-Conditioned Pretraining

Gli autori introducono EveryQuery, un modello fondazione EHR che risolve i problemi sopra citati attraverso il pre-addestramento condizionato al task.

Formulazione del Problema

Invece di generare sequenze future, EveryQuery apprende a stimare direttamente la probabilità che un evento specifico accada in una finestra temporale data, data la storia del paziente e una query strutturata.

Input: Una sequenza di token medici $x$ (storia del paziente) e una query $q = (c, \Delta t)$ , dove $c$ è un codice medico (es. un farmaco o una diagnosi) e $\Delta t$ è la finestra temporale (es. 30 giorni).
Output: La probabilità binaria che il codice $c$ appaia nella storia futura del paziente entro $\Delta t$ .

Architettura

Backbone: Un singolo trasformatore bidirezionale (basato su ModernBERT-base) con 22 layer e circa 149 milioni di parametri.
Meccanismo di Query: Il codice della query $c$ viene mappato in un token e preposto alla sequenza della storia del paziente. Il token della query partecipa all'attenzione incrociata con tutti i token del paziente, permettendo al modello di focalizzarsi sulle parti rilevanti della storia clinica in base alla domanda.
Teste di Predizione: Due MLP separati producono:
1. $\hat{y}_{occurs}$ : Probabilità che l'evento si verifichi.
2. $\hat{y}_{cens}$ : Probabilità che il dato sia censurato (mancanza di follow-up sufficiente).

Strategia di Pre-addestramento

Il modello viene addestrato su combinazioni casuali di storie di pazienti e query estratte da un vocabolario di 10.000 codici (su un totale di 11.467).

Obiettivo: Minimizzare una funzione di perdita multi-task che combina la cross-entropia per la censura e per l'occorrenza dell'evento.
Inferenza Zero-Shot: All'inferenza, l'utente fornisce i parametri della query. Il modello esegue un singolo passaggio in avanti (forward pass) deterministico per ottenere la previsione, senza generazione di traiettorie o fine-tuning.

3. Risultati Chiave

Il modello è stato valutato sul dataset MIMIC-IV confrontato con una baseline autoregressiva (MEDS-EIC-AR) su 39 task di previsione casuali.

Prestazioni Zero-Shot: EveryQuery supera la baseline autoregressiva nell'82% dei task (32 su 39), con un miglioramento medio dell'AUC di +0.16 (IC 95%: [0.10, 0.22]).
Generalizzazione (Out-of-Distribution): Il modello mantiene prestazioni elevate anche su codici mai visti come target durante il pre-addestramento (94% di vittorie su task OOD), dimostrando che il condizionamento si trasferisce a nuovi target.
Vantaggio sugli Eventi Rari: Esiste una correlazione negativa significativa tra la prevalenza dell'evento e il vantaggio di EveryQuery. Mentre le prestazioni della baseline autoregressiva crollano drasticamente per eventi rari (a causa della scarsità di occorrenze nelle traiettorie campionate), EveryQuery mantiene prestazioni stabili indipendentemente dalla prevalenza.
Efficienza Computazionale: EveryQuery è circa 3.000 volte più veloce della baseline autoregressiva per un singolo task, richiedendo un solo passaggio in avanti invece della generazione di 20 traiettorie.
Analisi delle Rappresentazioni: L'analisi degli embedding mostra che lo spazio rappresentativo è organizzato per query e non per paziente. Le rappresentazioni per la stessa query su pazienti diversi sono più simili tra loro rispetto a quelle dello stesso paziente con query diverse, confermando che il modello condiziona attivamente la rappresentazione interna sulla domanda.

4. Limitazioni e Sfide

Linguaggio di Query Limitato: Il linguaggio attuale supporta solo predicati temporali su un singolo codice.
Fallimento su Task Disgiuntivi: Il modello fatica su task che richiedono ragionamento disgiuntivo (es. "Riammissione ospedaliera in 30 giorni", che implica qualsiasi di 70 codici di ammissione). L'aggregazione post-hoc delle previsioni per singoli codici non riesce a recuperare le informazioni implicite catturate dai modelli generativi, portando a prestazioni inferiori (AUC 0.56 vs 0.64 della baseline).

5. Significato e Contributi

Il lavoro di EveryQuery rappresenta un cambio di paradigma significativo per i modelli fondazione in ambito sanitario:

Superamento del compromesso Efficienza-Generalizzazione: Dimostra che è possibile ottenere inferenza zero-shot, efficiente e "promptabile" senza sacrificare l'accuratezza, a differenza degli approcci autoregressivi o multitask tradizionali.
Soluzione al Problema degli Eventi Rari: Offre una soluzione pratica alla limitazione fondamentale dell'inferenza basata su traiettorie per eventi a bassa prevalenza, eliminando la necessità di campionamento massivo.
Interattività Clinica: Abilita l'interazione diretta con il modello tramite query strutturate, rendendo i modelli fondazione più accessibili per compiti clinici di nicchia senza necessità di ri-addestramento.

In conclusione, EveryQuery stabilisce che l'addestramento condizionato al task è un'alternativa superiore alla generazione autoregressiva per molti compiti predittivi clinici, suggerendo che il futuro dei modelli fondazione EHR risiederà nell'arricchimento del linguaggio di query per supportare operazioni logiche complesse (disgiunzioni, congiunzioni) mantenendo l'efficienza.