Deployment-Centered Evaluation: Predicting Query-Level Rejection Risk in a Clinical LLM System

Sintesi Tecnica: Valutazione Centrata sulla Distribuzione del Rischio di Rifiuto a Livello di Query nei LLM Clinici

Definizione del Problema
L'integrazione dei Large Language Models (LLM) nei flussi di lavoro clinici introduce una lacuna critica nella valutazione. Le valutazioni tradizionali basate sui benchmark privilegiano la "correttezza" oggettiva (ad esempio, l'accuratezza negli esami di abilitazione medica) e le prestazioni aggregate su query storiche. Tuttavia, queste valutazioni statiche non riescono a catturare l'utilità nel mondo reale, specificamente se un clinico accetterà o "rifiuterà" effettivamente una risposta generata. Il rifiuto è un costrutto rumoroso che riflette una bassa utilità percepita, che può verificarsi anche quando un output è fattualmente corretto a causa di discrepanze nelle aspettative stilistiche, nel contesto o nell'integrazione del flusso di lavoro. Inoltre, i benchmark esistenti si affidano a dataset densamente annotati che sono costosi da costruire e difficili da aggiornare, creando punti ciechi per una distribuzione dinamica e reale. La sfida centrale è prevedere, prima che una risposta venga generata, se una specifica interazione con l'utente comporterà un rifiuto, utilizzando il feedback sparso naturalmente disponibile nei sistemi distribuiti.

Metodologia
Gli autori propongono un framework di valutazione centrato sulla distribuzione basato su un modello di previsione del rifiuto pre-risposta integrato in un sistema di Cartella Clinica Elettronica (EHR) presso un centro medico accademico.

• Formalizzazione del Task: L'obiettivo è apprendere una funzione di punteggio $f(\cdot)$ che predica la probabilità che un utente rifiuti una risposta dell'LLM ($r_i = 1$) rispetto all'accettazione ($r_i = -1$). L'input consiste nella query dell'utente $q_i$ e nel contesto specifico della distribuzione: tipo di professionista ($p_i$), nome del dipartimento ($d_i$), il modello LLM specifico utilizzato ($m_i$) e la lunghezza della cartella clinica del paziente ($l_i$).
• Fonte dei Dati: Lo studio utilizza 4,5 mesi di interazioni reali degli utenti (settembre 2025 – aprile 2026). Da 74.729 interazioni totali, solo 1.196 contenevano un feedback binario esplicito ("pollice su/giù"). Dopo aver filtrato i duplicati e i metadati mancanti, il dataset annotato finale comprendeva 878 coppie query-annotazione.
• Architettura del Modello: Gli autori impiegano un modello di regressione logistica addestrato su embedding di query (generati tramite text-embedding-3-large) combinati con codifiche one-hot del contesto di distribuzione.
  • Selezione delle Caratteristiche: È stata eseguita una ricerca a griglia su 31 possibili combinazioni di caratteristiche (inclusi sottoinsiemi di embedding, professionista, dipartimento, modello e lunghezza del contesto) per massimizzare l'AUROC su un set di validazione.
  • Protocollo di Addestramento: Lo studio utilizza un approccio di analisi prospettica. Un modello iniziale viene addestrato sulle prime 8 settimane di dati. Per le successive 19 settimane, il modello viene riaddestrato dinamicamente ogni settimana incorporando nuovi dati con etichette reali, simulando una finestra di addestramento rotante per adattarsi ai cambiamenti nelle tendenze utente-LLM.
• Baseline: Le prestazioni sono confrontate con modelli che utilizzano solo gli embedding della query, classificatori LLM-judge (utilizzando GPT-4.1) con e senza contesto, e classificatori ingenui "accetta sempre/rifiuta sempre".

Contributi Chiave

1. Previsione Prospettica del Rifiuto: Gli autori dimostrano la fattibilità dell'addestramento di un modello pre-risposta per prevedere il rifiuto dell'utente su future query utilizzando un feedback sparso e reale.
2. Utilità a Valle: Il punteggio di rifiuto è inquadrato come uno strumento decisionale distribuibile. Regolando le soglie operative, lo stesso modello supporta due casi d'uso distinti:
   • Astensione: Filtraggio ad alta precisione (trattenere preventivamente le risposte probabilmente rifiutate) per ridurre la fatica da verifica.
   • Attivazione di Guardrail: Trigger ad alto richiamo (segnalare potenziali problemi per una revisione aggiuntiva) per prevenire che output di bassa qualità raggiungano l'utente.
3. Ruolo del Contesto Specifico della Distribuzione: Il documento stabilisce che sfruttare i metadati (tipo di professionista, dipartimento, modello) supera significativamente l'affidarsi esclusivamente al contenuto della query.

Risultati

• Prestazioni: Il modello con le migliori prestazioni (che incorpora Embedding + Professionista + Dipartimento + Modello) ha raggiunto un AUROC di 0,719 (95% CI: [0,670, 0,767]) sul set di test prospettico.
• Confronto: Questo ha superato la baseline di sola embedding della query (AUROC 0,618) e le baseline LLM-judge (AUROC ~0,52–0,53).
• Importanza delle Caratteristiche: L'analisi quantitativa ha rivelato che il nome del dipartimento e il tipo di professionista sono le caratteristiche più frequenti nelle configurazioni con le migliori prestazioni. Rimuovere gli embedding mantenendo le caratteristiche di contesto ha portato solo a un lieve calo delle prestazioni, suggerendo che il contesto è altamente informativo in contesti con dati scarsi.
• Metriche a Valle:
  • Con una soglia di alta precisione ($\beta = 0,12$), il modello ha raggiunto una precisione di 0,88 (3 falsi positivi), adatta all'astensione.
  • Con una soglia di alto richiamo ($\beta = 4,0$), il modello ha raggiunto un richiamo di 0,99, adatto all'attivazione di guardrail.
• Approfondimenti Qualitativi: L'analisi delle motivazioni del rifiuto ha mostrato una variazione significativa per ruolo e dipartimento. Ad esempio, i medici in cardiologia presentavano alti tassi di rifiuto dovuti a richieste di dettagli clinici specifici, mentre gli infermieri specializzati accettavano spesso riassunti di alto livello. Allo stesso modo, i medici di terapia intensiva rifiutavano query che i medici ospedalieri accettavano, indicando che i criteri di accettazione sono modellati dal flusso di lavoro del dipartimento e dalle aspettative specifiche del ruolo.

Significatività e Rivendicazioni
Il documento sostiene di offrire un punto di partenza per valutazioni specifiche della distribuzione che vadano oltre i benchmark statici verso interventi azionabili. La sua principale significatività risiede nello spostamento dell'obiettivo della valutazione dalla "correttezza" all' "accettazione dell'utente", riconoscendo che in ambito clinico l'utilità è definita da quanto l'output si adatti al contesto specifico e al flusso di lavoro dell'utente.

Gli autori notano con modestia che le loro scoperte derivano da un singolo centro medico accademico e sono limitate dalla scarsità di feedback passivo (solo circa l'1,6% degli utenti ha fornito feedback). Sostengono che, sebbene i loro risultati evidenzino la fattibilità della previsione del rifiuto utilizzando il contesto specifico della distribuzione, sia necessario un lavoro futuro per affrontare il bias di selezione e generalizzare questi risultati a contesti di distribuzione più ampi. Il lavoro non pretende di risolvere tutti i problemi di sicurezza dell'IA clinica, ma dimostra che chi sta chiedendo, in quale contesto e per quale scopo, conta tanto quanto la domanda stessa nel determinare il successo del sistema.