Hybrid Decision Making via Conformal VLM-generated Guidance

1. Il Problema

Nel contesto di settori ad alto rischio come la sanità, il diritto e la sicurezza pubblica, la decisione automatizzata completa è spesso inappropriata a causa della necessità di giudizio contestuale e dei costi elevati degli errori. Il Decision Making Ibrido (HDM) cerca di combinare le forze umane e quelle dell'IA. Tuttavia, gli approcci esistenti presentano due limiti principali:

1. Separazione delle responsabilità: Molti metodi assegnano la decisione finale o all'umano o alla macchina, limitando la collaborazione diretta sullo stesso caso.
2. Qualità della guida: I framework esistenti di "Learning to Guide" (LtG), come SLOG o MEDGELLAN, forniscono spesso guide testuali che aggregano informazioni su tutti i possibili esiti, rendendole difficili da digerire. Inoltre, le guide possono mancare di una struttura argomentativa chiara, lasciando l'utente incerto su come interpretarle.
3. Sicurezza: Esiste il rischio di falsi negativi (mancare una patologia reale), che in ambito medico può essere fatale.

2. Metodologia: CONFGUIDE

Il paper introduce CONFGUIDE, una pipeline innovativa basata su Large Language Models (LLM) e Vision Language Models (VLM) che non richiede fine-tuning (addestramento aggiuntivo) e si basa esclusivamente sull'inferenza. L'obiettivo è generare guide sintetiche e mirate per supportare il decisore umano mantenendo il controllo del rischio.

La pipeline si articola in tre fasi interconnesse:

1. Predittore e Controllo del Rischio Conformale (CRC):

   • Un modello ML pre-addestrato genera previsioni probabilistiche per le patologie.
   • Viene applicato il Conformal Risk Control (CRC) per selezionare un insieme di outcome rilevanti.
   • Obiettivo del CRC: Garantire un limite superiore (cap) sul Tasso di Falsi Negativi (FNR). Utilizzando un parametro di conservatività $\lambda$ calibrato su un set di validazione, il sistema espande l'insieme delle patologie candidate per assicurarsi che la probabilità di perdere una patologia reale non superi un livello di rischio $\alpha$ predefinito.

2. Assistente (VLM):

   • Un modello VLM all'avanguardia (es. Google MedGemma) riceve in input l'immagine radiografica e l'insieme conformale di patologie filtrate dal CRC.
   • Il VLM genera un ragionamento clinico strutturato per ogni patologia segnalata, fornendo argomenti sia a favore che contro la sua presenza.
   • Prompting: Il prompt è progettato per evitare bias di ancoraggio (l'eccessiva fiducia nel flag automatico), chiedendo al modello di essere onesto, specifico (citando segni radiografici esatti) e di non inventare argomenti.

3. Decisore Umano (o Simulato):

   • Il medico umano riceve l'immagine originale insieme alla guida testuale strutturata (argomenti pro/contro) e prende la decisione finale.

3. Contributi Chiave

• Introduzione di CONFGUIDE: Una pipeline fine-tuning-free che genera guide per l'assistenza alle decisioni umane, combinando garanzie statistiche (CRC) e capacità generative (VLM).
• Controllo del Rischio Formale: L'uso del CRC per garantire che il tasso di falsi negativi rimanga entro un limite accettabile, affrontando direttamente il problema della sicurezza in ambito clinico.
• Struttura Argomentativa Bilanciata: La generazione di ragionamenti "pro e contro" per ogni patologia, che riduce l'incertezza dell'utente e mitiga i bias cognitivi.
• Valutazione Preliminare: Una valutazione empirica su un compito reale di diagnosi medica multi-etichetta (classificazione delle patologie da radiografie toraciche).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset CheXpert, utilizzando modelli simulati (GPT-4o-mini e Qwen3-vl-8B) per rappresentare i medici.

• Miglioramento della Qualità Decisionale (RQ1):

  • La configurazione CONFGUIDE ha ottenuto un Micro-F1 di 50.76 (con GPT-4o-mini), superando significativamente sia la soglia standard (35.68) che l'approccio basato solo su CRC (36.05).
  • Il miglioramento è stato del ~15% rispetto alle baseline.
  • I guadagni sono stati particolarmente evidenti per patologie comuni come Lung Opacity, Atelectasis e Pleural Effusion.

• Contributo della Guida (RQ2):

  • Confrontando CONFGUIDE con una versione ablativa (CRC++, dove il decisore riceve solo l'immagine e l'insieme di patologie senza la guida testuale), CONFGUIDE ha dimostrato prestazioni superiori in 8 su 14 classi (con GPT) e 10 su 14 (con Qwen).
  • Questo conferma che il miglioramento deriva dalla qualità della guida testuale generata dal VLM, non solo dal filtro statistico.

• Limitazioni:

  • Le prestazioni sono diminuite per patologie rare o con aspetti radiografici sottili (es. Pneumothorax, Pleural Other), dove la generazione di guide precise è più difficile a causa della scarsità di dati e della complessità visiva.
  • C'è un divario tra i punteggi Macro-F1 e Micro-F1 dovuto allo sbilanciamento delle classi nel dataset.

5. Significato e Conclusioni

Il lavoro dimostra che l'integrazione di garanzie statistiche formali (tramite CRC) con la capacità di ragionamento contestuale dei modelli VLM può migliorare significativamente la qualità delle decisioni ibride in ambito medico.

• Sicurezza: Il metodo garantisce che le patologie critiche non vengano ignorate (controllo del FNR).
• Usabilità: La guida strutturata "pro/contro" aiuta i medici a valutare criticamente i suggerimenti dell'IA, riducendo il carico cognitivo e il rischio di errori dovuti all'ancoraggio.
• Prospettive Future: Sebbene lo studio attuale si basi su simulazioni, uno studio utente preliminare con due clinici ha mostrato risultati promettenti. I futuri lavori prevedono l'esecuzione di studi su larga scala con medici reali per validare l'efficacia clinica e misurare l'aumento dell'accordo inter-osservatore.

In sintesi, CONFGUIDE rappresenta un passo avanti verso sistemi di IA collaborativa che non sostituiscono il medico, ma ne potenziano il giudizio fornendo evidenze controllate e argomentate.