Just how sure are you? Improving Verbalized Uncertainty Calibration in Medical VQA

Sintesi Tecnica: Miglioramento della Calibrazione dell'Incertezza Verbalizzata nella VQA Medica

Problematica
I Modelli Linguistici Multimodali (MLLM) applicati alla Visual Question Answering (VQA) medica esibiscono frequentemente un eccesso di fiducia (overconfidence), generando output ad alta confidenza indipendentemente dalla loro effettiva correttezza. Questa mancanza di auto-valutazione calibrata ne limita l'affidabilità negli ambienti clinici, dove i medici devono verificare manualmente il ragionamento anziché affidarsi alla fiducia del modello. I metodi esistenti per la calibrazione della confidenza verbalizzata sono progettati principalmente per LLM testuali e non tengono conto della natura multimodale della comprensione delle immagini mediche. Inoltre, gli approcci attuali spesso si addestrano su singole condizioni di input, fallendo nel insegnare al modello come la sua confidenza debba variare quando l'evidenza visiva o l'integrità testuale vengono interrotte.

Metodologia
Gli autori propongono un framework basato sull'addestramento che affina gli MLLM per produrre punteggi di confidenza verbalizzata meglio calibrati. L'approccio si basa su tre componenti principali:

1. Design di Perturbazione Fattoriale 2 × 2:
   Per insegnare al modello a fondare la confidenza sull'utilizzo delle evidenze, gli autori introducono uno schema di perturbazione che incrocia due assi:

• Disponibilità dell'Immagine: Immagine originale rispetto a un'immagine oscurata (rimozione dell'evidenza visiva senza distorcere le caratteristiche tramite rumore).
• Integrità del Testo: Opzioni originali rispetto a opzioni perturbate (rimescolamento dell'ordine e sostituzione dei distrattori con opzioni provenienti da domande simili per distruggere i pattern memorizzati).
  Ciò genera quattro condizioni per ogni domanda. Il modello genera molteplici risposte ($G=10$) per ogni condizione per calcolare l'accuratezza frazionaria, che funge da target di verità fondamentale (ground truth) per la calibrazione.

2. Funzione di Perdita di Calibrazione Composta:
   Il framework ottimizza una perdita composta da quattro termini:

• Brier Loss: Spinge la distribuzione della confidenza predetta verso l'accuratezza frazionaria empirica derivata dalle condizioni di perturbazione.
• Anchor Regularizer: Impedisce al modello di collassare in valori di confidenza estremi (0 o 1) penalizzando le deviazioni da un punto medio ($c_{mid} = 0.5$) per i campioni incerti. Questo agisce come un prior conservativo, richiedendo una forte evidenza per spostare la confidenza lontano dall'incertezza massima.
• Alignment Loss: Un termine contrastivo che assicura che i cambiamenti di confidenza attraverso le condizioni di perturbazione seguano i corrispondenti cambiamenti di accuratezza empirica. Ciò costringe il modello ad aggiustare la propria confidenza in base al contributo informativo di specifiche fonti di evidenza (visiva vs testuale).
• Top-k KL Divergence Regularizer: Applicato alle posizioni dei token della risposta (escludendo il token di confidenza) rispetto a una copia congelata del modello base. Questo preserva la capacità di risposta originale del modello e le capacità di seguire le istruzioni durante il fine-tuning, prevenendo il collasso dell'accuratezza.

3. Obiettivo di Addestramento:
   La perdita totale è una somma pesata di questi componenti. Il modello viene sottoposto a fine-tuning utilizzando adattatori LoRA, generando una traccia di ragionamento, una risposta e un token di confidenza verbalizzato (su una scala di interi discreti normalizzata in [0, 1]) in un ordine "risposta prima, confidenza dopo".

Contributi Chiave

• Prima Calibrazione Basata sull'Addestramento per la VQA Medica: A differenza del lavoro precedente limitato ai modelli solo testuali o all'ingegneria dei prompt, questo è il primo metodo che applica la calibrazione basata sull'addestramento specificamente a modelli medici multimodali.
• Perturbazione Consapevole delle Evidenze: Il novel design fattoriale 2 × 2 sonda e insegna esplicitamente al modello a distinguere tra l'affidamento all'evidenza visiva rispetto ai priori linguistici.
• Architettura di Perdita Composta: L'integrazione di calibrazione Brier, un regularizzatore anchor, allineamento contrastivo e un regularizzatore KL crea un segnale di addestramento robusto che migliora simultaneamente calibrazione e discriminazione senza sacrificare l'accuratezza predittiva.

Risultati
Il metodo è stato valutato su tre benchmark di Medical VQA (OmniMedVQA, PMC-VQA, MedXpertQA) che coprono regimi di accuratezza alta, media e bassa, utilizzando due architetture (MedGemma-4B-IT e Qwen2-VL-7B-Instruct).

• Calibrazione e Discriminazione: Il metodo proposto ha ridotto l'errore di calibrazione (ECE) del 60% o più e ha migliorato la discriminazione (AUROC) del 26% o più rispetto ai baseline, inclusi approcci basati su prompting (Top-K Sampling, SteerConf) e basati su addestramento (ConfTuner).
• Robustezza: Il metodo ha mantenuto prestazioni costanti attraverso diversi regimi di difficoltà, mentre l'ECE dei baseline è degradata significativamente all'aumentare della difficoltà del compito.
• Preservazione dell'Accuratezza: Il top-k KL regularizer ha preservato con successo l'accuratezza predittiva, con variazioni di accuratezza Out-of-Distribution (OOD) rimaste entro ±0.8 punti percentuali.
• Studi di Ablazione: La rimozione del termine di allineamento ha causato un brusco calo dell'AUROC (discriminazione), mentre la rimozione del regularizzatore KL ha portato a un significativo collasso dell'accuratezza e a una perdita delle capacità di seguire le istruzioni (ad esempio, il fallimento nell'output della confidenza nel formato corretto).

Significatività e Rivendicazioni
L'articolo sostiene che gli MLLM possono apprendere una confidenza verbalizzata significativa attraverso un fine-tuning mirato che modella esplicitamente la relazione tra le fonti di evidenza e la correttezza della predizione. Gli autori affermano che il loro metodo ottiene un miglioramento simultaneo sia nella calibrazione (la confidenza dichiarata corrisponde all'accuratezza empirica) che nella discriminazione (le predizioni corrette ricevono una confidenza più alta rispetto a quelle errate), un compromesso spesso osservato nei lavori precedenti.

Gli autori mantengono una posizione modesta riguardo ai limiti:

• Limiti della Discriminazione: Sul benchmark più impegnativo (MedXpertQA, ~20% di accuratezza base), nessun metodo ha ottenuto una discriminazione significativa, suggerendo che la confidenza verbalizzata non può ancora distinguere tra predizioni corrette e errate in compiti che richiedono un ragionamento clinico complesso a più fasi.
• Ambito: Il lavoro è limitato alla VQA a scelta multipla e a modelli di piccola scala (4B e 7B parametri). Gli autori notano che estendere questi guadagni alla VQA a risposta aperta e a modelli più grandi rimane una questione aperta.
• Impiego Clinico: Sebbene il metodo migliori l'affidabilità, gli autori sottolineano che la confidenza calibrata è destinata a supportare, non a sostituire, il giudizio umano, e che un'ulteriore validazione in reali condizioni cliniche è necessaria prima dell'impiego.