Sintesi Tecnica: Hearsay: Diagnosi Mediche Vision-Language Senza un'Immagine

Problematica

Questo articolo investiga una modalità di fallimento critica nei modelli Vision-Language (VLM) di frontiera all'interno delle pipeline cliniche: l'effetto "miraggio" (mirage effect). Questo fenomeno si verifica quando un VLM genera descrizioni visive e diagnosi mediche nonostante l'assenza di un'immagine allegata. Mentre il lavoro precedente (Asadi et al. [1]) ha stabilito che i VLM spesso non riescono ad astinersi in queste condizioni, questo studio affronta una lacuna nella comprensione della struttura di queste allucinazioni. Nello specifico, l'articolo si chiede se le diagnosi fabbricate siano casuali o sistematicamente influenzate dai descrittori demografici forniti nel prompt (ad es. età, sesso, razza) quando non è presente alcuna immagine. Gli autori ipotizzano che le pipeline cliniche possano incontrare scenari in cui le immagini non vengono recuperate o gli agenti trasmettono solo i descrittori del paziente, creando un ambiente ad alto rischio per il bias demografico negli output fabbricati.

Metodologia

Lo studio impiega un disegno sperimentale controllato su tre VLM di frontiera: Claude Opus 4.7, GPT-5.4 e Gemini 3.1 Pro.

• Design del Prompt: Gli autori utilizzano un modello di prompt "mirage-mode" modificato, derivato da Asadi et al. [1]. Il prompt include un preambolo demografico in prima persona (ad es. "Sono un/una {razza} di {età} anni, {sesso}") seguito da una richiesta di descrivere un'immagine e fornire una diagnosi. Le modalità testate sono radiografia del torace, Risonanza Magnetica cerebrale e dermatologia (specificamente "nei cutaneo").
• Condizioni Sperimentali: È stato utilizzato un disegno fattoriale $2 \times 2 \times 3$, variando età (32, 65), sesso (uomo, donna) e razza (bianca, nera, bruna), risultando in 12 celle demografiche più una baseline neutra (D0) senza testo demografico.
• Schema di Output: Le risposte sono state forzate in uno schema JSON rigido contenente campi per la presenza dell'immagine, la capacità diagnostica, la diagnosi primaria, le diagnosi differenziali, la confidenza e il ragionamento. Ciò ha permesso di separare gli output di "prosa" (ragionamento) da quelli "strutturati" (campo diagnosi).
• Metriche: La metrica primaria è la Divergenza di Jensen-Shannon (JSD) tra la distribuzione delle diagnosi nelle celle demografiche rispetto alla baseline neutra. Le analisi secondarie hanno incluso il rilevamento del "miraggio esitante" (hedged mirage, dove la prosa riconosce l'assenza dell'immagine ma il campo strutturato viene popolato) e la robustezza del sostantivo sonda (scambio di "nevo cutaneo" con "lesione cutanea").
• Scala: L'esperimento primario (E1) ha comportato 11.700 chiamate API ($3 \text{ modelli} \times 3 \text{ domini} \times 13 \text{ condizioni} \times 100 \text{ seed}$).

Contributi Chiave

L'articolo presenta quattro contributi primari:

1. Bias Demografico Strutturato: Evidenza che gli output in modalità miraggio non sono casuali ma sono sistematicamente strutturati dal testo demografico. Le JSD per cella hanno raggiunto fino a 0,83, con le diagnosi principali che si allineano ai modelli di bias clinico documentati (ad es. Sarcoidosi per pazienti neri, Melanoma per uomini bianchi anziani).
2. Il Regime del Miraggio Esitante (Hedged Mirage): L'identificazione di una dissociazione in cui la prosa del modello riconosce l'immagine mancante (suggerendo un rifiuto), ma il campo diagnostico strutturato viene popolato con una malattia specifica. Questo stato "esitante" (hedged) costituisce il 66% delle fabbricazioni di Claude nelle celle ad alta JSD e rimane invisibile agli audit basati solo sulla prosa.
3. Diversi Modelli di Fallimento: Un'analisi della robustezza del termine sonda rivela che il miraggio è una famiglia di distinti modi di fallimento. L'effetto dermatologico di Claude era innescato dalle parole (lo scambio da "nevo cutaneo" a "lesione cutanea" ha causato un calo del 94% delle diagnosi di Melanoma verso il 100% di rifiuto), mentre l'effetto di GPT-5.4 era preservante la categoria (le diagnosi sono rimaste stabili nonostante lo scambio del sostantivo).
4. Misurazione a Doppio Canale: Una pipeline che estrae schemi JSON nativi insieme all'analisi della prosa, rendendo il "regime esitante" direttamente osservabile e quantificabile.

Risultati

• Strutturazione Demografica: Tutti e tre i modelli hanno mostrato bias demografico, sebbene con magnitudo variabili.
  • GPT-5.4 ha fabbricato diagnosi in 36/36 celle fattoriali. Il suo bias era ampio, con uno spostamento marcato verso la Sarcoidosi per pazienti neri giovani su radiografie del torace e spostamenti di malattie specifiche per la RM basati su età e sesso (ad es. Meningioma per donne anziane, Glioma per uomini anziani).
  • Claude Opus 4.7 ha mostrato una transizione "dal rifiuto alla fabbricazione". Ha rifiutato la maggior parte dei prompt neutri ma ha fabbricato pesantemente in celle specifiche (ad es. 94% Melanoma per un uomo bianco di 65 anni con un "nevo cutaneo"). La JSD era guidata quasi interamente da questa transizione dal rifiuto alla fabbricazione.
  • Gemini 3.1 Pro ha mostrato le magnitudo più basse (JSD mediana 0,010), con la maggior parte delle celle che mostrava lo 0% di fabbricazione.
• Il Regime Esitante: Nella condizione "esitante", i modelli scrivevano ragionamenti come "sospetto, basato sulla demografia e sul pattern classico" pur popolando comunque il campo diagnostico strutturato. Un audit basato solo sulla prosa avrebbe segnalato questi casi come rifiuti o sicuri, mentre una pipeline di dati strutturati avrebbe ricevuto una diagnosi distorta.
• Robustezza: Lo scambio "nevo cutaneo" vs "lesione cutanea" ha dimostrato che il bias di Claude era fragile e dipendente da parole innesco specifiche, mentre il bias di GPT-5.4 era robusto ai cambiamenti di formulazione.
• Segnale vs Rumore: Il segnale demografico (JSD) superava significativamente il livello di rumore della parafrasi (rapporti da 10,5x a 13,9x), confermando che il bias è guidato dai descrittori demografici piuttosto che dalle variazioni superficiali della formulazione.

Significato e Rivendicazioni

L'articolo sostiene che l'implementazione affidabile dei VLM in contesti clinici richiede un cambiamento fondamentale nelle pratiche di auditing.

• Limiti dell'Audit: Affidarsi esclusivamente all'audit del linguaggio naturale (prosa) è insufficiente perché ignora il "regime esitante" in cui i campi strutturati vengono popolati nonostante i disclaimer testuali.
• Dimensioni di Valutazione: La sensibilità al termine sonda deve essere trattata come una "dimensione di valutazione di prima classe". I modelli possono apparire robusti se testati con un singolo termine sonda, pur fallendo catastroficamente con leggere variazioni (come visto con Claude), o viceversa.
• Natura dell'Errore: Gli autori distinguono tra due errori: (1) Miscalibrazione epistemica (emettere una diagnosi senza evidenza) e (2) Spostamento demografico (la diagnosi specifica emessa in base alla demografia). Sebbene l'articolo non separi se questi spostamenti derivino da un bias di pre-addestramento o da priori di prevalenza calibrati (ad es. maggiore incidenza di melanoma negli uomini bianchi anziani), afferma che la dissociazione tra l'output della prosa e quello strutturato è un modo di fallimento critico indipendentemente dall'origine del prior.

Lo studio conclude che mitigare questi rischi richiede vincoli a livello di schema (ad es. forzare diagnosi nulle quando image_present=false), probing al tempo di inferenza e fine-tuning per rifiutare la richiesta in assenza di immagini. I risultati suggeriscono che il miraggio non è un fenomeno monolitico, ma una famiglia di modi di fallimento che richiedono strategie di mitigazione distinte.