CXR-ContraBench: Benchmarking Negated-Option Attraction in Medical VLMs

Riepilogo Tecnico: CXR-ContraBench

Definizione del Problema: Attrazione dell'Opzione Negata
Questo articolo identifica una modalità di fallimento specifica e clinicamente critica nei Modelli Visivo-Linguistici Medici (MVLM), denominata attrazione dell'opzione negata. Sebbene gli MVLM dimostrino spesso un'accuratezza aggregata elevata sui benchmark di radiologia, mostrano una sistematica "inversione di polarità" quando presentano domande a scelta multipla contenenti sia un reperto (ad esempio, "Consolidamento") sia la sua controparte esplicitamente negata (ad esempio, "Nessun consolidamento").

Il fallimento fondamentale si verifica quando il modello seleziona l'opzione negata nonostante l'evidenza visiva supporti il reperto positivo. Non si tratta semplicemente di un errore di classificazione, ma di una inversione semantica lato presenza, in cui il modello emette un'affermazione clinica che contraddice direttamente l'immagine (ad esempio, affermando "Nessun consolidamento" quando il consolidamento è visibile). Gli autori sostengono che le metriche standard di accuratezza aggregata mascherino questo fallimento, poiché il modello potrebbe ancora identificare il concetto corretto in altri contesti, ma fallisce specificamente quando lo spazio delle risposte include una forma superficiale negata. Inoltre, l'articolo nota che l'invito al Ragionamento a Catena di Pensiero (CoT), spesso assunto per migliorare l'affidabilità del ragionamento, non risolve coerentemente questo problema e può talvolta amplificare le contraddizioni, in particolare nei compiti diagnostici lato assenza.

Metodologia: CXR-ContraBench e QCCV-Neg
Per diagnosticare e quantificare questo fallimento, gli autori introducono CXR-ContraBench (Benchmark di Contraddizione per Radiografia Toracica). A differenza dei benchmark VQA medici generali, CXR-ContraBench è uno strumento diagnostico progettato con spazi di risposta controllati per isolare la confusione di polarità.

• Costruzione del Benchmark: Il benchmark abbraccia tre famiglie di protocolli:

  1. Fette Internal ReXVQA: Dati su larga scala in-distribuzione (fino a 30.000 campioni) per testare la sparsità e la scala.
  2. Audit Retrospectivi OpenI: Derivati dai report OpenI e dalle annotazioni CheXStruct, includendo un sottoinsieme di "presenza" (dove il reperto è visibile ma esiste un'opzione negata) e un sottoinsieme di "assenza".
  3. Protocolli Diretti Esterni: Test dedicati utilizzando le divisioni di validazione e addestramento di CheXpert. Questi includono una Sonda Diretta di Presenza (che chiede "Quale reperto è presente?") e Protocolli di Assenza in Stile Referto (che chiedono "Quale reperto è assente?").
  • Progettazione: Ogni domanda accoppia un concetto target con la sua forma negata e almeno un distrattore positivo. Questa struttura rende direttamente conteggiabili le previsioni "confuse per polarità" (selezione dell'opzione negata quando il positivo è lo standard di riferimento).

• QCCV-Neg (Verificatore di Coerenza Condizionato alla Domanda per la Negazione): Gli autori propongono un verificatore deterministico, post-hoc, che opera senza riaddestramento. Si attiva solo quando sono soddisfatte quattro condizioni rigorose:

  1. L'insieme delle risposte contiene esattamente un'opzione esplicitamente negata.
  2. Il modello di base prevede quell'opzione negata.
  3. La polarità della domanda (presenza vs. assenza) è identificabile in modo sicuro.
  4. Esiste una controparte positiva unica per il concetto nelle opzioni rimanenti.
     Se attivato, il verificatore rimappa deterministicamente la previsione alla controparte positiva. Questo approccio mira ad auditare e riparare il sottoinsieme specifico di errori confusi per polarità senza alterare il ragionamento generale del modello.

Risultati Chiave
La valutazione copre molteplici backbones, inclusi MedGemma (4B e 27B), Qwen2.5-VL, varianti LLaVA, CheXagent e GPT-4o.

• Fallimento Sistematico: Sulla sonda diretta di presenza CheXpert, modelli forti mostrano tassi di fallimento gravi. MedGemma-4B e Qwen2.5-VL raggiungono solo il 31,49% e il 30,21% di accuratezza, rispettivamente, con oltre 153 pericolose inversioni "No X" ciascuna. Anche MedGemma-27B scende al 51,91% di accuratezza con 105 inversioni.
• Conferma della Scala: Il fallimento non è un artefatto di piccoli set di validazione. Su un protocollo corrispondente alla divisione di addestramento di CheXpert con 135.754 record, MedGemma e Qwen2.5-VL continuano a emettere selezioni di opzioni negate su oltre il 62% delle domande di presenza.
• Inefficacia del CoT: L'invito al Ragionamento a Catena di Pensiero riduce leggermente la frequenza delle inversioni per alcuni modelli sulle sonde di presenza, ma non le elimina. Crucialmente, il CoT amplifica gli errori sui protocolli lato assenza; ad esempio, le contraddizioni di LLaVA-Med su CheXpert sono passate da 42 a 446 con il CoT.
• Riparazione Deterministica: Il verificatore QCCV-Neg ripara con successo il sottoinsieme misurato di errori confusi per polarità senza riaddestramento.
  • Per MedGemma-4B sulla sonda diretta di presenza, l'accuratezza salta dal 31,49% al 96,60% (riparando tutte le 153 inversioni).
  • Per Qwen2.5-VL, l'accuratezza sale dal 30,21% al 95,32%.
  • Sulla divisione di addestramento su larga scala, QCCV-Neg rimuove tutte le contraddizioni misurate, innalzando l'accuratezza a circa il 95,6% per entrambi i modelli.
• Robustezza: Il fallimento persiste attraverso parafrasi di negazione non canoniche (ad esempio, "Assenza di X", "Nessuna evidenza di X"). Mentre il verificatore originale basato sulla superficie letterale perde copertura su queste varianti, un'estensione del verificatore consapevole delle parafrasi ripristina la copertura ed elimina le contraddizioni senza peggiorare le prestazioni.

Significato e Affermazioni
L'articolo afferma che CXR-ContraBench espone un "errore silenzioso" in cui l'accuratezza aggregata nasconde fallimenti clinicamente significativi di polarità durante l'inferenza. Il contributo principale è l'isolamento dell'attrazione dell'opzione negata come una modalità di fallimento distinta e sistematica negli MVLM generativi, che non viene risolta in modo affidabile né dalla scalabilità né dall'invito al CoT.

Gli autori sottolineano che i loro risultati sono modesti per portata ma elevati per rilevanza clinica:

1. Misurabilità: Dimostrano che questo specifico fallimento è conteggiabile e auditabile attraverso spazi di risposta controllati.
2. Riparabilità: Mostrano che una porzione significativa di questi errori può essere riparata deterministicamente durante l'inferenza senza riaddestramento del modello, suggerendo che l'errore risiede nella gestione della polarità dello spazio delle risposte piuttosto che in una mancanza fondamentale di comprensione visiva.
3. Limitazioni: Gli autori dichiarano esplicitamente che QCCV-Neg è una mitigazione diagnostica, non una garanzia di deployment. Si rivolge a un conflitto specifico nello spazio delle risposte e non implica che il modello abbia acquisito un ragionamento clinico robusto e trasferibile sulla negazione. L'articolo conclude che il lavoro futuro dovrebbe investigare la geometria della rappresentazione cross-modale della polarità, ma attualmente il benchmark serve a rendere visibili questi errori specifici e pericolosi.