A Controlled Audit of Pretraining Contamination in Public Medical Vision-Language Benchmarks

Sintesi Tecnica: Un Audit Controllato della Contaminazione da Pretraining nei Benchmark Pubblici di Visione-Linguaggio Medico

Enunciato del Problema
I modelli Visione-Linguaggio (VLM) medici vengono valutati su un piccolo set di benchmark pubblici (ad es., SLAKE, PathVQA, VQA-RAD) che sono stati liberamente scaricabili per 3–7 anni. Le metriche di accuratezza riportate assumono implicitamente che questi esempi fossero assenti dal pretraining del modello. Tuttavia, questi dataset appaiono in ampi mix di dati scansionati come PMC-OA-beta, creando il rischio di "leakage del benchmark" dove i modelli hanno memorizzato gli esempi di test, gonfiando le metriche di performance. Mentre la contaminazione dei modelli LLM testuali e quella dei VLM generali sono state sottoposte ad audit, la contaminazione dei VLM medici rimane in gran parte non verificata. Inoltre, i rilevatori di leakage esistenti non sono stati rigorosamente testati contro baseline esterne nel dominio medico, sollevando preoccupazioni circa falsi positivi guidati dall'eterogeneità della calibrazione del cohort piuttosto che da un reale esposizione ai dati.

Metodologia
Gli autori conducono un audit controllato di quattro VLM open (InternVL3-8B, Qwen2.5-VL-7B-Instruct, CheXagent-8b, LLaVA-OneVision-Qwen2-7B) su tre benchmark medici VQA tenuti separati (SLAKE-En, PathVQA, VQA-RAD). Un'estensione sul lato testuale include un quinto modello, MedGemma-4B-IT, su uno specchio pubblico di OmniMedVQA.

Lo studio impiega e sottopone a stress-test quattro distinti rilevatori di contaminazione:

1. Sovrapposizione di Vicini Prossimi lato Immagine: Incorpora le immagini del benchmark e le figure di PMC-OA-beta (1,85M di immagini) utilizzando backbone SigLIP (ViT-B-16 e ViT-SO400M). Segnala le immagini con una prossimità estrema della distanza del coseno rispetto alle figure di PMC.
2. Scambiabilità dell'Ordine Canonico: Testa se la log-verosimiglianza congiunta di un dataset è invariante rispetto all'ordine. Una deviazione significativa suggerisce che il modello è stato addestrato sui dati nel loro ordine di rilascio canonico.
3. Arricchimento della Coda Min-K%++ Relativo al Cohort: Identifica gli esempi in cui la "sorpresa" di un modello target (punteggio Min-K%++) è anomalamente bassa rispetto alla mediana del cohort.
4. Sovrapposizione Top-K tra Modelli: Misura la similarità di Jaccard degli esempi più facili Top-K tra diversi modelli, assumendo che la condivisione dei dati di addestramento causi una condivisione della facilità.

Meccanismi di Controllo
Fondamentalmente, ogni rilevatore è calibrato contro baseline esterne pre-dominio per distinguere il vero leakage dagli artefatti:

• Lato Immagine: Adjudicazione manuale delle immagini segnalate e controlli negativi utilizzando immagini fuori dominio (dipinti, fotografie naturali) e immagini pulite in-domain (VQA-RAD).
• Lato Testo: Introduzione di BLIP-2 (una baseline non medica, pre-2023) e InstructBLIP come baseline esterne. Se un rilevatore segnala un modello medico ma segnala anche BLIP-2 (che non può avere esposizione a VQA medico), il segnale è attribuito alla calibrazione del cohort o alla struttura del benchmark piuttosto che alla memorizzazione.
• Ablazione dell'Ordine: Riesecuzione dei test di scambiabilità su ordinamenti derivati dal contenuto (ad es., basati su hash) per distinguere tra esposizione all'addestramento e artefatti dell'ordine di rilascio (ad es., raggruppamento per slide di origine).

Risultati Chiave

• Sovrapposizione della Sorgente Lato Immagine (SLAKE-En): Il 19,8% delle immagini di SLAKE-En ha un vicino prossimo estremo in PMC-OA-beta sotto SigLIP-B-16 (4,2% sotto SO400M). L'adjudicazione manuale di 20 immagini segnalate ha rivelato che queste sono immagini della stessa modalità e stessa proiezione di pazienti diversi, non duplicati a livello di pixel. Ciò indica una sovrapposizione di sorgente/distribuzione piuttosto che una memorizzazione verificata per singola immagine. L'effetto sulla verosimiglianza della risposta d'oro è trascurabile (al di sotto del rumore cross-modello).
• Scambiabilità Lato Testo:
  • Qwen2.5-VL × SLAKE-En: Ha prodotto un segnale significativo ($p = 5,0 \times 10^{-4}$) che è sopravvissuto all'ablazione dell'ordine e ai controlli della baseline esterna (BLIP-2 e InstructBLIP erano puliti). Questo è l'unica prova robusta di leakage lato testo nell'audit tenuto separato.
  • LLaVA-OneVision × PathVQA: Ha prodotto un segnale significativo, ma è stato ritirato come artefatto dell'ordine di rilascio. BLIP-2 ha riprodotto il segnale, e il segnale è scomparso sotto il riordinamento basato su hash, implicando che il raggruppamento del benchmark per slide di origine sia la causa, piuttosto che l'esposizione specifica del modello.
  • OmniMedVQA: Lo scambio di ordine è scattato per tutti i cinque modelli medici/generali ma è rimasto pulito per BLIP-2, suggerendo che lo specchio pubblico è contaminato per la valutazione lato testo.
• Fallimento dei Rilevatori Relativi al Cohort (Min-K%++ e Top-K):
  • Su SLAKE-En, i rilevatori 3 e 4 hanno segnalato CheXagent e LLaVA-OneVision per l'arricchimento della coda e la sovrapposizione top-k.
  • Falsificazione: L'aggiunta di BLIP-2 al cohort ha riprodotto questi esatti segnali (BLIP-2 mostrava la stessa arricchimento della coda e sovrapposizione top-k). Poiché BLIP-2 non può condividere l'esposizione a VQA medico, i rilevatori sono dimostrati essere inaffidabili come segnali di inferenza di appartenenza standalone su piccoli cohort medici. I segnali sono guidati dall'eterogeneità della calibrazione inter-modello (alcuni modelli sono sistematicamente "più facili" su risposte a forma chiusa a bassa entropia) piuttosto che dalla condivisione dei dati di addestramento.
• Benchmark Puliti: VQA-RAD è rimasto pulito attraverso tutti i segnali e i modelli, fungendo da controllo di sanità affidabile.

Rivendicazioni e Significato
Il paper sostiene di fornire il primo audit controllato della contaminazione dei VLM medici, offrendo un framework metodologico che privilegia le baseline esterne pre-dominio e l'adjudicazione manuale rispetto ai punteggi grezzi dei rilevatori.

• Contributo Metodologico: Lo studio dimosta che i rilevatori relativi al cohort (Min-K%++, sovrapposizione Top-K) sono soggetti a falsi positivi a causa dell'eterogeneità della calibrazione e devono essere accoppiati con baseline esterne. Valida il rilevamento del vicino prossimo lato immagine come misura della sovrapposizione della sorgente (non necessariamente della memorizzazione) e la scambiabilità dell'ordine canonico come un segnale robusto lato testo quando supportato da ablazione e baseline.
• Raccomandazioni Pratiche:
  1. Preferire VQA-RAD come benchmark tenuto separato più sicuro.
  2. Ispezionare o declassare le immagini di SLAKE-En segnalate per sovrapposizione di sorgente prima di riportare i dati.
  3. Trattare lo specchio pubblico di OmniMedVQA come contaminato per la valutazione lato testo.
  4. Non utilizzare mai Min-K%++ relativo al cohort o la sovrapposizione top-k come segnali di leakage standalone senza una baseline esterna pre-dominio.
• Limitazioni: L'audit è limitato a quattro VLM primari e specifici benchmark. I risultati identificano segnali statistici di contaminazione, non l'inclusione provabile dei dati di addestramento. Gli autori sottolineano che i segnali positivi sono prove circostanziali che richiedono un'interpretazione attenta per evitare di screditare ingiustamente benchmark o modelli.

Conclusione
L'audit rivela che, sebbene alcuni benchmark medici (SLAKE-En) soffrano di una significativa sovrapposizione di sorgente con i corpora di pretraining, ciò non equivale necessariamente a una memorizzazione per singola immagine che gonfia le performance. Più criticamente, lo studio espone un difetto metodologico nel fare affidamento su rilevatori relativi al cohort senza baseline esterne, mostrando che tali segnali possono essere interamente guidati dalle differenze di calibrazione dei modelli piuttosto che dal leakage dei dati. Il paper sostiene un approccio più rigoroso e controllato all'audit della contaminazione nell'IA medica.