A Controlled Audit of Pretraining Contamination in Public Medical Vision-Language Benchmarks

Resumen Técnico: Una Auditoría Controlada de la Contaminación de Preentrenamiento en Benchmarks Públicos de Visión-Lenguaje Médica

Planteamiento del Problema
Los Modelos de Visión-Lenguaje (VLM) médicos se evalúan en un pequeño conjunto de benchmarks públicos (p. ej., SLAKE, PathVQA, VQA-RAD) que han estado disponibles para descarga gratuita durante los últimos 3 a 7 años. Las métricas de precisión reportadas asumen implícitamente que estos ejemplos estuvieron ausentes del preentrenamiento del modelo. Sin embargo, estos conjuntos de datos aparecen en mezclas abiertas ampliamente recolectadas como PMC-OA-beta, lo que crea el riesgo de "filtración de benchmarks" (benchmark leakage), donde los modelos han memorizado los ejemplos de prueba, inflando las métricas de rendimiento. Si bien la contaminación en LLM de texto y en VLM generales ha sido auditada, la contaminación en VLM médicos permanece mayormente sin auditar. Además, los detectores de filtración existentes no han sido rigurosamente sometidos a pruebas de estrés contra líneas base externas en el dominio médico, lo que plantea preocupaciones sobre falsos positivos impulsados por la heterogeneidad de la calibración de la cohorte en lugar de una exposición real de datos.

Metodología
Los autores llevan a cabo una auditoría controlada de cuatro VLMs abiertos (InternVL3-8B, Qwen2.5-VL-7B-Instruct, CheXagent-8b, LLaVA-OneVision-Qwen2-7B) a través de tres benchmarks de VQA médica mantenidos fuera de la muestra (held-out) (SLAKE-En, PathVQA, VQA-RAD). Una extensión de la parte textual incluye un quinto modelo, MedGemma-4B-IT, sobre un espejo público de OmniMedVQA.

El estudio emplea y somete a pruebas de estrés a cuatro detectores de contaminación distintos:

1. Solapamiento de Vecinos Cercanos en el Lado de la Imagen: Incrusta imágenes de benchmark y figuras de PMC-OA-beta (1.85M de imágenes) utilizando backbones SigLIP (ViT-B-16 y ViT-SO400M). Señala imágenes con una proximidad extrema de distancia de coseno respecto a las figuras de PMC.
2. Intercambiabilidad de Orden Canónico: Prueba si la verosimilitud conjunta (joint log-likelihood) de un conjunto de datos es invariante al orden. Una desviación significativa sugiere que el modelo fue entrenado con los datos en su orden de lanzamiento canónico.
3. Enriquecimiento de Cola Min-K%++ Relativo a la Cohorte: Identifica ejemplos donde la "sorpresa" de un modelo objetivo (puntuación Min-K%++) es anomalamente baja en comparación con la mediana de la cohorte.
4. Solapamiento Top-K entre Modelos: Mide la similitud de Jaccard de los ejemplos más fáciles Top-K entre diferentes modelos, asumiendo que un entrenamiento compartido causa una facilidad compartida.

Mecanismos de Control
Crucialmente, cada detector es calibrado contra líneas base externas de pre-dominio para distinguir la verdadera filtración de los artefactos:

• Lado de la imagen: Adjudicación manual de imágenes señaladas y controles negativos utilizando imágenes fuera de dominio (pinturas, fotografías naturales) e imágenes limpias dentro del dominio (VQA-RAD).
• Lado del texto: Introducción de BLIP-2 (una línea base no médica, anterior a 2023) e InstructBLIP como líneas base externas. Si un detector señala un modelo médico pero también señala a BLIP-2 (que no puede tener exposición a VQA médico), la señal se atribuye a la calibración de la cohorte o a la estructura del benchmark en lugar de a la memorización.
• Ablación de Ordenamiento: Ejecución de pruebas de intercambiabilidad nuevamente sobre ordenamientos derivados de contenido (p. ej., basados en hash) para distinguir entre la exposición al entrenamiento y los artefactos del orden de lanzamiento (p. ej., agrupación por diapositiva de origen).

Resultados Clave

• Solapamiento de Fuente en el Lado de la Imagen (SLAKE-En): El 19.8% de las imágenes de SLAKE-En tienen un vecino cercano extremo en PMC-OA-beta bajo SigLIP-B-16 (4.2% bajo SO400M). La adjudicación manual de 20 imágenes señaladas reveló que estas son imágenes de la misma modalidad y misma proyección de diferentes pacientes, no duplicados a nivel de píxel. Esto indica un solapamiento de fuente/distribucional en lugar de una memorización verificada por imagen. El efecto en la verosimilitud de la respuesta de oro (gold-answer likelihood) es insignificante (por debajo del ruido entre modelos).
• Intercambiabilidad del Lado del Texto:
  • Qwen2.5-VL × SLAKE-En: Produjo una señal significativa ($p = 5.0 \times 10^{-4}$) que sobrevivió a la ablación de ordenamiento y a las comprobaciones de la línea base externa (BLIP-2 e InstructBLIP estaban limpios). Esta es la única evidencia robusta de filtración en el lado del texto en la auditoría de la muestra mantenida.
  • LLaVA-OneVision × PathVQA: Produjo una señal significativa, pero fue retractada como un artefacto de orden de lanzamiento; BLIP-2 reprodujo la señal, y la señal desapareció bajo el reordenamiento basado en hash, implicando que la agrupación por diapositiva de origen del benchmark es la causa, en lugar de la exposición específica del modelo.
  • OmniMedVQA: La intercambiabilidad se activó para los cinco modelos médicos/generales pero se mantuvo limpia para BLIP-2, lo que sugiere que el espejo público está contaminado para la evaluación del lado del texto.
• Fallo de los Detectores Relativos a la Cohorte (Min-K%++ y Top-K):
  • En SLAKE-En, los detectores 3 y 4 señalaron a CheXagent y LLaVA-OneVision por enriquecimiento de cola y solapamiento Top-K.
  • Falsificación: Al añadir BLIP-2 a la cohorte, se reprodujeron estas mismas señales (BLIP-2 mostró el mismo enriquecimiento de cola y solapamiento Top-K). Dado que BLIP-2 no puede compartir la exposición a VQA médico, se demuestra que los detectores son poco fiables como señales de inferencia de membresía independientes en cohortes médicas pequeñas. Las señales son impulsadas por la heterogeneidad de la calibración inter-modelo (algunos modelos son sistemáticamente "más fáciles" en respuestas de forma cerrada de baja entropía) en lugar de un entrenamiento compartido.
• Benchmarks Limpios: VQA-RAD se mantuvo limpio en todas las señales y modelos, sirviendo como una verificación de sanidad confiable.

Reivindicaciones y Significancia
El artículo afirma proporcionar la primera auditoría controlada de la contaminación de los VLM médicos, ofreciendo un marco metodológico que prioriza las líneas base externas de pre-dominio y la adjudicación manual sobre los puntajes brutos de los detectores.

• Contribución Metodológica: El estudio demuestra que los detectores relativos a la cohorte (Min-K%++, solapamiento Top-K) son propensos a falsos positivos debido a la heterogeneidad de la calibración y deben emparejarse con líneas base externas. Valida la detección de vecinos cercanos en el lado de la imagen como una medida de solapamiento de fuente (no necesariamente memorización) y la intercambiabilidad de orden canónico como una señal robusta en el lado del texto cuando cuenta con el apoyo de ablaciones y líneas base.
• Recomendaciones Prácticas:
  1. Preferir VQA-RAD como el benchmark más seguro para muestras mantenidas fuera de la muestra.
  2. Inspeccionar o reducir el peso de las imágenes de SLAKE-En señaladas por solapamiento de fuente antes de reportar.
  3. Tratar el espejo público de OmniMedVQA como contaminado para la evaluación del lado del texto.
  4. Nunca utilizar Min-K%++ o el solapamiento Top-K como señales de filtración independientes sin una línea base externa de pre-dominio.
• Limitaciones: La auditoría se limita a cuatro VLM principales y benchmarks específicos. Los hallazgos identifican señales estadísticas de contaminación, no la inclusión demostrable de datos de entrenamiento. Los autores enfatizan que las señales positivas son evidencia circunstancial que requiere una interpretación cuidadosa para evitar desacreditar injustamente a los benchmarks o modelos.

Conclusión
La auditoría revela que, si bien algunos benchmarks médicos (SLAKE-En) sufren un solapamiento de fuente significativo con los corpora de preentrenamiento, esto no equivale necesariamente a una memorización por imagen que infle el rendimiento. Más críticamente, el estudio expone un fallo metodológico al confiar en detectores relativos a la cohorte sin líneas base externas, mostrando que tales señales pueden ser impulsadas enteramente por diferencias de calibración de los modelos en lugar de la filtración de datos. El artículo aboga por un enfoque más riguroso y controlado para la auditoría de la contaminación en la IA médica.