A Controlled Audit of Pretraining Contamination in Public Medical Vision-Language Benchmarks

Résumé Technique : Un audit contrôlé de la contamination de l'entraînement préalable dans les benchmarks publics de vision-langage médicale

Énoncé du problème
Les modèles de vision-langage (VLM) médicaux sont évalués sur un petit ensemble de benchmarks publics (ex. SLAKE, PathVQA, VQA-RAD) qui sont librement téléchargeables depuis 3 à 7 ans. Les mesures de précision rapportées supposent implicitement que ces exemples étaient absents de l'entraînement préalable du modèle. Cependant, ces jeux de données apparaissent dans des mélanges ouverts largement collectés comme PMC-OA-beta, créant un risque de « fuite de benchmark » où les modèles ont mémorisé les exemples de test, gonflant ainsi les mesures de performance. Bien que la contamination des LLM textuels et la contamination des VLM généraux aient été auditées, la contamination des VLM médicaux reste largement non auditée. De plus, les détecteurs de fuite existants n'ont pas été rigoureusement testés contre des bases de référence externes dans le domaine médical, ce qui soulève des inquiétudes quant aux faux positifs causés par l'hétérogénéité de la calibration des cohortes plutôt que par une réelle exposition aux données.

Méthodologie
Les auteurs mènent un audit contrôlé de quatre VLM ouverts (InternVL3-8B, Qwen2.5-VL-7B-Instruct, CheXagent-8b, LLaVA-OneVision-Qwen2-7B) sur trois benchmarks de VQA médicale tenus à l'écart (SLAKE-En, PathVQA, VQA-RAD). Une extension côté texte inclut un cinquième modèle, MedGemma-4B-IT, sur un miroir public d'OmniMedVQA.

L'étude utilise et teste la résistance de quatre détecteurs de contamination distincts :

1. Chevauchement de voisinage proche côté image : Encode les images du benchmark et les figures de PMC-OA-beta (1,85 M d'images) en utilisant des backbones SigLIP (ViT-B-16 et ViT-SO400M). Signale les images présentant une proximité de distance cosinus extrême avec les figures de PMC.
2. Échangeabilité de l'ordre canonique : Teste si la log-vraisemblance jointe d'un jeu de données est invariante à l'ordre. Une déviation significative suggère que le modèle a été entraîné sur les données dans leur ordre de publication canonique.
3. Enrichissement de la queue Min-K%++ relatif à la cohorte : Identifie les exemples où la « surprise » d'un modèle cible (score Min-K%++) est anormalement basse par rapport à la médiane de la cohorte.
4. Chevauchement Top-K entre modèles : Mesure la similitude de Jaccard des exemples les plus faciles (Top-K) à travers différents modèles, en supposant qu'un partage de données d'entraînement entraîne un partage de facilité.

Mécanismes de contrôle
Crucialement, chaque détecteur est calibré par rapport à des bases de référence externes pré-domaine pour distinguer la véritable fuite des artefacts :

• Côté image : Adjudication manuelle des images signalées et des contrôles négatifs utilisant des images hors domaine (peintures, photographies naturelles) et des images propres au domaine (VQA-RAD).
• Côté texte : Introduction de BLIP-2 (une base de référence non médicale, antérieure à 2023) et InstructBLIP comme bases de référence externes. Si un détecteur signale un modèle médical mais signale également BLIP-2 (qui ne peut avoir d'exposition VQA médicale), le signal est attribué à la calibration de la cohorte ou à la structure du benchmark plutôt qu'à la mémorisation.
• Ablation de l'ordre : Réexécution des tests d'échangeabilité sur des ordonnancements dérivés du contenu (ex. : basés sur le hash) pour distinguer l'exposition à l'entraînement de l'ordre de publication (ex. : regroupement par lame source).

Résultats clés

• Chevauchement de source côté image (SLAKE-En) : 19,8 % des images de SLAKE-En ont un voisin proche extrême dans PMC-OA-beta sous SigLIP-B-16 (4,2 % sous SO400M). L'adjudication manuelle de 20 images signalées a révélé qu'il s'agit d'images de même modalité et même projection de patients différents, et non de doublons au niveau des pixels. Cela indique un chevauchement de source/distributionnel plutôt qu'une mémorisation vérifiée par image. L'effet sur la vraisemblance de la réponse de référence est négligeable (inférieur au bruit inter-modèle).
• Échangeabilité côté texte :
  • Qwen2.5-VL × SLAKE-En : A produit un signal significatif ($p = 5,0 \times 10^{-4}$) qui a survécu à l'ablation de l'ordre et aux vérifications de la base de référence externe (BLIP-2 et InstructBLIP étaient propres). C'est la seule preuve robuste de fuite côté texte dans l'audit tenu à l'écart.
  • LLaVA-OneVision × PathVQA : A produit un signal significatif, mais celui-ci a été rétracté comme étant un artefact d'ordre de publication ; BLIP-2 a reproduit le signal, et le signal a disparu sous un réordonnancement par hash, impliquant le regroupement du benchmark par lame source plutôt que l'exposition spécifique au modèle.
  • OmniMedVQA : L'échangeabilité s'est déclenchée pour les cinq modèles médicaux/généraux mais est restée propre pour BLIP-2, suggérant que le miroir public est contaminé pour l'évaluation textuelle.
• Échec des détecteurs relatifs à la cohorte (Min-K%++ et Top-K) :
  • Sur SLAKE-En, les détecteurs 3 et 4 ont signalé CheXagent et LLaVA-OneVision pour enrichissement de la queue et chevauchement Top-K.
  • Falsification : L'ajout de BLIP-2 à la cohorte a reproduit ces signaux exacts (BLIP-2 présentait le même enrichissement de queue et le même chevauchement Top-K). Puisque BLIP-2 ne peut partager d'exposition VQA médicale, les détecteurs sont montrés comme étant peu fiables en tant que signaux d'inférence d'appartenance autonomes sur de petites cohortes médicales. Les signaux sont pilotés par l'hétérogénéité de la calibration inter-modèles (certains modèles sont systématiquement plus « faciles » sur les réponses à forme fermée à faible entropie) plutôt que par un partage de données d'entraînement.
• Benchmarks propres : VQA-RAD est resté propre à travers tous les signaux et modèles, servant de contrôle de cohérence fiable.

Revendications et importance
L'article prétend fournir le premier audit contrôlé de la contamination des VLM médicaux, offrant un cadre méthodologique qui privilégie les bases de référence externes pré-domaine et l'adjudication manuelle par rapport aux scores bruts des détecteurs.

• Contribution méthodologique : L'étude démontre que les détecteurs relatifs à la cohorte (Min-K%++, chevauchement Top-K) sont sujets aux faux positifs dus à l'hétérogénéité de la calibration et doivent être couplés à des bases de référence externes. Elle valide la détection de voisinage proche côté image comme une mesure du chevauchement de source (pas nécessairement de la mémorisation) et l'échangeabilité d'ordre canonique comme un signal robuste côté texte lorsqu'il est soutenu par l'ablation et les bases de référence.
• Recommandations pratiques :
  1. Préférer VQA-RAD comme benchmark tenu à l'écart le plus sûr.
  2. Inspecter ou pondérer à la baisse les images de SLAKE-En signalées pour chevauchement de source avant de rapporter les résultats.
  3. Considérer le miroir public d'OmniMedVQA comme contaminé pour l'évaluation textuelle.
  4. Ne jamais utiliser le Min-K%++ relatif à la cohorte ou le chevauchement Top-K comme signaux de fuite autonomes sans une base de référence externe pré-domaine.
• Limites : L'audit est limité à quatre VLM principaux et des benchmarks spécifiques. Les conclusions identifient des signaux statistiques de contamination, et non une inclusion prouvable des données d'entraînement. Les auteurs soulignent que les signaux positifs sont des preuves circonstancielles nécessitant une interprétation prudente pour éviter de discréditer injustement les benchmarks ou les modèles.

Conclusion
L'audit révèle que bien que certains benchmarks médicaux (SLAKE-En) souffrent d'un chevauchement de source important avec les corpus d'entraînement préalable, cela ne signifie pas nécessairement une mémorisation par image qui gonfle la performance. Plus crucialement, l'étude expose une faille méthodologique consistant à s'appuyer sur des détecteurs relatifs à la cohorte sans bases de référence externes, montrant que de tels signaux peuvent être entièrement pilotés par les différences de calibration des modèles plutôt que par la fuite de données. Le papier plaide pour une approche plus rigoureuse et contrôlée de l'audit de la contamination dans l'IA médicale.