An Automated, Contamination-Controlled VQA Benchmark for Evaluating Vision-Language Models on 3D Oncology Imaging

Résumé Technique : Un benchmark automatisé et contrôlé contre la contamination pour l'évaluation des modèles de vision-langage sur l'imagerie oncologique 3D

Énoncé du problème
Les modèles de vision-langage (VLM) sont de plus en plus appliqués à l'imagerie médicale, mais leur fiabilité en milieu clinique reste mal caractérisée. Les benchmarks publics existants pour le questionnement visuel médical (VQA) souffrent de deux défauts critiques :

1. Contamination des données : Les jeux de données à grande échelle entrent souvent dans les corpus de pré-entraînement des VLM, ce qui signifie que des scores élevés peuvent refléter une mémorisation des paires image-question plutôt qu'une véritable perception visuelle.
2. Résolubilité par le texte seul : De nombreux éléments du benchmark peuvent être répondus correctement en utilisant uniquement le texte de la question et les priors linguistiques, contournant ainsi l'analyse de l'image.

De plus, l'imagerie oncologique présente des défis uniques : les études sont volumétriques (3D), nécessitant une interprétation à travers de multiples coupes et séquences, alors que la plupart des VLM actuels n'acceptent que des entrées 2D. Les benchmarks existants ne parviennent pas à distinguer la performance dépendante de l'image de la performance pilotée par la familiarité avec le jeu de données ou les indices textuels de la question.

Méthodologie
Les auteurs présentent un pipeline automatisé, piloté par un agent, conçu pour générer des benchmarks VQA à choix multiples, contrôlés contre la contamination, directement à partir de rapports de radiologie et d'imagerie oncologique 3D appariés.

• Source de données : Le pipeline utilise des rapports de radiologie privés et de l'imagerie 3D (CT et IRM) provenant de quatre cohortes oncologiques : foie CT, foie IRM, poumon CT et cerveau IRM (2 509 cas au total pour le benchmark principal). Une cinquième cohorte d'IRM cérébrale entièrement privée et interne a été générée de manière identique et réservée spécifiquement pour l'étude d'ablation de la contamination public/privé (Tableau 3) et exclue du total du benchmark principal. Comme ces rapports sources sont privés et ne font pas partie des données de pré-entraînement publiques, les questions générées sont garanties sans contamination au niveau de l'instance.
• Génération de questions : Le système produit deux types de questions complémentaires :
  1. Pilotées par schéma (style RADS) : Les questions sont peuplées de manière déterministe à partir de schémas révisés par des cliniciens et ancrés dans des cadres de compte rendu établis (LI-RADS, Lung-RADS et un schéma cérébral aligné sur RANO). Cela garantit des questions standardisées et visuellement répondables.
  2. Dérivées du rapport : Les questions sont générées par un modèle de langage basé sur les constatations et l'impression du radiologue, puis filtrées par un « contrôle d'ancrage au rapport » pour s'assurer que la réponse est explicitement supportée par le texte source.
• Traitement de l'image : Pour les modèles à entrée 2D, les volumes 3D sont rendus sous forme de montages composites 12×12 de 144 coupes axiales (environ 128×128 pixels par coupe).
• Protocole d'évaluation : Cinq VLM contemporains ont été évalués en mode zero-shot : deux modèles fermés de pointe (Claude Opus 4.6, GPT-5.2), un modèle de pointe à poids ouverts (Qwen3-VL-30B), et deux spécialistes médicaux (MedGemma1.0-27B, MedGemma1.5-4B).
• Études d'ablation : Pour isoler la dépendance visuelle, les modèles ont été réévalués avec l'image remplacée par une entrée vide (« aveugle »). De plus, une cohorte cérébrale publique (PDGM) a été comparée à une cohorte cérébrale privée interne correspondante pour tester la familiarité avec la distribution des images.
• Rigueur statistique : L'étude emploie le bootstrapping par grappes de cas pour les intervalles de confiance et des tests de contrôle de multiplicité (correction FDR de Benjamini-Hochberg et tests de comparaison d'équivalence TOST [Two One-Sided Tests]) pour distinguer les effets réels du bruit.

Résultats clés

• Performance variable : Aucun modèle n'était fiable sur toutes les cohortes. Les précisions variaient d'un niveau proche de la ligne de base aléatoire (0,28) à 0,81. Les classements des modèles variaient considérablement selon la cohorte et le type de question.
• Indépendance de l'image : Pour plusieurs configurations performantes, la suppression de l'image n'a eu que peu d'effet sur la précision.
  • Sur l'IRM cérébrale (publique et privée) et le CT pulmonaire, les modèles de pointe (ex: Claude Opus 4.6) ont montré des baisses de précision minimales lorsque les images étaient retirées, suggérant que leur performance repose fortement sur les priors linguistiques ou les signaux du texte de la question.
  • À l'inverse, MedGemma1.0-27B a montré des baisses significatives sur le CT et l'IRM du foie lorsqu'il était aveugle, indiquant une plus forte dépendance visuelle dans ces contextes spécifiques.
• Imagerie cérébrale publique vs privée : Sur les questions de style RADS, les modèles de pointe ont obtenu des scores 0,17–0,19 plus élevés sur les images cérébrales publiques (PDGM) par rapport aux images privées correspondantes, suggérant une potentielle familiarité avec les jeux de données publics. Cependant, sur les questions dérivées du rapport, la performance était indiscernable entre les cohortes publique et privée.
• Difficulté de la tâche : Les modèles ont eu beaucoup de mal avec les jugements quantitatifs ou gradués (ex: taille de la lésion, catégorie Lung-RADS, gradation de l'effet de masse), où les précisions dépassaient à peine le hasard. En revanche, les tâches de reconnaissance qualitative (ex: présence/absence de découvertes) ont été réalisées avec une précision bien plus élevée.
• Constatations statistiques : Après correction FDR, 37 des 40 mesures de précision ont dépassé les niveaux du hasard. Cependant, les tests d'équivalence ont révélé que pour de nombreux modèles performants sur des tâches spécifiques (ex: rapport d'IRM cérébrale), la différence entre la performance avec et sans vue était statistiquement équivalente à zéro dans une marge de ±0,05.

Signification et affirmations
L'article ne prétend pas fournir un classement définitif des modèles, mais démontre qu'un benchmark renouvelable et généré de manière privée peut efficacement séparer la performance dépendante de l'image des effets du texte de la question et de la familiarité avec le jeu de données.

• Implications cliniques : Les VLM actuels, y compris les spécialistes médicaux, ne sont pas encore des lecteurs fiables des études oncologiques volumétriques lorsqu'ils sont présentés sous des formats 2D réduits. Les précisions affichées peuvent surestimer la compétence visuelle, particulièrement pour les tâches solubles via les priors linguistiques (ex: CT pulmonaire, IRM cérébrale).
• Limitations des tâches : L'incapacité des modèles à gérer les mesures spatiales (taille, gradation de la sévérité) par rapport à la simple reconnaissance suggère que les systèmes actuels à entrée 2D sont mal adaptés aux tâches de gestion qui reposent sur une quantification précise.
• Contribution méthodologique : Les auteurs publient le pipeline en tant que compétence d'agent ouverte, permettant aux institutions de régénérer des benchmarks contrôlés contre la contamination sur leurs propres données privées. Cela déplace l'évaluation des artefacts publics statiques vers des tests internes privés et renouvelables, répondant au problème critique de la fuite de données dans l'évaluation de l'IA médicale.

L'étude conclut que bien que les VLM soient prometteurs, leurs capacités de raisonnement visuel dans des contextes oncologiques volumétriques complexes restent limitées et très dépendantes de la modalité d'imagerie spécifique et du type de question. Le benchmark proposé offre un cadre rigoureux pour identifier ces limitations et empêcher le déploiement de modèles qui reposent sur la mémorisation plutôt que sur la perception.