CXR-ContraBench: Benchmarking Negated-Option Attraction in Medical VLMs

Résumé Technique : CXR-ContraBench

Définition du Problème : Attraction de l'Option Négative
Ce papier identifie un mode d'échec spécifique et cliniquement critique dans les Modèles Vision-Langage Médicaux (MVLM), appelé attraction de l'option négative. Bien que les MVLM démontrent souvent une précision agrégée élevée sur les benchmarks de radiologie, ils présentent une « inversion de polarité » systématique lorsqu'ils sont confrontés à des questions à choix multiples contenant à la fois un constat (par exemple, « Consolidation ») et sa contrepartie explicitement négative (par exemple, « Pas de consolidation »).

L'échec fondamental se produit lorsque le modèle sélectionne l'option négative malgré des preuves visuelles soutenant le constat positif. Il ne s'agit pas simplement d'une erreur de classification, mais d'une inversion sémantique du côté de la présence, où le modèle émet une affirmation clinique contredisant directement l'image (par exemple, déclarer « Pas de consolidation » alors qu'une consolidation est visible). Les auteurs soutiennent que les métriques standard de précision agrégée masquent cet échec, car le modèle peut toujours identifier le concept correct dans d'autres contextes mais échoue spécifiquement lorsque l'espace de réponse inclut une forme de surface négative. De plus, le papier note que l'approche de Chaîne de Pensée (CoT), souvent supposée améliorer la fiabilité du raisonnement, ne parvient pas à résoudre systématiquement ce problème et peut parfois amplifier les contradictions, en particulier dans les tâches diagnostiques du côté de l'absence.

Méthodologie : CXR-ContraBench et QCCV-Neg
Pour diagnostiquer et quantifier cet échec, les auteurs introduisent CXR-ContraBench (Benchmarque de Contradiction des Radiographies Thoraciques). Contrairement aux benchmarks généraux de VQA médicale, CXR-ContraBench est un instrument diagnostique conçu avec des espaces de réponse contrôlés pour isoler la confusion de polarité.

• Construction du Benchmark : Le benchmark couvre trois familles de protocoles :

  1. Tranches Internes ReXVQA : Données à grande échelle en distribution (jusqu'à 30 000 échantillons) pour tester la parcimonie et l'échelle.
  2. Audits Rétrospectifs OpenI : Dérivés des rapports OpenI et des annotations CheXStruct, incluant un sous-ensemble « présence » (où le constat est visible mais une option négative existe) et un sous-ensemble « absence ».
  3. Protocoles Externes Directs : Tests dédiés utilisant les ensembles de validation et d'entraînement de CheXpert. Ceux-ci incluent une Sonde Directe de Présence (demandant « Quel constat est présent ? ») et des Protocoles d'Absence de Style Rapport (demandant « Quel constat est absent ? »).
  • Conception : Chaque question associe un concept cible à sa forme négative et à au moins un distracteur positif. Cette structure rend les prédictions « confuses de polarité » (sélectionner l'option négative lorsque le positif est la référence) directement comptables.

• QCCV-Neg (Vérificateur de Cohérence Conditionné par la Question pour la Négation) : Les auteurs proposent un vérificateur déterministe, a posteriori, fonctionnant sans réentraînement. Il se déclenche uniquement lorsque quatre conditions strictes sont remplies :

  1. L'ensemble des réponses contient exactement une option explicitement négative.
  2. Le modèle de base prédit cette option négative.
  3. La polarité de la question (présence vs absence) est identifiable de manière sûre.
  4. Un contrepartie positive unique pour le concept existe dans les options restantes.
     Si le déclenchement se produit, le vérificateur remappe déterministiquement la prédiction vers la contrepartie positive. Cette approche vise à auditer et réparer le sous-ensemble spécifique d'erreurs confuses de polarité sans altérer le raisonnement général du modèle.

Résultats Clés
L'évaluation couvre plusieurs architectures, notamment MedGemma (4B et 27B), Qwen2.5-VL, les variantes LLaVA, CheXagent et GPT-4o.

• Échec Systématique : Sur la sonde directe de présence CheXpert, les modèles performants présentent des taux d'échec sévères. MedGemma-4B et Qwen2.5-VL atteignent respectivement seulement 31,49 % et 30,21 % de précision, avec plus de 153 inversions dangereuses « Pas de X » chacune. Même MedGemma-27B chute à 51,91 % de précision avec 105 inversions.
• Confirmation par l'Échelle : L'échec n'est pas un artefact de petits ensembles de validation. Sur un protocole correspondant à l'ensemble d'entraînement CheXpert avec 135 754 enregistrements, MedGemma et Qwen2.5-VL émettent toujours des sélections d'options négatives sur plus de 62 % des questions de présence.
• Inefficacité de la CoT : L'approche de Chaîne de Pensée réduit légèrement la fréquence des inversions pour certains modèles sur les sondes de présence, mais ne les élimine pas. Crucialement, la CoT amplifie les erreurs sur les protocoles du côté de l'absence ; par exemple, les contradictions de LLaVA-Med sur CheXpert sont passées de 42 à 446 avec la CoT.
• Réparation Déterministe : Le vérificateur QCCV-Neg répare avec succès le sous-ensemble mesuré d'erreurs confuses de polarité sans réentraînement.
  • Pour MedGemma-4B sur la sonde directe de présence, la précision passe de 31,49 % à 96,60 % (réparant les 153 inversions).
  • Pour Qwen2.5-VL, la précision passe de 30,21 % à 95,32 %.
  • Sur la grande échelle de l'ensemble d'entraînement, QCCV-Neg élimine toutes les contradictions mesurées, portant la précision à environ 95,6 % pour les deux modèles.
• Robustesse : L'échec persiste à travers les paraphrases de négation non canoniques (par exemple, « Absence de X », « Pas de preuve de X »). Alors que le vérificateur original de surface littérale perd de la couverture sur ces variantes, une extension du vérificateur consciente des paraphrases rétablit la couverture et élimine les contradictions sans détériorer les performances.

Signification et Revendications
Le papier affirme que CXR-ContraBench expose une « erreur silencieuse » où la précision agrégée cache des échecs de polarité cliniquement significatifs au moment de l'inférence. La contribution principale est l'isolation de l'attraction de l'option négative en tant que mode d'échec distinct et systématique dans les MVLM génératifs, qui n'est pas fiablement résolu par le passage à l'échelle ou l'approche de Chaîne de Pensée.

Les auteurs soulignent que leurs résultats sont modestes en portée mais élevés en pertinence clinique :

1. Mesurabilité : Ils démontrent que cet échec spécifique est comptable et auditable grâce à des espaces de réponse contrôlés.
2. Réparabilité : Ils montrent qu'une partie significative de ces erreurs peut être réparée de manière déterministe au moment de l'inférence sans réentraînement du modèle, suggérant que l'erreur réside dans la gestion de la polarité de l'espace de réponse plutôt que dans un manque fondamental de compréhension visuelle.
3. Limites : Les auteurs déclarent explicitement que QCCV-Neg est une atténuation diagnostique, et non une garantie de déploiement. Il cible un conflit spécifique d'espace de réponse et n'implique pas que le modèle a acquis un raisonnement clinique robuste et transférable sur la négation. Le papier conclut que les travaux futurs devraient investiguer la géométrie de la représentation intermodale de la polarité, mais qu'à l'heure actuelle, le benchmark sert à rendre visibles ces erreurs spécifiques et dangereuses.