Cross-modal linkage risk in clinical vision-language models

Résumé Technique : Risque de Liaison Cross-Modale dans les Modèles de Vision-Langage Cliniques

Définition du Problème
Les modèles de vision-langage (VLM) cliniques, entraînés sur des paires d'images médicales et de rapports radiologiques, apprennent un espace d'incorporation (embedding) partagé pour faciliter des tâches telles que la recherche, la génération de rapports et le transfert zero-shot. Bien que cet alignement soit une force fonctionnelle, les auteurs identent une vulnérabilité spécifique en matière de confidentialité : le risque de liaison cross-modale. Dans les scénarios de déploiement où les radiographies et les rapports sont délibérément séparés après l'acquisition (par exemple, partage de données d'images uniquement, accès contrôlé aux rapports ou enclaves de données institutionnelles), l'espace d'incorporation partagé peut par inadvertance préserver la correspondance au niveau de l'instance. Cela permet à une image dé-identifiée d'être reliée à son rapport narratif riche en informations d'origine uniquement par une recherche de similitude cosinus, contournant ainsi les mesures de dé-identification standard qui éliminent généralement les métadonnées explicites mais n'effacent pas les liaisons sémantiques apprises.

Méthodologie
L'étude formalise ce risque comme un problème de recherche de rapport à partir d'une image. Les auteurs évaluent si une radiographie thoracique tenue à l'écart peut récupérer son rapport apparié réel parmi un pool de rapports distracteurs en utilisant uniquement l'espace d'incorporation partagé.

• Jeux de données : L'évaluation utilise deux cohortes publiques comme références de vérité terrain (où les appariements réels sont connus par conception) : MIMIC-CXR (43 793 paires tenues à l'écart) et CheXpert Plus (29 296 paires). Celles-ci servent à auditer la structure interne du modèle plutôt qu'à servir de scénario d'attaque de confidentialité en soi.
• Modèles : Quatre VLM disponibles publiquement avec des niveaux croissants de spécialisation de domaine ont été testés :
  1. CLIP : Domaine général.
  2. PubMedCLIP : Domaine biomédical.
  3. BiomedCLIP : Domaine biomédical.
  4. BioViL-T : Spécifique à la radiographie thoracique.
• Protocoles d'évaluation :
  • Candidat Aléatoire (Configuration A) : La performance de recherche est mesurée à travers différentes tailles de pool de candidats ($N = 100, 1\,000, 10\,000$ et l'ensemble de test complet) pour évaluer la scalabilité.
  • Négatifs Difficiles Appariés sur la Pathologie (Configuration B) : Les rapports distracteurs sont sélectionnés pour correspondre au vecteur de pathologie à 14 étiquettes de la requête (ex: atélectasie, œdème, pneumothorax) afin de déterminer si la recherche repose sur une similitude pathologique large ou sur une liaison plus fine au niveau de l'instance.
• Stratégie de Mitigation : Les auteurs proposent une intervention ciblée où les encodeurs d'image et de texte sont gelés, et seul le couche d'alignement partagée (têtes de projection) est affinée (fine-tuned).
  • Optimisation de la Confidentialité Différentielle (DP) : Appliquée aux têtes de projection avec $\epsilon = 0,34$ et $\delta = 6 \times 10^{-6}$.
  • Comparateur : Un affinement de tête régularisé par l'entropie (non privé) a été utilisé pour garantir que toute réduction de la liaison était due au mécanisme de confidentialité et non à une simple perturbation architecturale.
• Évaluation de l'Utilité : Pour s'assurer que la mitigation ne dégrade pas l'utilité clinique, la performance diagnostique côté image a été évaluée via un sondage linéaire (linear probing) sur 14 tâches d'anomalies de radiographie thoracique en utilisant les incorporations modifiées.

Résultats Clés

1. Existence et Magnitude du Risque : Les VLM prêts à l'emploi parviennent à relier avec succès des images dé-identifiées à leurs rapports à des taux significativement supérieurs au hasard. Le risque augmente avec la spécialisation du domaine :

   • Sur MIMIC-CXR avec $N=100$, BioViL-T a atteint un Recall@1 de 15,44 % (contre 1 % pour le hasard), tandis que le CLIP général était proche du hasard (1,20 %).
   • À l'échelle de la base de données ($N=10\,000$), BioViL-T a toujours récupéré le rapport correct 50 fois plus souvent que le hasard (0,496 % contre 0,010 %).
   • Le signal persiste lors du transfert externe (CheXpert Plus) et sous des conditions de négatifs difficiles, indiquant que les modèles apprennent des liaisons au niveau de l'instance au-delà des simples étiquettes de pathologie grossières.

2. Efficacité de la Mitigation : Le gel des backbones et l'application de l'optimisation DP uniquement aux têtes de projection a considérablement réduit le risque de liaison :

   • Sur MIMIC-CXR ($N=10\,000$), l'affinement de la tête par DP a réduit le Recall@1 de 61,8 % (de 0,496 % à 0,190 %).
   • La mitigation s'est transférée au jeu de données externe CheXpert Plus sans réentraînement, réduisant le Recall@1 de 0,153 % à 0,091 %.
   • En revanche, le comparateur non privé régularisé par l'entropie a augmenté la liaison, confirmant que le bénéfice de confidentialité provient de l'injection spécifique de bruit DP qui affaiblit le couplage, et non simplement d'un changement de l'espace de projection.

3. Compromis Confidentialité-Utilité : L'intervention a démontré un compromis hautement asymétrique en faveur de la préservation de la confidentialité :

   • Confidentialité : Le Recall@1 a été réduit d'environ 62 %.
   • Utilité : L'AUROC macro pour la classification côté image sur 14 étiquettes a très peu varié, passant de 79,63 % à 79,43 % (une baisse de 0,20 point de pourcentage).
   • L'analyse par étiquette a montré des changements d'AUROC faibles et mixtes, suggérant que les représentations d'images sous-jacentes restent cliniquement utiles malgré l'affaiblissement de la liaison cross-modale.

Signification et Revendications
L'article soutient que l'alignement multimodal est à la fois une capacité et un passif pour les modèles de fondation cliniques. Les auteurs affirment que :

• Les pratiques actuelles de dé-identification sont insuffisantes pour les VLM car l'espace d'incorporation partagé agit lui-même comme un canal de fuite, préservant une structure récupérable au niveau de l'instance même lorsque les identifiants explicites sont supprimés.
• Ce risque n'est pas un artefact de petits pools de candidats ou de similitudes pathologiques larges ; il persiste à l'échelle d'une base de données et sous des négatifs difficiles cliniquement contraints.
• Une mitigation ciblée est réalisable : Il n'est pas nécessaire de réentraîner de grands backbones multimodaux (ce qui est coûteux en calcul et instable sous DP). Au lieu de cela, l'application d'une optimisation de la confidentialité différentielle uniquement à la couche d'alignement finale peut réduire considérablement la re-liaison cross-modale sans dégrader matériellement les représentations d'images requises pour l'utilité clinique.
• L'étude appelle à un changement dans l'évaluation des modèles multimodaux cliniques, exhortant à ce que le déploiement responsable tienne compte non seulement de ce que les incorporations partagées permettent (ex: recherche, génération), mais aussi de ce qu'elles peuvent involontairement reconnecter.

Les auteurs maintiennent un champ d'action modeste, notant des limites telles que l'accent mis sur la radiographie thoracique, l'utilisation de jeux de données publics comme substituts à des scénarios de déploiement privés, et l'évaluation de l'utilité via le sondage linéaire plutôt que par une suite complète de tâches cliniques en aval. Ils concluent que bien que la mitigation proposée soit une réduction ciblée d'un mécanisme de liaison spécifique plutôt qu'une solution complète à tous les problèmes de confidentialité multimodale, elle offre une voie pratique pour un déploiement plus sûr des checkpoints de VLM cliniques existants.