Résumé Technique : CADRE – Adaptation stable et efficace en paramètres des VLM médicaux

1. Énoncé du problème

Les modèles de vision-langage (VLM) médicaux, tels que BiomedCLIP, possèdent de larges capacités de généralisation mais font face à des défis de sécurité importants lors de leur adaptation à des services cliniques spécifiques. Les auteurs identifient deux modes de défaillance primaires dans l'adaptation séquentielle naïve (l'ajustement fin pour de nouvelles modalités d'imagerie les unes après les autres) :

1. Oubli catastrophique : La mise à jour d'un modèle pour une nouvelle modalité (ex: l'échographie) peut dégrader silencieusement les performances sur les modalités précédemment apprises (ex: l'histopathologie), entraînant des erreurs de diagnostic.
2. Dérive des priors et fragilité de l'ordre : Les adaptateurs peuvent dériver loin du "prior" pré-entraîné de confiance vers des raccourcis spécifiques aux jeux de données (ex: artefacts de scanner). De plus, les méthodes de régularisation standard comme l'Elastic Weight Consolidation (EWC) sont « fragiles vis-à-vis de l'ordre » ; leur efficacité dépend fortement de la séquence dans laquelle les modalités sont introduites, ce qui sur-contraint souvent la dernière modalité arrivée.

L'article soutient que pour la sécurité clinique, l'adaptation ne doit pas être mesurée uniquement par la précision sur les classements (leaderboards), mais par des propriétés de stabilité : conserver la compétence sur les tâches antérieures, borner la dérive par rapport au prior pré-entraîné et maintenir une calibration utilisable.

2. Méthodologie : CADRE

Les auteurs proposent CADRE (Clinician-anchored, Domain-Robust, Efficient adaptation), un cadre qui maintient le squelette (backbone) de BiomedCLIP gelé et adapte le modèle en utilisant seulement environ 0,23 % des paramètres via la Low-Rank Adaptation (LoRA) injectée dans les projections d'attention de l'encodeur visuel et une tête linéaire.

L'innovation centrale réside dans trois mécanismes de stabilité conçus pour remédier aux limites de l'EWC classique :

A. EWC auto-adaptatif, sensible à la similitude et à l'échelle (Online Self-Scaling, Similarity-Aware EWC)

Pour résoudre les problèmes d'échelle et de fragilité de l'ordre de l'EWC standard, CADRE introduit :

• Fisher normalisé par la somme (M1) : La matrice d'information de Fisher pour chaque tâche est remise à l'échelle pour une masse totale unitaire avant la consolidation. Cela empêche la pénalité cumulée d'accumuler une masse sans limite à mesure que les tâches s'ajoutent.
• Force d'auto-mise à l'échelle (M2) : Au lieu d'un hyperparamètre global fixe ($\lambda$), la force de la pénalité est calculée dynamiquement comme une fraction ($\rho$) de la perte d'entropie croisée de la tâche actuelle. Cela découple l'ampleur de la pénalité de la difficulté de la tâche et de l'échelle de la perte.
• Rétention sensible à la similitude (M3) : La rétention des contraintes précédentes est modulée par la similitude cosinus entre le prototype de la modalité entrante et le prior consolidé. Les modalités disparates relâchent les contraintes pour éviter une sur-régularisation, tandis que les modalités similaires les préservent.

B. Pénalité de dérive de l'ancrage au prior (Anchor-to-Prior Drift Penalty)

Pour borner la dérive de représentation (Objectif de sécurité S2), CADRE ajoute un terme de pénalité ($L_{anchor}$) qui minimise la distance euclidienne entre l'embedding adapté ($g_{LoRA}$) et l'embedding du prior gelé ($g_{frozen}$) sur un petit ensemble de sondage fixe ($A$). Cela agit comme une borne douce sur la dérive attendue, empêchant le modèle d'adopter des raccourcis spécifiques à la modalité.

C. Composants de calibration

Pour garantir une confiance utilisable (Objectif de sécurité S3), la méthode emploie :

• Un lissage de labels léger pendant l'entraînement.
• Une moyenne mobile exponentielle (EMA) des poids appliquée uniquement lors de l'évaluation (style SWA).

Garanties théoriques

L'article fournit deux garanties théoriques soutenant la conception :

1. Masse de consolidation bornée : Prouve qu'avec un Fisher normalisé par la somme et un facteur de rétention $\gamma < 1$, la masse totale de consolidation reste bornée quel que soit le nombre de modalités.
2. Compromis invariant à l'échelle : Prouve que le mécanisme d'auto-mise à l'échelle rend le compromis d'optimisation invariant à la mise à l'échelle du terme de pénalité, supprimant la sensibilité dépendante de l'ordre.

3. Protocole Expérimental

• Tâche : Un test de stress trans-modalité contrôlé utilisant trois modalités maximalement dissemblables : l'histopathologie, l'échographie et la radiographie thoracique.
• Protocole : Évaluation multi-graines (3) et multi-ordre (2) avec tests de signification appariés.
• Baselines : Linear Probe, LoRA, LoRA + Vanilla EWC, LoRA + Anchor, et ablations de CADRE.
• Métriques : Précision (Accuracy), AUROC, Transfert Arrière (BWT), Oubli (baisse moyenne de la précision des tâches antérieures), Quotient Stabilité-Plasticité (SPQ) et Erreur de Calibration Attendue (ECE).

4. Résultats Clés

CADRE démontre une stabilité et des performances supérieures par rapport à toutes les baselines :

• Oubli : CADRE réduit l'oubli d'environ sept fois par rapport à la plus forte baseline régularisée (LoRA+Anchor : $0,075 \to 0,011$ ; $p=0,023$) et par rapport à LoRA simple ($0,084 \to 0,011$ ; $p=0,002$).
• Transfert Arrière : CADRE est la seule méthode atteignant un transfert arrière positif ($+0,004$), indiquant que l'apprentissage de nouvelles modalités a en fait amélioré les performances sur les précédentes, alors que toutes les baselines montraient un transfert négatif ($-0,07$à$-0,08$).
• Précision : CADRE a atteint la précision moyenne la plus élevée ($0,775$) et le SPQ le plus élevé ($0,867$).
• Robustesse à l'ordre : CADRE a présenté une variance nettement plus faible de l'oubli à travers les différents ordres d'arrivée des modalités par rapport à l'EWC vanilla, confirmant l'efficacité des corrections d'échelle.
• Attribution des composants : Les études d'ablation ont confirmé que la refonte de l'EWC auto-adaptatif était le principal moteur de la précision et de la stabilité, tandis que la pénalité d'ancrage réduisait significativement l'oubli et améliorait la précision.

5. Signification et Revendications

Les auteurs présentent ces résultats non pas comme une garantie de déploiement sûr, mais comme l'établissement de propriétés de stabilité monitorables alignées sur les desiderata de la sécurité clinique.

• Reformulation : Les auteurs ont recadré l'adaptation continue efficace en paramètres comme un problème de stabilité, privilégiant un oubli et une dérive bornés plutôt qu'une précision brute.
• Alignement de sécurité : En bornant la perte de compétence et la dérive du prior, CADRE fournit une précondition pour une mise à jour sûre qui peut être surveillée par des équipes cliniques.
• Modestie : Les auteurs déclarent explicitement que la robustesse aux changements de distribution et aux entrées adverses est hors de portée. Ils reconnaissent des limites, notamment l'utilisation du regroupement par niveau d'image pour l'échographie et la radiographie (ce qui peut conduire à des estimations de précision optimistes) et la nature empirique de l'analyse d'invariance d'ordre. Ils notent également qu'un sondage préliminaire de la distance d'ancrage en tant que détecteur de distribution hors domaine (OOD) a été négatif, laissant l'évaluation OOD appropriée aux travaux futurs.

En conclusion, CADRE offre une méthode pour adapter les VLM médicaux avec une grande efficacité ($\approx 0,23 \%$ de paramètres) tout en bornant mathématiquement les risques d'oubli catastrophique et de dérive du prior, répondant ainsi aux préoccupations critiques de sécurité liées à l'adaptation séquentielle des modèles de fondation.