Résumé Technique : CRAFT – Affinage Aligné sur la Récompense Clinique pour la Synthèse d'Images Médicales

1. Énoncé du Problème

Les modèles de diffusion de base ont démontré un succès remarquable dans la génération d'images naturelles photoréalistes. Cependant, l'adaptation de ces modèles à l'imagerie médicale reste un défi. Dans le domaine médical, le manque de données étiquetées exacerbe souvent une synthèse de type « hallucination », où les images générées semblent visuellement plausibles mais manquent de signes spécifiques à la pathologie ou contiennent des caractéristiques cliniquement implausibles.

Les métriques d'évaluation existantes, telles que la distance Fréchet Inception (FID) et le score Inception (IS), mesurent la fidélité visuelle au niveau de la distribution mais échouent à quantifier l'alignement image par image avec des critères pertinents pour la pathologie. De même, des métriques comme CLIPScore mesurent l'alignement texte-image mais n'évaluent pas directement si une image générée satisfait les critères cliniques spécifiques requis pour un diagnostic donné. Par conséquent, il existe un fossé tant dans la génération de données synthétiques cliniquement utiles que dans la capacité à les évaluer par rapport à des standards médicaux définis par des experts.

2. Méthodologie

Les auteurs proposent CRAFT (Clinical Reward-Aligned Finetuning), un cadre conçu pour adapter les modèles de diffusion à usage général vers une synthèse d'images médicales alignée sur les besoins cliniques. La méthodologie opère en deux étapes distinctes :

Étape 1 : Enrichissement Sémantique Piloté par les LLM

Pour pallier la rareté des étiquettes cliniques, le cadre utilise des Modèles de Langage Multimodaux de Grande Taille (MLLM) pour générer deux artefacts textuels complémentaires pour chaque paire image-étiquette $(x_i, y_i)$ :

1. Prompt enrichi ($t_{ep}$) : Une description visuelle spécifique à l'instance générée par le MLLM qui capture des attributs fins (morphologie, couleur, contours) ancrés dans l'image d'entraînement spécifique $x_i$. L'étiquette de vérité terrain $y_i$ est fournie comme contrainte stricte pour prévenir l'hallucination diagnostique.
2. Liste de contrôle en langage naturel ($t_c$) : Une liste de contrôle structurée au niveau de la classe encodant les critères cliniques partagés pour la maladie $y$ (par exemple, forme, texture, couleur requises). Elle sert de contrainte clinique stable pour assurer la cohérence à travers les générations.

Étape 2 : Affinage Aligné sur la Récompense Clinique

Le modèle de diffusion est affiné en utilisant un objectif basé sur la récompense qui combine la perte de reconstruction standard de diffusion avec une récompense clinique différentiable calculée par un critique VLM (Vision-Language Model) figé. L'objectif d'entraînement est :
$$\mathcal{L}(\theta) = \mathbb{E}[\lambda_{diff}\|\epsilon - \epsilon_\theta(z_t, t, c)\|_2^2 - \lambda_{cam} r_{cam}(\hat{x}_0, x_r, c, t_c, y)]$$
Où $r_{cam}$ est le Score d'Alignement Clinique (CAS), calculé comme la somme de quatre composantes de récompense différentiables :

1. Cohérence de la description visuelle (VDC) : Maximise la similarité cosinus entre l'embedding de l'image générée et l'embedding du prompt enrichi ($t_{ep}$), assurant une fidélité visuelle spécifique à l'instance.
2. Satisfaction des critères cliniques (CCS) : Maximise la similarité cosinus entre l'image générée et la liste de contrôle spécifique à la maladie ($t_c$), imposant une cohérence clinique au niveau de la classe.
3. Discriminabilité diagnostique (DD) : Utilise une sonde linéaire entraînée sur des embeddings VLM figés pour maximiser la vraisemblance logarithmique de la classe de maladie correcte, garantissant que les caractéristiques générées sont discriminatives pour le diagnostic.
4. Similarité des caractéristiques sémantiques (SFS) : Maximise la similarité cosinus entre l'image générée et son image de référence réelle appariée ($x_r$) dans l'espace d'embedding, ancrant la génération dans des représentations médicales réelles pour prévenir la dérive sémantique.

Optimisation : Le cadre emploie DRaFT-K pour rétropropager les gradients de récompense uniquement à travers les $K$ dernières étapes de débruitage, réduisant ainsi les coûts mémoire. Seuls les paramètres d'adaptation à faible rang (LoRA) sont mis à jour, tandis que les encodeurs VLM restent figés.

3. Contributions Clés

1. Score d'Alignement Clinique (CAS) : L'introduction d'un proxy basé sur un modèle de base pour l'alignement clinique qui décompose l'évaluation en quatre primitives : VDC, CCS, DD et SFS. Contrairement aux métriques génériques, le CAS cible des modes d'échec cliniquement significatifs sans nécessiter d'étiquettes de préférence manuelles.
2. Cadre CRAFT : Une méthode d'affinage alignée sur la récompense qui transfère des connaissances médicales structurées des MLLM et VLM vers les modèles de diffusion via l'enrichissement de prompts et l'optimisation de récompense différentiable.
3. Évaluation Complète : Le cadre est validé sur quatre modalités d'imagerie médicale diverses (dermatologie, radiologie, histopathologie et imagerie du fond d'œil), démontrant des améliorations du CAS moyen, des performances de classification en aval et une réduction des « queues d'échec » à faible alignement.

4. Résultats Expérimentaux

Les auteurs ont évalué CRAFT sur quatre jeux de données : Fitzpatrick17k (dermatologie), CheXpert (radiographie thoracique), BreakHis (histopathologie) et ORIGA (fond d'œil).

• Performance Quantitative : CRAFT a obtenu le CAS le plus élevé sur les quatre jeux de données par rapport à des bases solides (Zero-Shot, Inversion Textuelle, TI+LoRA et DPO). Par exemple, sur Fitzpatrick17k, le CAS est passé de 0,376 (TI+LoRA) à 0,417.
• Réduction de la queue à faible alignement : Crucialement, CRAFT a considérablement réduit la fraction d'échantillons tombant en dessous du 25e percentile de la distribution du CAS des images réelles. Par rapport à la base la plus forte, CRAFT a réduit le taux de faible alignement de 5,5 à 34,7 points de pourcentage sur les jeux de données, correspondant à une réduction relative moyenne de 20,4 %. Cela indique une diminution substantielle des générations de type hallucination.
• Utilité en aval : Dans des contextes d'augmentation réel + synthétique (20 % de données synthétiques), CRAFT a systématiquement produit la précision de classification en aval la plus élevée sur tous les jeux de données et toutes les échelles de données (10 exemples, 20 exemples et données complètes).
• Validation :
  • Robustesse de l'évaluateur : Les résultats ont été maintenus lors de l'évaluation avec des encodeurs hors famille (MetaCLIP2).
  • Audit des listes de contrôle : CRAFT a obtenu le taux de réussite le plus élevé sur des listes de contrôle cliniques structurées en utilisant un évaluateur médical externe (Lingshu).
  • Préférence des médecins : Dans une étude en aveugle sur CheXpert impliquant deux médecins, les échantillons CRAFT ont été classés premiers dans 67 % des cas, surpassant toutes les bases.
  • Analyse de mémorisation : Des tests utilisant l'analyse des plus proches voisins SSIM, pHash et DINOv2 n'ont trouvé aucune preuve de mémorisation au niveau des pixels ou de l'espace de caractéristiques des images d'entraînement.

5. Signification et Revendications

L'article revendique que l'optimisation de composantes de récompense motivées par la clinique est une voie productive vers une génération fiable d'images médicales. La signification de CRAFT réside dans sa capacité à aller au-delà du simple réalisme visuel pour assurer une plausibilité clinique.

• Au-delà des métriques moyennes : Les auteurs soulignent que les métriques de performance moyennes peuvent masquer des échecs cliniquement critiques. En analysant et en réduisant explicitement la « queue à faible alignement », CRAFT adresse le risque d'introduire des indices de pathologie trompeurs dans l'entraînement en aval.
• Proxy vs Vérité Terrain : Les auteurs adoptent une position modeste, affirmant explicitement que le CAS est un proxy pour l'alignement clinique et non un substitut à l'examen par un expert. Ils présentent les résultats de préférence des médecins comme des preuves à l'appui plutôt que comme une validation clinique définitive.
• Généralisabilité : Bien que centré sur l'imagerie médicale, le cadre est présenté comme extensible à d'autres domaines dotés de critères sémantiques définis par des experts, tels que l'imagerie satellite ou l'inspection industrielle.

L'ouvrage conclut que, si la génération de données synthétiques est un remède partiel à la pénurie de données médicales, des méthodes comme CRAFT sont nécessaires pour garantir que les données générées ne sont pas seulement réalistes visuellement, mais aussi cliniquement valides et utiles pour les tâches en aval.