DermaFlux: Synthetic Skin Lesion Generation with Rectified Flows for Enhanced Image Classification

1. Problématique

La classification des lésions cutanées par l'apprentissage profond souffre d'un manque critique de données cliniques :

• Rareté et déséquilibre des données : Les ensembles de données publics sont limités en taille, souvent déséquilibrés entre les lésions bénignes et malignes, et manquent de diversité (teintes de peau, morphologies rares).
• Contraintes éthiques et légales : La collecte de nouvelles données médicales est entravée par des réglementations strictes sur la vie privée et le consentement.
• Limites des générateurs actuels : Les méthodes de génération d'images synthétiques basées sur la diffusion (comme Stable Diffusion) présentent deux faiblesses majeures :
  1. Un contrôle difficile sur les attributs cliniques spécifiques (asymétrie, irrégularité des bords, variation de couleur).
  2. Un alignement sémantique imparfait entre les descriptions textuelles et les caractéristiques visuelles générées, dû à leur nature stochastique et à la capacité limitée des encodeurs de texte (CLIP).

2. Méthodologie : DermaFlux

Les auteurs proposent DermaFlux, un cadre de génération d'images conditionné par le texte, basé sur les Flux Rectifiés (Rectified Flows).

A. Création du Jeu de Données

• Agrégation : Constitution d'un corpus de 508 344 images provenant de sources publiques (ISIC 2019-2024, Derm12345, PAD20, etc.), couvrant des modalités cliniques et dermoscopiques.
• Génération de Captions Structurées : Pour surmonter le manque de métadonnées descriptives, les auteurs utilisent le modèle de langage Llama 3.2 pour générer automatiquement des descriptions textuelles structurées pour chaque image.
• Critères Cliniques (ABCDE) : Les prompts sont conçus pour décrire spécifiquement l'asymétrie, l'irrégularité des bords et la variation de couleur, assurant ainsi un alignement sémantique fort avec les critères diagnostiques dermatologiques.

B. Architecture du Modèle

• Base : Le modèle s'appuie sur Flux.1, un générateur de flux rectifiés pré-entraîné. Contrairement aux modèles de diffusion qui utilisent un débruitage stochastique, les flux rectifiés apprennent une carte de transport déterministe entre le bruit gaussien et la distribution des données.
• Adaptation (LoRA) : Le modèle est finetuné via Low-Rank Adaptation (LoRA) sur les couches d'attention du transformateur, en gelant les poids de base. Cela permet une adaptation efficace au domaine dermatologique avec seulement ~612M de paramètres supplémentaires (sur un modèle de 12B).
• Encodage Texte : Flux.1 utilise un encodeur dual (CLIP et T5-XXL), offrant une capacité contextuelle supérieure pour interpréter les descriptions médicales complexes.
• Inférence : La génération utilise un échantillonneur ODE basé sur le flux avec 20 étapes d'interpolation, garantissant une efficacité et une reproductibilité accrues.

3. Contributions Clés

1. Dataset Structuré : Création d'un jeu de données ouvert de ~500k paires image-texte avec des légendes de niveau attribut, explicitement codées pour l'asymétrie, les bords et la couleur.
2. Cadre de Génération Déterministe : Introduction de DermaFlux comme alternative aux générateurs de diffusion, offrant un meilleur contrôle des attributs cliniques et une efficacité d'échantillonnage supérieure grâce aux flux rectifiés.
3. Validation Empirique : Démonstration que l'entraînement sur des images synthétiques DermaFlux améliore significativement la classification binaire par rapport aux méthodes de diffusion existantes et aux modèles d'état de l'art.

4. Résultats Expérimentaux

Les évaluations ont été menées sur un ensemble de test de 9 100 lésions (bénignes et malignes) en utilisant des classificateurs ResNeXt et Vision Transformer (ViT).

• Comparaison avec la Diffusion (Derm-T2IM) :

  • Les classificateurs entraînés sur des images DermaFlux surpassent ceux entraînés sur des images générées par diffusion.
  • Gain de 9,03 % en précision pour le ViT dans le scénario d'entraînement purement synthétique.
  • Gain de 3,47 % dans le scénario d'augmentation (mélange réel/synthétique).

• Impact de l'Augmentation de Données :

  • L'ajout d'images synthétiques améliore la généralisation, particulièrement lorsque les données réelles sont limitées (ex: 2 500 images réelles).
  • Même sans images réelles (entraînement purement synthétique), DermaFlux dépasse les modèles entraînés uniquement sur des données réelles limitées, prouvant qu'il capture des caractéristiques discriminatives réelles.

• Performance par rapport à l'État de l'Art :

  • Le modèle DermaFlux-ViT atteint une précision de 78,04 % et un AUC de 0,859 (avec 2 500 images réelles + 4 375 synthétiques).
  • Cela représente une amélioration de 8 points de pourcentage par rapport aux meilleurs modèles existants (BiomedCLIP, DermLIP, MAKE).
  • La courbe ROC montre une meilleure séparation des classes, permettant une sensibilité élevée tout en maintenant une spécificité acceptable, ce qui est crucial cliniquement pour réduire les faux négatifs et les références inutiles.

5. Signification et Conclusion

DermaFlux démontre que la génération d'images synthétiques cliniquement structurées peut pallier le manque de données médicales annotées. En combinant la puissance des flux rectifiés (Flux.1) avec des descriptions textuelles rigoureuses générées par LLM, le système offre :

• Une meilleure contrôlabilité des attributs pathologiques.
• Une efficacité accrue pour l'entraînement de classificateurs dans des régimes de données rares.
• Une réduction de la dépendance à la curation massive de jeux de données réels, tout en améliorant la généralisation et la séparation des classes pour le diagnostic assisté par ordinateur.

Ce travail ouvre la voie à l'utilisation de modèles génératifs déterministes pour l'augmentation de données dans des domaines médicaux sensibles où la précision et l'interprétabilité sont primordiales.