DualDiT: A Conditional Dual-Output Diffusion Transformer for Joint OCT Image and Segmentation Mask Generation

Imaginez que vous essayiez d'apprendre à un robot à reconnaître un type de fruit spécifique, comme une fraise, mais que vous n'avez que trois photos de fraises et des milliers de photos de pommes. Le robot finirait par être confus, pensant que chaque fruit rouge est une pomme. C'est un problème majeur en sciences médicales, où les médecins ont besoin de milliers d'images étiquetées pour entraîner les ordinateurs à repérer des maladies, mais l'obtention de ces images est difficile, coûteuse et parfois impossible car les patients sont rares ou les données sont privées. Pour résoudre cela, les scientifiques utilisent l'« IA générative », un type de programme informatique qui agit comme un artiste super créatif. Au lieu de simplement copier des images existantes, il apprend les règles de l'apparence des choses et dessine ensuite de nouvelles images fictives, totalement inédites, qui semblent si réelles qu'elles pourraient tromper un humain. Mais voici la partie délicate : si l'IA dessine une fausse fraise, elle doit également dessiner une carte parfaite montrant exactement où se trouvent les graines. Si la carte ne correspond pas au fruit, le robot qui apprend à partir de celle-ci sera encore plus confus.

C'est exactement le défi auquel les chercheurs ont été confrontés avec un type spécial de scanner oculaire appelé l'OCT (Tomographie en Cohérence Optique). Ces scanners sont comme des coupes transversales ultra-détaillées de la rétine, la couche sensible à la lumière située à l'arrière de l'œil. Les médecins les utilisent pour repérer des maladies, mais étiqueter manuellement les fines couches à l'intérieur de ces scans prend des heures de travail aux experts, ce qui laisse très peu d'exemples pour enseigner aux ordinateurs. Le document que vous allez lire présente un nouvel IA artiste très ingénieux nommé DualDiT. Pensez à DualDiT non pas seulement comme un peintre, mais comme un magicien « maniant deux armes » qui tient un pinceau pour l'image dans une main et un pochoir pour la carte dans l'autre. Contrairement aux anciens modèles d'IA qui tentaient de peindre l'image et la carte séparément (ce qui entraînait souvent des décalages désagréables), DualDiT apprend à créer les deux en même temps, garantissant que les couches du faux scan oculaire s'alignent parfaitement avec la fausse carte. Les chercheurs ont testé cela sur de minuscules yeux de souris préservés, qui sont cruciaux pour étudier les maladies oculaires humaines mais qui sont notoirement difficiles à scanner et à étiqueter.

La Magie de l'Artiste à Double Sortie

L'équipe derrière cette étude, dirigée par Fernando García-Torres et ses collègues, voulait résoudre le problème de la « pénurie de données » pour les scans d'yeux de souris. Ils ont construit un nouveau modèle d'IA appelé DualDiT (Conditional Dual-Output Diffusion Transformer). Pour comprendre pourquoi cela est spécial, imaginez que vous essayez d'apprendre à un enfant à dessiner une maison. Si vous lui montrez une image de maison et un dessin séparé du toit, il pourrait dessiner une maison avec un toit flottant dans le ciel. Les anciens modèles d'IA fonctionnaient un peu comme ça, en essayant de générer l'image et le « masque » (le contour des parties importantes) de manière séparée ou maladroite.

DualDiT, cependant, est comme un enfant qui apprend à dessiner la maison et le toit simultanément, comprenant que le toit doit reposer sur les murs. Les chercheurs ont entraîné cette IA sur un ensemble de données de rétines de souris qui avaient été préservées de deux manières différentes : un groupe était conservé dans un milieu liquide (physiologique), et l'autre était noyé dans une résine dure. Ces deux méthodes se ressemblent légèrement, comme prendre la photo d'un poisson dans l'eau par rapport à une photo d'un poisson sur une assiette. L'IA a appris à reconnaître ces différences et à générer de nouveaux faux scans correspondant au style spécifique du liquide ou de la résine.

Les Résultats : Tromper les Experts

L'équipe a mis son nouvel IA à l'épreuve face à deux méthodes plus anciennes et traditionnelles : une travaillant directement sur les pixels bruts (appelée DDPM) et une autre travaillant dans un espace « latent » compressé (appelée LDM). Ils ont mesuré le réalisme des fausses images à l'aide d'un score appelé FID (Fréchet Inception Distance), où un chiffre plus bas signifie que les fausses images sont plus proches des images réelles.

Les résultats étaient clairs : DualDiT était le vainqueur.

• DualDiT a obtenu un score FID de 56,14 et un FID spatial (sFID) de 114,35.
• L'ancien modèle DDPM a obtenu un score de 164,55 (FID) et 254,52 (sFID).
• Le modèle LDM a obtenu un score de 102,21 (FID) et 150,66 (sFID).

En langage clair, les fausses images de DualDiT étaient beaucoup plus proches de la réalité que celles des autres modèles. Les anciens modèles faisaient souvent des erreurs, comme dessiner des couches floues ou créer des « hallucinations » où la rétine ressemblait à une forme qu'elle ne devrait pas être. DualDiT, en revanche, a produit des images nettes et détaillées qui ressemblaient exactement aux vrais yeux de souris, avec les minuscules grains et textures qui les rendent authentiques.

Mais le vrai test n'était pas seulement de savoir si les images étaient jolies ; c'était de savoir si elles pouvaient réellement aider un ordinateur à mieux apprendre. Les chercheurs ont utilisé les fausses images générées par DualDiT pour entraîner un nouveau programme informatique à segmenter (détourer) les couches rétiniennes.

• Lorsqu'ils ont utilisé uniquement les données réelles, l'ordinateur a obtenu un score de 0,908 (score Dice).
• Lorsqu'ils ont ajouté les fausses images de DualDiT à l'entraînement, le score est passé à 0,927.
• Les anciens modèles ont en fait empiré les choses ou n'ont pas beaucoup aidé ; par exemple, le modèle DDPM a provoqué un effondrement des performances de l'ordinateur lorsqu'il traitait les échantillons de résine.

Le Test Humain : Pouvez-vous repérer le faux ?

Pour voir si les fausses images étaient vraiment convaincantes, les chercheurs les ont présentées à trois experts humains. Les experts devaient regarder un mélange d'images réelles et de fausses et deviner laquelle était laquelle. Les résultats ont été surprenants : les experts se sont trompés 46 % du temps en identifiant les fausses images comme étant réelles. Ils ont également confondu des images réelles avec des fausses 42 % du temps. Cela suggère que DualDiT a créé des images si réalistes que même des yeux entraînés ne pouvaient pas faire la différence de manière fiable.

Ce que cela signifie (et ce que cela ne signifie pas)

L'article suggère que DualDiT est un nouvel outil puissant pour créer des « données synthétiques » afin d'aider à entraîner l'IA médicale lorsque les données réelles sont rares. Il prouve que l'utilisation d'une architecture basée sur les Transformers (un type d'IA connu pour sa compréhension des connexions à longue distance) est préférable aux anciennes méthodes basées sur les U-Nets pour cette tâche spécifique de génération simultanée d'images et de cartes.

Cependant, les auteurs précisent avec prudence qu'il ne s'agit pas encore d'un remède miracle. L'étude a été réalisée sur un ensemble de données relativement petit (environ 340 tranches scannées provenant de 10 souris), et les images avaient une résolution spécifique (512 × 256 pixels). Bien que les résultats soient prometteurs, les auteurs affirment que des tests supplémentaires sur des ensembles de données plus vastes sont nécessaires pour s'assurer que cela fonctionne pour tous les types de scans oculaires. Ils mentionnent également que la configuration actuelle nécessite une puissance de calcul importante, ce qui pourrait être un obstacle pour certaines cliniques.

En résumé, DualDiT est un artiste « maniant deux armes » hautement qualifié, capable de peindre de faux scans d'yeux de souris et leurs cartes correspondantes si bien qu'il trompe les experts et aide les ordinateurs à apprendre plus vite. Cela suggère qu'en apprenant à l'IA à créer des images et leurs étiquettes ensemble, nous pouvons surmonter le plus grand goulot d'étranglement de l'IA médicale : le manque de données étiquetées. Mais comme tout nouvel outil, il a besoin de plus de pratique et de tests plus larges avant de pouvoir être utilisé pour diagnostiquer de vrais patients.