Challenges and proposed solutions in modeling multimodal medical data: A systematic review

Imaginez que vous essayez de résoudre un puzzle immense et complexe, mais au lieu d'avoir une seule boîte de pièces, vous en avez plusieurs. Une boîte contient des images colorées (comme des scanners médicaux), une autre contient de longues listes de chiffres (comme des codes génétiques), une troisième contient des entrées de journaux quotidiens (comme des dossiers de patients), et une quatrième contient des données provenant d'une montre connectée (comme le rythme cardiaque). Dans le monde de la science médicale, on appelle cela des données multimodales. « Multi » signifie plusieurs, et « modale » fait référence aux différents types ou « modes » d'information. Les médecins ont toujours su que regarder un seul type d'information — comme seulement la radiographie ou seulement l'analyse de sang — revient à essayer de comprendre un film entier en ne regardant qu'une seule image. Pour obtenir l'histoire complète de la santé d'un patient, il faut combiner tous ces différents morceaux.

Cependant, mélanger ces différentes boîtes de puzzle est incroyablement délicat. Les pièces ne s'emboîtent pas naturellement ; elles sont de formes, de tailles et de couleurs différentes. Certaines boîtes manquent entièrement de pièces, d'autres possèdent des milliers de petites pièces tandis que d'autres n'en ont que quelques-unes, et parfois les pièces sont si petites ou l'image est si floue qu'il est difficile de comprendre ce qui se passe. C'est le problème que les scientifiques dans le domaine de l'Intelligence Artificielle (IA) tentent de résoudre. Ils construisent des programmes informatiques capables d'apprendre à assembler ces différentes boîtes de puzzle pour aider les médecins à prendre de meilleures décisions. Mais avant de pouvoir construire le robot solveur de puzzles parfait, ils doivent apprendre à gérer le désordre du monde réel.

Ce document est un immense « bulletin de notes » de la dernière décennie de tentatives pour résoudre ce puzzle. Les auteurs, une équipe de chercheurs d'universités allemandes, n'ont pas construit un nouveau robot eux-mêmes. Au lieu de cela, ils ont agi comme des détectives, traquant 69 études différentes publiées entre 2011 et la fin de 2023. Ils ont lu chacune d'entre elles pour découvrir quels problèmes ces scientifiques ont rencontrés lorsqu'ils tentaient de mélanger des données médicales et, plus important encore, quels tours ils ont utilisés pour résoudre ces problèmes. Ils voulaient savoir : Quels sont les plus gros maux de tête dans ce domaine, et devenons-nous meilleurs pour les résoudre ?

Les cinq grands maux de tête

Après avoir trié des centaines d'articles, l'équipe a découvert que presque tout le monde menait les mêmes cinq batailles.

1. Le problème de la pièce manquante
Imaginez que vous essayez de résoudre le puzzle, mais que pour certains patients, la boîte « radiographie » est complètement vide. Peut-être que la machine est tombée en panne, que le patient n'avait pas les moyens de faire le test, ou qu'il a abandonné l'étude. Dans le monde réel, cela arrive tout le temps. L'article a révélé que 15 des 69 études (environ 22 %) ont dû faire face à cela.

• La solution : Au lieu de simplement deviner ou laisser l'emplacement vide, des programmes informatiques intelligents apprennent à « halluciner » la pièce manquante. Ils utilisent des techniques comme les Réseaux Antagonistes Génératifs (GAN), qui sont comme deux artistes d'IA jouant un jeu : l'un essaie de dessiner une fausse radiographie qui semble réelle, et l'autre essaie de repérer le faux. Grâce à cet entraînement, l'IA apprend à créer une estimation réaliste pour la donnée manquante. D'autres méthodes utilisent la distillation de connaissances, où une IA « enseignante » qui sait tout sur un type de données enseigne à une IA « élève » comment deviner le reste, même si elle n'a pas vu toutes les pièces.

2. Le problème de la petite foule
Parfois, vous avez un puzzle, mais vous n'avez qu'une poignée de personnes pour vous aider à le résoudre. Dans la recherche médicale, c'est ce qu'on appelle un petit ensemble de données (small dataset). L'article a révélé que c'était le défi le plus courant, apparaissant dans 17 études (25 %). Si vous essayez d'apprendre à un ordinateur à reconnaître une maladie rare avec seulement cinq exemples, il va probablement simplement mémoriser ces cinq images et échouer lorsqu'il en verra une nouvelle.

• La solution : Pour contourner cela, les chercheurs utilisent l'Apprentissage par Transfert (Transfer Learning). C'est comme prendre un étudiant qui a déjà étudié pendant un million d'heures sur des images générales (comme des chats et des voitures) et lui donner un cours intensif rapide sur des images médicales. Ils utilisent également l'Augmentation de Données, où l'ordinateur prend les quelques images qu'il possède et les fait artificiellement pivoter, les retourne ou les éclaire pour créer de « nouvelles » images d'entraînement, faisant en sorte que la petite foule ressemble à un immense stade.

3. Le problème de l'inégalité de taille
Imaginez essayer de mélanger un seau de sable avec un seul grain de riz. Le seau de sable représente les données d'imagerie (qui peuvent avoir des millions de pixels), et le grain de riz représente les données génomiques (qui peuvent n'avoir que quelques milliers de chiffres). Si vous les jetez simplement ensemble, l'ordinateur ignorera le riz et ne regardera que le sable. C'est ce qu'on appelle un déséquilibre de dimensionnalité, et 7 études l'ont abordé.

• La solution : La solution consiste à réduire la taille du seau de sable à celle du grain de riz, ou à donner au riz un « poids » spécial pour que l'ordinateur y prête attention. Les chercheurs utilisent des fonctions de perte pondérées, qui sont comme un arbitre criant : « Hé, n'ignorez pas la petite donnée ! Elle est importante ! » Cela force l'ordinateur à écouter de manière égale les images géantes et les petites listes génétiques.

4. Le problème de la « Boîte Noire »
Même quand l'ordinateur résout parfaitement le puzzle, il refuse souvent d'expliquer comment il l'a fait. En médecine, c'est dangereux. Si un ordinateur dit : « Ce patient a un cancer », mais ne peut pas dire au médecin pourquoi, le médecin ne peut pas lui faire confiance. Ce manque d'interprétabilité a été un défi dans 14 études.

• La solution : Les scientifiques construisent des « lampes de poche » pour l'IA. Ils utilisent des outils comme Grad-CAM et SHAP, qui mettent en évidence exactement quelles parties d'une radiographie ou quels gènes spécifiques l'ordinateur a regardés pour prendre sa décision. C'est comme si l'ordinateur entourait la zone suspecte sur la radiographie et disait : « J'ai vu ceci, donc j'ai fait ce choix. »

5. Le problème de la stratégie de mélange
Enfin, il y a la question de savoir comment mélanger les données. Doit-on mélanger les pièces brutes d'abord (Fusion Précoce / Early Fusion), les mélanger après qu'elles ont été partiellement résolues (Fusion Intermédiaire / Intermediate Fusion), ou résoudre les problèmes séparément et combiner les réponses à la fin (Fusion Tardive / Late Fusion) ? L'article a révélé que 39 des 69 études (plus de la moitié) utilisaient la Fusion Intermédiaire.

• La solution : Cette approche est comparable à une équipe de spécialistes. L'expert en radiographie et l'expert en analyses sanguines étudient chacun leurs propres indices d'abord, puis ils se rejoignent au milieu pour comparer leurs notes avant de prendre une décision finale. Cela semble mieux fonctionner que de tout mélanger au début ou d'attendre jusqu'à la toute fin.

Ce que l'article dit (et ne dit pas)

Les auteurs prennent soin de ne pas déclarer une victoire totale. Ils ont constaté que bien qu'il existe de nombreuses astuces ingénieuses, aucune méthode unique n'est le remède miracle qui fonctionne pour chaque maladie ou chaque type de données. La meilleure solution dépend entièrement du puzzle spécifique que vous essayez de résoudre.

Ils ont également explicitement écarté certaines idées. Par exemple, ils ont noté que le simple fait de coller toutes les données ensemble sans réfléchir aux différences (une méthode appelée « Fusion Précoce ») échoue souvent lorsque les types de données sont trop différents, comme mélanger une vidéo avec un tableur. Ils ont également souligné que de nombreuses études s'appuient sur des jeux de données publics (comme l'Alzheimer's Disease Neuroimaging Initiative, utilisé dans 18 études, ou le Cancer Genome Atlas, utilisé dans 8). Bien que ces derniers soient excellents pour tester, l'article suggère que trop compter sur eux pourrait signifier que nous ne testons pas nos idées sur les données réelles et désordonnées trouvées dans les véritables hôpitaux.

De plus, l'article met en évidence un écart inquiétant : seulement 19 des 69 études (27,5 %) ont partagé à la fois leurs données et leur code informatique. Cela signifie que pour la plupart de ces solutions ingénieuses, d'autres scientifiques ne peuvent pas facilement vérifier le travail ou s'appuyer dessus. Les auteurs suggèrent que le domaine doit être plus ouvert, comme partager une recette plutôt que juste le gâteau final.

L'essentiel

Cet examen suggère que nous progressons, mais que la route est encore cahoteuse. Les problèmes les plus fréquents sont les données manquantes et le manque d'exemples pour apprendre. Les outils les plus prometteurs actuellement consistent à apprendre aux ordinateurs à deviner les pièces manquantes, à emprunter des connaissances à d'autres tâches et à utiliser des « lampes de poche » pour voir comment ils réfléchissent.

L'article conclut que l'avenir ne consiste pas à trouver un algorithme parfait. Il s'agit plutôt de construire des systèmes flexibles qui peuvent gérer les pièces manquantes, travailler avec de petites foules et expliquer leur raisonnement. Comme le disent les auteurs, l'objectif est de passer de la simple « création de modèles » à la création de modèles qui sont robustes, dignes de confiance et prêts à aider les vrais médecins dans les vrais hôpitaux. D'ici là, le puzzle reste un travail en cours, mais nous devenons certainement meilleurs pour trouver les pièces.