XRF-to-Optical Field-of-View Localization with Vision Language Models

Les scientifiques doivent souvent observer la même minuscule portion de tissu de deux manières différentes pour comprendre ce qui s'y passe. Une méthode utilise un microscope optique standard pour voir la forme des cellules et des tissus, un peu comme si l'on regardait la carte d'une ville pour voir où se trouvent les parcs et les bâtiments. Une autre méthode utilise une puissante technique de rayons X pour détecter des éléments chimiques spécifiques, tels que le phosphore, qui agit comme un projecteur mettant en lumière l'emplacement exact de ces éléments au sein du tissu. Pour donner du sens aux données, les chercheurs doivent être capables d'aligner parfaitement ces deux images, en faisant correspondre la carte chimique à la carte des formes. Ce processus est appelé localisation. Il est essentiel pour étudier comment les éléments traces se déplacent à travers les neurones ou comment les nanoparticules se comportent à l'intérieur des cellules. Cependant, effectuer cette correspondance est étonnamment difficile car les deux images ne se ressemblent souvent pas du tout. La carte chimique peut ne montrer qu'un point minuscule et ténu, tandis que l'image lumineuse présente un paysage complexe de cellules. De plus, la carte chimique peut provenir d'une tranche de tissu située juste à côté de l'image lumineuse, ce qui signifie que les structures ne s'alignent pas parfaitement, et la carte chimique ne couvre souvent qu'une petite fraction de la zone totale présentée dans l'image lumineuse.

Des chercheurs du Laboratoire national d'Argonne et de l'Université Northwestern ont récemment abordé ce problème en testant une nouvelle approche qui utilise l'intelligence artificielle pour trouver le point de correspondance sans avoir besoin d'être spécifiquement instruite pour cette tâche. Ils ont travaillé avec deux types d'échantillons de tissus. Le premier type était simple : la carte chimique et l'image lumineuse provenaient exactement de la même tranche de tissu, les formes correspondaient donc bien. Le second type était beaucoup plus difficile : les images provenaient de deux tranches de tissu différentes et adjacentes. Dans ce cas difficile, les formes étaient légèrement différentes et la carte chimique couvrait une zone très réduite, parfois moins de un pour cent de l'image totale. L'équipe a testé si les modèles de vision-langage modernes — des systèmes d'intelligence artificielle capables de comprendre à la fois les images et les instructions écrites — pouvaient localiser la carte chimique sur l'image lumineuse simplement en leur demandant de le faire. Ils ont constaté que le simple fait de demander à l'IA d'indiquer l'emplacement n'était pas assez fiable en soi. L'IA pouvait deviner, mais elle faisait souvent des erreurs, en particulier lorsque les tranches de tissu étaient différentes ou que la cible était minuscule.

Pour résoudre cela, les chercheurs ont développé un flux de travail en deux étapes. Premièrement, ils ont laissé l'intelligence artificielle faire plusieurs suppositions différentes sur l'endroit où la carte chimique pourrait se trouver. Au lieu de se fier à une seule supposition, ils ont traité ces suppositions comme une liste de candidats. Ensuite, ils ont utilisé un programme informatique standard pour vérifier chaque candidat par rapport aux données chimiques réelles afin de voir lequel était la meilleure correspondance. Cette méthode consistant à proposer de nombreuses options puis à les vérifier a bien mieux fonctionné que de compter uniquement sur l'IA. Sur les échantillons difficiles de tissus adjacents, où les méthodes traditionnelles échouaient complètement, ce nouveau flux de travail a réussi à trouver l'emplacement correct dans de nombreux cas. Les chercheurs ont également testé d'autres outils d'IA avancés qui n'étaient pas conçus pour ce travail spécifique, mais ont constaté qu'aucun d'eux ne pouvait résoudre le problème de manière autonome sans ce processus en deux étapes.

L'étude a montré que, bien que ces modèles d'IA puissants ne soient pas parfaits pour localiser précisément les emplacements par eux-mêmes, ils sont excellents pour générer une liste restreinte de possibilités. Lorsqu'ils sont combinés à une vérification simple comparant les motifs visuels des deux images, le système devient un outil fiable pour les scientifiques. Ceci est particulièrement important pour les cas difficiles où les tranches de tissu ne correspondent pas parfaitement, une situation où les anciennes méthodes abandonnent généralement. Les chercheurs ont démontré qu'en utilisant l'IA pour suggérer des possibilités, puis en laissant l'ordinateur vérifier la meilleure option, ils pouvaient récupérer des résultats utiles même lorsque les images étaient très différentes. Cette approche ne nécessite pas d'entraîner l'IA sur de nouvelles données pour chaque expérience, ce qui en fait un outil flexible pour les scientifiques qui doivent connecter différents types d'images microscopiques rapidement et avec précision. Ce travail confirme que pour les tâches d'imagerie scientifique les plus complexes, la meilleure stratégie consiste souvent à laisser l'IA réfléchir et à laisser les données décider de la réponse finale.