Mic-hackathon 2024: Hackathon on Machine Learning for Electron and Scanning Probe Microscopy

Imaginez que vous soyez un détective essayant de résoudre un mystère, mais au lieu de chercher des empreintes digitales, vous cherchez les plus infimes blocs de construction de l'univers : les atomes. Les scientifiques utilisent des outils puissants appelés microscopes pour prendre des photos de ces atomes, mais les images sont souvent si complexes et remplies de tant de données que même les humains les plus brillants peuvent être dépassés. C'est comme essayer de lire une bibliothèque de livres écrits dans une langue que vous ne parlez pas, tout cela à la fois. Pour donner un sens à cela, les scientifiques commencent à enseigner aux ordinateurs à « lire » ces images en utilisant un type spécial de cerveau appelé Apprentissage Automatique (Machine Learning). Il ne s'agit pas seulement de prendre de meilleures photos ; il s'agit d'apprendre au microscope à réfléchir, à décider et même à corriger ses propres erreurs en temps réel. La grande question est la suivante : pouvons-nous construire un assistant numérique qui aide à voir le monde invisible clairement, rapidement et sans se fatiguer ?

Ce document est un rapport issu d'un « hackathon » massif — un événement à haute énergie où des experts en informatique et des spécialistes de la microscopie se sont associés pendant deux jours pour construire ces assistants numériques. Ils n'ont pas seulement discuté d'idées ; ils ont construit des prototypes fonctionnels pour résoudre des problèmes réels. Une équipe a créé un « jumeau numérique » d'un microscope, une version de jeu vidéo qui permet aux chercheurs de s'exercer sans casser d'équipement coûteux. Un autre groupe a appris à un ordinateur à repérer de minuscules grains dans des matériaux, à les trier par taille et même à trouver automatiquement les endroits les plus intéressants pour zoomer. Ils ont également construit des outils pour corriger les images floues causées par des pointes de microscopes sales, et ont même essayé de prédire comment les atomes vibrent sans avoir besoin de lancer des simulations lourdes et lentes. La principale conclusion est que ces outils d'IA fonctionnent étonnamment bien : ils peuvent identifier des structures, nettoyer des données désordonnées et même suggérer la prochaine meilleure étape d'une expérience. Cependant, les auteurs prennent soin de noter que, bien que ces outils soient prometteurs, ils ne sont pas encore parfaits. Certains modèles se trompent parfois ou font du « surapprentissage » (overfitting), ce qui signifie qu'ils mémorisent trop étroitement les données d'entraînement et peinent face à de nouvelles images inédites. Le document suggère qu'avec des données plus diversifiées et un meilleur réglage, ces assistants d'IA pourraient bientôt devenir des partenaires standards pour les scientifiques, transformant des heures de travail manuel en minutes de découverte automatisée.

Le nouveau cerveau du microscope : Un rapport de hackathon

La vue d'ensemble : Pourquoi nous avons besoin de l'IA pour les microscopes
Considérez un microscope électronique moderne ou un microscope à effet tunnel comme un appareil photo surpuissant capable de voir des atomes individuels. Mais ces appareils sont si puissants qu'ils génèrent des données plus vite que n'importe quel humain ne peut les regarder. C'est comme avoir un appareil photo qui prend un million de photos par seconde ; si vous essayiez de regarder chacune d'entre elles, vous ne feriez jamais rien. Depuis des décennies, les scientifiques doivent extraire manuellement les parties intéressantes de ces images, un processus lent, ennuyeux et sujet à l'erreur humaine (comme manquer un minuscule défaut parce que vous étiez fatigué).

Le document décrit un événement récent appelé le « Mic-hackathon 2024 », où des chercheurs du monde entier se sont réunis pour résoudre ce problème. Ils voulaient voir si l'Apprentissage Automatique (ML) — la technologie qui permet aux ordinateurs d'apprendre à partir d'exemples — pouvait prendre en charge les parties ennuyeuses de la microscopie. L'objectif était de créer des outils capables de trouver automatiquement des caractéristiques intéressantes, de nettoyer de mauvaises images et même de contrôler le microscope pour prendre de meilleures photos de manière autonome.

Le Jumeau Numérique : S'exercer sans rien casser
L'une des premières choses que les organisateurs ont faites a été de créer un « Jumeau Numérique » d'un microscope. Imaginez un simulateur de vol pour les pilotes : il leur permet de s'exercer à atterrir un avion sans le risque de faire s'écraser un vrai. De la même manière, ce microscope numérique (appelé DTMicroscope) a permis aux participants d'écrire du code et de tester leurs idées d'IA dans un environnement virtuel sûr. Ils pouvaient simuler la prise de photos de matériaux comme le graphène ou les nanoparticules sans avoir besoin de réserver du temps sur une véritable machine coûteuse. Cela a changé la donne car cela a permis à tout le monde d'expérimenter librement, sachant que si leur code plantait, aucun équipement réel ne serait endommagé.

Les Projets : Ce que les équipes ont construit
Les participants se sont divisés en équipes pour relever des défis spécifiques. Voici quelques-unes des choses les plus passionnantes qu'ils ont construites :

• Le chercheur de grains automatique : Une équipe a utilisé un modèle appelé « cellSAM » (conçu à l'origine pour trouver des cellules dans des images biologiques) pour trouver des grains dans des matériaux métalliques et céramiques. C'est comme apprendre à un ordinateur à repérer des bulles individuelles dans une miche de pain. Une fois que l'ordinateur a trouvé les grains, il pouvait les trier par taille et densité, aidant les scientifiques à trouver les endroits les plus intéressants à étudier. Ils ont même construit un système capable de dire automatiquement au microscope de zoomer sur ces endroits spécifiques, économisant ainsi des heures de recherche manuelle.
• Le nettoyeur d'images : Les microscopes ont souvent des pointes « sales », ce qui rend les images floues ou dupliquées (comme un reflet dans un miroir déformant). Deux équipes ont travaillé sur l'utilisation de l'IA pour corriger ces « artefacts de pointe ». Elles ont entraîné des ordinateurs à regarder l'image floue et à deviner à quoi ressemblait la surface propre originale. Bien que l'IA ait très bien réussi à corriger des flous modérés, le document note qu'elle a parfois eu du mal avec des cas extrêmes, comme lorsque la pointe était très émoussée ou possédait deux pointes. C'est un travail en cours, mais un début prometteur.
• Le prédicteur de cristaux : Une autre équipe voulait prédire comment les atomes vibrent (diffusion thermique) sans effectuer les calculs lourds qui prennent normalement une éternité. Ils ont entraîné un réseau neuronal à regarder une simulation « élastique » simple et à deviner à quoi ressemblerait la version complexe et vibrante. Dans leurs tests, la supposition de l'IA était très proche de la simulation réelle, suggérant qu'à l'avenir, les scientifiques pourraient obtenir ces résultats complexes presque instantanément.
• Le détective ferroélectrique : Une équipe a utilisé un Réseau Antagoniste Génératif (GAN) pour prédire la structure interne d'un matériau appelé titanate de plomb. Ils ont tenté de deviner la « polarisation » (la direction des forces électriques à l'intérieur du matériau) simplement en regardant la hauteur de la surface. L'IA était étonnamment douée pour repérer les limites entre différents types de domaines, bien qu'elle se soit parfois trompée en prédisant des changements qui n'étaient pas réellement présents. Cela suggère que le modèle a besoin de plus de données d'entraînement pour être parfaitement fiable.
• Le découpeur intelligent : Pour entraîner ces modèles d'IA, les scientifiques doivent souvent découper de grandes images en morceaux plus petits. Une équipe a testé différentes méthodes de découpe de ces images pour voir quelle méthode permettait à l'IA de mieux apprendre. Ils ont découvert que le « découpage aléatoire » (découper des morceaux à des endroits aléatoires) fonctionnait mieux que le découpage en grilles nettes. C'est comme apprendre à reconnaître un visage en le voyant sous des angles aléatoires plutôt qu'en le regardant simplement de face ; l'aspect aléatoire aide l'IA à mieux comprendre le matériau.

Le Verdict : Prometteur, mais pas parfait
Le hackathon a montré que l'Apprentissage Automatique est prêt à être un partenaire sérieux en microscopie. Les équipes ont réussi à construire des outils capables d'automatiser les tâches fastidieuses, de nettoyer les données désordonnées et même de contrôler les microscopes. Cependant, le document est très honnête quant aux limites. Les modèles d'IA ne sont pas magiques ; ils font parfois des erreurs, surtout lorsqu'ils rencontrent des données qu'ils n'ont pas vues auparavant. Certains modèles font du « surapprentissage », ce qui signifie qu'ils mémorisent trop bien les exemples d'entraînement et échouent à se généraliser à de nouvelles situations.

Les auteurs suggèrent que la prochaine étape consiste à rassembler des données plus diversifiées et à affiner les modèles. Ils soulignent également la nécessité de meilleurs « benchmarks » — des tests standards pour voir comment différents outils d'IA performent. L'objectif ultime est de passer de la simple analyse de données après coup à une IA qui aide les scientifiques à prendre des décisions pendant que l'expérience se déroule.

Pourquoi cela compte
Il ne s'agit pas seulement de faciliter la vie des scientifiques. En automatisant les tâches ennuyeuses, l'IA libère les chercheurs humains pour qu'ils puissent se concentrer sur les grandes questions. Cela pourrait mener à des découvertes plus rapides dans les nouveaux matériaux de batterie, les meilleures cellules solaires et les métaux plus résistants. Le document conclut que, bien que nous n'y soyons pas encore, les fondations sont en train d'être construites dès maintenant. Le « jumeau numérique » et les outils en open-source créés lors du hackathon sont disponibles pour que tout le monde puisse les utiliser, garantissant que cette nouvelle façon de faire de la science puisse croître et s'améliorer ensemble. C'est un aperçu d'un futur où les microscopes ne se contentent pas de prendre des photos, mais nous aident réellement à comprendre le monde, un atome à la fois.