deepthought: the microscopy acquisition stack as an object of study

Imaginez un monde où votre caméra ne se contente pas de prendre une photo et de s'arrêter, mais qui regarde réellement la photo, réfléchit à celle-ci, puis décide de ce qu'elle va photographier ensuite. C'est le rêve de la microscopie à « analyse en boucle » (analysis-in-the-loop). Depuis des décennies, les scientifiques souhaitent des microscopes capables de faire cela : sauter les zones vides, zoomer sur des cellules intéressantes ou corriger leur propre mise au point pendant que l'expérience est en cours. C'est comme avoir un assistant intelligent qui ne se contente pas de vous apporter un livre, mais qui lit la couverture, décide si vous allez l'aimer, et seulement ensuite vous le tend.

Cependant, construire ces microscopes intelligents a été un cauchemar. Chaque fois qu'un laboratoire voulait essayer cela, il devait construire une machine entièrement nouvelle et personnalisée, comme un charpentier qui construirait une nouvelle maison à chaque fois qu'il veut faire un gâteau. Les outils ne s'emboîtaient pas, et rien ne pouvait être réutilisé. Cet article pose une question simple mais révolutionnaire : « Et si nous arrêtions de construire de nouvelles maisons à chaque fois et que nous cherchions plutôt à comprendre quelles parties de la maison sont en fait les mêmes pour tout le monde ? » Les auteurs voulaient trouver la « plomberie » universelle d'un microscope intelligent afin que les scientifiques puissent arrêter de réinventer la roue et commencer à faire de la science plus intéressante.

Le grand puzzle du microscope

Les auteurs de cet article, P.S. Kesavan et son équipe, ont décidé de résoudre ce problème en faisant quelque chose d'inhabituel : ils ont construit un système de microscope intelligent « minimal » à partir de zéro, non pas pour résoudre un problème biologique spécifique, mais pour étudier le système lui-même. C'est comme un chef qui construirait une toute petite cuisine parfaite juste pour découvrir quels outils sont essentiels pour n'importe quelle recette, plutôt que de cuisiner un plat spécifique.

Ils ont pris cette minuscule cuisine et ont essayé de cuisiner quatre « repas » très différents (expériences scientifiques) :

1. Le sprint de vitesse : Scanner des milliers de cellules mortes pour compter des protéines fluorescentes.
2. Le marathon : Observer des cellules vivantes se diviser sur 24 heures sans interruption.
3. Le spectacle de lumière : Diviser la lumière dans deux directions pour mesurer comment les molécules tournent.
4. L'autopilote : Laisser le microscope ajuster sa propre mise au point et sa luminosité à la volée.

En soumettant ces quatre tâches très différentes au même système, ils ont découvert quelles parties du logiciel du microscope étaient universelles (les mêmes pour tous) et quelles parties étaient spécifiques à la tâche (comme une épice spéciale pour un plat particulier).

Les parties « universelles » (La plomberie)

Ils ont découvert que l'essentiel du travail lourd dans un microscope intelligent est déjà résolu par les logiciels d'autres personnes. Vous n'avez pas besoin d'inventer une nouvelle façon de parler à une caméra ou à un moteur ; il vous suffit de vous brancher sur les « adaptateurs universels » existants.

• Parler au matériel : Tout comme votre téléphone utilise un port USB standard pour communiquer avec un chargeur, le microscope utilise un logiciel standard (comme ophyd et micro-manager) pour communiquer avec les caméras et les moteurs.
• Diriger le spectacle : Il existe une façon standard de dire au microscope ce qu'il doit faire (comme une liste de lecture pour un DJ), en utilisant un système appelé bluesky.
• Sauvegarder et afficher : Les données sont enregistrées dans un catalogue standard (databroker) et peuvent être visualisées dans un visionneur standard (napari), tout comme vous sauvegardez des photos sur un cloud et les visualisez sur n'importe quel téléphone.

Ces parties n'ont pas changé du tout, quel que soit l'expérience menée. Elles sont les « murs et les sols » de la maison — solides et réutilisables.

Les deux nouvelles inventions (Les meubles sur mesure)

Cependant, l'étude a révélé deux choses spécifiques qui devaient être construites de toutes pièces car personne d'autre n'en avait créé une version standard. Ce sont les principales contributions de l'article.

1. La « carte » de l'échantillon (Représentation de l'échantillon)
Imaginez que vous êtes un aspirateur robot. Vous devez savoir où se trouvent les murs pour ne pas vous y cogner. Par le passé, les scientifiques devaient écrire un code spécial pour chaque type de récipient (rond, carré, avec des trous) pour dire au robot où il était autorisé à nettoyer.
Les auteurs ont inventé une nouvelle façon de décrire l'échantillon comme un objet géométrique. Ils ont créé une « carte numérique » qui dit : « Le verre est ici, le rebord en plastique est là, et vous ne pouvez nettoyer que sur le verre. » Cette carte fonctionne pour n'importe quelle forme de récipient. Désormais, le robot n'a pas besoin de savoir à quoi ressemble un récipient ; il a juste besoin de connaître la carte. Cela permet au microscope de rester sur le verre et d'éviter automatiquement les bords en plastique, quel que soit le récipient utilisé.

2. Le flux d'« objets détectés » (Représentation de l'observation)
Habituellement, un microscope prend une photo, l'enregistre, puis un ordinateur examine la photo plus tard pour trouver des cellules. C'est comme prendre une photo d'une foule, l'enregistrer sur un disque dur, puis embaucher une équipe pour compter les gens le lendemain.
Les auteurs ont modifié le système pour que le microscope ne se contente pas de recracher des images brutes. Au lieu de cela, il observe l'image au moment où elle arrive et déclare immédiatement : « Je vois une cellule ici, et voici sa luminosité. » Le résultat de l'expérience n'est pas un tas de photos ; c'est une liste d'« objets détectés » avec leurs emplacements et leurs mesures.
C'est un changement radical car cela signifie que le microscope peut prendre des décisions instantanément. Si le plan stipule : « Si vous voyez une cellule avec un point brillant, regardez de plus près », le microscope peut le faire immédiatement parce qu'il parle déjà de « cellules », et non de simples « pixels ».

La pièce manquante (Le problème du « Où regarder ensuite ? »)

L'étude a également révélé une chose qu'ils n'ont pas encore pu totalement résoudre : le ciblage.
C'est la question : « Où dois-je regarder ensuite ? »
Dans certaines expériences, la réponse est une grille simple (comme tondre une pelouse en lignes droites). Dans d'autres, la réponse est « cherche là où se trouve l'élément intéressant ». Les auteurs ont essayé de construire un système capable de gérer les deux, mais ils ont réalisé qu'ils n'avaient pas encore construit de « commutateur universel » pour cela. Ils ont utilisé une stratégie de grille pour la plupart des tâches, mais ils ne pouvaient pas facilement la remplacer par une stratégie de « recherche intelligente » sans réécrire le code. Ils ont identifié cela comme le prochain grand chantier à construire.

Ce qu'ils ont réellement fait avec cela

Pour prouver que leur nouveau système fonctionnait, ils ont mené deux expériences biologiques réelles :

1. Le marathon des 22 000 cellules : Ils ont traité des cellules humaines avec un agent endommageant l'ADN et ont laissé le microscope scanner et analyser 22 000 cellules de manière autonome. Aucun humain n'a touché l'ordinateur après le démarrage. Le système a constaté que les marqueurs de réparation de l'ADN des cellules augmentaient, exactement comme prévu.
2. La surveillance de 24 heures : Ils ont observé des cellules vivantes se diviser sur 24 heures. Grâce au système (utilisant la « Carte » qu'ils ont inventée) qui permettait de revenir exactement sur les mêmes cellules de façon répétée et de les maintenir au point, ils ont pu observer un événement rare : une cellule se divisant et transmettant ses « cicatrices » de réparation de l'ADN à ses bébés.

La conclusion principale

L'article conclut que nous n'avons pas besoin de construire un nouveau logiciel de microscope pour chaque nouvelle expérience. La majeure partie de la pile logicielle est déjà construite et fonctionnelle. Nous devons simplement construire deux nouveaux « interfaces » : une façon de décrire la forme de l'échantillon et une façon de décrire les résultats sous forme d'« objets » plutôt que de simples « images ».

Une fois que vous possédez ces deux pièces, la partie « intelligente » du microscope devient aussi simple qu'un programme informatique normal. Le microscope peut regarder, réfléchir et décider de ce qu'il fera ensuite sans qu'un humain ait besoin d'écrire un nouveau programme à chaque fois. La seule chose qu'il reste à déterminer est comment rendre la décision « Où regarder ensuite ? » aussi flexible que le reste du système.

En résumé, les auteurs n'ont pas seulement construit un meilleur microscope ; ils ont créé le plan de construction de n'importe quel microscope intelligent futur, évitant ainsi aux scientifiques de devoir réinventer la roue à chaque fois.