XRF-to-Optical Field-of-View Localization with Vision Language Models

Los científicos a menudo necesitan observar la misma pequeña pieza de tejido de dos maneras diferentes para comprender qué está sucediendo en su interior. Una forma utiliza un microscopio óptico estándar para ver la forma de las células y los tejidos, de forma muy parecida a mirar un mapa de una ciudad para ver dónde están los parques y los edificios. Otra forma utiliza una potente técnica de rayos X para detectar elementos químicos específicos, como el fósforo, que actúa como un reflector que resalta la ubicación exacta de esos elementos dentro del tejido. Para dar sentido a los datos, los investigadores deben ser capaces de alinear estas dos imágenes perfectamente, haciendo coincidir el mapa químico con el mapa de formas. Este proceso se llama localización. Es esencial para estudiar cómo se mueven los oligoelementos a través de las neuronas o cómo se comportan las nanopartículas dentro de las células. Sin embargo, realizar este emparejamiento es sorprendentemente difícil porque las dos imágenes a menudo no se parecen en nada. El mapa químico puede mostrar solo un punto diminuto y tenue, mientras que la imagen de luz muestra un paisaje complejo de células. Además, el mapa químico puede provenir de una rebanada de tejido situada justo al lado de la imagen de luz, lo que significa que las estructuras no coinciden perfectamente, y el mapa químico suele cubrir solo una pequeña fracción del área total mostrada en la imagen de luz.

Investigadores del Laboratorio Nacional Argonne y la Universidad Northwestern abordaron recientemente este problema probando un nuevo enfoque que utiliza inteligencia artificial para encontrar el punto de coincidencia sin necesidad de ser enseñado específicamente para esta tarea. Trabajaron con dos tipos de muestras de tejido. El primer tipo era sencillo: el mapa químico y la imagen de luz provenían exactamente de la misma rebanada de tejido, por lo que las formas coincidían bien. El segundo tipo era mucho más difícil: las imágenes provenían de dos rebanadas de tejido diferentes y adyacentes. En este caso difícil, las formas eran ligeramente distintas y el mapa químico cubría un área muy pequeña, a veces menos del uno por ciento del total de la imagen. El equipo probó si los modelos modernos de visión y lenguaje —sistemas de inteligencia artificial que pueden comprender tanto las imágenes como las instrucciones escritas— podían localizar el mapa químico en la imagen de luz con solo pedírselo. Descubrieron que el simple hecho de pedirle a la IA que señalara la ubicación no era lo suficientemente fiable por sí solo. La IA podía adivinar, pero a menudo cometía errores, especialmente cuando las rebanadas de tejido eran diferentes o el objetivo era diminuto.

Para resolver esto, los investigadores desarrollaron un flujo de trabajo de dos pasos. Primero, dejaron que la inteligencia artificial hiciera varias conjeturas diferentes sobre dónde podría estar el mapa químico. En lugar de confiar en un solo intento, trataron estas conjeturas como una lista de candidatos. Luego, utilizaron un programa informático estándar para comprobar cada candidato contra los datos químicos reales para ver cuál era la mejor coincidencia. Este método de proponer muchas opciones y luego verificarlas funcionó mucho mejor que confiar únicamente en la IA. En las muestras difíciles de tejido adyacente, donde los métodos tradicionales fallaban por completo, este nuevo flujo de trabajo encontró con éxito la ubicación correcta en muchos casos. Los investigadores también probaron otras herramientas de IA avanzadas que no estaban diseñadas para este trabajo específico, pero descubrieron que ninguna de ellas podía resolver el problema por sí sola sin este proceso de dos pasos.

El estudio demostró que, si bien estos potentes modelos de IA no son perfectos para señalar ubicaciones exactas por sí mismos, son excelentes para generar una lista corta de posibilidades. Cuando se combinan con una comprobación sencilla que compara los patrones visuales de las dos imágenes, el sistema se convierte en una herramienta fiable para los científicos. Esto es particularmente importante en los casos difíciles donde las rebanadas de tejido no coinciden perfectamente, una situación en la que los métodos antiguos suelen rendirse. Los investigadores demostraron que, al utilizar la IA para sugerir posibilidades y luego dejar que el ordenador verificara la mejor opción, podían recuperar resultados útiles incluso cuando las imágenes se veían muy diferentes. Este enfoque no requiere entrenar a la IA con nuevos datos para cada experimento, lo que lo convierte en una herramienta flexible para los científicos que necesitan conectar diferentes tipos de imágenes microscópicas de forma rápida y precisa. El trabajo confirma que, para las tareas de imagen científica más desafiantes, la mejor estrategia es a menudo dejar que la IA proponga ideas y luego dejar que los datos decidan la respuesta final.