XRF-to-Optical Field-of-View Localization with Vision Language Models

Cientistas frequentemente precisam observar a mesma pequena peça de tecido de duas maneiras diferentes para entender o que está acontecendo dentro dele. Uma maneira utiliza um microscópio óptico padrão para ver a forma das células e tecidos, de forma muito semelhante a olhar para o mapa de uma cidade para ver onde estão os parques e os edifícios. Outra maneira utiliza uma poderosa técnica de raios X para detectar elementos químicos específicos, como o fósforo, que atua como um holofote destacando a localização exata desses elementos dentro do tecido. Para dar sentido aos dados, os pesquisadores devem ser capazes de alinhar essas duas imagens perfeitamente, combinando o mapa químico com o mapa de formas. Esse processo é chamado de localização. É essencial para estudar como elementos traço se movem através de neurônios ou como nanopartículas se comportam dentro das células. No entanto, realizar esse ajuste é surpreendentemente difícil porque as duas imagens muitas vezes não se parecem em nada. O mapa químico pode mostrar apenas um ponto minúsculo e tênue, enquanto a imagem de luz mostra uma paisagem complexa de células. Além disso, o mapa químico pode vir de uma fatia de tecido situada logo ao lado da imagem de luz, o que significa que as estruturas não se alinham perfeitamente, e o mapa químico frequentemente cobre apenas uma pequena fração da área total mostrada na imagem de luz.

Pesquisadores do Laboratório Nacional Argonne e da Universidade Northwestern abordaram recentemente este problema testando uma nova abordagem que utiliza inteligência artificial para encontrar o ponto de correspondência sem a necessidade de serem ensinados especificamente para essa tarefa. Eles trabalharam com dois tipos de amostras de tecido. O primeiro tipo era direto: o mapa químico e a imagem de luz vinham exatamente da mesma fatia de tecido, portanto, as formas coincidiam bem. O segundo tipo era muito mais difícil: as imagens vinham de duas fatias de tecido diferentes e adjacentes. Neste caso difícil, as formas eram ligeiramente diferentes e o mapa químico cobria uma área muito pequena, às vezes menos de um por cento da imagem total. A equipe testou se modelos modernos de visão-linguagem — sistemas de inteligência artificial que podem compreender tanto imagens quanto instruções escritas — conseguiriam localizar o mapa químico na imagem de luz apenas ao serem solicitados para isso. Eles descobriram que simplesmente pedir à IA para apontar a localização não era confiável o suficiente por si só. A IA conseguia adivinhar, mas frequentemente cometia erros, especialmente quando as fatias de tecido eram diferentes ou o alvo era minúsculo.

Para resolver isso, os pesquisadores desenvolveram um fluxo de trabalho de duas etapas. Primeiro, eles deixaram a inteligência artificial fazer várias suposições diferentes sobre onde o mapa químico poderia estar. Em vez de confiar em apenas um palpite, eles trataram essas suposições como uma lista de candidatos. Em seguida, utilizaram um programa de computador padrão para verificar cada candidato contra os dados químicos reais para ver qual era a melhor correspondência. Este método de propor muitas opções e depois verificá-las funcionou muito melhor do que confiar apenas na IA. Nas amostras de tecidos adjacentes, que eram difíceis, onde os métodos tradicionais falharam completamente, este novo fluxo de trabalho encontrou com sucesso a localização correta em muitos casos. Os pesquisadores também testaram outras ferramentas avançadas de IA que não foram projetadas para este trabalho específico, mas descobriram que nenhuma delas conseguia resolver o problema por conta própria sem este processo de duas etapas.

O estudo mostrou que, embora esses poderosos modelos de IA não sejam perfeitos em localizar pontos exatos por si sós, eles são excelentes em gerar uma lista curta de possibilidades. Quando combinados com uma verificação simples que compara os padrões visuais das duas imagens, o sistema torna-se uma ferramenta confiável para cientistas. Isso é particularmente importante para os casos difíceis em que as fatias de tecido não coincidem perfeitamente, uma situação em que os métodos antigos geralmente desistem. Os pesquisadores demonstraram que, ao usar a IA para sugerir possibilidades e depois deixar o computador verificar a melhor opção, eles podiam recuperar resultados úteis mesmo quando as imagens eram muito diferentes. Esta abordagem não exige o treinamento da IA com novos dados para cada experimento, tornando-a uma ferramenta flexível para cientistas que precisam conectar diferentes tipos de imagens microscópicas de forma rápida e precisa. O trabalho confirma que, para as tarefas de imagem científica mais desafiadoras, a melhor estratégia é frequentemente deixar a IA fazer um "brainstorming" e depois deixar que os dados decidam a resposta final.