XRF-to-Optical Field-of-View Localization with Vision Language Models

Gli scienziati hanno spesso bisogno di osservare lo stesso minuscolo pezzetto di tessuto in due modi diversi per capire cosa stia accadendo al suo interno. Un modo utilizza un microscopio ottico standard per vedere la forma di cellule e tessuti, molto simile al guardare la mappa di una città per vedere dove si trovano i parchi e gli edifici. Un altro modo utilizza una potente tecnica a raggi X per rilevare elementi chimici specifici, come il fosforo, che agisce come un riflettore che evidenzia l'esatta posizione di tali elementi all'interno del tessuto. Per dare un senso ai dati, i ricercatori devono essere in grado di allineare perfettamente queste due immagini, facendo corrispondere la mappa chimica con la mappa delle forme. Questo processo è chiamato localizzazione. È essenziale per studiare come gli elementi in traccia si muovano attraverso i neuroni o come le nanoparticelle si comportino all'interno delle cellule. Tuttavia, eseguire questo accoppiamento è sorprendentemente difficile perché le due immagini spesso non si somigliano affatto. La mappa chimica potrebbe mostrare solo un piccolo e debole punto, mentre l'immagine luminosa mostra un paesaggio complesso di cellule. Inoltre, la mappa chimica potrebbe provenire da una fetta di tessuto situata proprio accanto all'immagine luminosa, il che significa che le strutture non si allineano perfettamente, e la mappa chimica spesso copre solo una piccola frazione dell'area totale mostrata nell'immagine luminosa.

Ricercatori dell'Argonne National Laboratory e della Northwestern University hanno recentemente affrontato questo problema testando un nuovo approccio che utilizza l'intelligenza artificiale per trovare il punto di corrispondenza senza dover essere istruito specificamente per questo compito. Hanno lavorato con due tipi di campioni di tessuto. Il primo tipo era semplice: la mappa chimica e l'immagine luminosa provenivano esattamente dalla stessa fetta di tessuto, quindi le forme corrispondevano bene. Il secondo tipo era molto più difficile: le immagini provenivano da due fette di tessuto diverse e adiacenti. In questo caso difficile, le forme erano leggermente diverse e la mappa chimica copriva un'area molto piccola, talvolta meno dell'uno per cento dell'immagine totale. Il team ha testato se i moderni modelli visione-linguaggio — sistemi di intelligenza artificiale in grado di comprendere sia le immagini che le istruzioni scritte — potessero localizzare la mappa chimica sull'immagine luminosa semplicemente chiedendo loro di farlo. Hanno scoperto che chiedere semplicemente all'IA di indicare la posizione non era abbastanza affidabile da solo. L'IA poteva indovinare, ma spesso commetteva errori, specialmente quando le fette di tessuto erano diverse o il bersaglio era minuscolo.

Per risolvere questo problema, i ricercatori hanno sviluppato un flusso di lavoro in due fasi. Per prima cosa, hanno lasciato che l'intelligenza artificiale facesse diverse ipotesi diverse su dove potesse trovarsi la mappa chimica. Invece di fidarsi di un solo tentativo, hanno trattato queste ipotesi come un elenco di candidati. Poi, hanno utilizzato un programma informatico standard per controllare ogni candidato rispetto ai dati chimici effettivi per vedere quale fosse l'abbinamento migliore. Questo metodo di proporre molte opzioni e poi verificarle ha funzionato molto meglio che affidarsi solo all'IA. Nei campioni di tessuto adiacente più difficili, dove i metodi tradizionali fallivano completamente, questo nuovo flusso di lavoro ha trovato con successo la posizione corretta in molti casi. I ricercatori hanno anche testato altri strumenti avanzati di IA che non erano progettati per questo compito specifico, ma hanno scoperto che nessuno di essi poteva risolvere il problema da solo senza questo processo in due fasi.

Lo studio ha dimostrato che, sebbene questi potenti modelli di IA non siano perfetti nel individuare l'esatta posizione da soli, sono eccellenti nel generare un breve elenco di possibilità. Quando combinati con un semplice controllo che confronta i pattern visivi delle due immagini, il sistema diventa uno strumento affidabile per gli scienziati. Ciò è particolarmente importante per i casi difficili in cui le fette di tessuto non corrispondono perfettamente, una situazione in cui i metodi più vecchi solitamente rinunciano. I ricercatori hanno dimostrato che, usando l'IA per suggerire le possibilità e poi lasciando che il computer verifichi la migliore, potevano recuperare risultati utili anche quando le immagini apparivano molto diverse. Questo approccio non richiede di addestrare l'IA su nuovi dati per ogni esperimento, rendendolo uno strumento flessibile per gli scienziati che hanno bisogno di collegare diversi tipi di immagini microscopiche in modo rapido e accurato. Il lavoro conferma che, per i compiti di imaging scientifico più impegnativi, la strategia migliore è spesso quella di lasciare che l'IA faccia brainstorming e poi lasciare che i dati decidano la risposta finale.