XRF-to-Optical Field-of-View Localization with Vision Language Models

科学者たちは、組織の中で何が起きているのかを理解するために、同じ非常に小さな組織片を二つの異なる方法で観察する必要があることがよくあります。一つの方法は、標準的な光学顕微鏡を用いて細胞や組織の形状を見る方法で、これは都市の地図を見て公園や建物の位置を確認するのに似ています。もう一つの方法は、強力なX線技術を用いて、リンなどの特定の化学元素を検出する方法であり、これはそれらの元素が組織内のどこに存在するのかを照らし出すスポットライトのような役割を果たします。データを解釈するために、研究者はこれら二つの画像を完璧に重ね合わせ、化学的なマップを形状のマップに一致させなければなりません。このプロセスは「ローカライゼーション（局在化）」と呼ばれます。これは、微量元素がニューロン内をどのように移動するか、あるいはナノ粒子が細胞内でどのように振る舞うかを研究するために不可欠です。しかし、この照合を行うことは驚くほど困難です。なぜなら、二つの画像は見た目が全く異なることが多いからです。化学マップは非常に小さくかすかな点のみを示すかもしれませんが、光学画像は複雑な細胞の景観を示しているかもしれません。さらに、化学マップは光学画像からすぐ隣にある組織のスライスから得られたものである可能性があり、その場合、構造は完全には一致しません。また、化学マップは全画像領域のごく一部しかカバーしていないこともよくあります。

アーガノン国立研究所とノースウェスタン大学の研究者たちは、特定のタスクのために特別に学習させる必要なく、人工知能を用いて一致する場所を見つけ出す新しいアプローチをテストすることで、この問題に取り組みました。彼らは二種類の組織サンプルを用いました。一種目は単純なものでした。化学マップと光学画像が全く同じ組織のスライスから得られていたため、形状がよく一致していました。二種類目は、はるかに困難なものでした。画像は二つの異なる隣接する組織スライスから得られていました。この難しいケースでは、形状がわずかに異なり、かつ化学マップが全画像の1パーセント未満という非常に狭い範囲しかカバーしていませんでした。チームは、最新のビジョン・ランゲージ・モデル（画像とテキストによる指示の両方を理解できる人工知能システム）が、単に指示されるだけで、光学画像内の化学マップの位置を特定できるかどうかをテストしました。その結果、AIに場所を指し示すよう求めるだけでは、それ自体では信頼性に欠けることがわかりました。AIは推測することはできますが、特に組織のスライスが異なっていたり、対象が極めて小さかったりする場合、しばしば間違いを犯しました。

これを解決するために、研究者たちは二段階のワークフローを開発しました。まず、人工知能に、化学マップがどこにある可能性があるかについて、いくつかの異なる推測を行わせます。一つの推測だけを信じるのではなく、これらの推測を候補リストとして扱います。次に、標準的なコンピュータプログラムを使用して、各候補を実際の化学データと照合し、どれが最良の適合であるかを確認します。このように多くの選択肢を提案してから検証するというこの手法は、AIだけに頼るよりもはるかに優れた結果をもたらしました。従来のメソッドが完全に失敗してしまうような、隣接組織の難しいサンプルにおいても、この新しいワークフローは多くの場合で正しい位置を見つけることに成功しました。研究者たちは、この特定の仕事のために設計されていない他の高度なAIツールもテストしましたが、この二段階のプロセスなしには、どれも単独で問題を解決できないことがわかりました。

この研究は、これらの強力なAIモデルは、単独で正確な位置を特定することには長けていないものの、可能性のある候補のショートリストを作成することには非常に優れていることを示しました。二つの画像の視覚的パターンを比較する単純なチェックと組み合わせることで、システムは信頼できるツールとなります。これは、組織のスライスが完全には一致しない難しいケースにおいて特に重要であり、古い手法では通常断念してしまう状況です。研究者たちは、AIに可能性を提案させ、次にコンピュータに最良のものを検証させることで、画像が非常に異なっていても有用な結果を回収できることを実証しました。このアプローチは、実験ごとにAIを新しいデータで学習させる必要がないため、異なる種類の顕微鏡画像を迅速かつ正確に結びつけたい科学者にとって柔軟なツールとなります。この研究は、最も困難な科学的イメージング・タスクにおいては、AIにブレインストーミングをさせ、その後にデータに最終的な判断をさせるという戦略が最適であることを裏付けています。