XRF-to-Optical Field-of-View Localization with Vision Language Models

과학자들은 종종 조직 내부에서 어떤 일이 일어나고 있는지 이해하기 위해 동일한 아주 작은 조직 조각을 두 가지 다른 방식으로 관찰해야 합니다. 한 가지 방법은 표준 광학 현미경을 사용하여 세포와 조직의 형태를 보는 것으로, 이는 마치 도시의 지도를 보고 공원과 건물이 어디에 있는지 확인하는 것과 같습니다. 또 다른 방법은 인광(phosphorus)과 같은 특정 화학 원소를 탐지하는 강력한 X선 기술을 사용하는 것으로, 이는 마치 스포트라이트처럼 조직 내에서 해당 원소의 정확한 위치를 강조하여 보여주는 것과 같습니다. 데이터를 해석하기 위해 연구자들은 이 두 사진을 완벽하게 정렬하여, 화학적 지도와 형태 지도를 일치시켜야 합니다. 이 과정을 '로컬라이제이션(localization, 국소화)'이라고 부릅니다. 이는 뉴런을 통해 미량 원소가 어떻게 이동하는지 또는 나노 입자가 세포 내부에서 어떻게 행동하는지를 연구하는 데 필수적입니다. 그러나 이 두 이미지는 서로 매우 다르게 보일 수 있기 때문에, 이들을 매칭하는 작업은 놀라울 정도로 어렵습니다. 화학적 지도는 아주 작고 희미한 점 하나만을 보여줄 수도 있는 반면, 광학 이미지는 복잡한 세포의 풍경을 보여줄 수 있습니다. 게다가, 화학적 지도는 광학 이미지 바로 옆에 있는 조직 절편에서 나온 것일 수 있어 구조가 완벽하게 일치하지 않을 수 있으며, 화학적 지도는 전체 광학 이미지 영역의 아주 적은 부분만을 차지하는 경우가 많습니다.

아르곤 국립 연구소(Argonne National Laboratory)와 노스웨스턴 대학교(Northwestern University)의 연구진은 최근 인공지능을 사용하여 이 작업을 위해 특별히 학습시키지 않고도 일치하는 지점을 찾아내는 새로운 접근 방식을 테스트함으로써 이 문제를 해결했습니다. 그들은 두 종류의 조직 샘플을 가지고 작업했습니다. 첫 번째 유형은 간단했습니다. 화학적 지도와 광학 이미지가 정확히 동일한 조직 절편에서 나왔기 때문에 형태가 잘 일치했습니다. 두 번째 유형은 훨씬 더 어려웠습니다. 이미지가 서로 인접한 두 개의 다른 조직 절편에서 왔기 때문입니다. 이 어려운 경우, 형태가 약간 달랐으며 화학적 지도는 전체 이미지의 1% 미만인 아주 작은 영역만을 차지했습니다. 연구팀은 현대적인 시각-언어 모델(이미지와 텍스트 명령을 모두 이해할 수 있는 인공지능 시스템)이 단순히 요청을 받는 것만으로 광학 이미지 상에서 화학적 지도의 위치를 찾을 수 있는지 테스트했습니다. 그 결과, 단순히 AI에게 위치를 지목하라고 요청하는 것만으로는 충분히 신뢰할 수 없다는 것을 발견했습니다. AI는 추측할 수는 있었지만, 특히 조직 절편이 다르거나 대상이 매우 작을 때 자주 실수를 저질렀습니다.

이를 해결하기 위해 연구진은 2단계 워크플로우를 개발했습니다. 먼저, 인공지능이 화학적 지도가 있을 법한 위치에 대해 여러 가지 서로 다른 추측을 하도록 했습니다. 단 하나의 추측만을 신뢰하는 대신, 이 추측들을 후보 목록으로 취급했습니다. 그다음, 표준 컴퓨터 프로그램을 사용하여 각 후보를 실제 화학 데이터와 대조하여 어떤 것이 가장 잘 맞는지를 확인했습니다. 이렇게 많은 옵션을 제안한 후 검증하는 방식은 AI에만 의존하는 것보다 훨씬 더 효과적이었습니다. 전통적인 방식이 완전히 실패했던 인접 조직 샘플의 어려운 경우에도, 이 새로운 워크플로우는 많은 경우에서 올바른 위치를 성공적으로 찾아냈습니다. 연구진은 이 특정 작업을 위해 설계되지 않은 다른 고급 AI 도구들도 테스트했지만, 이 2단계 프로세스 없이는 그 어떤 것도 스스로 문제를 해결할 수 없다는 것을 발견했습니다.

이 연구는 이러한 강력한 AI 모델들이 스스로 정확한 위치를 짚어내는 데는 완벽하지 않을지라도, 가능성 있는 목록을 생성하는 데는 매우 뛰어나다는 것을 보여주었습니다. 두 이미지의 시각적 패턴을 비교하는 단순한 검증 과정과 결합될 때, 이 시스템은 과학자들에게 신뢰할 수 있는 도구가 됩니다. 이는 조직 절편이 완벽하게 일치하지 않는 까다로운 경우, 즉 기존의 방법들이 보통 포기해 버리는 상황에서 특히 중요합니다. 연구진은 AI를 사용하여 가능성을 제안하고, 컴퓨터가 최선의 답을 검증하게 함으로써, 두 이미지가 매우 다르게 보일 때도 유용한 결과를 복구할 수 있음을 입증했습니다. 이 접근 방식은 실험마다 AI를 새로운 데이터로 학습시킬 필요가 없으므로, 서로 다른 종류의 미세 이미지들을 빠르고 정확하게 연결해야 하는 과학자들에게 유연한 도구가 됩니다. 이 연구는 가장 도전적인 과학적 이미징 작업에 있어서, 최선의 전략은 종-종 AI가 아이디어를 브레인스토밍하게 하고 데이터가 최종 답을 결정하게 하는 것임을 확인시켜 줍니다.