A Weakly Supervised Pre-processing Pipeline for Multi-Modal Image Pair Generation for Image Registration

당신은 거대한 직소 퍼즐을 풀려고 노력하고 있다고 상상해 보세요. 그런데 퍼즐 조각들이 완전히 다른 두 개의 상자에서 왔습니다. 한 상자에는 도시 거리의 흐릿한 광각 사진이 들어 있고, 다른 상자에는 그 거리의 단일 벽돌을 초고해밀도로 촬영한 미세 클로즈업 사진이 들어 있습니다. 당신은 이 둘이 서로 연결되어 있다는 것을 알지만, 겉보기에는 전혀 닮지 않았습니다. 하나는 색감이 있고 흐릿한 반면, 다른 하나는 흑백이며 놀라운 디테일을 가지고 있습니다. 이것이 세포나 재료와 같은 아주 작은 것들을 연구하는 과학자들이 매일 마주하는 현실입니다. 그들은 두 가지 강력한 도구를 사용합니다. 광학 현미경(LM)은 큰 그림을 보고 특정 형광 분자를 찾아내는 광각 카메라 역할을 하고, 전자 현미경(EM)은 원자 하나의 크기까지 볼 수 있는 초강력 줌 렌즈 역할을 합니다.

문제는 이 두 도구가 서로 다른 언어를 사용한다는 점입니다. 이들은 서로 다른 스케일과 서로 다른 "픽셀 크기"(이미지를 구성하는 작은 점들)를 가지고 세상을 바라보며, 종종 약간 다른 영역을 보여줍니다. 이들의 초능력을 결합하기 위해—즉, 광학 현미경의 분자적 디테일과 전자 현미경의 구조적 명확성을 결합하기 위해—과학자들은 이미지를 "등록(register)"해야 합니다. 이는 두 이미지를 완벽하게 정렬하여, 흐릿한 사진 속의 빛나는 분자가 선명한 사진 속의 해당 벽돌 바로 위에 정확히 위치하도록 만드는 것을 의미합니다. 만약 정렬이 조금이라도 어긋나면, 결합된 사진은 쓸모가 없게 됩니다. 이는 세계 지도 위에 동네 지도를 겹쳐 놓으려는 것과 같습니다. 지도들을 완벽하게 맞추기 위해 축소하거나 늘리지 않는다면, 거리들이 일치하지 않을 것입니다.

디지털 중매쟁이: 완벽하게 정렬된 현미경 사진을 위한 레시피

이 연구에서 막스 플랑크 고분자 연구소(Max Planck Institute for Polymer Research)의 연구진은 서로 맞지 않는 이미지들이 서로를 찾을 수 있도록 돕는 영리하고 반자동화된 레시피를 만들어냈습니다. 이들의 새로운 방법을 서로 다른 두 사진이 손을 잡고 완벽하게 발맞추어 걸을 수 있도록 준비시켜 주는 "디지털 중매쟁이"라고 생각하십시오.

그들이 해결한 주요 과제는 두 현미경이 '한 걸음'의 크기에 대해 서로 동의하지 않는다는 점입니다. 한 현미경은 한 걸음이 100나노미터라고 말할 때, 다른 현미경은 12나노미터라고 말할 수 있습니다. 단순히 이미지를 겹치기만 한다면 디테일이 일치하지 않을 것입니다. 저자들은 번역가이자 재단사를 결합한 듯한 워크플로우를 만들었습니다.

1단계: 인간의 손길 ("약지도 학습" 부분)
이 과정은 약간의 인간의 도움으로 시작되는데, 이것이 그들이 이를 "약지도 학습(weakly supervised)"이라고 부르는 이유입니다. 여러분이 공원의 거대한 흐릿한 사진(광학 현미경 이미지)과 그 공원의 특정 벤치를 찍은 아주 작고 선명한 사진(전자 현미경 이미지)을 가지고 있다고 상상해 보십시오. 컴퓨터가 마법을 부리기 전에, 인간은 두 사진의 공통된 랜드마크(예: 특정 나무나 바위)를 지정해야 합니다. 이 랜드마크 사이의 거리를 두 사진에서 각각 측정함으로써, 컴퓨터는 "픽셀 크기 비율(Pixel Size Ratio, PSR)"을 계산할 수 있습니다. 이것은 흐릿한 사진에서의 한 걸음이 선명한 사진에서는 정확히 6.5걸음에 해당한다는 것을 알아내는 것과 같습니다. 논문은 현재 컴퓨터가 이러한 특정 유형의 이미지에 대해 스스로 이 수학적 계산을 수행할 만큼 똑똑하지 못하기 때문에, 사람이 먼저 이 비율을 설정해야 한다고 명시하고 있습니다.

2단계: 축소 광선 (비닝, Binning)
비율을 알게 되면, 컴퓨터는 작고 선명한 전자 현미경 이미지를 축소합니다. 이는 고해상도 사진을 더 작은 프레임에 맞도록 크기를 조정하는 것과 같습니다. 연구진은 이미지를 특정 비율(예: 원래 크기의 1/8)로 줄이는 것이 매우 중요하다는 것을 발견했습니다. 너무 많이 줄이거나 너무 적게 줄이면 컴퓨터가 혼란을 느껴 일치하는 부분을 찾지 못합니다. 이는 마치 사각형 못을 둥근 구멍에 끼우려는 것과 같아서, 크기가 딱 맞아야 합니다.

3단계: "얼굴 찾기" 게임 (템플릿 매칭)
이제 재미있는 단계가 옵에 왔습니다. 컴퓨터는 축소된 선명한 이미지("템플릿")를 가지고 커다란 흐릿한 사진("소스") 내부를 탐색합니다. 컴퓨터는 "정규화된 상관관계(normalized correlation)" 기법을 사용합니다. 이는 여러분이 흐릿하고 붐비는 군중 속에서 특정 얼굴을 찾는 것과 같습니다. 단순히 추측하는 대신, 컴퓨터는 "얼굴"을 군중의 모든 지점으로 미끄러지듯 이동시키며 특징이 얼마나 잘 일치하는지 확인합니다. 연구진은 여기서 특정 수학적 트릭(전반적인 밝기 차이를 무시하는 것)이 가장 효과적이라는 것을 발견했습니다. 이를 통해 컴퓨터는 조명이 완전히 다르거나 한 사진에만 나타나는 샘플의 이상한 주름이 있더라도, 큰 사진 속에서 작은 사진이 위치할 정확한 지점을 찾아낼 수 있습니다.

4단계: 완벽한 컷 앤 페이스트 (Cut and Paste)
컴퓨터가 일치하는 부분을 찾으면, 큰 흐릿한 사진에서 그 정확한 사각형 영역을 잘라냅니다. 그런 다음, 그 잘라낸 조각을 원래의 선명한 사진과 정확히 같은 크기로 늘립니다. 결과는 어떠할까요? 완벽한 한 쌍의 이미지가 탄생합니다. 이제 두 이미지는 정확히 같은 영역을 보여주며, 동일한 픽셀 수와 동일한 "단계 크기"를 갖게 됩니다.

이것이 왜 중요한가
연구진은 세포와 박편(thin slices)을 포함한 실제 샘플을 통해 이 방법을 테스트했습니다. 그들은 한 사진에만 나타나는 주름진 샘플로 인한 밝은 점과 같은 이상한 아티팩트(artifacts)가 있음에도 불구하고 이 방법이 여전히 작동함을 보여주었습니다. 컴퓨터는 노이즈를 무시하고 실제 일치하는 부분을 찾아낼 만큼 견고했습니다.

이미지가 쌍으로 묶이면, 마지막 단계인 머신러닝 프로그램이 이들을 완벽하게 정렬할 준비가 됩니다. 저자들은 초기 쌍 맞추기가 정밀하지 않으면(오차 1% 미만 미달 시) 머신러닝 소프트웨어가 어려움을 겪는다는 것을 발견했습니다. 하지만 이 새로운 전처리 파이프라인을 사용하면 이미지가 매우 잘 준비되어, 표준 데스크톱 컴퓨터에서 1분도 채 걸리지 않아 최종 정렬이 완료됩니다.

결론
이 논문은 이미지 등록 문제를 독자적으로 완전히 해결했다고 주장하는 것이 아닙니다. 대신, 필수적이고 빠르며 신뢰할 수 있는 "전처리" 단계를 제공합니다. 이는 두 서로 다른 세계의 현미경 사이의 간극을 메워, 과학자들이 최종적으로 데이터를 결합할 때 동일한 현실을 보고 있음을 보장합니다. 이 방식은 복잡하고 혼란스러운 작업을 효율적이고 간소화된 프로세스로 바꾸어, 생물학 및 재료 과학 분야의 더 빠르고 정확한 발견을 위한 길을 열어줍니다. 저자들은 첫 번째 단계(비율 찾기)에는 여전히 인간의 개입이 필요하지만, 이 파이프라인이 미시 세계의 완전 자동화 및 고속 분석을 향한 거대한 도약이라고 제안합니다.