SWITi: Quantifying and Reducing Tiling Artifacts with Sliding Window Inner Tiling

거대한 직소 퍼즐을 맞추려는데, 손이 너무 작아서 한 번에 몇 조각밖에 잡을 수 없다고 상상해 보세요. 아주 작은 구역을 집어 들고, 그것이 어떻게 생겼는지 파악한 다음, 내려놓고 나서 다음 장소로 이동해야 합니다. 이것은 컴퓨터가 세포나 조직의 3D 스캔과 같은 거대한 의료 영상을 분석할 때 하는 방식과 정확히 일스러 같습니다. 이러한 영상들은 너무 커서 컴퓨터의 "두뇌"(신경망)가 한 번에 전체를 볼 수 없는 경우가 많습니다. 그래서 과학자들은 이미지를 "타일"이라고 불리는 작은 사각형들로 조각내어 각각 따로 해결한 뒤, 다시 하나로 붙입니다.

문제는 이 조각들을 다시 붙이는 작업이 까endo 까다롭다는 점입니다. 만약 컴퓨터가 한 타일의 가장자리를 이웃한 타일과 약간 다르게 예측한다면, 그림에 눈에 보이는 균열이나 이상한 선이 생기게 됩니다. 의료 영상의 세계에서 이러한 선들은 위험합니다. 그것들은 실제 세포의 일부가 아니라, 컴퓨터의 스티칭(stitching) 과정에서 발생한 실수일 뿐입니다. 하지만 이런 선들은 형태나 경계처럼 보이기 때문에, 의사나 과학자가 실수로 이를 세포벽이나 조직의 찢어진 부분 같은 실제 생물학적 구조로 오해할 수 있습니다. 특히 컴퓨터가 단 하나의 정답을 내놓는 것이 아니라 확률(probability)에 기반하여 이미지가 어떠할 것인지를 추측하고 있을 때 더욱 혼란스러울 수 있습니다. 이 연구의 목표는 디지털 퍼즐 조각들을 아주 매끄럽게 붙여서, 이미지가 흐릿해지거나 중요한 세부 정보를 잃지 않으면서도 균열이 사라지도록 만드는 방법을 찾아내는 것입니다.

---

퍼즐 풀의 문제 (The Puzzle Glue Problem)

이 논문은 이러한 보기 싫은 "스티칭 이음매(stitching seams)"를 해결하기 위해 SWITi(Sliding Window Inner Tiling)라고 불리는 영리한 새로운 방법을 소개합니다. SWITi가 왜 특별한지 이해하려면, 먼저 컴퓨터가 거대한 이미지를 보통 어떻게 처리하는지 살펴봐야 합니다.

일반적으로 컴퓨터가 거대한 이미지를 처리할 때는 Inner Tiling이라는 전략을 사용합니다. 당신이 거대한 벽화를 그리고 있는데, 가진 캔버스는 아주 작다고 상상해 보세요. 당신은 정사각형 하나를 칠하고, 캔버스를 옆으로 옮긴 뒤, 다음 정사각형을 칠하는 식입니다. 가장자리가 제대로 보이게 하려면, 현재 캔버스에 다음 정사각형의 일부를 조금 더 그려 넣기도 합니다(이를 "헤일로(halo)"라고 부릅니다). 하지만 그 후에는 그 추가된 부분을 버리고 중심 부분만 남깁니다. 이 방식은 단순한 사진에는 괜찮지만, 컴퓨터가 확률(예: "이 픽셀이 세포인가 아니면 배경인가?")을 예측하려고 할 때 실패합니다.

여기서 문제가 발생합니다. 만약 컴퓨터가 정확히 같은 지점을 두 번 보더라도, 시작 위치가 약간씩 다르다면 서로 다른 답을 내놓을 수 있습니다. 기존 방식에서는 컴퓨터가 항상 똑같은 격자(grid)를 사용합니다. 따라서 타일의 가장자리에 불일치가 있다면, 그 불일치는 매번 똑같은 위치에서 발생하게 되어 영구적이고 눈에 띄는 선을 만들어냅니다. 이는 마치 종이 두 장을 테이프로 붙이려고 하는데, 할 때마다 테이프가 항상 똑같이 약간 비뚤게 붙는 것과 같습니다. 그러면 그 선은 아주 명확하게 드러날 것입니다.

슬라이딩 윈도우 솔루션 (The Sliding Window Solution)

저자들은 컴퓨터가 시야를 "미끄러뜨리게(slide)" 만듦으로써 게임의 판도를 바꾸는 SWITi를 제안합니다. 타일을 고정된 격자에 가두는 대신, SWITi는 매 새로운 예측을 할 때마다 창(window)을 약간씩 이동시킵니다.

이것은 손이 떨리는 상태에서 군중의 사진을 찍는 것과 비슷합니다. 사진을 한 장 찍으면 누군가의 얼굴을 놓치거나 머리 부분을 잘라버릴 수 있습니다. 하지만 카메라를 매번 약간씩 움직이며 열 장의 사진을 찍고 이를 모두 혼합하면, 빠진 부분이 채워지고 가장자리가 부드러워집니다. SWITi는 "타일"을 가지고 이 작업을 수행합니다. 여러 번 약간씩 이동된 위치에서의 예측값들을 가져와서 평균을 내는 것입니다.

이제 컴퓨터가 다양한 각도에서 예측을 평균 내기 때문에, 이상한 선이나 불일치는 넓게 퍼지고 희석됩니다. 이미지 전체를 가로지르는 날카롭고 울퉁불퉁한 이음매 대신, 오류는 완만한 언덕처럼 부드럽게 펴집니다. 가장 좋은 점은, 저자들이 이 방식이 컴퓨터를 더 힘들게 만들지 않는다는 것을 증명했다는 것입니다. 이 방식은 기존 방식과 동일한 횟수의 "예측(forward passes)"을 사용하며, 단지 그 예측이 일어나는 위치를 재배치할 뿐입니다.

유령 잡기: 새로운 지표들 (Catching the Ghosts: New Metrics)

문제를 해결했다고 주장하려면 그것을 측정할 방법이 있어야 합니다. 저자들은 표준적인 이미지 품질 검사 방식(예: 사진을 "완벽한" 참조 이미지와 비교하는 방식)이 여기서는 작동하지 않는다는 것을 깨달았습니다. 왜냐하면 현실에서는 비교할 수 있는 완벽한 참조 이미지가 없는 경우가 많기 때문입니다.

그래서 그들은 이 보이지 않는 유령들을 탐지하기 위해 두 가지 새로운 "참조 없는(reference-free)" 도구를 발명했습니다.

1. FRT (Fraction of Rejected Tests): 이것은 "이음매 탐지기"와 같습니다. 컴퓨터는 타일의 가장자리를 보고 "여기의 선 패턴이 나머지 사진과 비교했을 때 이상해 보이는가?"라고 묻습니다. 만약 이상해 보인다면 해당 타일에 표시를 합니다. FRT는 표시된 타일의 비율을 의미합니다. 점수가 낮을수록 이음매가 적다는 뜻입니다.
2. ASV (Artifact Severity): 이것은 이음매가 얼마나 심한지를 측정합니다. 이음매가 아주 작은 흠집 수준이라면 점수가 낮고, 거대하고 울퉁불퉁한 균열이라면 점수가 높습니다.

그들은 이 도구들을 세포의 2D 이미지와 제브라피쉬 조직의 3D 볼륨을 포함한 실제 생물학적 데이터에 테스트했습니다. 결과는 명확했습니다: 기존 방식(Inner Tiling)은 눈에 보이는 격자선이 가득했고, 새로운 도구들은 거의 모든 타일을 문제가 있는 것으로 분류했습니다. 반면, SWITi는 이러한 점수들을 획기적으로 줄였습니다. 어떤 경우에는 문제가 있는 타일의 수가 절반으로 줄어들었으며, 남아있는 선들의 심각성 또한 거의 보이지 않는 수준이 되었습니다.

사진을 흐리게 만드는가? (Does It Blur the Picture?)

부드럽게 만드는 기술(smoothing techniques)에서 흔히 드는 걱정은 중요한 세부 사항까지 흐리게 만들 수 있다는 점입니다. 이음매를 부드럽게 만들면 세포의 미세한 구조까지도 부드럽게 만드는 것 아닐까요? 저자들은 이를 주의 깊게 확인했습니다. 그들은 SWITi가 단순히 이음매를 숨기는 것이 아니라, 많은 경우 해상도를 오히려 개선한다는 것을 발견했습니다.

미세한 디테일이 얼마나 보존되는지를 측정하는 Fourier Ring Correlation (FRC) 기법을 사용하여, 저자들은 SWITi가 기존 방식보다 이미지를 더 선명하게 유지한다는 것을 보여주었습니다. 사실, 이음매가 가장 심했던 데이터셋의 경우, SWITi는 이전보다 더 많은 디테일을 드러냈습니다. 이음매라는 인공적인 "노이즈"를 제거함으로써 실제 생물학적 구조가 더 뚜렷하게 드러나게 된 것입니다.

결론 (The Bottom Line)

본 논문은 대규모 의료 영상, 특히 확률을 예측하는 고급 모델을 사용할 때 기존의 이미지 스티칭 방식에 결함이 있다고 결론짓습니다. 이는 실제 생물학적 구조로 오해받을 수 있는 인공적인 선을 만들어냅니다. SWITi는 창을 고정하는 대신 미끄러지듯 움직이는 것만으로 해결할 수 있는, 비용이 들지 않는 간단한 해결책을 제공합니다.

저자들은 2D 및 3D 이미지를 포함한 다양한 데이터셋에서 테스트하고, 자신들이 만든 새로운 탐지 도구와 확립된 품질 측정 기준을 모두 사용했기 때문에 이 결과에 확신을 가지고 있습니다. 그들은 단순히 이것이 작동할 수도 있다고 제안한 것이 아니라, 이를 직접 측정하여 인공물(artifacts)이 품질 저하 없이 현저히 감소했음을 보여주었습니다. 대규모 생물학적 이미지를 다루는 모든 이들에게, 이는 더 깨끗한 사진, 진단의 오류 감소, 그리고 컴퓨터 자체의 한계가 만든 디지털 흉터 없이 생명의 참된 구조를 볼 수 있는 방법을 의미합니다.