CorStitch: Accessible Video Stitching for Coral Monitoring

해저를 거대하고 끊임없이 움직이는 퍼즐이라고 상상해 보십시오. 과학자들과 환경 보호 활동가들에게 이 퍼즐을 이해하는 것은 매우 중요합니다. 왜냐하면 산호초는 수많은 종의 서식처이자 해안선을 보호하는 바다의 번화한 도시이기 때문입니다. 이를 연구하기 위해 연구원들은 종종 해저를 따라 헤엄치거나 카메라를 끌며 이동하며, 수천 장의 사진을 연속해서 찍습니다. 하지만 수천 장의 작고 끊어진 스냅샷을 보는 것은 마치 개별 나뭇잎을 통해 숲 전체를 이해하려는 것과 같습니다. 즉, 큰 그림을 놓치게 됩니다. 그 해결책은 바로 '스티칭(stitching)'입니다. 이는 컴퓨터가 겹쳐진 사진들을 가져와 하나의 거대하고 매끄러운 지도, 즉 '모자이크'로 꿰매는 디지털 마술입니다. 하지만 문제는 이 마술을 부리는 최고의 도구들은 매우 비싸거나 컴퓨터 공학 박사 학위 수준의 기술을 요구한다는 점입니다. 이로 인해 많은 지역 사회와 소규모 단체들은 자신들의 수중 이웃(해저 환경)의 전체 모습을 볼 수 있는 방법을 갖지 못하고 있습니다.

바로 여기서 CorStitch라는 새로운 도구가 등장합니다. 이것을 수중 영상을 위해 특별히 설계된 무료 오픈 소스 '재봉틀'이라고 생각하면 됩니다. 이 논문은 CorStich를 수중 영상을 하나로 꿰매는 과정을 자동화하여, 기술적 숙련도나 예산에 상관없이 어부부터 정부 기관에 이르기까지 누구나 사용할 수 있도록 설계된 소프트웨어로 소개합니다. 연구진은 CorStitch가 고가의 상용 소프트웨어만큼이나 훌륭한 품질의 연속적인 해저 지도를 만들어낼 수 있다는 것을 발견했습니다. 이 소프트웨어는 물의 왜곡과 카메라 움직임으로 인해 발생하는 '흔들리는' 가장자리 부분을 무시하기 위해 비디오 프레임의 중앙 부분에 집중하여 작동합니다. 이 연구는 CorStitch가 다이버가 경로를 따라 헤엄치거나 배 뒤로 카메라를 끌고 가는 영상들을 처리하여, 흔들리는 몇 시간 분량의 영상을 산호가 어디에 있고 시간이 흐름에 따라 어떻게 변하는지를 보여주는 명확한 지리 참조(georeferenced) 지도로 바꿀 수 있음을 보여줍니다.

문제점: 끊어진 스냅샷의 바다

산호초가 위협받고 있으며, 우리는 이를 면밀히 관찰해야 합니다. 이를 위한 가장 좋은 방법 중 하나는 수중 카메라를 사용하는 것입니다. 다이버나 배는 해저를 따라 카메라를 끌며 산호, 바위, 모래를 촬영하는 영상을 녹화할 수 있습니다. 이 영상들은 산호초의 길고 연속적인 영화와 같습니다. 하지만 산호초의 건강 상태를 연구하고 싶다면, 그 영화 전체를 프레임 단위로 일일이 보고 싶지는 않을 것입니다. 대신 카메라가 지나간 경로 전체를 보여주는 하나의 거대한 사진을 원할 것입니다. 이것을 **모자이크(mosaic)**라고 부릅니다.

이러한 모자이크를 만드는 것은 까다로운 작업입니다. 수중은 기묘한 곳입니다. 빛은 흡수되고 산란되어 모든 것을 푸르거나 초록빛으로 만듭니다. 또한 물은 렌즈처럼 작용하여 이미지를 왜곡시킵니다. 게다가 카메라는 결코 완벽하게 안정적이지 않습니다. 파도에 따라 위아래로 출렁이고 약간씩 회전하기도 합니다. 만약 단순히 사진들을 이어 붙이려고만 한다면, 결과물은 산호가 늘어나거나 중복되어 보이는 엉망진창인 상태가 될 것입니다.

오랫동안 이를 해결하는 유일한 방법은 값비싼 상용 소프트웨어를 사용하거나 많은 컴퓨팅 능력과 전문 지식을 요구하는 복잡한 프로그램을 사용하는 것이었습니다. 이는 장벽을 만들었습니다. 대형 대학들은 이러한 도구를 살 여력이 있었지만, 지역 사회와 소규모 조직들은 그렇지 못했습니다. 그들에게는 수중 영상을 스티칭할 수 있는, 무료이면서도 쉽고, 슈퍼컴퓨터를 필요로 하지 않는 방법이 필요했습니다.

해결책: 디지털 재봉사, CorStitch

여기에 CorStitch가 등장합니다. 저자들은 이 소프트웨어를 무료이며 유연하고 사용하기 쉬운 대안으로 개발했습니다. 이것을 수중 영상을 위한 특화된 재단사라고 생각하십시오. 전체적으로 왜곡된 이미지를 꿰매려고 노력하는 대신, CorStich는 영리한 트릭을 사용합니다. 바로 각 비디오 프레임의 **중앙 가로 띠(central horizontal strip)**만을 보는 것입니다.

왜 중앙일까요? 긴 터널을 통해 본다고 상상해 보십시오. 가장자리 근처의 벽은 휘어지고 왜곡되어 보이지만, 정면의 시야는 맑고 곧게 보입니다. 중앙 띠에만 집중함으로써 CorStitch는 영상의 지저하고 왜곡된 가장자리 부분을 무시합니다. 이 방식은 '스티칭' 작업을 훨씬 쉽고 정확하게 만듭니다.

이 소프트웨어는 **푸리에 기반 이미지 등록(Fourier-based image registration)**이라는 수학적 방법을 사용합니다. 쉽게 말해, 이것은 초고속 패턴 매칭기와 같습니다. 한 프레임의 중앙 띠와 다음 프레임의 중앙 띠를 비교하여 일치하는 패턴(예: 산호나 바위의 모양)을 찾고, 두 장면 사이에서 카메라가 얼마나 움직였는지 정확하게 계산합니다. 그런 다음 이미지를 미끄러지듯 밀어 넣어 매끄러운 선을 만들어냅니다.

실제 환경에서의 작동 방식

연구진은 CorStitch가 실제 환경의 불규칙함을 처리할 수 있는지 확인하기 위해 필리핀의 두 가지 서로 다른 시나리오에서 테스트를 진행했습니다.

1. 다이버의 관점 (다이브 트랜섹트/잠수 조사선)
첫 번째 테스트에서는 한 다이버가 해저를 향해 카메라를 들고 50미터 경로를 따라 헤엄쳤습니다. 다이버는 로봇이 아니기에 위아래로 출렁거리거나 몸을 약간 돌리기도 합니다.

• 테스트: 다양한 유형의 카메라 렌즈를 사용했습니다. 표준 렌즈는 아주 잘 작동했습니다. 더 넓은 범위를 보여주지만 가장자리가 왜곡되는 광각 렌즈 역시 잘 작동했습니다. 그러나 **초광각 렌즈(ultra-wide-angle lens)**를 사용했을 때는 왜곡이 너무 심해 산호가 늘어나거나 찌그러져 보였고, 소프트웨어가 완벽하게 스티칭하는 데 어려움을 겪었습니다.
• 결과: CorStitch는 표준 및 광각 영상에 대해 매끄러운 모자이크를 성공적으로 제작했습니다. 또한 지도 위에 "무작위 표식"(작은 빨간색 십자가)을 추가하여 과학적 샘플링 방식을 시뮬레이션했습니다. 이를 통해 과학자들은 전체 이미지를 다 볼 필요 없이 각 십자가 아래의 산호를 세는 등, 데이터 수집을 더 빠르고 일관되게 할 수 있습니다.

2. 배의 관점 (벨트 트랜섹트/견인 조사선)
두 번째 테스트에서는 배가 카메라 시스템을 뒤로 끌며 4.5킬로미터 구간의 산호초를 기록했습니다. 이 방식은 더 빠르지만 다른 문제들을 야기합니다: 배가 움직이고, 카메라가 출렁거리며, 수심이 변합니다.

• 테스트: 카메라는 초당 2~4미터의 속도로 견인되었습니다. 영상은 7월과 10월에 각각 녹화되었습니다.
• 결과: CorStitch는 40분 분량의 영상을 수백 개의 고품질 모자이크로 변환했습니다. 카메라가 빠르게 움직여서(모션 블러 발생) 혹은 수심이 변해서(이미지가 초록색이나 파란색으로 변함) 발생하는 상황에서도, 소프트웨어는 여전히 이미지를 성공적으로 이어 붙였습니다.
• 지리 참조(Georeferencing): CorStitch의 특별한 기능은 모자이크에 실제 세계의 GPS 좌표를 연결할 수 있다는 점입니다. 잠수 전 시간과 위치를 기록함으로써, 소프트웨어는 각 모자이크를 지도(예: 구글 어스) 위에 배치할 수 있습니다. 연구진은 약 9미터 정도의 작은 오차가 발생하더라도, 소프트웨어가 서로 다른 날짜에 동일한 산호 군락을 동일한 위치에 일관되게 보여줄 수 있다는 것을 발견했습니다. 이는 백화 현상 이후 산호초가 회복되고 있는지와 같은 변화를 추적하는 데 매우 중요합니다.

할 수 있는 것과 할 수 없는 것

이 논문은 CorStitch의 한계에 대해 매우 명확하게 밝히고 있습니다. 이것은 모든 것을 해결하는 마법 지팡이가 아닙니다.

• 가장 잘 작동하는 경우: 카메라가 비교적 직선으로 움직이고 너무 많이 기울어지지 않을 때입니다. 이 소프트웨어는 카메라가 단순히 앞으로 미끄러지듯 이동한다고 가정합니다.
• 어려움을 겪는 경우: 극단적인 움직임이 있을 때입니다. 카메라가 빙글빙글 돌거나, 위아래로 격렬하게 요동치거나, 이미지를 너무 심하게 왜곡하는 초광각 렌즈를 사용하면 스티칭이 실패하거나 깨져 보일 수 있습니다.
• 데이터에 의존함: GPS 데이터가 좋지 않거나 영상이 너무 흐릿하면 최종 지도의 정확도가 떨어집니다.

하지만 이러한 제한 범위 내에서 결과는 인상적입니다. 이 소프트웨어는 시각적으로 매끄러운 모자이크를 생성했으며, 이는 고가의 상용 프로그램이 만든 결과물과 비교할 만한 수준입니다. 또한 다이버와 배 모두의 영상을 성공적으로 처리하여, 다양한 조사 유형에 활용될 수 있는 다재다능한 도구임을 입증했습니다.

이것이 왜 중요한가

이 논문의 가장 큰 업적은 소프트웨어 이면에 숨겨진 수학적 원리뿐 아니라, 바로 접근성에 있습니다. CorStitch는 무료이며 오픈 소스이므로, 누구나 다운로드하여 사용하고 심지어 개선할 수도 있습니다. 또한 코딩 배경 지식이 없는 사람들도 사용할 수 있도록 간단한 그래픽 인터페이스(버튼과 슬라이더가 있는 창)를 갖추고 있습니다.

비용과 기술적 장벽을 제거함으로써, CorStitch는 지역 사회, 정부 기관, 비영리 단체가 자신들의 산호초를 직접 모니터링할 수 있도록 힘을 실어줍니다. 데이터를 분석하기 위해 대형 대학이 오기를 기다리는 대신, 그들은 스스로 지도를 만들고, 산호의 건강 상태 변화를 추적하며, 자신들의 수중 생태계를 보호하기 위한 정보에 기반한 결정을 내릴 수 있습니다. 이는 복잡하고 비용이 많이 드는 과학적 과정을, 카메라와 컴퓨터만 있다면 누구나 자신의 지역 산호초 이야기를 들려줄 수 있는 도구로 바꾸어 놓았습니다.