When One Modality Is Not Enough: Multimodal Sex and Life-Stage Classification of Red Deer from Aerial RGB-Thermal Video

당신이 거대하고 살아있는 퍼즐 속에서 미스터리를 풀어나가는 야생 동물 탐정이라고 상상해 보세요. 당신의 임무는 단순히 숲에 동물이 몇 마리 있는지 세는 것이 아닙니다. 그들이 '누구'인지 알아내는 것이 중요합니다. 그들은 큰 뿔을 가진 아빠들인가요? 엄마들인가요? 아니면 아주 작고 빠르게 성장하는 새끼들인가요? 이것이 무리의 '가계도'를 이해하여 건강하게 유지하려는 야생 동물 관리자들이 매일 직면하는 도전 과제입니다. 하지만 여기 함정이 있습니다. 숲은 까다롭습니다. 나무들은 동물을 숨기는 그림자를 드리우고, 지면은 사슴의 털과 똑같이 보일 수 있습니다. 이를 해결하기 위해 과학자들은 높이 비행하는 드론을 사용하며, 두 종류의 서로 다른 '눈'을 탑재합니다. 한쪽 눈은 인간처럼 세상을 색깔로 보고(RGB), 다른 한쪽 눈은 야간 투시 카메라처럼 열을 봅니다(Thermal). 문제는 어느 한 쪽의 눈도 완벽하지 않다는 점입니다. 색상 눈은 그림자 때문에 혼란을 겪고, 열 눈은 모든 세밀한 디테일을 놓치게 만드는 밝고 흐릿한 덩어리를 보여줍니다. 이 논문은 영리한 기술을 탐구합니다. 만약 우리가 두 눈 중 하나를 선택해야 하는 것이 아니라, 두 눈이 하나의 슈퍼 팀으로서 함께 작동하게 만든다면 어떨까요?

연구진들은 이 아이디어를 웅장한 뿔을 가진 동물인 붉은사슴(red deer)을 대상으로 테스트하기로 했습니다. 그들은 드론이 숲 위를 비행하며 모든 사슴을 찾아내고, 종, 성별, 연령을 자동으로 파악할 수 있는 컴퓨터 시스템을 구축할 수 있는지 확인하고 싶었습니다. 핵심 질문은 이것이었습니다. 컬러 카메라와 열화상 카메라를 결합하는 것이 단독으로 사용할 때보다 더 나은 '슈퍼 비전'을 만들어낼 수 있는가, 특히 계절이 바뀌고 단서가 변할 때도 그러한가 하는 점이었습니다.

서로 다른 세상을 보는 두 개의 눈

드론의 카메라를 서로 다른 기술을 가진 두 명의 탐정이라고 생각해 보세요. **컬러 탐정(RGB)**은 뿔의 모양이나 털의 패턴 같은 세부 사항을 포착하는 데 뛰어나지만, 그림자에 쉽게 눈이 멀립니다. 사슴이 나무 아래 숨어 있다면, 컬러 탐정은 어두운 잎사귀 덩어리 외에는 아무것도 보지 못합니다. 반면, **열 탐정(Thermal)**은 열을 봅니다. 이 탐정은 그림자에 신경 쓰지 않습니다. 어둠 속에 서 있는 사슴은 이 탐정에게 밝게 빛나는 별처럼 보입니다. 하지만 열 탐정은 디테일에 있어서는 다소 서툽니다. 사슴을 흐릿하고 밝은 덩어리로 봅니다. 그 덩어리에 뿔이 있는지 없는지 쉽게 구별하지 못하며, 가끔 따뜻한 바위나 지면을 보고 혼동하기도 합니다.

연구진은 이 두 탐정이 서로 반대되는 방식으로 실패한다는 것을 발견했습니다. 여름에는 수사슴의 뿔이 부드럽고 솜털 같은 '벨벳'으로 덮여 있어 따뜻합니다. 열 탐정은 그것이 빛나는 것을 볼 수 있지만, 컬러 탐정은 사슴이 그늘에 있으면 놓칠 수 있습니다. 가을에는 뿔이 딱딱해지고 식습니다. 이제 열 탐정은 특별한 것을 보지 못하지만, 컬러 탐정은 단단하고 뼈가 있는 형태를 명확히 볼 수 있습니다. 만약 하나의 탐정만 가지고 있다면, 계절에 따라 단서가 달라질 때 절반의 단서를 놓치게 될 것입니다.

팀워크 전략

단 하나의 탐정만을 신뢰하는 대신, 팀은 두 카메라가 모든 단계에서 함께 작동하는 파이프라인을 구축했습니다. 그들은 단순히 사진을 섞는 것이 아니라, **DINOv3 특징(features)**이라는 특별한 언어를 사용하여 컴퓨터가 서로 "대화"하도록 만들었습니다. 이것은 두 탐정이 각자 본 것을 기록하고, 컴퓨터가 그 이야기들이 일치하는지 확인하는 공유 노트와 같습니다.

시스템의 작동 단계는 다음과 같습니다:

1. 이중 확인: 시스템은 두 카메라가 모두 사슴을 포착했을 때만 그것을 '실제' 사슴으로 간주합니다. 만약 컬러 카메라에는 덩어리가 보이는데 열 카메라에는 아무것도 보이지 않는다면, 시스템은 그것을 사슴이 아닌 이상한 그림자나 바위라고 가정합니다. 이는 가짜 동물을 세는 것을 방지합니다.
2. 필터링: 모든 사슴 사진이 좋은 것은 아닙니다. 어떤 사진은 흐릿하고, 어떤 사진은 잎에 가려져 있으며, 어떤 사진은 너무 멀리 있습니다. 시스템은 엄격한 편집자처럼 작동하여 단서가 부족한 나쁜 프레임들을 버립니다. 사슴을 버리는 것이 아니라, 그 사슴의 '나쁜 사진'을 버리는 것입니다.
3. 투표: 필터를 통과한 사슴들에 대해, 시스템은 모든 좋은 사진들을 살펴보고 투표를 합니다. 만약 수사슴이 10장의 사진에 등장했는데 그중 6장에서 명확한 뿔이 보인다면, 시스템은 "수컷"이라고 투표합니다. 설령 4장의 사진에서 뿔이 숨겨져 암컷처럼 보이더라도, 투표 결과가 승리합니다.
4. 크기 체크: 새끼 사슴(juvenile)과 성체 암컷(adult female)을 구분하기 위해 시스템은 사슴의 크기를 측정합니다. 드론은 일정한 높이에서 비행하므로, 새끼 사슴은 성체보다 사진에서 훨씬 작게 보일 것입니다. 시스템은 이 크기 차이를 이용해 새끼를 찾아냅니다.

결과: 승리하는 팀

팀은 오스트리아의 한 숲에서 실시한 네 번의 드론 비행을 통해 이 시스템을 테스트했습니다. 그들에게는 지상에서 정확히 어떤 사슴이 어디에 있는지 알고 있는 사람들이 작성한 비밀 '정답지'가 있었습니다.

결과는 인상적이었습니다. 컬러 카메라만 사용하거나 열 카메라만 사용했을 때는 약 26마리의 사슴 중 20마리 정도의 성별을 맞췄습니다. 하지만 두 가지를 결합했을 때는 어땠을까요? 그들은 26마리 중 25마리를 맞췄습니다. 이는 종 식별에서 **96.0%**의 성공률을 보인 것이며, 두 센서의 융합이 계절 변화에 따른 성별 식별을 훨씬 더 신뢰할 수 있게 만들었습니다.

시스템은 특히 "까다로운" 사례를 처리하는 데 뛰어났습니다. 예를 들어, 단일 카메라로는 모두 암컷이라고 생각했던 세 마리의 수사슴이 있었습니다. 하지만 결합된 증거를 검토한 시스템은 "잠깐, 열 카메라가 여기서 따뜻한 지점을 포착했고, 컬러 카메라가 저기서 형태를 포착했으니..."라고 판단하여 그들을 수컷으로 정확히 식별해 냈습니다.

이것이 중요한 이유

이 논문은 우리가 컬러 카메라와 열화상 카메라 중 하나를 선택할 필요가 없다는 것을 보여줍니다. 이들을 융합함으로써, 우리는 단순한 머릿수 세기보다 훨씬 더 똑똑한 인구 조사를 할 수 있습니다. 단순히 "사슴이 50마리 있다"라고 말하는 대신, 드론 비행을 통해 "사슴 50마리: 아빠 15마리, 엄마 30마리, 새끼 5마리"라고 말할 수 있게 된 것입니다.

이는 야생 동물 관리자들에게 매우 중요한 일입니다. 현재 이런 상세한 정보를 얻으려면 사람이 직접 사진을 일일이 확인해야 하는데, 이는 시간이 오래 걸리고 모든 비행마다 수행할 수도 없습니다. 이 새로운 방법은 그 과정을 자동화하여, 단순한 카운트를 무리의 건강 상태에 대한 상세한 보고서로 바꿔줍니다. 이는 한 가지 방식으로 세상을 보는 것이 충분하지 않을 때, 서로 다른 관점을 결합하면 동물이 그림자 속에 숨어 있거나 계절이 변하더라도 전체 그림을 읽어낼 수 있다는 것을 증명합니다. 시스템이 완벽하지는 않습니다. 아주 작은 사슴을 다루거나 드론이 너무 높이 날 때 여전히 어려움을 겪기도 하지만, 적절한 팀워크가 있다면 하늘에서도 숲의 이야기를 읽을 수 있다는 것을 보여줍니다.