Detection and Classification of Cetacean Echolocation Clicks using Image-based Object Detection Methods applied to Advanced Wavelet-based Transformations

이 논문은 고해상도 시간 - 주파수 분석을 위해 웨이블릿 변환을 적용한 딥러닝 모델 'CLICK-SPOT'을 개발하여 노르웨이 범고래의 수중 반향음 클릭 신호를 자동으로 탐지하고 분류하는 방법의 유효성을 입증했습니다.

핵심

🐋 1. 문제: 고래의 비밀스러운 대화와 '메아리'의 혼란

바다 속은 어둡고 시야가 안 좋아서, 범고래 (Orca) 는 사냥을 하거나 친구를 만날 때 **초음파 클릭 (Click)**이라는 소리를 쏘아보냅니다. 마치 박쥐가 초음파를 쏘는 것과 비슷하죠.

하지만 연구자들이 겪는 큰 문제는 다음과 같습니다:

• 메아리 (Echo) 의 방해: 클릭 소리가 바다 바닥이나 물결에 부딪혀 돌아오는 '메아리'도 녹음됩니다. 진짜 클릭인지, 돌아온 메아리인지 구별하기가 매우 어렵습니다.
• 수작업의 한계: 연구자들이 직접 녹음 파일을 들어보고 하나하나 표시 (라벨링) 하려면, 1 분짜리 데이터를 처리하는 데 12 시간이나 걸립니다. 이는 현실적으로 불가능한 일입니다.

비유: 마치 어두운 방에서 누군가가 손전등을 비추고 돌아오는 빛을 보고 사물을 찾는 상황입니다. 하지만 손전등 빛 (클릭) 과 벽에 반사된 빛 (메아리) 이 섞여 있어서, "이 빛은 진짜 손전등인가, 아니면 반사된 빛인가?"를 구분하기가 너무 어렵습니다. 게다가 이걸 1 분 동안 수천 번 반복해서 사람이 일일이 찾아내야 한다면 미쳐버릴 겁니다.

---

🤖 2. 해결책: "클릭 - 스팟 (CLICK-SPOT)"이라는 AI 탐정

저자 크리스토퍼 하우어는 이 문제를 해결하기 위해 **세 단계로 이루어진 AI 시스템 (CLICK-SPOT)**을 만들었습니다.

1 단계: 소리 그림을 그리는 기술 (Wavelet & Scalogram)

기존의 소리 분석 방법 (스펙트로그램) 은 시간과 주파수를 동시에 정확히 보기 힘들다는 단점이 있습니다. 마치 사진을 찍을 때 초점을 맞추면 시간이 흐릿해지고, 시간을 선명하게 하면 초점이 흐릿해지는 것과 비슷합니다.

이 연구는 **'웨이블릿 (Wavelet)'**이라는 기술을 사용했습니다.

비유: 이는 마치 '줌 (Zoom)' 기능이 달린 특수 카메라와 같습니다.

• 높은 소리는 빠르게 지나가므로 시간을 확대해서 자세히 보고,
• 낮은 소리는 느리게 흐르므로 주파수를 확대해서 자세히 봅니다.
  이렇게 만든 그림을 **스칼로그램 (Scalogram)**이라고 하는데, 이 그림을 통해 AI 는 클릭 소리의 특징을 훨씬 더 선명하게 볼 수 있습니다.

2 단계: AI 가 소리를 찾아내기 (YOLO 모델)

AI 는 이 소리 그림들을 보고 "여기에 클릭이 있네!"라고 박스를 치는 물체 탐지 (Object Detection) 기술을 사용합니다. 여기서 사용된 기술은 YOLO입니다.

비유: 야구 경기장에서 공을 쫓는 심판처럼, AI 는 소리 그래프 위를 빠르게 훑으며 "여기에 클릭이 있다!"라고 박스를 그립니다.
하지만 처음엔 박스가 너무 커서 클릭과 메아리가 하나로 합쳐져서 표시되는 문제가 있었습니다.

3 단계: 진짜 클릭과 메아리 구분하기 (랜덤 포레스트)

AI 가 박스를 그렸지만, "이건 진짜 클릭이고, 저건 메아리야"라고 구분하지 못했습니다. 그래서 **맥락 (Context)**을 분석하는 추가 AI 를 붙였습니다.

비유: 수사관이 사건을 해결하는 과정과 같습니다.

• "이 소리가 갑자기 튀어 올랐는가?" (에너지)
• "이 소리와 다음 소리는 얼마나 간격이 있는가?" (시간 간격)
• "이 소리의 시작 방향은 어떻게 되는가?" (위상)
  이 모든 정보를 종합해서 **랜덤 포레스트 (Random Forest)**라는 알고리즘이 "아, 이건 진짜 클릭이야!"라고 최종 판단을 내립니다.

---

📊 3. 결과: 얼마나 잘했을까?

이 시스템 (CLICK-SPOT) 은 기존 방법들보다 훨씬 뛰어났습니다.

• 기존 방법 (PAMGuard): 정확도 약 40% (많은 오류 발생)
• 기존 방법 (ANIMAL-SPOT): 정확도 약 64% (작은 소리를 구분하기 어려움)
• 새로운 방법 (CLICK-SPOT): 클릭을 찾아내는 정확도 96%, 전체적인 정확도 82% 이상!

비유: 예전에는 10 개 중 4 개만 찾거나 6 개만 찾던 탐정이, 이제는 10 개 중 9 개 이상을 찾아내고, 진짜 범인과 가짜 범인을 거의 완벽하게 구별하는 수준이 된 것입니다.

---

🚀 4. 미래: 무엇이 가능해질까?

이 기술이 완성되면 어떤 일이 가능해질까요?

1. 자동화된 관찰: 연구자들은 더 이상 밤새도록 녹음 파일을 들을 필요가 없습니다. AI 가 자동으로 "범고래가 지금 사냥 중이야", "지금 사회적 상호작용 중이야"라고 알려줍니다.
2. 실시간 감시: 아직은 처리 속도가 느려서 실시간으로 바다에서 바로 쓰기는 어렵지만, 기술을 발전시키면 수중 드론이나 부표에 달아서 실시간으로 고래의 움직임을 감시할 수 있게 될 것입니다.
3. 다른 동물에도 적용: 이 기술은 범고래뿐만 아니라 돌고래, 향유고래 등 다른 해양 포유류의 클릭 소리 분석에도 바로 쓸 수 있습니다.

📝 요약

이 논문은 **"고래의 클릭 소리와 그 메아리를 구별하는 것이 얼마나 어려운지"**를 보여주고, 수학적 변환 (웨이블릿) 과 최신 AI (YOLO, 랜덤 포레스트) 를 결합하여 이 문제를 해결한 혁신적인 방법을 소개합니다.

결국 이 기술은 인간의 귀와 눈이 할 수 없는 초고속, 초정밀 작업을 대신해 주어, 고래의 비밀스러운 사회생활을 더 깊이 이해할 수 있는 길을 열어줍니다.

기술 요약

이 논문은 해양 생물의 소리를 분석하는 바이오아쿠스틱스 (Bioacoustics) 분야에서, 특히 범고래 (Killer Whale) 의 반향음 (Echolocation) 클릭 신호와 그 반사음 (에코) 을 자동으로 탐지 및 분류하기 위한 딥러닝 기반의 새로운 방법론을 제안합니다. 저자 Christopher Hauer 는 수동 라벨링의 비효율성과 기존 알고리즘의 한계를 극복하기 위해 이미지 기반 객체 탐지 기술을 오디오 신호 처리에 적용했습니다.

다음은 논문의 상세한 기술적 요약입니다.

1. 문제 정의 (Problem Statement)

• 수동 라벨링의 비효율성: 범고래의 클릭 신호와 에코를 수동으로 식별하고 라벨링하는 작업은 매우 시간이 많이 소요됩니다. 연구에 따르면, 1 분의 데이터 라벨링에 약 12 시간이 소요될 수 있어 대규모 데이터 분석이 불가능합니다.
• 신호의 복잡성: 클릭 (Click) 과 에코 (Echo) 는 매우 유사한 특성을 가지며, 신호 대 잡음비 (SNR) 가 낮은 환경에서는 구분이 어렵습니다. 또한, 클릭은 매우 짧은 (1ms 미만) 디랙 (Dirac) 같은 임펄스 형태를 띠고 있어 기존 스펙트로그램 (Spectrogram) 기반의 시간 - 주파수 해상도 트레이드오프 (불확정성 원리) 로 인해 정확한 식별이 어렵습니다.
• 기존 방법의 한계: PAMGuard 와 같은 임계값 기반의 기존 탐지기는 잡음이 많은 환경에서 오탐지 (False Positive) 가 많거나 클릭과 에코를 구분하지 못합니다.

2. 방법론 (Methodology)

논문은 CLICK-SPOT이라는 새로운 도구 체인을 개발하여 문제를 해결했습니다. 이 체인은 세 단계로 구성됩니다.

2.1 데이터 전처리 및 표현 (Data Representation)

• SCWTSPEC 이미지: 오디오 신호를 3 개의 채널로 변환하여 RGB 이미지로 표현했습니다.
  • Red: 파형 (Waveform)
  • Green: 연속 웨이브렛 변환 (CWT, Continuous Wavelet Transform) 스칼로그램. 이는 고주파수 대역에서 시간 해상도가 우수하여 클릭의 디랙 특성을 잘 포착합니다.
  • Blue: 스펙트로그램 (Spectrogram)
• 입력 크기: 5ms(960 샘플) 의 오디오 창을 960x960x3 크기의 정사각형 이미지로 변환하여 YOLO 모델에 입력했습니다.

2.2 이벤트 탐지 (Event Detection) - YOLO

• 모델 아키텍처: ANIMAL-SPOT(ResNet 기반) 을 시도했으나, 창 (Window) 단위의 분류 방식이 개별 클릭/에코를 분리하는 데 부적합하여 실패했습니다. 대신, 객체 탐지 모델인 YOLOv8을 사용했습니다.
• 역할: 오디오 이미지를 입력받아 클릭과 에코가 포함된 바운딩 박스 (Bounding Box) 를 탐지합니다.
• 한계: YOLO 는 이미지 내의 개별 객체를 탐지하지만, 클릭과 에코를 구분하는 문맥 (Context) 정보가 부족하여 두 신호를 혼동하거나 하나의 박스로 병합하는 문제가 발생했습니다.

2.3 후처리 및 분류 (Post-processing & Classification)

• FOD (First Order Detection) 후처리: YOLO 가 탐지한 바운딩 박스 내에서 클릭과 에코의 정확한 위치를 찾기 위해 **1 차 기울기 변환 (First Order Gradient Conversion)**을 적용했습니다. 이를 통해 병합된 박스를 분리하고, 클릭과 에코의 시작점을 정밀하게 조정했습니다.
• 랜덤 포레스트 (Random Forest) 분류기: 분리된 이벤트들을 개별적으로 분석하는 것이 아니라, 문맥 정보를 활용하여 클릭과 에코를 구분했습니다.
  • 입력 특징: 이벤트 간격 (Inter-arrival time), 에너지 밀도, 최대/최소 에너지, FOD 피크 방향, 신뢰도 (Confidence) 등.
  • 학습 방식: 이전, 현재, 미래의 이벤트들을 시퀀스로 입력받아 랜덤 포레스트 분류기를 통해 클릭, 에코, 기타 (오류) 로 분류합니다.

3. 주요 기여 (Key Contributions)

1. CLICK-SPOT 도구 체인 개발: YOLO(탐지) + FOD(정밀 위치 보정) + 랜덤 포레스트(문맥 기반 분류) 를 결합한 자동화 파이프라인을 최초로 제안했습니다.
2. 웨이브렛 기반 이미지 표현: 오디오 신호를 CWT 스칼로그램을 포함한 RGB 이미지로 변환하여, 기존 스펙트로그램만 사용한 방법보다 클릭 신호의 디랙 특성을 더 효과적으로 추출했습니다.
3. 문맥 기반 분류 전략: 개별 신호의 물리적 특성만으로는 구분하기 어려운 클릭과 에코를, 신호 간의 시간적/에너지적 관계 (문맥) 를 학습하는 머신러닝 모델을 통해 성공적으로 분리했습니다.

4. 실험 결과 (Results)

노르웨이 보드 (Bodø) 인근에서 수집된 범고래 녹음 데이터 (약 3 분 12 초의 학습 데이터 및 2 분 23 초의 평가 데이터) 를 사용하여 실험을 수행했습니다.

• 비교 모델 성능:
  • PAMGuard: 전체 정확도 약 39.7% (낮은 성능).
  • FOD 단독: 전체 정확도 약 53.1%.
  • ANIMAL-SPOT: 전체 정확도 약 63.9% (창 크기로 인한 개별 이벤트 분리 실패).
  • CLICK-SPOT (최종): 클릭 분류 정확도 95.93%, 클릭 탐지 정밀도 86.32%, 전체 클릭 탐지 정확도 **82.56%**를 달성했습니다.
• 상관관계: 탐지된 클릭 수와 실제 수동 라벨링된 클릭 수 간의 상관관계는 **98.01%**로 매우 높게 나타났습니다. 이는 모델이 절대적인 정확도보다는 활동 패턴을 정확히 반영함을 의미합니다.
• FOD 의 효과: FOD 후처리를 적용함으로써 오탐지 (False Positive) 를 크게 줄이고 바운딩 박스의 위치를 정밀하게 보정할 수 있었습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 바이오아쿠스틱스 분야에서 수동 라벨링의 부담을 획기적으로 줄일 수 있는 자동화 솔루션을 제시했습니다.
  • 클릭과 에코를 자동으로 구분함으로써, 범고래의 사회적 상호작용과 사냥 행동에 대한 새로운 통찰을 얻을 수 있는 기반을 마련했습니다.
  • 이 모델은 다른 고래류 (돌고래, 스페인 고래 등) 의 클릭 탐지로도 전이 학습 (Transfer Learning) 이 가능함을 보였습니다.
• 한계 및 향후 과제:
  • 실시간 처리 속도: 현재 모델은 1 분의 데이터를 분석하는 데 25 분이 소요되어 (실시간 팩터 25), 현장에서의 실시간 모니터링에는 아직 부적합합니다. 추론 속도 향상이 필요합니다.
  • 주파수 대역 분류: 저주파 (LF), 고주파 (HF), 초음파 (US) 클릭을 자동으로 분류하는 정확도는 현재 77% 수준으로, 추가적인 노이즈 제거 및 필터링이 필요합니다.
  • 현장 적용: 실시간 처리를 위해 경량화된 모델이나 FOD 를 사전 필터로 사용하는 하이브리드 방식이 필요합니다.

결론적으로, 이 논문은 딥러닝 기반 객체 탐지 기술과 신호 처리 기법을 융합하여 복잡한 해양 환경에서의 생체 음향 신호 분석 문제를 해결한 성공적인 사례로, 향후 해양 생물 행동 연구에 중요한 도구가 될 것으로 기대됩니다.