🧬 biology

Automated estimation of gadoid and flatfish abundance in stereo-BRUV footage using YOLO object detection

본 연구는 북해 풍력 발전 단지의 스테레오 BRUV 영상에서 가도이드(gadoid)와 가자미류(flatfish)를 성공적으로 탐지하는 YOLO 기반의 자동화된 파이프라인을 제시하며, 어류 풍부도를 효율적으로 추정하는 능력을 검증하기 위한 맞춤형 지표를 도입하고, 두 개의 카메라 시점을 결합하는 것이 단일 시점보다 개체군 추정의 민감도를 향상시킨다는 점을 입증한다.

원저자: Mario Lambrette, Anthony W. J. Bicknell, Samuel Gierhart, Matthew J. Witt

게시일 2026-10-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mario Lambrette, Anthony W. J. Bicknell, Samuel Gierhart, Matthew J. Witt

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

해저 바닥은 인간의 눈에는 종종 보이지 않는 방식으로 생명체가 번성하는 광대하고 변화무쌍한 풍경입니다. 물고기 개체수가 시간이 지남에 따라 어떻게 변하는지 이해하기 위해 과학자들은 그 수를 세어야 하지만, 수중에서 이를 수행하는 것은 매우 어렵습니다. 전통적인 방식은 해저를 가로질러 그물이나 트랩을 끄는 것을 포함하는데, 이는 연구자들이 연구하고자 하는 바로 그 생태계에 해를 끼칠 수 있습니다. 이에 대한 더 부드러운 대안이 등장했습니다: 미끼를 사용한 원격 수중 비디오(baited remote underwater video)입니다. 과학자들은 소량의 물고기 미끼를 실은 카메라 시스템을 해저로 내립니다. 미끼의 향기가 현지 물고기들을 유인하면, 카메라는 한 시간 이상 그들을 기록합니다. 이 방법은 해양 생물에 대한 비침습적인 창을 제공하지만, 거대한 병목 현상을 동반합니다. 단 한 번의 조사만으로도 수백 기가바이트의 비디오 영상이 생성될 수 있기 때문입니다. 물고기 수를 파악하기 위해, 인간 전문가는 모든 영상의 매 분을 프레임 단위로 관찰하며 동시에 보이는 최대 개체수를 집계해야 합니다. 이 수동 과정은 느리고 비용이 많이 들며, 분석할 수 있는 데이터의 양을 제한합니다.

엑서터 대학교(University of Exeter)의 연구팀은 컴퓨터에게 숫자를 세는 법을 가르침으로써 이 병목 현상을 해결했습니다. 그들은 수중 영상을 시청하고 두 가지 특정 물고기 그룹, 즉 가도이드(gadoids)로 알려진 대구류와 가자미류를 자동으로 식별하고 세도록 설계된 특화된 인공지능 시스템을 개발했습니다. 연구는 북부 북해에서 진행되었는데, 이곳은 팀이 거대한 구조물이 현지 어류 생활에 어떤 영향을 미치는지 모니터링하고 있는 해상 풍력 발전소가 곳곳에 흩어져 있는 지역입니다. 연구팀은 단일 카메라 각도에 의존하는 대신, 인간의 눈처럼 두 개의 약간 다른 관점에서 장면을 동시에 기록하는 스테레오 시스템을 사용했습니다. 수천 개의 주석이 달린 비디오 프레임을 통해 AI를 학습시킴으로써, 그들은 인간이 수행하는 데 걸리는 시간의 아주 일부분만으로 몇 시간의 영상을 스캔하여 신뢰할 수 있는 어류 풍부도 수치를 산출할 수 있는 파이프라인을 구축했습니다.

연구진은 단순히 탐지기를 만든 것이 아니라, 수중 계측의 구체적인 어려움을 이해하는 시스템을 구축했습니다. 붐비는 비디오 프레임 안에서 물고기들은 서로의 뒤에 숨어 있는 경우가 많아 정확히 몇 마리가 있는지 파악하기 어렵습니다. 연구팀은 물고기의 수가 증가함에 따라 이들을 완벽하게 세는 난이도 또한 높아진다는 점을 인식하도록 모델을 훈련했습니다. 그들은 이러한 현실을 고려하여, 물고기들이 빽빽하게 모여 있을 때 작은 오차 범위가 발생하는 것이 자연스럽다는 점을 받아들이는 새로운 성공 측정 방식을 도입했습니다. 그들이 이 시스템을 인간 전문가의 계측 결과와 비교 테스트했을 때, 결과는 놀라웠습니다. 컴퓨터의 추정치는 인간의 계측치와 매우 높은 정확도로 일치했으며, 거의 모든 경우에서 가자미류와 대구류의 존재와 대략적인 수를 정확하게 식별해 냈습니다. 이 시스템은 매우 효과적이어서 수동 작업의 상당 부분을 대체할 수 있었으며, 조사 데이터를 처리하는 데 필요한 시간을 몇 달에서 몇 주 단위로 단축했습니다.

가장 놀라운 발견 중 하나는 시스템이 두 개의 카메라 각도를 사용하는 방식에서 나왔습니다. 전통적인 조사에서는 과학자들이 보통 하나의 카메라 뷰를 선택하여 물고기를 세고, 두 번째 카메라는 백업용이나 물고기 길이를 측정하는 용도로 취급합니다. 연구진은 컴퓨터가 두 각도를 모두 살펴보게 하고 단순히 두 값 중 더 높은 수치를 취함으로써, 훨씬 더 명확한 물고기 개체수 그림을 얻을 수 있다는 것을 발견했습니다. 그들이 "최대 계측(maximum count)"이라고 부른 이 접근 방식은 데이터의 노이즈와 불확실성을 줄였습니다. 이는 조사 결과를 환경의 실제 변화에 더 민감하게 만들었습니다. 예를 들어, 풍력 터빈 베이스로부터의 거리에 따라 물고기 수가 어떻게 변하는지 분석할 때, 이 이중 카메라 방식은 단일 카메라 방식이 놓쳤던 명확한 패턴을 드러냈습니다. 바닥에 낮게 붙어 있어 해저와 구분이 어려운 가자미류는 단 하나의 각도에서는 포착하기 특히 어려웠지만, 이 이중 뷰 접근 방식은 그들을 훨씬 더 효과적으로 포착했습니다.

또한 본 연구는 이러한 자동화의 실질적인 이점을 강조했습니다. 훈련 데이터를 라벨링하고 소프트웨어를 조정하는 데 초기 시간이 투입되어야 했지만, 현장에서의 보상은 즉각적이었습니다. 연구팀은 전년도 조사(전적으로 수동 계측에 의존했던)와 비교했을 때, 2024년 조사 데이터를 단 68일 만에 처리할 수 있었습니다. 이러한 속도는 시간만 절약하는 것이 아니라, 과학자들이 인간의 활동에 해양 생태계가 어떻게 반응하는지에 대해 더 복잡한 질문을 던질 수 있게 해줍니다. 연구진은 현재의 시스템이 북해의 특정 어종과 조건에 맞춰져 있지만, 그 프레임워크는 개방적이고 접근 가능하다는 점을 언급했습니다. 이는 적절한 도구가 있다면, 해양 과학자들이 수집하는 방대한 양의 비디오 데이터를 수동 노동의 무게에 짓눌리지 않고 실행 가능한 지식으로 전환할 수 있음을 증명합니다.

이 프로젝트의 성공은 해양 보존을 위한 새로운 길을 제시합니다. 숫자를 세는 지루한 작업을 자동화함으로써, 과학자들은 단순히 데이터를 수집하는 것에서 벗어나 데이터를 해석하는 데 에너지를 집중할 수 있습니다. 풍력 터빈으로부터 멀어짐에 따라 물고기 수가 감소하는 것과 같은 미묘한 변화를 감지할 수 있는 능력은, 이러한 산업 시설을 책임감 있게 관리하기 위한 결정적인 증거를 제공합니다. 연구진은 컴퓨터가 강력한 도구이긴 하지만, 인간을 완전히 대체하기보다는 인간의 전문성을 보완할 때 가장 잘 작동한다는 점을 강조합니다. 이 시스템은 대량의 계측 작업을 처리하고, 필요한 경우 가장 복잡한 장면을 인간이 검토할 수 있도록 표시하는 역할을 하도록 설계되었습니다. 인간의 통찰력과 기계의 속도 사이의 이러한 파트너십은 우리 해양의 건강을 모니터링하기 위한 확장 가능한 솔루션을 제공하며, 우리가 해저에 더 많은 기반 시설을 건설함에 있어 그곳을 터전 삼아 살아가는 생명체들을 더욱 정밀하고 주의 깊게 지켜볼 수 있도록 보장합니다.

기술 요약: YOLO 객체 탐지를 이용한 스테레오-BRUV 영상 내 가도이드(Gadoid) 및 플랫피쉬(Flatfish) 풍부도 자동 추정

문제 정의
해양 생태계 관리는 과도한 어획, 오염, 해상 재생 에너지 인프라의 확산과 같은 인위적 압력에 대응하기 위한 견고한 모니터링을 필요로 한다. 미끼 원격 수중 비디오(Baited Remote Underwater Video, BRUV) 조사는 어류 집단을 평가하는 데 있어 비침습적이고 비용 효율적인 방법을 제공하지만, 수동 비디오 분석의 노동 집약적인 특성으로 인해 그 활용이 제한된다. 이는 특히 데이터 볼륨이 테라바이트 단위로 증가함에 따라 분석 병목 현상을 야기한다. 더욱이, 전통적인 BRUV 분석은 일반적으로 스테레오 시스템의 두 번째 카메라를 길이 측정용으로만 예약하고 첫 번째 카메라의 시점만을 활용함으로써 잠재적으로 가치 있는 데이터를 버리는 경향이 있다. 따라서 특정 분류군을 효율적으로 열거하고, 스테레오-BRUV 시스템의 전체 용량을 활용하여 풍부도 추정의 민감도를 개선할 수 있는 자동화된 엔드 투 엔드(end-to-end) 파이프라인이 필요하다.

방법론
저자들은 북해 북부의 해상 풍력 발전 단지에서 수집된 BRUV 영상 내 가도과(Gadidae, 대구류) 및 플레우로네크티포르미스(Pleuronectiformes, 가자미목)의 열거를 자동화하기 위해 You Only Look Once (YOLOv8) 객체 탐지 프레임워크를 사용하는 엔드 투 엔드 컴퓨터 비전 파이프라인을 개발하였다.

데이터 수집 및 주석 달기(Annotation): 비디오 데이터는 2022년(n=118 배치) 및 2024년(n=96 배치) 조사 중에 수집되었다. 훈련 데이터는 2022년 조사에서 추출되었으며, 구체적으로는 "MaxN 프레임"(개체 수가 최대인 프레임)과 그 이후 매 1,000번째 프레임을 사용하였다. 총 2,709개의 이미지가 주석 처리되었으며, 여기에는 16,679개의 유기체가 포함되어 있었다. 클래스 불균형 문제를 해결하기 위해 종을 'Pleuronectiformes', 'Gadidae', 'Benthic invertebrates(저서 무척추동물)'의 세 가지 클래스로 그룹화하였다.
모델 개발: 저자들은 두 단계의 최적화 과정을 채택하였다. 첫째, 입력 이미지 크기(640×640 vs. 1280×1280), 모델 아키텍처(YOLOv8n ~ YOLOv8x), 훈련 데이터 구조의 41가지 조합을 평가하는 거친 탐색(coarse search)을 수행하였다. 최적의 구성은 1280×1280 입력 이미지와 YOLOv8s(small) 프레임워크를 사용하는 것이었다. 둘째, 100회의 반복을 통해 유전 알고리즘 기반의 하이퍼파라미터 튜닝을 수행하였다.
앙상블 접근법: 무작위 가중치 초기화로 인한 변동성을 완화하기 위해, 최적화된 하이퍼파라미터를 사용하여 학습된 다섯 개의 서로 다른 모델 앙상블을 구축하였다. 추론 시에는 다섯 개 모델의 탐지 횟수를 평균하여 각 프레임에 대한 최종 풍부도 추정치를 결정하였다.
MaxN 추정: 파이프라인은 비디오의 2초마다 한 프레임을 분석하였다. 특정 클래스에 대해 단일 프레임에서 탐지된 최대 개체 수를 모델 유도 MaxN( $MaxN_{YOLO}$ )으로 기록하였다.
평가 지표: 표준 지로(mAP, 정밀도, 재현율, RMSE, MAE)를 계산하였다. 결정적으로, 저자들은 배포 수준의 정확도를 평가하기 위해 **평균 피크 성공률(Mean Peak Success, MPS)**이라는 커스텀 지표를 도입하였다. MPS는 풍부도에 따른 오차 허용 범위(낮은 풍부도에서는 10%, 높은 풍부도에서는 20%) 내에 예측값이 들어오는 비율을 계산한다. 배포를 위한 최적의 신뢰도 임계값은 각 분류군에 대해 피크 성공률을 최대화함으로써 결정되었다.
스테레오 비전 분석: 파이프라인은 스테레오-BRUV 장치의 좌측 및 우측 카메라 뷰 모두에 적용되었다. 저자들은 전통적인 단일 시점 추정치(우측 카메라)를 max-MaxN 메트릭(각 배치에 대해 두 시점 중 더 높은 풍부도 추정치를 선택함)과 비교하였다. 편향, 변동성 및 터빈 베이스로부터의 거리에 대한 민감도를 평가하기 위해 통계 검정(대응 t-검정, 변동 계수에 대한 순열 검정, Friedman 검정)을 사용하였다.

주요 결과

탐지 성능: 최종 모델 앙상블은 가도과에 대해 $0.896 \pm 0.009$ , 플레우로네크티포르미스에 대해 $0.814 \pm 0.009$ 의 평균 정밀도(mAP)를 달성하며 높은 탐지 정확도를 보였다.
풍부도 추정: $MaxN_{YOLO}$ 는 전문가가 주석을 단 인간의 계수( $MaxN_{Human}$ )와 매우 강력한 일치도를 보였으며, 두 조사 연도 모두에서 스피어먼 상관계수( $\rho$ )는 0.955 ~ 0.987, 결정 계수( $R^2$ )는 0.874 ~ 0.987 범위를 나타냈다. 모델은 약간의 일관된 음의 편향(과소 계수)을 보였으며, 이는 풍부도가 높을 때 플레우로네크티포르미스에서 가장 두드elle 나타났는데, 이는 폐쇄(occlusion) 현상 때문인 것으로 보인다.
스테레오 비전의 이점: 단일 시점(우측 카메라)과 max-MaxN 접근법을 비교했을 때, 두 시점을 모두 사용하는 것이 풍부도 추정치의 변동성을 유의하게 감소시킴(변동 계수 감소)을 확인하였다.
통계적 민감도: max-MaxN 메트릭은 단일 시점보다 실험 변수(터빈 자켓으로부터의 거리)에 대해 더 높은 민감도를 보였다. 단일 시점은 두 분류군 모두에 대해 거리 구간에 따른 풍부도의 유의미한 차이를 감지하지 못했으나, max-MaxN 메트릭은 플레우로네크티포르미스( $p = 0.043$ )에 대해서는 유의미한 차이를 드러냈으나, 가도과( $p = 0.146$ )에 대해서는 그렇지 않았다. 순열 검정 결과, 효과 크기의 증가는 플레우로네크티포르미스에서만 통계적으로 유의미했으며( $\Delta W = 0.092, p = 0.003$ ), 가도과의 경우 유의미하지 않았다( $\Delta W = 0.061, p = 0.114$ ).
효율성: 자동화된 파이프라인의 구현을 통해 현장 작업 완료부터 최종 MaxN 추정까지 걸리는 시간이 134일(2022년, 수동)에서 68일(2024년, 수동 검증을 포함한 자동화)로 단축되었다.

의의 및 주장
본 논문은 맞춤형 객체 탐지 파이프라인이 정의된 조사 시스템 내에서 비디오 기반 해양 모니터링의 효율성과 분석 범위를 효과적으로 확장할 수 있다고 주장한다. 본 연구는 다음을 입증한다:

자동화의 실용성: YOLO 기반 파이프라인은 상업적으로 중요한 어류 분류군의 열거를 높은 정확도로 자동화하여, 다년도 모니터링 프로그램에서 수동 주석 작업을 부분적으로 대체할 수 있다.
스테레오 데이터의 유용성: 자동화된 분석은 스테레오-BRUV 시스템의 두 시점을 모두 활용하는 것을 실질적으로 가능하게 한다. 두 시점 중 높은 계수를 선택하는 "max-MaxN" 접근법은 풍부도 추정의 민감도를 높이고 변동성을 줄여, 추가적인 현장 노력 없이도 통계적 검정력을 향상시킨다.
메트릭 혁신: Mean Peak Success (MPS)의 도입은 오차의 풍부도 의존성(예: 폐쇄 현상)을 고려함으로써, BRUV 데이터에 대한 보다 적절한 평가 프레임워크를 제공한다.
접근성: 이 워크플로우는 오픈 소스 프레임워크에 의존하며 중간 사양의 하드웨어(NVIDIA RTX A4000)에서도 실행될 수 있어, 초기 훈련 데이터 주석 작업에 투자할 수 있다면 연구자들이 자동화된 분석을 채택할 수 있는 저비용 경로를 제공한다.

저자들은 자동화된 방법이 풍부한 분류군에 대한 다년도 모니터링에는 효과적이지만, 절대적인 정확도 측면에서는 여전히 인간 주석가가 기준점이 된다는 점을 언급하며 신중한 입장을 유지한다. 또한, 모델이 특정 조건에 맞춰져 있고 종 수준의 식별은 훈련 데이터 가용성에 의해 제한되었다는 점을 인정하며, 더 넓은 일반화가 위해서는 더 큰 규모의 파운데이션 모델 기반 접근 방식이나 더 광범위한 주석 작업이 필요할 수 있음을 시사한다.

유사한 논문