Video-based Locomotion Analysis for Fish Health Monitoring

이 논문은 YOLOv11 기반의 객체 추적 기술을 활용하여 수조 환경에서 Sulawesi ricefish 의 이동 활동을 분석함으로써 조기 질병 감지 및 수산 동물 복지 향상을 위한 정밀한 건강 모니터링 시스템을 제안합니다.

핵심

🐟 1. 왜 이 연구가 필요할까요? (물고기의 '비밀 신호')

물고기는 말을 못 하죠. 하지만 몸이 아프거나 스트레스를 받으면 움직임으로 신호를 보냅니다.

• 정상적인 물고기: 물속을 가로로 유유히 헤엄칩니다.
• 아픈 물고기: 갑자기 위아래로 급하게 뛰어오르거나, 비틀거리며 헤엄칩니다. (예: 전기가 새어 나와서 신경이 마비되거나, 방광에 문제가 생겼을 때)

과거에는 사람이 수족관 앞에서 물고기를 눈으로 쫓아다니며 기록해야 했지만, 이건 너무 힘들고 정확하지도 않습니다. 그래서 연구자들은 **"카메라로 찍은 영상을 AI 가 분석하게 하면 어떨까?"**라고 생각했습니다.

🕵️‍♂️ 2. 핵심 기술: "수백 마리의 물고기를 한 번에 따라다니기"

수족관에는 물고기가 수백 마리씩 떼 지어 다니는데, 서로 겹치기도 하고 (가려짐), 모양도 계속 변합니다. 마치 혼잡한 지하철역에서 친구를 찾아야 하는 상황과 비슷합니다.

이 연구에서는 **'YOLOv11'**이라는 AI 카메라를 사용했습니다. 이 카메라는 물고기를 발견하면 사각형 박스 (Bounding Box) 로 표시하고, 그 박스가 다음 프레임에서도 같은 물고기인지 **ID(신분증)**를 붙여주며 따라다닙니다. 이를 **'다중 객체 추적 (MOT)'**이라고 합니다.

🎬 3. 혁신적인 아이디어: "단순히 한 장만 보는 게 아니라, '영화'를 보자"

기존의 AI 는 물고기를 볼 때 **사진 한 장 (프레임)**만 보고 판단했습니다. 하지만 물고기가 너무 빠르게 움직이거나 다른 물고기에 가려지면 실수하기 쉽죠.

연구팀은 여기서 **"한 장만 보는 게 아니라, 바로 전과 바로 후의 장면을 함께 보면 어떨까?"**라고 생각했습니다.

• 비유: 친구가 멀리서 걸어올 때, 얼굴 한 장만 보면 못 알아볼 수도 있지만, 어제 모습, 오늘 모습, 내일 모습을 연속으로 보면 훨씬 쉽게 알아볼 수 있죠.
• 기술적 적용: AI 가 물고기를 찾을 때, 현재 프레임뿐만 아니라 이전과 이후의 영상 몇 장을 동시에 입력받아 분석하도록 개조했습니다. 마치 슬로우 모션으로 움직임을 파악하는 것과 같습니다.

📊 4. 실험 결과: "더 많은 정보가 도움이 될까?"

연구팀은 수족관처럼 만든 실험실에서 **수라웨시 쌀물고기 (Sulawesi ricefish)**라는 작고 많은 물고기를 대상으로 실험했습니다.

• 결과 1 (감지 능력): 여러 장의 영상을 함께 보면, 물고기를 찾아내는 정확도가 약 5~13% 정도 늘어났습니다. 특히 물고기가 서로 겹쳐서 잘 안 보일 때 효과가 컸습니다.
• 결과 2 (추적 능력): 하지만 흥미로운 점은, 물고기의 '헤엄치는 방향'이나 '속도'를 계산할 때는 정교한 여러 장 분석이 아니라, 단순한 한 장 분석만으로도 충분히 좋은 결과가 나왔다는 것입니다.
  • 비유: "물고기가 어디로 갔는지 (방향) 를 알기 위해 고해상도 4K 영화 전체를 볼 필요는 없고, 핵심 장면만 봐도 충분하다"는 뜻입니다.

🏥 5. 결론: "물고기의 건강 진단사가 된 AI"

이 시스템은 물고기가 위아래로 비정상적으로 뛰어오르는지를 자동으로 계산해냅니다.

• 만약 물고기 떼 전체가 위아래로 심하게 움직인다면? → 아마도 전자기기 누전이나 수질 문제일 수 있으니 관리자가 확인해야 한다!
• 만약 평온하게 가로로 헤엄친다면? → 건강함!

💡 요약하자면

이 논문은 **"물고기의 건강 상태를 파악하기 위해, AI 가 수백 마리의 물고기를 실시간으로 추적하는 시스템을 만들었다"**는 내용입니다.

• 기존: 사람이 눈으로 보고 기록 (피곤함, 부정확함).
• 이 연구: AI 가 영상을 보고 물고기의 움직임을 분석 (자동화, 정확함).
• 핵심 발견: 물고기를 정확히 찾기 위해선 '과거와 미래의 영상'을 함께 보는 게 좋지만, 건강 상태를 판단하는 '방향 분석'에는 단순한 방법으로도 충분하다.

이 기술이 실용화되면, 수족관이나 양식장에서 물고기가 아파도 사람이 눈치채기 전에 AI 가 "이 물고기들, 지금 이상해요!"라고 알려주어 물고기의 복지와 양식 산업의 지속 가능성을 높이는 데 큰 도움이 될 것입니다.

기술 요약

논문 요약: 비디오 기반 어류 건강 모니터링을 위한 운동 분석

1. 문제 정의 (Problem)

• 배경: 양식 어류의 건강 상태 모니터링은 질병 조기 발견, 동물 복지 보장 및 지속 가능한 양식 관리를 위해 필수적입니다. 어류의 생리적 및 병리적 상태는 운동 활동 (locomotion activities) 을 분석함으로써 추론할 수 있습니다.
• 핵심 문제: 전기 누전, 수온 오류, 스트레스 등으로 인해 어류는 수평 이동 대신 수직으로 비정상적으로 오르내리는 등 비정상적인 수영 행동을 보입니다. 이를 정량적으로 감지하기 위해서는 복잡한 환경 (밀집된 군집, 빈번한 가림, 빠른 방향 전환, 비강체 변형) 에서 개별 어류를 일관되게 추적 (Tracking) 하고 운동 궤적을 추출해야 합니다.
• 기존 기술의 한계: 기존 객체 추적 (MOT) 기술은 보행자나 차량에는 효과적이지만, 어류의 높은 시각적 유사성, 빈번한 가림 (occlusion), 그리고 형태적 변형으로 인해 어류 추적에는 한계가 있습니다. 또한, 기존 데이터셋은 해상도가 낮거나 단순한 환경에 국한되어 있어 복잡한 양식장 환경에서의 벤치마킹이 어렵습니다.

2. 방법론 (Methodology)

이 연구는 탐지 기반 추적 (Tracking-by-Detection, TbD) 패러다임을 기반으로 하며, YOLOv11 검출기를 핵심으로 한 시스템을 제안합니다.

• 데이터셋 구축:
  • 수술리 쌀물고기 (Sulawesi ricefish) 데이터셋: 제어된 양식 환경에서 촬영된 비디오를 기반으로 한 새로운 데이터셋을 구축했습니다.
  • 특징: 고해상도 (2448x2048, 30fps), 다양한 포즈, 빠른 수영 속도, 빈번한 개체 간 가림을 포함하며, 시맨틱 세그멘테이션 마스크와 ID 추적 라벨이 모두 포함된 손수 주석 (hand-labeled) 데이터입니다.
• 검출 모델 개선 (Multi-frame YOLOv11):
  • 기존 YOLOv11 의 첫 번째 합성곱 층의 입력 채널 수를 확장하여 여러 프레임 (Multi-frame) 을 입력으로 받도록 수정했습니다.
  • 컨텍스트 윈도우 구성: 중심 프레임 ($X$) 과 주변 프레임 ($x$) 을 조합하여 시간적 맥락을 제공합니다 (예: x X x, xxXxx). 이는 단일 프레임 정보만으로는 모호한 검출을 보완하기 위함입니다.
  • 모델 변형: YOLOv11 의 Nano, Medium, Large 버전을 실험 대상으로 사용했습니다.
• 추적 및 운동 분석 파이프라인:
  • 추적: 개선된 검출 모델을 ByteTrack 및 BoT-SORT 알고리즘에 적용하여 일관된 ID 추적 궤적을 생성합니다.
  • 운동 특징 추출:
    • 수영 방향: 프레임 간 변위를 기반으로 각 어류의 방향을 추정합니다. 수평 방향을 제거하고 수직 축에 대해 대칭화하여 $-90^\circ$(아래) 에서 $90^\circ$(위) 사이의 각도 분포를 계산합니다.
    • 건강 지표: 정상적인 어류는 수평 수영 ($0^\circ$) 을 주로 하므로, 분포가 중앙에서 벗어나거나 수직 방향 ($\pm 90^\circ$) 으로 편향되면 비정상 행동 (스트레스, 질병) 으로 간주합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 벤치마크 데이터셋: 복잡한 양식 환경 (가림, 빠른 방향 전환 등) 에서의 어류 추적 및 분할을 위한 손수 주석된 Sulawesi 쌀물고기 비디오 데이터셋을 공개합니다.
2. 다중 프레임 YOLO 적응성 평가: 다양한 YOLO 모델 스케일과 결합하여 상대적 컨텍스트 프레임을 포함하는 다중 프레임 YOLO 적응의 정성적 평가를 수행했습니다.
3. 정량적 운동 특징 추출 파이프라인: 어류 궤적에서 수영 방향과 속도의 분포를 추출하여 어류 건강 상태를 평가할 수 있는 방법론을 제시했습니다.

4. 실험 결과 (Results)

• 검출 성능 (Detection):
  • 다중 프레임의 효과: 시간적 컨텍스트 윈도우 (특히 대칭적인 x X x 구성) 를 도입하면 단일 프레임 대비 검출 정확도 (mAP50-95) 가 향상되었습니다. Medium 모델에서 x X x 구성이 가장 좋은 성능을 보였습니다.
  • 사전 학습 (Pre-training) 의 효과: 단일 프레임 모델로 사전 학습된 가중치를 다중 프레임 모델에 적용한 경우 (x X x pt), 정밀도 (Precision) 가 크게 향상되어 mAP50-95 가 **76.6%**에 달했습니다 (단일 프레임 대비 13%p 향상).
  • 모델 크기: 일반적으로 Medium 모델이 가장 균형 잡힌 성능을 보였으며, Large 모델은 과적합 (Overfitting) 으로 인해 테스트 데이터에서 오히려 성능이 저하되는 경향이 있었습니다.
• 추적 성능 (Tracking):
  • 추적 알고리즘: ByteTrack 과 BoT-SORT 모두에서 검출 정확도 향상은 추적 성능 (IDF1, MOTA, HOTA) 으로 이어졌습니다.
  • 성능 격차: Ground Truth 검출을 사용한 경우 HOTA 점수가 85% 에 달했으나, 실제 모델 기반 추적은 여전히 검출 오류 (누락, 부정확) 로 인해 성능 격차가 존재했습니다.
  • 맥락 윈도우의 영향: 다중 프레임 컨텍스트를 사용하여 검출 정확도를 높였을 때, 추적 지표 (IDF1 등) 는 약 1%p 정도만 개선되었습니다. 이는 추적 알고리즘이 이미 강력한 성능을 보이지만, 검출의 한계가 추적 성능의 병목 현상이 됨을 시사합니다.
• 수영 방향 분석:
  • 추적된 궤적에서 추출한 수영 방향 분포는 Ground Truth 와 매우 유사하게 나타났습니다.
  • 흥미로운 발견: 다중 프레임을 사용하여 추적 정확도를 높였을 때, 수영 방향 및 크기의 정량적 추정치는 큰 변화 없이 유지되었습니다. 이는 단일 프레임 기반 추적만으로도 어류 군집의 전체적인 운동 방향 (수평 vs 수직) 을 분석하여 건강 상태를 판단하는 데 충분한 정보를 제공할 수 있음을 의미합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 가치: 이 연구는 복잡한 양식 환경에서도 비디오 기반 추적 시스템을 통해 어류의 운동 패턴을 정량적으로 분석할 수 있음을 입증했습니다. 특히 수직 수영 행동의 이상 유무를 감지함으로써 전기 누전이나 질병과 같은 스트레스 요인을 조기에 발견할 수 있는 도구를 제공합니다.
• 기술적 통찰: YOLOv11 에 간단한 다중 프레임 입력 구조를 도입하는 것만으로도 어류와 같은 비강체 객체의 검출 및 추적 성능을 유의미하게 개선할 수 있습니다.
• 향후 과제: 현재 시스템은 신뢰할 수 있는 정량적 추정을 제공하지만, 검출 정확도를 Ground Truth 수준으로 높이기 위한 연구가 필요하며, 카메라 노출 시간 동안의 운동 흐림 (Motion Blur) 을 명시적으로 모델링하는 등의 추가적인 개선이 계획되어 있습니다.

이 논문은 컴퓨터 비전 기술을 양식 산업에 적용하여 동물 복지와 지속 가능성을 증진시키는 중요한 사례로 평가됩니다.