Non-invasive Growth Monitoring of Small Freshwater Fish in Home Aquariums via Stereo Vision

이 논문은 수조 환경의 굴절 왜곡을 고려한 스테레오 비전과 YOLOv11-Pose 기반의 키 포인트 검출을 활용하여 소형 담수어의 비침습적 성장 모니터링을 가능하게 하는 새로운 방법을 제안하고 검증합니다.

핵심

이 논문은 가정용 수족관이나 양식장에서 물고기의 크기를 재는 아주 똑똑하고 비침습적인 (물고기를 건드리지 않는) 방법을 소개합니다.

물고기를 잡아서 자로 재는 것은 물고기에게 스트레스를 주고, 심지어 다치게 할 수도 있습니다. 그래서 연구자들은 **"두 개의 눈 (스테레오 카메라)"**을 이용해 물고기의 크기를 자동으로 재는 시스템을 개발했습니다.

이 복잡한 기술을 일반인이 이해하기 쉽게 세 가지 핵심 비유로 설명해 드릴게요.

---

1. 물속의 '거울'과 '렌즈' 문제: 왜 일반 카메라로는 안 될까?

상상해 보세요. 물속의 물고기를 카메라로 찍으려면, 빛은 공기 → 유리 (수족관) → 물을 거쳐야 합니다. 이때 빛이 꺾이는 현상 (굴절) 이 발생합니다.

• 일반적인 상황: 우리가 공중에서 물고기를 보면 물고기가 실제보다 더 가까이 있거나 왜곡되어 보입니다.
• 이 문제의 핵심: 보통의 3D 카메라는 "빛이 직선으로 간다"고 가정하고 작동합니다. 하지만 수족관처럼 유리 벽이 있고 물이 있는 곳에서는 빛이 꺾이므로, 일반적인 3D 카메라는 물고기의 위치를 엉뚱하게 계산해 버립니다. 마치 안경 없이 물속을 보려다 물고기가 어디에 있는지 헷갈리는 것과 같습니다.

해결책: 연구자들은 이 '빛의 꺾임'을 수학적으로 완벽하게 계산하는 **특수한 3D 지도 (굴절 인식 삼각측량)**를 만들었습니다. 마치 물속의 물고기가 실제로 어디에 있는지 정확히 찾아내는 '마법의 안경'을 쓴 것과 같습니다.

2. AI 의 '눈'과 '선별기': 물고기를 구별하고 걸러내기

수족관 안은 물고기가 빠르게 움직이고, 식물이 가려있으며, 물고기들이 서로 겹쳐 있어 매우 혼잡합니다. AI 가 모든 것을 다 재려다 보면 엉뚱한 것까지 재거나, 흐릿한 물고기를 재서 엉뚱한 수치를 내놓을 수 있습니다.

이 시스템은 **YOLO(물고기를 찾는 AI)**를 사용하는데, 여기에 두 가지 중요한 기능을 추가했습니다.

• 기능 A: "이 물고기는 재기 좋은가?" (품질 판정)
  • AI 는 물고기를 찾을 때, "이 물고기는 잘 보이니? 아니면 흐릿하거나 가려졌니?"를 스스로 판단합니다.
  • 비유: 시험지를 채점할 때, 글씨가 너무 흐릿해서 읽을 수 없는 답안은 아예 채점하지 않고 버리는 것과 같습니다. 흐릿한 물고기를 재면 전체 평균이 틀어지니까요.
• 기능 B: "물고기가 나를 보고 있나?" (방향 필터)
  • 물고기가 카메라를 정면으로 향하거나 (코를 들이밀고) 등만 보이고 있다면, 길이를 재기 어렵습니다.
  • 비유: 친구의 얼굴을 정면으로 보거나 등만 보고 있을 때는 키를 재기 어렵지만, **옆모습 (프로필)**을 보면 키를 재기 쉽습니다. AI 는 옆모습을 보이는 물고기만 골라냅니다.

3. 퍼즐 맞추기: 두 개의 사진으로 3D 입체도 만들기

두 개의 카메라로 찍은 사진을 합쳐 3D 입체 이미지를 만듭니다. 이때 중요한 건 **두 사진 속의 같은 물고기를 정확히 짝짓기 (매칭)**하는 것입니다.

• 문제: 물고기가 움직이거나 식물이 가리면, 왼쪽 사진의 물고기와 오른쪽 사진의 물고기가 어느 것이 짝인지 헷갈릴 수 있습니다.
• 해결책 (템플릿 매칭): AI 가 물고기의 입, 눈, 지느러미 같은 '관절 (키포인트)'을 찾은 후, 두 사진 사이에서 가장 비슷한 부분끼리 딱딱 맞춰주는 퍼즐 게임을 합니다.
  • 재미있는 발견: 배경이 단순한 경우 (흰 벽 앞) 에는 이 퍼즐 맞추기가 아주 잘 되지만, 배경이 복잡하면 (식물이 많을 때) 오히려 헷갈려서 실수가 늘어날 수 있다는 것을 발견했습니다. 그래서 배경에 따라 이 기능을 켜거나 끄는 지혜를 발휘했습니다.

---

🎯 결론: 이 기술이 왜 중요할까요?

이 연구는 작은 물고기 (약 8cm 정도) 를 수족관이라는 복잡한 환경에서도 정확하게 재는 방법을 제시했습니다.

1. 물고기를 건드리지 않음: 물고기를 잡을 필요가 없어 스트레스가 없고, 매일매일 건강을 체크할 수 있습니다.
2. 정확함: 빛의 굴절을 고려하고, 흐릿하거나 잘못된 데이터는 AI 가 스스로 걸러내므로 결과가 매우 정확합니다.
3. 실용성: 이 기술은 가정용 수족관 주인이 자신의 물고기가 잘 자라고 있는지 확인하거나, 멸종 위기 종을 보호하는 데 큰 도움을 줄 수 있습니다.

한 줄 요약:

"이 기술은 수족관 안의 빛 굴절 문제를 해결하고, AI 가 흐릿한 물고기는 아예 무시하게 만들어, 물고기를 건드리지 않고도 정확한 키를 재는 **'스마트 물고기 체중계'**를 개발한 것입니다."

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 양식업 및 가정용 수조에서 물고기의 성장 모니터링은 건강 상태, 질병, 영양 상태, 유전적 변이 등을 파악하는 데 필수적입니다.
• 현재의 한계:
  • 기존 수동 측정 방식은 물고기를 다룰 때 스트레스를 주거나 부상을 입힐 수 있으며, 시간이 많이 소요됩니다.
  • 기존 컴퓨터 비전 기법들은 수중 환경의 굴절 (Refraction) 현상 (공기 - 유리 - 물의 경계면) 을 고려하지 않아, 핀홀 카메라 모델의 가정 (예: 에피폴라 제약) 이 깨져 정확한 거리 측정이 어렵습니다.
  • 가정용 수조의 소형 어종 (특히 수 mm~8cm 크기) 은 투명도가 높고, 빠르게 움직이며, 수초나 장식품 뒤에 숨는 경우가 많아 검출 및 측정이 매우 어렵습니다.

2. 제안된 방법론 (Methodology)

저자들은 굴절을 고려한 스테레오 비전 시스템을 제안하며, 다음과 같은 파이프라인을 구성했습니다.

A. 굴절 인식 스테레오 매칭 (Refraction-aware Stereo Matching)

• 축 카메라 모델 (Axial Camera Model): 공기 - 유리 - 물의 3 층 구조에서 발생하는 굴절을 정확히 모델링합니다.
• 에피폴라 곡선 (Epipolar Curves): 굴절로 인해 직선인 에피폴라 라인이 곡선으로 변형되므로, 이를 조각별 선형 근사 (piecewise linear approximation) 를 통해 사전 계산된 곡선을 사용하여 매칭 영역을 제한합니다.

B. YOLOv11-Pose 기반 검출 및 품질 평가

• YOLOv11-Pose 확장: 물고기의 바운딩 박스와 5 개의 해부학적 키포인트 (입, 눈, 등지느러미, 배지느러미, 꼬리지느러미) 를 예측합니다.
• 품질 평가 헤더 (Quality Head): 기존 YOLO 구조에 추가된 헤더로, 각 검출된 물고기의 가시성 품질 (High, Medium, Low) 을 분류합니다. 이는 모션 블러, 낮은 대비, 가림 등으로 인해 키포인트가 불확실한 경우를 필터링하기 위함입니다.
• 학습 전략: 2 단계 학습을 통해 품질 평가 헤더가 과적합되지 않도록 합니다 (1 단계: 위치/키포인트 학습, 2 단계: 품질 헤더만 미세 조정).

C. 3D 재구성 및 길이 측정 파이프라인

1. 검출 및 매칭: 스테레오 쌍의 양쪽 이미지에서 물고기를 검출하고, 에피폴라 곡선, 바운딩 박스 크기, 키포인트 패턴을 기반으로 비용 함수 (Cost Function) 를 계산하여 매칭합니다.
2. 키포인트 정제 (Keypoint Improvement): 매칭된 키포인트 주변 (21x21 픽셀) 에서 템플릿 매칭을 수행하여 위치를 정밀하게 보정합니다.
3. 필터링 (Match Filtering):
   • 품질 필터: 'Medium' 또는 'Low'로 분류된 검출은 제거합니다.
   • 방향 필터: 카메라를 정면으로 향하거나 등지고 있는 물고기 (비율 < 1.5 또는 광축 각도 < 45 도) 는 키포인트 식별이 어렵기 때문에 제거합니다.
4. 3D 삼각측량: 필터링된 신뢰할 수 있는 키포인트 쌍을 굴절 인식 3D 삼각측량을 통해 3D 좌표로 변환하고, 입에서 꼬리지느러미까지의 거리를 계산합니다.

3. 주요 기여 (Key Contributions)

1. 비접촉식 스테레오 시스템: 가정용 수조 환경에서 굴절을 명시적으로 고려하여 소형 물고기의 성장을 추적하는 시스템을 제안했습니다.
2. 새로운 데이터셋 구축: 멸종 위기 종인 '수라웨시 라이스피시 (Sulawesi ricefish, 최대 80mm)'를 대상으로 한 스테레오 이미지 데이터셋을 공개했습니다. (104 장 이미지, 4,331 개 물고기 인스턴스, 5 개 키포인트, 가시성 품질 레이블 포함).
3. 학습 기반 품질 평가 및 필터링 전략: 불완전한 검출을 제거하여 3D 측정 정확도를 높이는 새로운 필터링 메커니즘을 검증했습니다.

4. 실험 결과 (Results)

• 데이터셋: 수라웨시 라이스피시 104 장 (테스트용 38 장 포함) 으로 구성되었으며, 배경이 흰색 벽인 경우와 수초가 있는 복잡한 경우로 나뉘어 평가되었습니다.
• 품질 예측 성능: YOLOv11-Pose 의 품질 헤더는 'High' 품질 샘플을 효과적으로 식별했으나, 일부 'Medium'을 'High'로 오분류하는 경향이 있었습니다. 이는 신뢰할 수 없는 샘플을 제거하는 데 필수적입니다.
• 매칭 정확도: 품질 필터 (Qu) 와 방향 필터 (Di) 를 적용했을 때 잘못된 매칭 비율이 크게 감소했습니다 (예: 백그라운드 없는 장면에서 약 17% → 6% 이하로 감소).
• 길이 측정 정확도 (RMSE):
  • 전체 시스템의 최적 구성 (Medium 규모 백본 + 품질 필터 + 방향 필터 + 템플릿 매칭) 에서 최대 7.25mm (Scene noBG) 및 9.22mm (Scene wBG) 의 RMSE 를 달성했습니다.
  • 템플릿 매칭의 영향: 배경이 단순한 경우 (흰 벽) 에는 템플릿 매칭이 정확도를 크게 향상시켰으나, 배경이 복잡한 경우 (수초 등) 에는 오히려 정확도를 저하시켰습니다. 이는 배경 요소가 템플릿에 포함되어 잘못된 정렬을 유발하기 때문입니다.
• 성능: AMD EPYC 9654 CPU 및 RTX 6000 GPU 환경에서 초당 약 5 프레임 쌍을 처리하며, 템플릿 매칭이 전체 연산 시간의 약 75% 를 차지합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용성: 이 시스템은 가정용 수조나 소규모 양식장에서도 쉽게 적용 가능한 비접촉식, 자동화된 성장 모니터링 솔루션을 제공합니다.
• 기술적 혁신: 굴절 현상을 고려한 에피폴라 곡선 기반 매칭과 학습 기반의 품질 필터링을 결합하여, 기존 수중 비전 시스템이 겪던 정확도 문제를 해결했습니다.
• 향후 과제: 장노출로 인한 모션 블러를 보정하기 위한 모델 기반 디블러링 (Deblurring) 기술 통합 및, 템플릿 매칭의 연산 효율성을 높이기 위한 근사 알고리즘 개발이 계획되어 있습니다.

이 연구는 컴퓨터 비전 기술이 실제 복잡한 물리적 환경 (굴절, 조명, 가림) 에서 어떻게 적용되어 생물학적 모니터링에 기여할 수 있는지를 보여주는 중요한 사례입니다.