Automated morphometry and weight prediction of juvenile Chinook Salmon leveraging open-source deep learning models

이 논문은 오픈소스 딥러닝 모델인 메타의 세그먼트 애니싱 (SAM) 을 활용하여 치어 연어 (Chinook Salmon) 의 2D 이미지에서 자동 분할 및 형태 측정을 수행하고, 이를 통해 물고기의 체중을 0.16g 의 평균 절대 오차로 정확하게 예측하는 'HandsFreeFishing'시스템을 제안합니다.

핵심

이 논문은 **"물속에서 물고기를 건드리지 않고도, 사진 한 장으로 몸무게를 재는 마법 같은 기술"**에 대한 이야기입니다.

기존에 멸종 위기에 처한 물고기를 연구할 때는 물고기를 건져 올려 손으로 잡아야 했고, 이를 측정하고 다시 물에 넣는 과정에서 물고기가 큰 스트레스를 받거나 다칠 위험이 있었습니다. 이 연구는 그 문제를 해결하기 위해 인공지능 (AI) 을 활용한 새로운 방법을 제안합니다.

다음은 이 연구의 핵심 내용을 일상적인 비유로 설명한 것입니다.

1. 문제: "물고기를 잡는 건 고생이고, 스트레스도 줘요"

예전에는 물고기의 몸무게를 재려면 물고기를 그물이나 손으로 잡아서 저울에 올려야 했습니다. 이는 마치 아픈 환자를 무리하게 일으켜 세워서 체중을 재는 것과 비슷합니다. 물고기는 놀라고 스트레스를 받아 건강이 나빠질 수 있습니다. 특히 멸종 위기 종인 '청어 (Chinook Salmon)'의 경우, 이런 스트레스는 치명적일 수 있습니다.

2. 해결책: "HandsFreeFishing (손을 대지 않는 낚시)" 프로그램

연구팀은 **"물고기는 물속에 그대로 두고, 우리는 사진만 찍자"**라고 생각했습니다.

• 장비: 물고기가 물속에 있는 특수한 통 (뷰어) 을 만들고, 그 옆에서 디지털 카메라로 사진을 찍습니다.
• 핵심 기술: Meta(메타) 가 만든 **'Segment Anything Model (SAM)'**이라는 AI 를 사용했습니다. 이 AI 는 마치 스마트폰의 '선택 도구'처럼, 사진 속 물고기의 윤곽을 자동으로 찾아내어 잘라냅니다.

3. 작동 원리: "AI 가 물고기를 '가상 체중계'로 변신시키다"

이 프로그램이 어떻게 몸무게를 알아낼까요?

1. 자동 자르기 (Segmentation): 사용자가 사진에서 물고기를 한 번 클릭하면, AI 가 물고기의 몸통을 정확히 잘라냅니다. (물고기의 지느러미는 움직이기 때문에 잘라내지 않고 제외합니다.)
2. 체형 분석 (Ellipsoid): AI 는 잘려진 물고기 모양을 보고 **"이 물고기를 3D 타원체 (달걀 모양) 로 상상해 볼까?"**라고 가정합니다.
   • 비유: 물고기의 옆면 사진 (2D) 을 보고, 그 넓이를 재서 3D 의 부피를 추측하는 것입니다. 마치 과일 껍질을 벗겨서 그 크기로 과일의 무게를 짐작하는 것과 같습니다.
3. 무게 계산: 물고기의 부피를 알면, 물고기의 밀도 (비중) 를 곱해서 무게를 계산할 수 있습니다.

4. 놀라운 결과: "작은 데이터로도 대박!"

연구팀은 149 마리의 어린 청어 사진만 가지고 이 모델을 훈련시켰습니다. (데이터 양이 적었지만 결과는 훌륭했습니다.)

• 정확도: 실제 저울로 잰 무게와 AI 가 예측한 무게의 차이가 약 0.16g에 불과했습니다.
• 성공률: 예측 정확도 (R-squared) 가 **99%**에 달했습니다. 즉, 100 점 만점에 거의 100 점에 가까운 정확도입니다.

5. 왜 중요한가요?

이 기술은 물고기를 건드리지 않고도 몸무게, 건강 상태, 성장 속도 등을 알 수 있게 해줍니다.

• 비유: 병원에서 환자를 침대에 눕히지 않고, 카메라로 한 번 찍으면 모든 건강 수치가 자동으로 나오는 것과 같습니다.
• 효과: 연구자들은 물고기를 더 많이, 더 빠르게, 그리고 물고기를 해치지 않게 연구할 수 있게 되었습니다.

요약

이 논문은 **"AI 가 물고기의 사진을 보고, 마치 물고기를 손으로 잡은 것처럼 정확한 무게를 알아내는 기술"**을 소개합니다. 이는 멸종 위기 물고기를 보호하면서도 과학적인 데이터를 수집할 수 있는 매우 혁신적이고 친환경적인 방법입니다.

이 프로그램은 오픈소스로 공개되어 있어, 다른 물고기 종이나 연구자들에게도 쉽게 적용될 수 있다고 합니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 생태적 위기와 관리 필요성: 캘리포니아 연안의 치누크 연어 (Chinook Salmon) 개체군은 남획과 서식지 파괴로 인해 감소하고 있으며, 복원 노력이 시급합니다.
• 기존 방법의 한계: 어류의 건강 상태 ( Fulton's condition factor 등) 를 평가하기 위해 체중과 형태 측정 (morphometry) 이 필수적이지만, 기존 방식은 어류를 물에서 꺼내 수동으로 측정해야 합니다.
• 문제점:
  • 어류 스트레스 및 손상: 반복적인 핸들링 (handling) 은 어류에게 스트레스를 유발하고, 멸종 위기 종의 경우 치명적일 수 있습니다.
  • 시간 및 인력 소모: 개별 어류의 형태 지점을 수동으로 디지털화하는 과정은 번거롭고 숙련된 인력이 필요하며, 데이터 처리의 병목 현상을 초래합니다.
  • 오류 가능성: 수동 측정 시 사용자 오류가 발생할 수 있습니다.

2. 방법론 (Methodology)

이 연구는 **'HandsFreeFishing'**이라는 프로그램을 개발하여 어류를 물에서 꺼내지 않고도 정밀한 형태 측정과 체중 예측을 자동화하는 프레임워크를 제시합니다.

가. 데이터 수집 및 전처리

• 이미지 획득: 수중 뷰어 (viewer) 내에서 치누크 연어 치어를 촬영합니다. 뷰어 내부에는 5x5mm 격자가 있어 픽셀 대 밀리미터 스케일 보정에 사용됩니다.
• 초기 사용자 입력: 사용자는 이미지에서 대상 어류에 **경계 상자 (Bounding Box)**를 그리고, 어류의 방향 (좌/우, 정반/역전) 에 대한 최소한의 정보를 입력합니다. 그 이후 과정은 완전히 자동화됩니다.

나. 자동 분할 (Automated Segmentation)

• 모델 활용: 메타 (Meta) 의 오픈 소스 딥러닝 모델인 **Segment Anything Model (SAM)**을 사용하여 원본 이미지에서 어류를 분할 (segmentation) 합니다.
• 윤곽선 추출: 분할된 어류의 윤곽선을 타원 푸리에 분석 (Elliptic Fourier analysis) 을 통해 매끄러운 2D 곡선으로 변환합니다.
• 지느러미 제거 (No-fin Segmentation): 지느러미의 위치 (위/아래/중간) 가 변하면 체적 추정에 오차가 발생할 수 있으므로, SAM 을 이용해 개별 지느러미 (등지느러미, 꼬리지느러미 등) 를 분할한 후 이를 원본 분할 마스크에서 제거합니다.
• 안구 분할: 어류의 눈 지름 측정을 위해 안구도 분할합니다.

다. 특징 추출 (Feature Extraction)

자동화된 알고리즘을 통해 다음 지표들을 추출합니다:

• 포크 길이 (Fork Length): 주둥이 끝부터 꼬리지느러미 중앙까지의 거리.
• 표면적 (Surface Area): 지느러미를 제거한 측면 윤곽의 면적.
• 타원 적합 (Ellipse Fitting): 어류 윤곽에 가장 잘 맞는 타원의 장반경 ($a$) 과 단반경 ($b$) 을 계산합니다.
• 기타: 눈 지름, 16 개의 랜드마크 점 (landmark points) 을 이용한 격자 길이 측정, 분할된 표면적 (partitioned surface areas) 등.

라. 체중 예측 모델 (Weight Prediction)

• 가정: 어류의 몸통을 3 차원 타원체 (ellipsoid) 로 가정합니다.
• 물리적 관계: 부피 ($V$) 는 표면적 ($SA$) 과 높이 ($b$) 의 곱에 비례한다고 가정합니다 ($V \propto SA \times b$). 부피는 밀도를 통해 체중과 직접적인 비례 관계가 있습니다.
• 모델 구축: 추출된 형태학적 특징들을 입력 변수로 사용하여 선형 회귀 및 다중 선형 회귀 (MLR) 모델을 훈련시켰습니다.
  • Model 1 (최고 성능): $V_1 = SA \times b$를 독립 변수로 사용.
  • Model 2: $SA^{3/2}$ 사용 (길이와 높이가 비례한다고 가정).
  • Model 3~7: 다양한 조합 (지느러미 길이, 랜드마크 길이 등) 을 사용.

3. 주요 결과 (Results)

• 데이터셋: 총 149 개의 이미지 (체중 0.31g ~ 7.74g, 포크 길이 27~90mm) 를 사용. 저품질 이미지 40 개를 제거한 109 개 데이터셋으로 정제된 분석도 수행.
• 성능 지표 (Model 1 기준, 전체 데이터셋):
  • $R^2$ (결정 계수): 0.98 ~ 0.99 (매우 높은 설명력).
  • 평균 절대 오차 (MAE): 0.13g ~ 0.16g.
  • 평균 절대 백분율 오차 (MAPE): 12% ~ 16%.
• 모델 비교:
  • Model 1 ($SA \times b$) 이 가장 정확한 예측을 보였으며, AIC (아카이케 정보 기준) 점수도 우수했습니다.
  • 단순한 랜드마크 길이만 사용한 모델 (Model 7) 은 성능이 낮았으나, 길이를 세제곱한 값 (부피 추정) 을 사용한 모델 (Model 6) 은 성능이 크게 향상되었습니다.
  • 지느러미 제거 여부와 관계없이, 자동 분할을 통한 형태 측정만으로도 높은 정확도의 체중 예측이 가능함을 입증했습니다.

4. 주요 기여 (Key Contributions)

1. 비침습적 측정 시스템 개발: 어류를 물에서 꺼내지 않고도 정밀한 체중과 형태 데이터를 얻을 수 있는 'HandsFreeFishing' 프로그램과 저비용 뷰어 설계를 제시했습니다.
2. 오픈 소스 딥러닝의 적용: Meta 의 SAM 모델을 어류 분할에 성공적으로 적용하여, 사용자 개입을 최소화하면서도 재현 가능한 분할 결과를 도출했습니다.
3. 자동화된 데이터 처리 파이프라인: 수동 측정의 병목 현상을 해결하고, 지느러미 위치 변동 등의 변수를 자동으로 보정하는 알고리즘을 제안했습니다.
4. 고정확도 예측 모델: 소규모 데이터셋 (149 개) 으로도 $R^2$ 0.99 에 근접하는 높은 정확도의 체중 예측 모델을 확립했습니다.

5. 의의 및 결론 (Significance)

• 어류 보호 및 관리: 멸종 위기 종인 연어 치어의 스트레스를 극도로 줄이면서, 개체군 건강 상태 (Condition Factor) 와 체중 데이터를 대량으로 수집할 수 있게 되었습니다. 이는 서식지 복원 및 관리 정책의 효과를 정량화하는 데 필수적입니다.
• 확장성: 이 프로그램과 방법은 다른 어종이나 생애 주기에도 쉽게 적용 (Customization) 가능하여, 수산 생태학 전반의 데이터 수집 방식을 혁신할 잠재력을 가집니다.
• 미래 전망: 더 많은 실제 체중 데이터 (Ground Truth) 를 확보하면 복잡한 모델 (Model 5, 6 등) 의 성능을 더욱 향상시킬 수 있으며, 향후 안구 분할이나 중선 (midline) 추적을 통한 더 정밀한 해부학적 랜드마크 추출이 가능해질 것입니다.

이 연구는 기술적 자동화와 생태학적 보존의 필요성을 결합하여, 현대 수산 과학에서 필수적인 비침습적 모니터링 도구의 새로운 표준을 제시했습니다.