An interpretable framework using foundation models for fish sex identification

이 논문은 멸종 위기종인 델타 스멜트의 성별을 비침습적으로 식별하기 위해 시각 기반 모델과 해석 가능한 프로토타입 네트워크를 결합한 'FishProtoNet' 프레임워크를 제안하고, 산란 전후 단계에서 높은 정확도를 입증했습니다.

핵심

1. 문제: "물고기의 성별을 알면 왜 중요할까?"

상상해 보세요. 멸종 위기의 물고기를 인공적으로 키우면서 개체 수를 늘려야 하는 상황입니다. 이때 암컷과 수컷을 정확히 구분해서 짝짓기를 시켜야만 새끼 물고기를 많이 낳을 수 있습니다.

하지만 기존 방법들은 문제가 많았어요.

• 수술이나 내시경: 물고기의 배를 가르고 성기를 확인하는 건데, 이건 물고기에게 큰 스트레스를 주고 죽게 만들 수도 있습니다. (마치 환자를 수술하듯 물고기를 다치게 하는 셈이죠.)
• 사람의 눈: 물고기가 아직 어릴 때는 암컷과 수컷의 생김새가 너무 비슷해서, 전문가라도 구별하기가 매우 어렵습니다.

2. 해결책: "FishProtoNet"이라는 새로운 AI 도구

연구팀은 **"물고기에게 상처 주지 않고, 사진만 찍어서 성별을 알아내는 AI"**를 만들었습니다. 이 AI 의 이름은 FishProtoNet입니다. 이 도구는 크게 세 가지 단계로 작동하는데, 이를 스마트한 요리사에 비유해 볼까요?

① 단계 1: '요리 재료'만 깔끔하게 고르기 (ROI 추출)

요리할 때 접시나 식탁보 같은 불필요한 배경은 버리고, 오직 물고기 몸통만 잘라내야 정확한 요리를 할 수 있습니다.

• 기존 방식: 특정 물고기만 인식하도록 훈련된 AI 는 배경이 조금만 달라져도 혼란을 겪었습니다.
• 새로운 방식 (Grounding DINO + SAM2): 연구팀은 최신 AI 기술인 **'바탕 모델 (Foundation Models)'**을 썼습니다. 이는 마치 **"물고기라고 말하면 어떤 물고기든 알아보고 잘라내는 만능 가위"**처럼 작동합니다.
  • "물고기"라고 말하면 AI 가 물고기의 위치를 찾아서 (Grounding DINO), 그 모양대로 정확하게 잘라냅니다 (SAM2).
  • 결과적으로 배경의 잡음 (물탱크 바닥, 빛 반사 등) 을 완전히 제거하고 물고기 본연의 모습만 남깁니다.

② 단계 2: '요리 실력'을 다지기 (데이터 증강)

물고기 사진이 너무 적으면 AI 가 "이 사진만 기억해서" 실수를 할 수 있습니다. (우리가 한 번 본 요리 레시피만 외워서 다른 재료를 못 쓰는 것과 비슷하죠.)

• 연구팀은 AI 가 다양한 상황을 겪게 하기 위해 데이터 증강 기술을 썼습니다.
• 물고기를 좌우로 뒤집거나, 살짝 회전시키거나, 일부러 가려보거나 하는 식으로 사진을 변형시켰습니다.
• 이는 AI 가 "아, 물고기는 이렇게 비스듬히 있거나, 빛이 다르게 비춰도 성별은 변하지 않는구나!"라고 배우게 해줍니다.

③ 단계 3: '비밀 레시피'를 공개하는 AI (해석 가능한 모델)

일반적인 AI 는 "정답을 맞췄다"고만 말하지, **"왜 그렇게 생각했는지"**는 알려주지 않습니다. (블랙박스) 하지만 연구팀은 생물학자들이 AI 의 판단을 믿고 따라갈 수 있도록 이유를 설명해주는 AI를 만들었습니다.

• 비유: 이 AI 는 **"비교하는 장난감"**을 가지고 있습니다.
  • AI 는 먼저 '암컷 물고기'와 '수컷 물고기'의 **대표적인 특징 (프로토타입)**을 학습합니다. (예: "암컷은 배가 조금 더 통통하다", "수컷은 지느러미 끝이 뾰족하다" 같은 특징)
  • 새로운 물고기 사진을 보면, AI 는 "이 물고기가 학습한 '암컷 레퍼런스'와 더 닮았는지, '수컷 레퍼런스'와 더 닮았는지" 하나하나 비교합니다.
  • 그리고 **"이 부분은 암컷 특징과 80% 비슷하고, 저 부분은 수컷 특징과 20% 비슷해서 최종적으로 암컷으로 판단했다"**라고 이유를 보여줍니다.
• 이렇게 하면 생물학자들이 "아, AI 가 정말 물고기 몸의 특징을 보고 판단했구나"라고 안심하고 신뢰할 수 있습니다.

3. 결과: 얼마나 잘했을까?

• 성공: 물고기가 **성숙해서 생식기가 발달한 시기 (산란 전후)**에는 AI 가 **약 80%**의 정확도로 성별을 맞췄습니다. 이는 기존 방법보다 훨씬 훌륭합니다.
• 한계: 물고기가 **아직 어릴 때 (유어기)**에는 암컷과 수컷의 생김새 차이가 너무 작아서 AI 도 50% 대 (동전 던지기 수준) 로 맞추기 힘들었습니다. 이는 AI 의 잘못이 아니라, 아직 물고기들이 성별을 구별할 만큼 자라지 않았기 때문입니다.

요약

이 연구는 **"멸종 위기 물고기를 보호하기 위해, AI 가 물고기를 다치지 않게 사진으로 성별을 구별하는 새로운 방법을 개발했다"**는 것입니다.

• 핵심 기술: 배경을 깨끗이 잘라내는 '만능 가위 AI' + 이유를 설명해주는 '투명한 AI'.
• 의미: 이제 과학자들은 물고기를 잡아서 수술할 필요 없이, 사진 한 장으로 성별을 확인하고 효율적으로 번식시킬 수 있게 되었습니다. 다만, 물고기가 너무 어릴 때는 아직 구별이 어렵기 때문에, 앞으로는 더 정교한 기술이 필요하다고 말합니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 델타 스멜트 (Delta smelt, Hypomesus transpacificus) 는 캘리포니아의 생태계 건강을 나타내는 지표 종이자 멸종 위기 종입니다. 개체군 회복을 위해 양식장에서의 인공 번식이 필수적이며, 이를 위해서는 효율적인 번식 관리를 위한 정확한 성별 식별이 핵심적입니다.
• 기존 방법의 한계:
  • 침습적 방법: 생식기 검사 (생검, 해부), 내시경, 초음파 등은 어류에 스트레스를 주거나 추가적인 사망률을 유발하여 멸종 위기 종 관리에 치명적입니다.
  • 기존 컴퓨터 비전/딥러닝 방법의 문제점:
    1. 배경 노이즈: 기존 모델은 어류 자체의 형태적 차이보다 수조 바닥 등 배경의 편향 (bias) 을 학습하여 잘못된 판단을 내릴 위험이 있습니다.
    2. 해석 가능성 (Interpretability) 부재: 대부분의 딥러닝 모델은 '블랙박스'로 작동하여, 생물학자들이 모델이 왜 특정 성별을 판단했는지 검증하기 어렵습니다. CAM(클래스 활성화 맵) 등의 사후 해석 방법은 신뢰도가 낮을 수 있습니다.
    3. 미성숙 개체의 어려움: 성별에 따른 형태적 차이가 뚜렷하지 않은 미성숙 (Subadult) 단계에서는 식별이 매우 어렵습니다.

2. 제안 방법론: FishProtoNet (Methodology)

저자들은 FishProtoNet이라는 새로운 프레임워크를 제안하였으며, 이는 크게 세 가지 핵심 모듈로 구성됩니다.

2.1. 영감 기반 모델 (Foundation Models) 을 활용한 ROI 추출

• 목적: 배경 노이즈를 제거하고 어류 본연의 특징만 추출하기 위해 관심 영역 (ROI) 을 정확하게 분할합니다.
• 기술 스택:
  • Grounding DINO: 텍스트 프롬프트 ("fish") 를 사용하여 제로샷 (zero-shot) 방식으로 어류의 경계 상자 (Bounding Box) 를 탐지합니다.
  • SAM2 (Segment Anything Model 2): Grounding DINO 가 생성한 경계 상자를 시각적 프롬프트로 받아, 어류의 정밀한 마스크 (Segmentation Mask) 를 생성합니다.
• 효과: 특정 종에 대한 데이터 수집 및 주석 없이도 다양한 배경에서 어류만 정확하게 분리해냅니다.

2.2. 데이터 증강 (Data Augmentation)

• 목적: 소규모 데이터셋에서의 과적합 (Overfitting) 방지 및 모델 강건성 (Robustness) 향상.
• 기법:
  • 기본: 리사이징, 정규화, 패딩.
  • 추가: 무작위 회전 (±15 도), 수평 뒤집기, 컬러 지터 (밝기, 대비, 채도 변화), 무작위 크롭, 무작위 지우기 (Random Erasing).
  • Random Erasing 의 역할: ROI 추출 시 불완전한 부분이나 개체 식별을 위한 VIA 태그 (Visible Implant Alphanumeric tags) 가 모델 학습에 편향을 주지 않도록 가립니다.

2.3. 해석 가능한 프로토타입 기반 예측 (Interpretable Prototype-based Prediction)

• 구조: ResNet-50 을 백본 (Feature Extractor) 으로 사용하여 고차원 특징을 추출한 후, 딥 신경 결정 트리 (Deep Neural Decision Tree) 기반의 프로토타입 학습 네트워크를 사용합니다.
• 작동 원리:
  • 프로토타입 학습: 각 클래스 (수컷/암컷) 에 대한 대표적 특징 (프로토타입) 을 학습합니다.
  • 의사 결정 과정: 입력된 어류 이미지의 특징과 학습된 프로토타입 간의 유클리드 거리를 계산하여 트리 구조를 따라 경로를 결정합니다.
  • 해석 가능성: 모델이 어떤 프로토타입 (예: 특정 지느러미 모양, 체색 등) 을 기준으로 판단했는지 시각화하여 생물학자가 검증할 수 있게 합니다.

3. 주요 기여 (Key Contributions)

1. 제로샷 기반의 배경 노이즈 제거: Grounding DINO 와 SAM2 를 결합하여 특정 종 학습 없이도 정밀한 어류 ROI 를 추출함으로써 배경 편향을 효과적으로 제거했습니다.
2. 해석 가능한 AI 모델 개발: 블랙박스 방식이 아닌, 프로토타입 기반의 의사 결정 트리를 도입하여 성별 판별의 투명성과 신뢰성을 확보했습니다.
3. 강건한 데이터 증강 전략: 무작위 지우기 (Random Erasing) 등을 포함한 체계적인 증강 전략을 통해 모델의 일반화 성능을 향상시켰습니다.

4. 실험 결과 (Results)

델타 스멜트 데이터셋을 세 가지 생애 주기 (Session 1: 미성숙, Session 2: 초기 산란기, Session 3: 산란 후) 로 나누어 평가했습니다.

• 성능 (Session 2 & 3 - 성숙 단계):
  • 초기 산란기 (Session 2): 정확도 74.40%, F1 점수 74.27%
  • 산란 후 (Session 3): 정확도 81.16%, F1 점수 79.43%
  • 이 단계에서는 성별에 따른 형태적 차이가 뚜렷하여 FishProtoNet 이 높은 성능을 보였습니다.
• 성능 (Session 1 - 미성숙 단계):
  • 정확도 54.76%, F1 점수 54.62%
  • 미성숙 단계는 성별 간 형태적 차이가 미미하여 현재 컴퓨터 비전 방법으로는 식별이 여전히 어렵습니다.
• 비교 분석:
  • ResNet-50 대비: 모든 세션에서 FishProtoNet 이 더 높은 정확도와 F1 점수를 기록했습니다.
  • ViT (Vision Transformer) 대비: ViT 는 Session 2 와 3 에서 더 높은 정확도 (85.50%) 를 보였으나, FishProtoNet 은 해석 가능성 (Transparency) 에서 우위를 점했습니다. ViT 는 파라미터가 많고 전역 문맥을 잘 포착하지만, FishProtoNet 은 의사 결정 근거를 명확히 제시합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 비침습적 관리: 멸종 위기 어종인 델타 스멜트의 성별을 스트레스 없이, 비침습적으로 식별할 수 있는 실용적인 도구를 제공합니다.
• 신뢰성 확보: 생물학자와 양식 전문가가 모델의 판단 근거를 시각적으로 확인하고 검증할 수 있게 함으로써, AI 모델의 실제 현장 적용 장벽을 낮춥니다.
• 향후 과제:
  • 미성숙 단계 (Subadult) 의 낮은 정확도 문제는 성별 차이가 미미하기 때문이므로, 적외선 (Infrared) 이나 초음파 등 다중 모달 (Multi-modal) 데이터를 융합하거나, 더 많은 생애 주기 데이터를 학습에 포함하여 해결할 필요가 있습니다.
  • 향후 ResNet 대신 ViT 백본을 통합하여 정확도를 더 높이는 연구가 진행될 예정입니다.

이 연구는 기반 모델 (Foundation Models) 과 해석 가능한 AI 를 결합하여 수산 양식 및 멸종 위기 종 보전 분야에서 새로운 표준을 제시했다는 점에서 의의가 큽니다.