💻 computer science

A Probabilistic Framework for Improving Dense Object Detection in Underwater Image Data via Annealing-Based Data Augmentation

이 논문은 DeepFish 데이터셋을 활용하여 밀집된 수중 환경에서의 객체 탐지 성능을 향상시키기 위해, 시뮬레이션 어닐링 기반의 데이터 증강 프레임워크를 제안하고 YOLOv10 모델의 성능을 크게 개선한 결과를 입증합니다.

원저자: Eleanor Wiesler, Trace Baxley

게시일 2026-04-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Eleanor Wiesler, Trace Baxley

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"물속에서 물고기를 찾는 AI 가 혼잡한 환경에서도 잘 작동하도록 만드는 새로운 방법"**에 대한 이야기입니다.

마치 어두운 안개 낀 바다에서 수많은 물고기를 한 마리도 놓치지 않고 세려는 사냥꾼 같은 상황을 상상해 보세요. 기존 기술은 맑은 물고기가 한 마리만 헤엄치는 수족관에서는 잘 작동했지만, 자연 바다처럼 물이 흐리고 물고기 떼가 빽빽하게 모여 있는 곳에서는 길을 잃고 말았습니다.

이 연구팀은 이 문제를 해결하기 위해 **"가상의 물고기 떼를 만들어 훈련시키는 독특한 요리법"**을 개발했습니다.

🌊 1. 문제: "수족관"과 "실제 바다"의 차이

기존에 물고기를 찾는 AI 모델들은 대부분 수족관이나 양식장처럼 물이 맑고 물고기가 드문드문 있는 곳에서 훈련되었습니다.

비유: 마치 한적한 공원에서 산책하는 사람을 찾는 훈련을 받은 경찰이, 성탄절 마켓처럼 사람이 빽빽하게 몰린 거리에 투입된 것과 같습니다.
결과: 물고기가 서로 겹치고, 빛이 반사되고, 물이 탁한 자연 환경에서는 AI 가 "저게 물고기야?"라고 헷갈려서 대부분 놓쳐버렸습니다. 특히 Florida Keys(플로리다 키스) 의 실제 바다 영상에서는 물고기 떼가 너무 많아서 기존 모델은 거의 아무것도 못 찾아냈습니다.

🎨 2. 해결책: "가상 물고기 떼"를 만드는 요리법 (PSADA)

연구팀은 DeepFish 라는 기존 데이터셋을 사용했지만, 거기에는 물고기가 너무 적게 찍혀 있었습니다. 그래서 그들은 **AI 가 '혼잡함'을 경험할 수 있도록 가상의 물고기 떼를 만들어 넣는 새로운 훈련 방법 (PSADA)**을 고안했습니다.

이 방법은 두 가지 핵심 아이디어를 사용합니다:

A. "접시에서 밥을 퍼서 섞기" (Copy-Paste 전략)

기존의 '복사 - 붙여넣기' 방식을 개선했습니다.

기존 방식: 물고기 이미지를 무작위로 잘라내서 다른 곳에 붙이는 것.
이 연구의 방식: 마치 요리사가 접시에 있는 재료를 퍼서 새로운 요리를 만들듯, 물고기 이미지를 잘라내어 새로운 위치에 배치합니다. 하지만 단순히 붙이는 게 아니라, 물고기들이 자연스럽게 떼를 지어 모이는 모양을 인위적으로 만들어냅니다.

B. "온도를 조절하며 점프하는 개구리" (시뮬레이티드 어닐링)

이게 이 연구의 가장 창의적인 부분입니다. 물고기를 배치할 때 **완벽한 위치를 찾기 위해 '시뮬레이티드 어닐링 (Simulated Annealing)'**이라는 수학적 원리를 썼습니다.

비유: 차가운 금속을 녹였다가 천천히 식혀서 단단하게 만드는 과정을 생각해 보세요.
- 초기 (뜨거운 상태): AI 는 물고기를 배치할 때 "아직은 멀리 떨어져 있어도 괜찮아"라고 생각하며 자유롭게 움직입니다. (무작위성이 큼)
- 후기 (차가운 상태): 점차 온도가 내려가면서 AI 는 "이제 물고기들이 서로 너무 멀면 안 돼, 자연스럽게 모여야 해"라고 생각하며 위치를 미세하게 조정합니다.
효과: 이 과정을 통해 AI 는 혼자 헤엄치는 물고기도 배우고, 수백 마리가 빽빽하게 모여 있는 물고기 떼도 어떻게 인식해야 하는지 자연스럽게 학습하게 됩니다.

📊 3. 결과: 놀라운 변화

이 새로운 방법으로 훈련된 AI (PSADA 모델) 는 기존 모델과 비교해 압도적인 성과를 냈습니다.

기존 모델: Florida Keys 의 실제 바다 영상에서 물고기 100 마리 중 25 마리도 못 찾았습니다. (약 1/4 만 탐지)
새로운 모델: 같은 영상에서 50 마리 이상을 찾아냈습니다. (약 1/2 탐지, 기존보다 2 배 이상 성능 향상)
핵심: 특히 물고기들이 서로 겹쳐서 보이지 않는 '혼잡한 구역'에서 기존 모델이 완전히 실패했던 반면, 새로운 모델은 그 사이사이를 찾아내어 물고기를 성공적으로 식별했습니다.

💡 4. 결론 및 미래

이 연구는 **"AI 가 자연스러운 환경 (특히 혼잡한 환경) 에서 작동하려면, 훈련 데이터가 그 환경을 그대로 반영해야 한다"**는 것을 증명했습니다.

한계: 아직 완벽한 것은 아닙니다. Florida Keys 에는 상어나 바리쿠다 같은 다양한 물고기가 있는데, 훈련 데이터인 DeepFish 는 호주산 물고기 위주라 일부 종은 아직 놓치는 경우가 있습니다.
미래: 더 많은 GPU(컴퓨터 성능) 를 활용하고, 다양한 물고기 종을 포함시켜 훈련하면, 앞으로는 해양 생태계 연구자들이 물고기 개체 수를 세거나 산호초 건강을 모니터링할 때 이 AI 가 아주 큰 도움이 될 것입니다.

한 줄 요약:

"수족관에서만 훈련된 AI 에게, 가상의 '물고기 떼'를 만들어 빽빽하게 채워 넣는 특수 훈련을 시켰더니, 이제 실제 혼잡한 바다에서도 물고기를 훨씬 잘 찾아낸다는 놀라운 성과!"

논문 요약: 어닐링 기반 데이터 증강을 통한 수중 이미지 밀집 객체 탐지 개선

1. 문제 정의 (Problem)

배경: 기존 물체 탐지 모델들은 통제된 환경 (수조, 양식장 등) 에서 촬영된 안정적인 조명과 수질 조건에서 높은 성능을 보이지만, 자연 환경의 수중 데이터에서는 성능이 급격히 저하됨.
주요 과제:
- 높은 변동성: 수중의 조명, 수질, 시점 변화가 심함.
- 밀집된 군집 (Crowding): 자연 서식지에서는 물고기들이 밀집하여 서로 가려지는 (Occlusion) 경우가 빈번함.
- 데이터 부족: 기존 데이터셋 (DeepFish 등) 은 훈련 이미지에 포함된 물고기의 개체가 적고 (대부분 1~2 마리), 군집된 상황의 데이터가 부족하여 모델이 복잡한 장면으로 일반화하기 어려움.
- 기존 연구의 한계: 기존 YOLO 기반 연구들은 통제된 환경을 주로 다루었으며, CNN 모델을 자연 환경의 밀집된 물고기 탐지에 적용한 사례가 드묾.

2. 방법론 (Methodology)

가. 데이터셋 구축 (Dataset Preparation)

DeepFish 데이터셋 활용: 기존에 제공된 '세그멘테이션 마스크 (Segmentation Masks)'를 활용하여 YOLOv10 형식의 '바운딩 박스 (Bounding Box)' 주석을 자동 생성.
테스트 데이터: 플로리다 키스 (Florida Keys) 의 라이브 스트림 footage 에서 수집한 50 장의 이미지로 구성. 이 데이터는 자연 서식지의 밀집된 물고기 군집을 포함하며, DeepFish 훈련 데이터에는 이러한 밀집도가 부족함.

나. 제안된 알고리즘: 의사 시뮬레이티드 어닐링 기반 데이터 증강 (PSADA)

기반: Deng et al. 의 'Copy-Paste' 전략을 차용하되, 수중 밀집 환경에 맞게 수정한 Pseudo-Simulated Annealing Data Augmentation (PSADA) 알고리즘을 제안.
핵심 단계:
1. 그룹 중심점 (Group Centers) 선택:
  - 기존 방식 (이미지 내 객체에서 샘플링) 대신, 포아송 분포 (Poisson Distribution, $\lambda=3$ ) 를 사용하여 이미지 내 그룹 중심점의 수를 결정. (훈련 데이터에 물고기가 없는 이미지가 많고 군집 데이터가 부족하기 때문).
  - 중심점 좌표는 이미지 차원 내에서 무작위 균등 분포로 샘플링.
2. 그룹 생성 및 배치:
  - 각 중심점 주변에 물고기 객체 그룹을 생성.
  - 시뮬레이티드 어닐링 (Simulated Annealing) 접근법 적용: 객체의 위치를 최적화하기 위해 초기 온도가 높은 상태에서 시작하여, 반복마다 온도를 기하급수적으로 감소 ( $T \leftarrow T \cdot 0.95$ ) 시키며 배치.
  - 이를 통해 초기에는 중심점에서 멀리 떨어진 배치 확률이 높다가, 점차 밀집된 군집 형태로 수렴하도록 유도.
3. 현실적인 군집 시뮬레이션:
  - 객체 크기는 가우시안 분포를 따르며, 좌표는 균등 분포에서 샘플링되나 어닐링 과정을 통해 최적화됨.
  - 결과적으로 단일 물고기와 밀집된 군집이 공존하는 다양한 훈련 이미지를 생성.

다. 모델 아키텍처

Base Model: DeepFish 데이터셋으로만 학습한 YOLOv10.
PSADA Model: DeepFish 데이터 + PSADA 알고리즘으로 생성된 증강 데이터 (500 장 추가) 로 학습한 YOLOv10.

3. 주요 기여 (Key Contributions)

자연 환경용 데이터셋 변환: DeepFish 의 세그멘테이션 데이터를 YOLO 형식의 탐지 데이터셋으로 변환하는 파이프라인 구축.
새로운 증강 알고리즘 개발: 기존 Copy-Paste 전략에 시뮬레이티드 어닐링 개념을 도입하여, 훈련 데이터의 부족 (군집 데이터 부재) 을 보완하고 밀집된 수중 환경에 강건한 모델을 학습시키는 프레임워크 제안.
실제 자연 환경 검증: 통제된 실험실 데이터가 아닌, 실제 라이브 스트림 (플로리다 키스) 으로 수집된 고난이도 밀집 데이터셋을 통해 모델 성능을 검증.

4. 실험 결과 (Results)

학습 성능:
- PSADA 모델은 Base 모델보다 더 짧은 학습 시간 (28 에포크 vs 50 에포크) 에 더 낮은 Box Loss 도달.
- mAP50 및 mAP50-95 에서 Base 모델보다 빠른 수렴과 더 높은 성능 기록 (mAP50 최대 0.8, mAP50-95 최대 0.7).
테스트 성능 (플로리다 키스 데이터셋):
- 탐지 수: PSADA 모델은 Base 모델이 탐지한 물고기 수의 2 배 이상을 탐지.
- 정확도: Base 모델은 실제 개체 수의 25% 미만을 탐지한 반면, PSADA 모델은 약 50% 를 탐지.
- IoU (Intersection over Union): PSADA 모델은 Base 모델에 비해 IoU 분포가 더 높은 값으로 치우쳐 있어, 바운딩 박스의 위치 정확도가 우수함을 입증.
- 밀집 환경: Base 모델은 밀집된 물고기 떼를 거의 탐지하지 못했으나, PSADA 모델은 밀집된 군집에서도 상당 부분 탐지 성공.

5. 의의 및 한계 (Significance & Limitations)

의의:
- 수중 생태계 모니터링 및 어류 개체 수 조사와 같은 실제 응용 분야에서, 데이터의 불균형과 밀집된 객체 탐지 문제를 해결할 수 있는 효과적인 프레임워크 제시.
- 제한된 데이터셋으로도 시뮬레이션 기반 증강을 통해 복잡한 자연 환경에 대한 모델의 일반화 능력을 크게 향상시킴.
한계 및 향후 과제:
- 종 간 차이: 훈련 데이터 (호주산 물고기) 와 테스트 데이터 (플로리다 키스의 상어, 배라쿠다 등) 간의 종 (Species) 차이로 인해 성능 저하 발생.
- 극단적 밀집: 매우 높은 밀도의 군집 (예: 그림 5(b) 의 좌하단) 에서는 여전히 탐지 실패 발생.
- 계산 자원: Google Colab 의 GPU 제한으로 인해 더 많은 증강 데이터와 긴 학습 시간을 확보하지 못함.
- 향후 작업: 더 강력한 GPU 를 활용한 학습, 종 분류 (Classification) 기능 추가, 알고리즘의 추가 미세 조정 (Fine-tuning) 필요.

결론

이 논문은 수중 이미지에서의 밀집된 물고기 탐지 문제를 해결하기 위해, 시뮬레이티드 어닐링 원리를 적용한 새로운 데이터 증강 프레임워크 (PSADA) 를 제안했습니다. 실험 결과, 이 방법은 기존 YOLOv10 베이스라인 대비 자연 환경의 밀집된 장면에서 탐지 성능을 획기적으로 개선함을 입증했습니다. 이는 수중 생태 연구 및 해양 모니터링 분야에서 데이터 부족과 환경적 변이성을 극복하는 데 중요한 기여를 할 것으로 기대됩니다.