📄 other

A Lightweight Appearance-Guided Association Module for Underwater Multi-Fish Tracking

본 논문은 실시간 수중 모니터링 시 밀집된 어류의 ID 전환을 유의미하게 줄이고 추적 정확도를 향상시키기 위해 색상, 그래디언트 및 형태학적 기술자를 SORT 프레임워크에 통합하는 경량화된 XGBoost 기반 외형 가이드 연관 모듈을 제안한다.

원저자: Yanan Zhou, Dlxat Turgun, Jianhua Cao, Zhenyu Zhang, Qian Long

게시일 2026-07-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yanan Zhou, Dlxat Turgun, Jianhua Cao, Zhenyu Zhang, Qian Long

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

안개가 자욱하고 붐비는 복도에서 특정 친구를 따라가고 있다고 상상해 보십시오. 모든 사람이 똑같은 유니폼을 입고, 같은 속도로 움직이며, 서로 끊임없이 부딪히고 있습니다. 만약 사람들이 어디로 걷고 있는지, 얼마나 빨리 가는지만 관찰한다면, 누군가 뒤에 가려지는 순간 친구를 놓치게 될 것입니다. 이것이 컴퓨터 비전 분야에서 '다중 객체 추적(multi-object tracking)'이 겪는 일상의 사투입니다. 즉, 모든 움직이는 것들이 서로 똑같이 생겼고 서로의 뒤로 숨더라도, 카메라가 각각의 고유한 ID 태그를 계속 유지하도록 가르치는 일입니다. 스마트 양식업의 세계에서 이는 특히 까다롭습니다. 수중에서는 물이 탁하고, 빛이 이상하며, 수천 마리의 같은 종의 물고기들이 빽빽하고 혼란스럽게 떼를 지어 헤엄칩니다. 만약 컴퓨터가 어떤 물고기가 어떤 것인지 추적하는 데 실패하면, 농부들은 물고기를 셀 수도, 행동을 연구할 수도, 혹은 병이 들었는지 알 수도 없습니다. 목표는 실시간으로 관찰할 수 있을 만큼 빠르면서도, 똑같이 생긴 두 마리의 물고기 사이의 미세한 차이를 포착할 수 있을 만큼 영리한 시스템을 구축하는 것입니다.

이 논문은 이러한 수중의 혼돈을 해결하기 위한 영리하고 가벼운 솔루션을 소개합니다. 연구진은 물고기 추적 게임의 매우 관찰력이 뛰어난 심판 역할을 하는 새로운 '헬퍼 모듈(helper module)'을 구축했습니다. 모든 물고기를 분석하기 위해 무겁고 느린 컴퓨터 뇌(딥러닝 네트워크)에 의존하는 대신, 그들은 물고기의 색 패턴, 비늘의 질감, 그리고 전반적인 형태와 같은 단순하고 빠른 단서들을 살펴보는 시스템을 만들었습니다. 그들은 XGBoost라는 빠르고 효율적인 의사 결정 도구에게 이 단서들을 사용하여 "이 물고기가 내가 방금 전 보았던 그 물고기가 맞는가?"를 추측하도록 가르쳤습니다.

여기에는 마법 같은 기술이 있습니다. 이 시스템은 단순히 추측만 하는 것이 아니라, '신뢰하되 검증하라'는 게임을 수행합니다. 두 마리의 물고기가 멀리 떨어져 있을 때, 시스템은 단순히 그들의 움직임을 관찰하며, 이는 쉬운 작업입니다. 하지만 물고기들이 겹치거나 경로가 교차할 때, 시스템은 갑자기 '외형 레이더'를 켭니다. 시스템은 확률 점수를 계산합니다: "이 겹쳐진 두 덩어리가 실제로 동일한 물고기일 가능성은 얼마나 되는가?" 그런 다음 이 확률 점수를 움직임 데이터와 결합하여 최종 결정을 내립니다. 이 과정은 순식간에 일어나며, 이를 통해 시스템은 물고기가 이웃한 물고기 뒤에 오랫동안 숨겨져 있었던 후에도 올바른 ID 태그를 유지할 수 있게 합니다.

연구팀은 실제 수조 속 물고기들이 헤엄치는 영상이 담긴 MFT25라는 데이터셋을 통해 이를 테스트했습니다. 그들은 자신들의 새로운 방식과 표준적인 "SORT" 알고리즘(움직임과 박스 중첩만을 고려함)을 비교했으며, 자신들의 접근 방식이 혁신적이라는 것을 발견했습니다. 이러한 단순한 시각적 단서들을 사용함으로써, 그들은 시스템이 혼동을 일으켜 물고기의 정체성을 바꾸는 횟수를 거의 45%나 줄였습니다(실수를 1,513번에서 833번으로 감소시킴). 또한 정체성을 일관되게 유지하는 전체 정확도를 53.75%에서 65.49%로 향상시켰습니다. 아마도 가장 인상적인 점은, 이 모든 추가적인 사고 과정을 거치면서도 시스템이 초당 700프레임 이상의 속도(물고기를 찾아내는 데 걸리는 시간을 제외하고)로 매우 빠르게 작동한다는 것입니다. 이는 복잡한 추적 문제를 해결하기 위해 반드시 거대하고 느린 컴퓨터 뇌가 필요한 것은 아니며, 때로는 몇 가지 영리하고 가벼운 단서만으로도 물고기 떼를 질서 있게 유지하는 데 충분하다는 것을 증명합니다.

기술 요약: 수중 다수 어류 추적을 위한 경량 외형 가이드 연관 모듈

문제 정의

본 논문은 고정된 카메라가 설치된 수중 양식 환경에서 밀집 사육되는 물고기를 대상으로 하는 다중 객체 추적(MOT) 문제를 다룹다. 연속적인 궤적 데이터는 개체수 추정 및 행동 분석에 필수적이지만, 개별 물고기를 추적하는 데에는 다음과 같은 어려움이 따른다:

시각적 유사성: 동일 종의 개체들은 서로 거의 동일한 외형을 공유하는 경우가 많다.
복잡한 역학 관계: 빈번한 방향 전환, 교차, 상호 가려짐(occlusion), 그리고 상당한 공간적 중첩이 발생한다.
환경적 저하: 수중 조건은 조명 변화, 탁도, 대비 감소를 유발하여 이미지 품질을 저하시킨다.

기존 방법론의 한계:

움직임/IoU 기반 추적기 (예: SORT): 시공간적 단서(칼만 예측 및 IoU)에 의존한다. 물고기가 겹치거나 교차할 때, 이들의 공간 및 운동 상태가 구분이 불가능해지며, 이는 높은 ID 스위치(IDSW) 발생률과 궤적 단절로 이어진다.
딥 외형 기반 추적기 (예: DeepSORT): 재식별(re-identification)을 위해 딥러닝을 사용하지만, 상당한 계산 오버헤드를 발생시킨다. 또한, 보행자 데이터셋으로 학습된 딥 피처는 저대비 및 부분 가려짐이 발생하는 수중 장면으로 일반화하기 어렵고, 인접한 물고기에 의해 검출 영역이 오염될 경우 성능이 저하된다.

핵심 문제는 딥 뉴럴 네트워크의 무거운 계산 비용 없이, 미세한 외형 차이를 활용하여 시공간적 단서를 보완할 수 있는 실시간 경량 연관 방법이 필요하다는 것이다.

방법론

저자들은 Simple Online and Realtime Tracking (SORT) 프레임워크에 통합된 경량 외형 가이드 연관 모듈을 제안한다. 이 방법은 기본 객체 검출기를 수정하지 않고 "검출 기반 추적(tracking-by-detection)" 패러다임 내에서 작동한다.

1. 핸드크래프트 외형 피처 추출

딥러닝을 사용하는 대신, 이 모듈은 검출된 각 물고기 영역으로부터 세 가지 유형의 저비용 핸드크래프트(handcrafted) 피처를 추출한다:

HSV 색상 히스토그램: 영역을 BGR에서 HSV로 변환한다. H, S, V 채널을 각각 16, 8, 8개의 빈(bin)으로 양자화하여 1024차원의 벡터를 생성한다.
그레이디언트 방향 히스토그램: HOG(Histogram of Oriented Gradients) 원리에 기반하여, 그레이스케일 영역을 2×2 그리드로 나눈다. [0°, 180°) 범위의 무부호 그레이디언트 방향을 각 서브 영역당 9개의 빈으로 양자화하여 36차원 벡터를 생성한다.
형태학적 기술자(Morphological Descriptor): 종횡비( $w/h$ ), 로그 면적( $\log(w \times h)$ ), 정규화된 대각선 길이를 포착하는 3차원 벡터이다.

이들은 하나의 통합된 1063차원 외형 벡터( $f_i$ )로 결합된다.

2. XGBoost 기반 ID 매칭 모델

기존 트랙과 현재 검출 간의 연관은 이진 분류 문제(동일 물고기 여부)로 정식화된다.

입력: 다음을 결합하여 구성된 2128차원 피처 벡터( $x_{ij}$ $x_{ij}$ ):
- 기존 트랙의 참조 외형 피처.
- 현재 검출의 외형 피처.
- 예측된 바운딩 박스와 검출된 바운딩 박스 사이의 IoU.
- 이들 사이의 정규화된 중심 거리.
모델: XGBoost 분류기(트리 50개, 최대 깊이 3)가 두 쌍이 동일한 물고기일 확률( $p_{ij}$ )을 추정한다.
학습 전략: 양성 샘플(Positive samples)은 인접 프레임에서의 동일 물고기 쌍(높은 중첩을 제외하도록 필터링됨)이며, 음성 샘플(Negative samples)은 동일 프레임 내의 서로 다른 개체 쌍이다.

3. 적응형 데이터 연관 (Adaptive Data Association)

핵심 혁신은 외형 확률을 표준 SORT 비용 행렬(cost matrix)과 융합하는 방식에 있다:

적응형 가중치 부여: 연관 비용( $C_{ij}$ $C_{ij}$ )은 IoU 비용과 외형 비용의 가중 합으로 계산된다.
- $w_{IoU} = \max(0, 1 - \alpha \cdot IoU)$
- $w_{XGB} = 1 - w_{IoU}$
- $C_{ij} = w_{IoU}(1 - IoU) + w_{XGB}(1 - p_{ij})$
로직: IoU가 낮을 때(공간적 중첩이 작을 때) 시스템은 주로 움직임/공간 단서에 의존한다. IoU가 증가하면(중첩이나 모호성이 높아짐을 의미), 무게 중심이 XGBoost 외형 확률로 이동하여 ID 충돌을 해결한다.
효율성: IoU가 0.1 미만인 쌍은 계산 절감을 위해 XGBoost 추론 없이 즉시 폐기된다.

주요 기여

경량 모듈: 색상, 그레이디언트, 형태학적 피처를 XGBoost와 결 조합하여 딥 재식별 네트워크의 계산 비용 및 도메인 격차 문제를 피하는 모듈을 제안한다.
적응형 융합 전략: 공간적 중첩에 따라 외형 확률을 SORT 비용 행렬에 적응적으로 통합하는 메커니즘을 도입하여, 모호성이 높을 때 외형 단서가 시공간 정보를 보완할 수 있도록 한다.
성능 검증: Multiple Fish Tracking 2025 (MFT25) 데이터셋에서 정체성 유지 성능이 크게 향상됨을 입증하는 동시에 실시간 처리 속도를 유지한다.

실험 결과

실험은 Leave-One-Video-Out (LOVO) 교차 검증 전략을 사용하여 MFT25 데이터셋의 7개 시퀀스에 대해 수행되었다.

ID 스위치 (IDSW): 제안된 방법은 총 IDSW를 **1,513 (SORT)**에서 833으로 줄여, 44.94% 감소시켰다.
ID F1 점수 (IDF1): 53.75% (SORT)에서 **65.49%**로 향상되었다.
MOTA: **98.52%**에서 **98.82%**로 증가했다.
속도: 객체 검출을 제외했을 때, 추적 속도는 700 FPS를 초과하였다 (SORT의 714 FPS와 비교). 이는 추가된 외형 처리가 무시할 만한 수준의 오버헤드만을 발생시킴을 보여준다.
소거 연구 (Ablation Studies):
- XGBoost를 사후 처리 교정(V1)으로만 사용했을 때는 IDSW가 5.49%만 감소했다.
- 헝가리안 할당(Hungarian assignment) 전 비용 행렬에 확률을 통합하는 것(V2)이 결정적이었으며, 이를 통해 전체 44.94% 감소를 달 Ach성했다.
- 본 방법은 ByteTrack 프레임워크에 적용했을 때도 전이성을 보였으며, 베이스라인 ByteTrack 대비 IDSW를 42.64% 감소시켰다.
시각적 분석: 정성적 결과에 따르면, SORT는 심한 중첩 후 ID를 자주 교체하는 반면, 제안된 방법은 일관된 ID를 유지하며 단일 실제 물고기(ground-truth)에 할당된 예측 ID 수를 줄였다 (예: 시퀀스 BT-001에서 14개에서 1개로 감소).

의의 및 주장

본 논문은 제안된 모듈이 수중 물고기 추적에서 **정체성 일관성(identity consistency)**과 계산 효율성 사이의 절충안을 성공적으로 해결한다고 주장한다. 미세한 핸드크래프트 외형 피처와 효율적인 그래디언트 부스팅 분류기를 활용함으로써, 빈번한 교차 및 가려짐 상황에서도 딥 러닝 인프라 없이 정체성 유지를 크게 개선한다.

저자들은 이러한 결과가 지능형 양식업을 위한 실시간 물고기 모니터링에 대한 모듈의 잠재력을 나타내며, 개체수 추정 및 이상 행동 인식과 같은 다운스트림 작업에 신뢰할 수 있는 궤적 데이터를 제공한다고 밝히고 있다. 이 연구는 딥 외형 모델이 수중 이미징 조건으로 인해 너무 비용이 많이 들거나 신뢰할 수 없는 시나리오를 위한 실용적인 솔루션을 제시한다.