기술 요약: CropTrack

문제 정의

농업 환경에서의 다중 객체 추적(MOT)은 표준적인 추적-탐지(tracking-by-detection) 접근 방식을 무력하게 만드는 독특한 과제들에 직면해 있습니다. 도시 환경과 달리, 농업 현장은 다음과 같은 특성을 가집니다:

• 높은 클래스 내 유사성: 작물(예: 면화, 포도)은 종종 거의 동일한 시각적 특성을 보여, 외형 기반의 구분이 어렵습니다.
• 빈번하고 심각한 폐쇄(Occlusion): 잎, 가지, 조밀한 식물 군락은 객체가 빈번하게 사라지고 나타나게 하여, 트랙의 단절과 ID 전환(identity switch)을 유발합니다.
• 동적인 조명 변화: 조명과 그림자의 변화는 객체의 외형을 크게 변화시킵니다.
• 모션 전용 추적의 한계: 현재의 농업용 추적기(예: AgriSORT, PineSORT)는 주로 모션 단서에 의존하여 탐지를 연관시키지만, 모션 단서가 모호하거나 폐쇄가 장기화될 경우 ID를 유지하는 데 어려움을 겪습니다. 반대로, 표준적인 외형 기반 방식은 유사한 작물들 사이의 변별력 있는 특징이 부족하여 실패하는 경우가 많습니다.

방법론

저자들은 이러한 특정 농업적 제약을 해결하기 위해 모션과 외형 정보를 결합한 새로운 MOT 프레임워크인 CropTrack을 제안합니다. 이 시스템은 ByteTrack을 베이스라인으로 구축되었으나, 몇 가지 핵심적인 구조적 수정을 도입했습니다.

1. 계층적 연관 전략 (Hierarchical Association Strategy)

CropTrack은 다양한 신뢰도 수준의 탐지를 처리하기 위해 3단계 연관 프로세스를 채택합니다:

• 1차 연관: 외형 기반의 충돌 해결이 강화된 일대다 모션 기반 연관(one-to-many motion-based association) 전략을 사용하여 고신뢰도 탐지를 기존 트랙과 매칭합니다.
• 2차 연관: 남은 미매칭 트랙과 탐지들을 리랭킹(reranking)이 강화된 외형 연관을 사용하여 매칭합니다.
• 3차 연관: 저신뢰도 탐지를 남은 트랙과 매칭하며, 이는 원래의 ByteTrack과 유사하게 표준 IoU 기반 연관을 사용합니다.

2. 주요 기술 구성 요소

• 노이즈 스케일 적응형 (NSA) 칼만 필터: 표준 칼만 필터를 대체하는 NSA 변형 모델은 상태 업데이트에 탐지 신뢰도를 포함합니다. 이는 동적인 환경에서 표준 선형 예측이 실패할 때 발생하는 드리프트를 줄여, 더 신뢰할 수 있는 모션 사전 정보(motion priors)를 보장합니다.
• 리랭킹 강화 외형 연관: "자기 유사성(self-similarity)" 문제를 극복하기 위해, 본 프레임워크는 보행자 Re-ID에서 사용되는 k-역수 인코딩(k-reciprocal encoding) 기법을 채택했습니다.
  • k-역수 최근접 이웃을 집계하여 특징 벡터를 계산합니다.
  • 원래의 특징 거리와 자카드 거리(Jaccard distance)를 결합하여 거리 지표를 정교화합니다.
  • 공간 일관성 제약: 글로벌 매칭 오류를 방지하기 위해, 리랭킹 거리는 트랙과 탐지의 중심 간 공간 거리가 임계값 $\delta$ 미만인 쌍에 대해서만 계산됩니다. 공간 거리가 $\delta$를 초 exceed하면 비용은 무한대로 설정됩니다.
• 그리디 충돌 해결을 포함한 일대다 연관: 엄격한 일대일 헝가리안 할당 대신, 시스템은 IoU를 기반으로 한 타당한 후보 풀을 생성합니다. 그 후 이 후보들에 대해 리랭킹 거리를 계산하고, 최적의 매치를 우선적으로 할당하는 그리디(greedy) 방식을 통해 글로벌 최적화가 놓칠 수 있는 국소적 모호성을 해결합니다.
• 다중 프로토타입을 가진 지수 이동 평균 (EMA) 특징 뱅크: 변화하는 업데이트 속도와 폐쇄 노이즈를 처리하기 위해, 시스템은 각 트랙렛당 3개의 프로토타입을 가진 특징 뱅크를 유지하며, 서로 다른 모멘텀 값($\alpha = 0.1, 0.5, 0.9$)으로 업데이트합니다. 이를 통해 수동 튜닝 없이도 급격한 특징 변화(고감도)와 노이즈 섞인 폐쇄(저감도) 모두에 강건하게 대응할 수 있습니다.

3. 특징 추출

외형 특징은 Market-1501 보행자 데이터셋으로 사전 학습된 후 제로샷(zero-shot) 방식으로 적용되는 PHA (Patch-wise High-frequency Augmentation) 모델을 사용하여 추출됩니다.

주요 기여

본 논문은 세 가지 주요 기여를 명시합니다:

1. 장기 폐쇄를 위한 특화된 MOT 시스템: 비디오 애플리케이션에서 객체가 빈번하게 사라지고 나타나는 상황에 특화된 외형 기반 연관을 통합했습니다.
2. 충돌 해결을 포함한 일대다 연관: 밀집된 군락과 모호한 모션을 처리하기 위해 모션 기반 후보 생성과 그리디한 외형 기반 충돌 해결을 결합한 새로운 전략을 제시합니다.
3. 효율적인 리랭킹 기법: 외형 기반 연관을 정교화하기 위해 리랭킹 스킴을 적용함으로써, 시각적으로 매우 유사한 작물 인스턴스들을 구별할 수 있게 했습니다.

실험 결과

Crop-Track은 두 가지 공개 농업 데이터셋인 TexCot22(면화)와 AgriSORT-Grapes(포도)에서 평가되었습니다.

• 성능 지표: 프레임워크는 HOTA, MOTA, AssA, IDF1, IDP, Identity Switches (IDsw), 그리고 Fragmentations (Frag)를 사용하여 평가되었습니다.
• 비교 분석:
  • TexCot22에서 CropTrack은 경쟁력 있는 HOTA (72.17) 및 MOTA (84.03) 점수를 달성하였으며, ID 특화 지표에서 AgriSORT 및 PineSORT와 같은 모션 전용 베이스라인을 능가했습니다.
  • AgriSORT-Grapes에서 CropTrack은 **연관 정확도 (AssA)**와 **식별 정밀도 (IDP)**에서 상당한 이득을 보였으며, 비교된 모든 방법 중 가장 높은 점수를 기록했습니다.
  • ID 보존: CropTrack은 두 데이터셋 모두에서 지속적으로 가장 낮은 ID 전환(IDsw) 횟수와 가장 높은 IDP를 달取得하여, 폐쇄 상황에서도 지속적인 트랙을 유지하는 능력을 입증했습니다.
• 어블레이션 연구 (Ablation Studies):
  • 표준 코사인 유사도를 제안된 리랭킹 거리로 교체했을 때 모든 지표에서 큰 개선이 나타났습니다.
  • 일대다 그리디 연관을 구현함으로써 IDsw를 더욱 줄이고 AssA를 개선했습니다.
  • NSA 칼만 필터는 HOTA와 MOTA에 최종적인 성능 향상을 제공했습니다.
• 강건성: 변형된 그라운드 트루스 탐지(위치 노이즈, 미검출, 오검출)를 사용한 실험에서, CropTrack은 탐지 품질이 향럼됨에 따라 우수한 성능을 유지하며 일관된 ID를 유지하는 데 있어 베이스라인보다 뛰어난 성능을 보였습니다.

의의 및 주장

본 논문은 CropTrack이 현재 로봇 시스템의 지각적 한계를 해결함으로써 농업 자동화의 중요한 진전을 이루었다고 주장합니다.

• 시각적 유사성 극복: 본 연구는 외형 기반 연관이 모션 단서와 결격되어 리랭킹을 통해 정교화될 때, 면화와 같이 매우 유사한 객체에 대해서도 실효적임을 입와하며, 농업에서 모션 단서만이 유일하게 신뢰할 수 있는 방법이라는 기존의 가설에 도전합니다.
• ID 보존: 주요 성과는 심각한 폐쇄와 조밀한 식물 구조 속에서도 객체의 ID를 유지하는 능력이며, 이는 정밀 살포, 기계적 제초, 수확량 추정과 같은 다운스트림 작업에 필수적입니다.
• 일반화 가능성: 서로 다른 식재 패턴과 관측 각도를 가진 두 가지 작물(면화 및 포도)에서 최첨단(SOTA) 결과를 달성함으로써, 본 프레임워크가 다양한 현장 조건에 적응 가능함을 증명했습니다.

저자들은 이 방법이 ID 보존에는 탁월하지만, 폐쇄 후 트랙을 공격적으로 재연관시키는 과정에서 발생하는 트레이드오프로 인해 약간 더 많은 트랙 단절(fragmentation)이 발생할 수 있다고 결론지었습니다. 향후 연구로는 멀티모달 센서 퓨전 및 온라인 적응에 대한 탐색을 제안하였습니다.