VC-FeS: Viewpoint-Conditioned Feature Selection for Vehicle Re-identification in Thermal Vision

기술 요약: 열적 시야에서의 차량 재식별을 위한 VC-FeS

문제 제기
열적 시야에서의 차량 재식별 (ReID) 은 RGB 도메인에 비해 상당한 도전에 직면해 있습니다. 열적 이미지는 표준 재식별 작업에서 중요한 차별적 특징인 색상 정보와 미세한 질감 세부 사항을 결여하고 있습니다. furthermore, 차량과 선박은 동일한 모델과 같은 높은 클래스 내 유사성과 정면, 측면, 후면과 같은 상당한 관점 간 변이성을 보입니다. 기존 방법들은 주로 RGB 데이터로 사전 훈련되었으며, 회색조 열적 영상에는 존재하지 않는 색상 및 질감 패턴에 의존하기 때문에 열적 도메인에서 어려움을 겪습니다. 또한, 관점의 변이는 카메라 각도에 따라 특징 벡터가 극적으로 달라지기 때문에 복잡성을 더하며, 단일 이미지에서 차량의 어느 면이 보이는지 결정하는 것은 여전히 까다로운 전처리 단계입니다.

방법론
제안된 시스템인 VC-FeS(관점 조건부 특징 선택) 은 객체 추적과 관점 조건부 재식별이라는 두 개의 하위 시스템 프레임워크를 통해 이러한 문제들을 해결합니다.

1. 객체 추적 및 탐지:
   시스템은 열적 도메인에 TraDeS 알고리즘을 적용합니다. 단일 백본 (DLA-34) 을 사용하여 결합된 탐지와 추적을 수행합니다. 두 가지 주요 모듈이 성능을 최적화합니다.

   • 비용 볼륨 기반 연관 (CVA): 임베딩을 생성하고 객체 운동을 유도하여 추적 정확도를 향상시킵니다.
   • 운동 유도 특징 워퍼 (MFW): 과거 프레임의 추적 기록을 기반으로 현재 프레임의 특징 벡터를 향상시켜, 가려진 상황에서의 탐지를 개선하기 위해 추적 신호를 전파합니다.
     시스템은 재식별을 위해 잘라낸 바운딩 박스로 추적된 결과를 출력합니다.

2. 전경 추출:
   열적 이미지는 색상 대비가 부족하여 기존 분할 (예: GrabCut) 이 실패합니다. 저자들은 잔차 연결이 포함된 커스텀 인코더 - 디코더 아키텍처를 사용하여 전경 마스크를 생성합니다. 이 모델은 유사한 강도 분포에도 불구하고 배경에서 차량을 정확하게 분리하기 위해 주석 달린 열적 마스크로 훈련됩니다.

3. 관점 조건부 특징 선택:
   핵심 재식별 알고리즘은 ImageNet 에서 사전 훈련된 Dino-ViT(비전 트랜스포머) 를 사용하여 마스크 처리된 전경에서 특징을 추출합니다. 추출된 특징은 병렬 선형 레이어를 통해 전체, 정면, 측면, 후면의 네 가지 잠재 공간에 매핑됩니다.

   • ArcFace 매핑: 각 잠재 공간은 특징 벡터를 초구면에 매핑하여 클래스 간 분산을 최대화하고 클래스 내 분산을 최소화하기 위해 ArcFace 를 활용합니다.
   • 면적 비율 계산: 디코더는 전경 마스크를 관점별 마스크 (정면, 측면, 후면) 로 분할하여 각 관점에 대한 **면적 비율 (AR)**을 계산합니다.
   • 가중 거리 계산: 시스템은 네 가지 공간 각각에서 쿼리와 갤러리 특징 간의 L2 거리를 계산합니다. 이러한 거리는 해당 면적 비율 (식 2) 로 가중치를 부여합니다. 이 메커니즘은 가시적인 관점의 특징이 최종 점수에 기여하도록 보장하면서 비가시적인 관점 (AR 이 0 인 경우) 의 기여를 억제하여 자기 가려짐을 효과적으로 처리합니다.
   • 손실 함수: 모델은 식별 분류 손실 (교차 엔트로피) 과 트리플릿 손실의 조합을 사용하여 차별적인 형태 특징을 학습하도록 훈련됩니다.

주요 기여

• 새로운 재식별 알고리즘: 저자들은 관점 가시성에 따라 가중치를 부여한 별도의 잠재 공간 (정면, 측면, 후면, 전체) 의 특징을 융합하여 신뢰도 점수를 구성하는 관점 조건부 알고리즘을 제안합니다. 이 접근법은 색상 대신 형태에 집중함으로써 RGB 로 사전 훈련된 ViT 추출기를 열적 도메인에 적응시킵니다.
• 열적 해상 데이터셋: 논문은 다양한 각도에서 촬영된 해상 객체 (작은 및 대형 선박) 의 영상 및 이미지를 포함하는 새로운 공개 데이터셋을 소개하며, 탐지, 추적 및 재식별을 위해 COCO 표준으로 주석이 달렸습니다. 이는 열적 해상 감시를 위한 최초의 공개 데이터셋이라고 주장됩니다.
• 열적 도메인 적응: 이 작업은 TraDeS 추적 알고리즘을 열적 도메인에 성공적으로 적응시켜 색상 특징 없이 선박, 함정, 차량 및 인간을 추적하는 기준선을 확립했습니다.

결과
시스템은 RGBNT100(IR 차량) 데이터셋과 저자들의 독점 열적 해상 데이터셋에서 평가되었습니다.

• 재식별 성능: 제안된 방법은 최첨단 SPAN 방법보다 우수한 성능을 보였습니다.
  • RGBNT100에서 mAP 가 19.7% 향상되었습니다.
  • 열적 해상 데이터셋에서 mAP 가 12.8% 향상되었습니다.
  • 저자들의 데이터셋에서 이 방법은 Top-1 정확도 81.82% 및 mAP **63.08%**를 달성하여 SPAN 의 78.37% Top-1 및 55.88% mAP 를 능가했습니다.
• 추적 성능: 적응된 TraDeS 알고리즘은 IR 도메인에서 61.2% MOTA 점수를 달성하여 RGB 도메인 (MOT17 에서 63.5%) 의 성능과 비교 가능하며, 실시간 추적에 적합한 15 fps 처리 속도를 보였습니다.
• 절대 실험 (Ablation Studies): 결과에 따르면 단일 최대 관점 대신 여러 관점 공간을 사용하는 것이 데이터셋 전반에 걸쳐 Top-1 점수를 평균 15% 향상시켰습니다. ArcFace 매핑과 ViT 기반 특징 추출의 사용이 방향별 특징 조직화 및 차별화 향상에 결정적인 것으로 나타났습니다.

의의 및 주장
이 논문은 관점 조건부 특징 벡터를 구성하고 면적별 특징 비교를 수행함으로써, 기존 RGB 로 사전 훈련된 ViT 추출기를 효과적으로 활용하면서도 열적 도메인의 특정 도전 과제 (색상/질감 부재) 에 적응한다고 주장합니다. 저자들은 해상 선박 재식별이 열적 도메인에서 수행된 것은 이번이 처음임을 강조합니다. 제안된 방법은 색상 정보가 없는 감시 응용 프로그램에 대한 강력한 솔루션으로 제시되며, 열적 ReID 및 해상 추적에 대한 새로운 기준선을 확립합니다. 저자들은 이 미개척 분야에서 추가 연구를 촉진하기 위해 열적 해상 데이터셋을 공개할 계획입니다.