An Angular-Temporal Interaction Network for Light Field Object Tracking in Low-Light Scenes

기술 요약: 저조도 환경에서의 라이트 필드 객체 추적을 위한 각도-시간 상호작용 네트워크

문제 정의
기존의 객체 추적 모델은 주로 2D 강도(intensity) 정보를 포착하는 RGB 카메라 기술에 의존합니다. 복잡한 저조도 장면에서 강도 정보는 심하게 감쇄되어, 식별 가능한 시각적 단서의 부족으로 인해 추적 성능이 저하됩니다. 라이트 필드 카메라는 구조화된 4D 데이터(공간 및 각도 정보)를 포착하여 저조도에서도 객체의 외형과 기하학적 구조 설명을 강화할 수 있지만, 현재의 방법들은 이 데이터를 효과적으로 활용하는 데 어려움을 겪고 있습니다. 구체적으로, 고차원 라이트 필드는 중복된 외형 단서가 희소한 기하학적 구조 단서와 밀접하게 결합되어 있습니다. 표준 에피폴라 평면 이미지(EPI)와 같은 기존 표현 방식은 여전히 이러한 중복성을 유지하고 있어, 모델이 각도 영역에서 기하학적 구조 단서를 탐색하는 능력을 제한합니다. 또한, 라이트 필드 추적을 위한 시간적 단서 모델링은 까다로운 과제입니다. 표준 시공간 방법들은 비기하학적 구조로부터 정보를 집계하는 경우가 많아 타겟과 배경 간의 구분을 약화시킵니다. 아울러, 라이트 필드 데이터셋의 부족으로 인해 순수 지도 학습만으로는 효과적인 시간적 특징 모델링을 수행하기에 불충분합니다.

방법론
본 논문은 새로운 표현 방식과 특화된 네트워크 아키텍처를 중심으로 한 프레임워크를 제안합니다:

1. 라이트 필드 에피폴라 평면 구조 이미지 (ESI):
   저자들은 라이트 필드 내의 기하학적 구조를 명시적으로 정의하기 위해 ESI 표현을 도입했습니다. 에피폴라 평면 내의 광선 각도 변화(특히 객체 경계에서의 변화)를 활용함으로써, 이 방법은 "기하학적 구조점"을 식별합니다. 이는 수평 및 수직 EPI의 1차 미분(그레이디언트)을 계산하고 최대 그레이디언트 진폭을 2D 평면에 투영함으로써 달성됩니다. 이 과정은 고차원의 중복된 외형 정보를 제거하여, 특히 저조도 환경에서 타겟의 윤곽을 명확하게 묘xt사하는 표현을 남깁니다.

2. 각도-시간 상호작용 네트워크 (ATINet):
   ATINet은 ESI로부터 각도 인지 표현을 학습하도록 설계된 하이브리드 아키텍처입니다. 이는 듀얼 스트림 특징 추출 과정을 채택합니다:

• 외형 스트림 (Appearance Stream): ESI를 CNN 백본에 입력합니다.
• 각도-시간 스트림 (Angular-Temporal Stream): ESI를 기하 적응형 선택 (GAS) 모듈로 강화된 트랜스포머 기반 프레임워크에 입력합니다.
  기본 트랜스포머는 멀티 헤드 셀프 어텐션을 사용하여 프레임 내 및 프레임 간 상관관계를 모델링합니다. GAS 모듈은 플러그 앤 플레이 구성 요소로서, ESI 임베딩을 기하학적 구조점(모션 인지에 필수적)과 비기하학적 점으로 적응적으로 분할합니다. 이 모듈은 관계 행렬을 구축하여 정보를 선택적으로 집계함으로써, 네트워크가 중복된 외형 데이터가 아닌 희소한 기하학적 단서에 집중하도록 보장합니다.

3. 자기 지도 학습 (SSL):
   라이트 필드 데이터셋의 가용성 문제를 해결하기 위해, 저자들은 자기 지도 학습 손실 함수를 도입합니다. 이 손실 함수는 디코더가 마스킹된 임베딩 특징을 재구성하는 마스킹 전략(DropMAE에서 영감을 얻음)을 사용합니다. 결정적으로, 디코더는 적응형 공간-어텐션 드롭아웃을 사용하여 프레임 내 상호작용을 제한하는 동시에 프레임 간 상호작용을 장려합니다. 이를 통해 네트워크는 레이블이 지정된 데이터가 많이 필요하지 않더라도 시간적 모션 단서를 우선시하고 시간적 매칭을 위한 효과적인 표현을 학습하도록 강제됩니다.

4. 데이터셋 구축 (R8LUT):
   저자들은 대규모 라이트 필드 객체 추적을 위한 R8LUT 데이터셋을 구축했습니다. Raytrix R8 카메라를 사용하여 다양한 객체(예: 물고기, 장난감 자동차, 산업용 너트)가 포함된 저조도 환경의 26개 라이트 필드 비디오 시퀀스를 기록했습니다. 이 데이터셋은 단일 객체 추적(SOT)을 위한 173개 시퀀스와 다중 객체 추적(MOT)을 위한 26개 시퀀스를 포함하며, 모두 바운딩 박스와 ESI 표현으로 주석이 달려 있습니다.

주요 기여

• 새로운 표현 방식: 에피폴라 평면 내의 급격한 광선 변화를 활용하여 기하학적 구조점을 명시적으로 묘사함으로써, 중복성을 효과적으로 줄이고 저조도 환경에서 시각적 표현을 강화하는 라이트 필드 ESI를 제안했습니다.
• ATINet 아키텍처: 기하학적 구조 및 각도-시간 단서로부터 판별력 있는 특징을 학습하기 위해 GAS 모듈을 통합한 각도-시간 상호작용 네트워크를 개발했습니다.
• 자기 지도 최적화: 자기 지도 학습 손실을 도입하여 각도 인지 표현을 최적화함으로써, 데이터 부족에도 불구하고 시간적 영역에서 효과적인 특징 학습을 용이하게 했습니다.
• 벤치마크 데이터셋: 저조도 시나리오의 라이트 필드 SOT 및 MOT 작업을 위한 최초의 대규모 리소스인 R8LUT 데이터셋을 제작했습니다.
• MOT로의 확장: GAS를 재식별(re-identification) 프레임워크에 통합하여 제안된 방법을 다중 객체 추적(AMTrack)으로 확장했습니다.

결과
R8LUT 데이터셋에 대해 광범한 실험이 수행되었습니다:

• 단일 객체 추적 (SOT): ATINet은 성공도(Success), 정밀도(Precision), 정규화된 정밀도(Normalized Precision) 지표에서 24개의 기존 방법(하이브리드 및 순수 트랜스포머 추적기 포함)을 능가하며 최첨단(SOTA) 성능을 달성했습니다. 시각적 비교 결과, RGB 기반 추적기에 비해 저조도 조건에서 변형되거나 유사한 객체를 추적하는 능력이 우수함을 입증했습니다.
• 다중 객체 추적 (MOT): 확장된 AMTrack 방법은 비교된 최첨단 방법들 중 가장 높은 MOTA (87.5) 및 IDF1 (85.4) 점수를 기록하며, 효과적인 장기 궤적 유지 및 낮은 미검출률을 입증했습니다.
• 절제 연구 (Ablation Studies): 실험 결과는 ESI, GAS, SSL의 조합이 최적의 성능을 낸다는 것을 확인했습니다. 특히, ESI 표현이 다른 그레이디언트 집계 방식(평균, 합, 최대값)보다 우수함이 입증되었으며, GAS 모듈이 프레임 내 및 프레임 간 상관관계를 모델링하는 데 필수적임이 증명되었습니다.

의의
본 논문의 주요 의의는 전통적인 RGB 방식이 실패하는 저조도 환경에서의 라이트 필드 객체 추적이라는 특정 과제를 해결하는 데 있습니다. 기하학적 구조 단서를 중복된 외형 정보로부터 분리하고 이를 각도-시간 상호작용 네트워크를 통해 모델링함으로써, 제안된 방법은 더욱 견고한 타겟 식별을 가능하게 합니다. R8LUT 데이터셋의 도입은 이 분야의 중요한 자원 공백을 메워줍니다. 저자들은 자신들의 접근 방식이 고품질 라이트 필드 각도-시간 모델링의 효과를 검증하며, GAS 및 SSL의 경량 설계를 통해 계산 효율성을 유지하면서 SOT 및 MOT 벤치마크 모두에서 최첨단 결과를 달성했다고 주장합니다.