기술 요약: 프레임-이벤트 네트워크에서의 시공간적 협업을 통한 객체 추적 성능 향상

문제 정의

시각적 객체 추적은 고속 이동, 극한의 조명 조건(저조도 또는 과노출), 그리고 배경 혼란이 특징인 시나리오에서 상당한 어려움에 직면합니다. 프레임 기반(RGB) 카메라에 의존하는 기존의 딥러닝 기반 추적기들은 제한된 동적 범위, 모션 블러(motion blur)에 대한 취약성, 그리고 고정된 낮은 시간적 샘플링 속도로 인해 이러한 환경에서 성능이 저하되는 경우가 많습니다. 생체 모방형 이벤트 카메라(event camera)는 높은 시간 해상도(마이크로초 단위), 높은 동적 범위(최대 140 dB), 그리고 모션 블러에 대한 면역력을 제공하지만, 정적이거나 느리게 움직이는 객체를 포착하는 데 어려움을 겪으며 미세한 질감 정보를 결여하고 있습니다.

기존의 RGB-이벤트(RGB-E) 융합 방법들은 두 가지 주요 한계점을 가집니다:

1. 시간적 역학 무시: 많은 접근 방식이 비동기적 이벤트 스트림을 동기화된 의사 프레임(pseudo-frames)으로 변환함으로써 미세한 시간적 구조를 폐기하고, 이벤트 데이터의 높은 시간 해상도를 충분히 활용하지 못합니다.
2. 얕은 융합(Shallow Fusion): 현재의 방법들은 주로 단순한 특징 수준의 융합(예: 결합 또는 기본 어텐션)에 의존하며, RGB의 외형적 의미론(appearance semantics)과 이벤트 기반의 운동 역학(motion dynamics) 사이의 깊고 고차원적인 시너지 관계를 구축하는 데 실패합니다.

방법론

저자들은 RGB 프레임의 공간적 외형과 이벤트 스트림의 고해상도 시간적 역학을 깊이 있게 통합하도록 설계된 프레임워크인 **STC-Net(Spatio-Temporal Collaboration Network)**을 제안합니다. 이 아키텍처는 템플릿 및 검색 브랜치에 대해 가중치를 공유하는 DiMP 기반 구조를 따르며, 두 가지 핵심 혁신을 포함합니다:

1. 적응형 스파이킹 뉴런(Adaptive Spiking Neuron, ASN) 모듈

원시 이벤트 스트림을 처리하면서 시간 해상도를 보존하기 위해, 저자들은 단일 레이어의 스파이킹 뉴런을 기반으로 하는 ASN 모듈을 도입합니다. 고정된 파라미터를 가진 표준 Leaky Integrate-and-Fire(LIF) 뉴런과 달리, ASN은 입력 특성에 따라 동작을 동적으로 조정합니다:

• 적응형 발화 임계값 ($V_{th}$): 임계값은 이벤트 밀도, 국부적 운동 패턴 분산, 그리고 프레임 간의 시간적 변화를 기반으로 계산됩니다. 이를 통해 네트워크는 밀집된 운동 관련 클러스터에 대해서는 임계값을 높여 과도한 활성화를 방지하고, 희소한 신호에 대해서는 임계값을 낮춰 탐지 누락을 방지할 수 있습니다.
• 적응형 막 전위 감쇠 ($\beta$): 고정된 시간 상수 대신, 채널 어텐션 메커니즘을 통해 학습된 감쇠 인자를 사용합니다. 이를 통해 네트워크는 시간적 통합(integration)과 망각(forgetting) 사이의 균형을 최적으로 맞추며 다양한 운동 속도에 적응할 수 있습니다.
• 공간적 이웃 가중치(Spatial Neighborhood Weighting): 3×3 커널이 국부적 이웃 정보를 집계하여 인접한 이벤트 간의 시간적 상관관계를 포착하며, 이를 통해 픽셀별 처리 방식이 놓칠 수 있는 운동 패턴을 견고하게 탐지합니다.

2. 고차 시공간 특징 융합(High-order Spatio-Temporal Feature Fusion, HSTF) 모듈

얕은 융합의 한계를 극복하기 위해, HSTF 모듈은 주파수, 공간, 채널 차원에서 깊은 교차 모달 상호작용을 촉진합니다:

• 주파수 영역 상호작용: RGB와 이벤트 특징은 2D 고속 푸리에 변환(FFT)을 통해 주파수 영역으로 변환됩니다. 요소별 곱셈(element-wise multiplication)은 전통적인 행렬 곱셈의 계산 비용 없이 효율적인 1차 교차 모달 상관관계를 확립하여 전역적인 공간 관계를 포착합니다.
• 다중 컨텍스트 변조(Multi-Context Modulation, MCM): 양방향 가이드 메커니즘은 다중 스케일 커널(1, 3, 5)을 사용하여 특징을 변조합니다. 각 모달리티는 보완적인 모달리티 내의 정보가 풍부한 영역을 선택적으로 강조하기 위한 컨텍스트 정보를 제공합니다.
• 고차 채널 상호작용(High-order Channel Interaction, HCI): Squeeze-and-Excitation 메커니즘을 확장한 이 블록은 잔차 연결(residual connections)을 사용하여 특징 채널 간의 복잡한 상호 의존성을 재귀적으로 모델링합니다.
• 적응형 가중치(Adaptive Weighting, AW): 학습 가능한 메커니즘이 최종 결합 전 RGB와 이벤트 특징의 기여도를 조절합니다.

주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

1. STC-Net 프레임워크: 두 갈래의 접근 방식을 통해 공간적 외형과 고해상도 시간적 역학을 깊이 있게 통합하는 추적 프레임워크입니다.
2. 적응형 스파이킹 뉴런(ASN): 노이즈를 필터링하고 운동 관련 이벤트를 강화하기 위해 발화 임계값과 막 시간 상수를 동적으로 조정하여 고해상도 시간적 역학을 효과적으로 보존하는 모듈입니다.
3. 고차 시공간 특징 융합(HSTF): 주파수, 공간, 채널 차원에서 깊은 교차 모달 상호작용을 가능하게 하여 RGB 의미론과 이벤트 역학의 보완적 융합을 용이하게 하는 모듈입니다.
4. 최첨단 성능(State-of-the-Art Performance): 공공 벤치마크에 대한 광범한 실험을 통해 기존 추적기보다 우수한 성능을 입증하였으며, 이는 절제 연구(ablation studies)를 통해 검증되었습니다.

실험 결과

STC-Net은 두 가지 공공 RGB-이벤트 추적 벤치마크인 FE108과 VisEvent에서 평가되었습니다.

• FE108 데이터셋: STC-Net은 **89.0%**의 대표 정밀도율(RPR)과 **57.8%**의 대표 성공률(RSR)을 달성했습니다.
  • 이전의 최첨단 RGB-이벤트 추적기(AFNet)보다 RPR에서 3.7%, RSR에서 2.0% 더 높은 성능을 보였습니다.
  • 프레임 기반 추적기(예: DiMP18, ATOM) 및 순수 이벤트 기반 접근 방식보다 유의미하게 높은 성능을 기록하여 멀티모달 융합의 가치를 입증했습니다.
• VisEvent 데이터셋: STC-Net은 64.0% RPR과 46.8% RSR을 달성하여, 2위 방법론보다 각각 3.1%와 1.0% 앞서며 다양한 야외 환경에서의 견고함을 입증했습니다.

절제 연구(Ablation Studies):

• 입력 모달리티: FE108에서 이벤트 전용 추적(83.0% RPR)이 RGB 전용(74.7% RPR)보다 우수한 성능을 보여, 까다로운 조명 조건에서 이벤트 데이터의 유용성을 확인했습니다. 단순 융합(Variant C)은 단일 모달 베이스라인보다 개선되었으나, 전체 STC-Net(Variant E)이 가장 높은 점수를 기록했습니다.
• ASN 모듈: 융합 파이프라인에 ASN 모듈을 추가했을 때(Variant D vs. C) RPR이 4.3% 향상되어, 적응형 노이즈 필터링과 시간적 일관성의 효과를 검증했습니다.
• HSTF 모듈: 단순 결합을 HSTF로 대체했을 때(Variant E vs. D) 3.0%의 추가 RPR 이득이 발생하여, 고차 상호작용이 기본적인 특징 결합보다 우수함을 확인했습니다.

의의

본 논문은 STC-Net이 신뢰할 수 있는 객체 추적을 위해 프레임과 이벤트 모달리티의 상호 보완적인 강점을 활용하는 효과적인 접근 방식을 제공한다고 주장합니다. 기존 방법들의 구체적인 한계점, 즉 이벤트 처리 과정에서의 시간 해상도 손실과 현재 융합 전략의 얕은 깊이를 해결함으로써, 제안된 방법은 도전적인 시나리오에서 최첨단 성능을 달아냅니다. 본 연구는 생체 모방형 적응형 이벤트 스트림 처리와 결합된 깊고 구조화된 교차 모달 상호작용이 역동적이고 열악한 조건에서의 견고한 시각적 추적에 매우 중요하다는 것을 보여줍니다.