SCATR: Mitigating New Instance Suppression in LiDAR-based Tracking-by-Attention via Second Chance Assignment and Track Query Dropout

이 논문은 LiDAR 기반 추적-by-attention 프레임워크의 높은 누락 오류를 해결하기 위해 '두 번째 기회 할당'과 '트랙 쿼리 드롭아웃'이라는 두 가지 새로운 훈련 전략을 도입하여 기존 추적-by-검출 방법과의 성능 격차를 해소하고 최첨단 성능을 달성한 SCATR 모델을 제안합니다.

핵심

SCATR: 자율주행차의 '눈'이 실수를 줄이는 새로운 비법

이 논문은 자율주행차가 LiDAR(레이저 센서) 를 이용해 주변 사물을 보고 어떤 물체가 어디로 움직이는지를 추적하는 기술에 대한 것입니다. 특히, 기존 기술이 가지고 있던 치명적인 약점인 **'새로운 물체를 놓치는 문제'**를 해결한 획기적인 방법인 SCATR을 소개합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "선생님과 학생의 오해"

자율주행차가 사물을 추적하는 방식은 크게 두 가지가 있습니다.

1. 기존 방식 (TBD): 매번 카메라나 센서로 사물을 찍어서 "아, 차가 있네!"라고 발견한 뒤, 다음 프레임에서 그 차가 어디로 갔는지 일일이 찾아서 연결합니다. (발견과 연결을 따로 합니다.)
2. 새로운 방식 (TBA, Tracking-by-Attention): "이 차는 계속 따라가야 해!"라고 미리 정해진 **추적자 (Track Query)**가 있어서, 그 추적자가 사물을 쫓아다니며 동시에 새로운 사물도 찾아냅니다. (발견과 연결을 한 번에 합니다.)

하지만 여기서 큰 문제가 생겼습니다.
새로운 방식 (TBA) 은 이미 잡힌 사물 (추적자) 에 너무 집중하다 보니, 갑자기 나타나는 새로운 사물 (신생아) 을 무시해버리는 경향이 있었습니다.

비유:
반에서 **선생님 (추적자)**이 이미 아는 학생 A 를 계속 지켜보고 있습니다. 그런데 교실 문이 열리고 새로운 학생 B가 들어옵니다.
기존 방식의 선생님은 "아, A 학생을 지켜봐야 하니까 B 는 나중에 보자"라고 생각하며 B 를 거의 보지 못합니다. 결과적으로 **새로운 학생 B 를 놓치는 실수 (False Negative)**가 매우 많아졌습니다.

이론적으로는 LiDAR 가 카메라보다 정밀한데, 왜 새로운 방식이 오히려 성능이 떨어졌을까요? 바로 "새로운 사물을 놓치는 억제 현상 (New Instance Suppression)" 때문입니다.

---

2. 해결책: SCATR 의 두 가지 비법

이 문제를 해결하기 위해 연구팀은 SCATR이라는 새로운 시스템을 만들었습니다. 이 시스템은 두 가지 아주 똑똑한 훈련법을 도입했습니다.

비법 1: "Track Query Dropout" (추적자 휴식 시간)

기존에는 모든 추적자가 매번 쉴 새 없이 사물을 쫓았습니다. 하지만 연구팀은 **"일부 추적자는 잠시 쉬게 해보자"**라고 생각했습니다.

비유:
선생님이 학생 A 를 쫓고 있을 때, 일부러 선생님을 잠시 교실 밖으로 보내버립니다 (Dropout).
선생님이 없으니, 교실 문에 서 있던 **보조 선생님 (Proposal Query)**이 "아! 이 학생 (새로운 사물) 을 내가 발견해야겠다!"라고 적극적으로 나섭니다.
이렇게 선생님이 없을 때만 보조 선생님이 사물을 발견하는 상황을 훈련에 반복해서 넣으면, 모델은 "선생님이 없으면 내가 새로운 사물을 찾아야 한다"는 것을 배우게 됩니다.

비법 2: "Second Chance Assignment" (두 번째 기회)

기존 방식에서는 "새로운 사물은 무조건 보조 선생님 (Proposal) 만이 찾아야 한다"고 정해져 있었습니다. 하지만 추적자 (Track Query) 가 이미 그 사물에 대한 정보를 가지고 있을 수도 있는데, 기회를 주지 않는 것이었습니다.

비유:
새로운 학생 B 가 들어왔는데, 선생님이 B 를 이미 알고 있었다고 가정해봅시다.
기존 방식은 "선생님은 이미 다른 학생 A 를 쫓고 있으니, B 는 보조 선생님이 찾아야 해"라고 강요했습니다.
하지만 SCATR 은 **"아니야, 선생님이 B 를 쫓을 기회도 줘보자"**라고 말합니다.
즉, 보조 선생님이 못 찾았거나, 선생님이 놓쳤을 때, 추적자 (Track Query) 가 "내가 이거 잡을게!"라고 다시 손을 들 수 있게 해줍니다. 이를 통해 새로운 사물을 놓치는 확률을 확 줄였습니다.

---

3. 결과: 무엇이 달라졌나요?

이 두 가지 비법을 합치니 놀라운 변화가 일어났습니다.

• 기존의 한계 극복: LiDAR 기반의 새로운 추적 방식 (TBA) 이 기존 방식 (TBD) 보다 훨씬 못하다는 오랜 격차를 완전히 좁혔습니다.
• 실수 감소: 새로운 사물을 놓치는 실수 (False Negative) 가 크게 줄었고, 사물의 ID 를 잘못 바꾸는 실수 (ID Switch) 도 획기적으로 감소했습니다.
• 성능 향상: 기존에 가장 잘하던 방법보다 7.6% 더 좋은 성능을 기록하며 최강자가 되었습니다.

4. 요약: 왜 이 논문이 중요한가요?

이 논문은 **"복잡한 하드웨어나 거대한 모델 구조를 바꿀 필요 없이, 훈련하는 방법 (전략) 만 똑똑하게 바꾸면 성능이 비약적으로 좋아진다"**는 것을 증명했습니다.

마치 축구팀을 예로 들면, 선수들의 체력을 더 키우거나 (아키텍처 변경) 새로운 기술을 가르치는 대신, **"코치가 선수들에게 상황에 따라 역할을 유연하게 바꾸는 훈련법 (SCATR)"**만 도입해도 팀이 우승할 수 있다는 것을 보여준 셈입니다.

이 기술이 발전하면, 자율주행차가 비 오는 날이나 복잡한 도로에서도 새로운 보행자나 차량을 절대 놓치지 않고 안전하게 운전할 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

LiDAR 기반 Tracking-by-Attention (TBA) 의 근본적인 한계: 새로운 인스턴스 억제 (New Instance Suppression)
기존의 LiDAR 기반 다중 객체 추적 (MOT) 은 주로 Tracking-by-Detection (TBD) 방식 (검출과 연관성을 분리) 을 사용하며, 이는 높은 성능을 보여왔습니다. 반면, 검출과 추적을 통합한 Tracking-by-Attention (TBA) 방식은 엔드 - 투 - 엔드 학습의 잠재력에도 불구하고 LiDAR 데이터에서는 TBD 에 비해 성능이 현저히 낮았습니다.

이 성능 격차의 핵심 원인은 '새로운 인스턴스 억제 (New Instance Suppression)' 현상입니다.

• 현상: 시퀀스의 첫 번째 프레임 이후, 새로운 객체 (신생 객체) 를 검출하는 'Proposal Query'의 신뢰도가 급격히 떨어집니다.
• 원인: TBA 모델은 이미 추적 중인 객체를 담당하는 'Track Query'가 존재할 때, 해당 객체에 대한 Proposal Query 를 억제하도록 학습됩니다. 그러나 LiDAR 데이터는 시야각에 의존적이고 희소 (sparse) 하여, 기존 Track Query 가 객체를 놓치는 경우 (예: 가림, 검출 실패) 가 빈번합니다. 이때 모델은 새로운 Proposal Query 를 생성하지 않고 기존 Track Query 에만 의존하거나, 오히려 Proposal Query 를 억제하여 새로운 객체 (신생 객체) 를 놓치게 됩니다.
• 결과: 이로 인해 False Negative (검출 누락) 오류가 급증하고, TBD 방식 대비 성능이 크게 저하됩니다.

---

2. 제안 방법론 (Methodology: SCATR)

저자들은 이 문제를 해결하기 위해 SCATR을 제안했습니다. SCATR 은 아키텍처의 복잡성을 증가시키기보다는, LiDAR 데이터의 특성에 맞춘 두 가지 핵심 학습 전략을 도입하여 TBA 의 성능을 극대화합니다.

가. 트랙 쿼리 드롭아웃 (Track Query Dropout)

• 개념: Group-DETR 에서 영감을 받아, 학습 과정에서 일부 할당된 Track Query 를 의도적으로 제거 (Dropout) 하는 기법입니다.
• 작동 방식:
  • 각 학습 반복(iteration) 에서 기존 Track Query 그룹 (Top-N) 외에, 무작위로 샘플링된 보조 (Auxiliary) Query 그룹을 생성합니다.
  • 일부 Track Query 가 다음 프레임으로 전파되지 않도록 하여, 모델이 "Track Query 가 누락되었을 때" Proposal Query 가 어떻게 반응해야 하는지 학습하게 합니다.
• 효과: 모델이 다양한 시간적 시나리오 (가림, 검출 실패 등) 에 대해 강건해지며, Proposal Query 가 새로운 객체를 검출할 때 불필요하게 억제되지 않도록 돕습니다.

나. 세컨드 찬스 어サイン먼트 (Second Chance Assignment)

• 개념: 할당되지 않은 (Unassigned) Track Query 에게 새로운 객체 할당 기회를 다시 부여하는 매커니즘입니다.
• 작동 방식:
  • 기존 TBA 방식에서는 새로운 객체 (Ground Truth) 가 오직 Proposal Query 에만 할당되었습니다.
  • SCATR 은 Hungarian Matching(이분 매칭) 수행 전, 할당되지 않은 Track Query 를 Proposal Query 목록에 연결 (Concatenate) 합니다.
  • 이를 통해 할당되지 않은 Track Query 가 새로운 객체 (신생 객체) 를 검출하고 추적할 수 있는 "두 번째 기회"를 얻습니다.
• 효과:
  • Proposal Query 와 Track Query 간의 감시 (Supervision) 불균형을 해소합니다.
  • 기존 Track Query 가 객체를 놓쳤을 때, 해당 객체를 다시 잡을 수 있어 False Negative 를 줄입니다.
  • Track Query Dropout 으로 인한 할당 모호성을 해결합니다.

다. 아키텍처 (Architecture)

• LiDAR 백본: BEV (Bird's Eye View) 특징을 추출합니다.
• 2 단계 Temporal Transformer 디코더:
  1. 검출 디코더 (Detection Decoder): 현재 프레임의 Proposal Query 를 사용하여 초기 객체 검출 수행.
  2. 추적 디코더 (Track Decoder): 이전 프레임의 Track Query 와 현재 프레임의 Top-N Proposal Query 를 결합하여 시공간적 정보를 통합하고 객체 식별을 수행.
• 전파: 높은 신뢰도를 가진 Top-N Track Query 만 다음 프레임으로 전파됩니다.

---

3. 주요 기여 (Key Contributions)

1. 새로운 인스턴스 억제 문제의 체계적 해결: LiDAR 기반 TBA 의 근본적인 한계인 '신생 객체 억제'를 해결하기 위한 두 가지 아키텍처 무관 (Architecture-agnostic) 인 학습 전략 (Track Query Dropout, Second Chance Assignment) 을 제안했습니다.
2. 성능 격차 해소: LiDAR 기반 TBA 와 기존 TBD 방식 사이의 오랜 성능 격차를 성공적으로 좁혔습니다.
3. 범용성: 제안된 전략은 기존 TBA 프레임워크에 최소한의 수정으로 통합 가능하며, LiDAR뿐만 아니라 비전 (Vision) 기반 TBA 에도 적용 가능함을 증명했습니다.

---

4. 실험 결과 (Results)

데이터셋: nuScenes 추적 벤치마크 (학습 700, 검증 150, 테스트 150 장면)

• SOTA 달성: LiDAR 기반 TBA 방법론 중 최고 성능 (SOTA) 을 기록했습니다.

  • 테스트 세트: 이전 SOTA 인 JDT3D 대비 AMOTA 7.6%p 향상.
  • 검증 세트: JDT3D 대비 AMOTA 6.6%p, mAP 24.6%p 향상.
  • 오류 감소: False Negative (FN) 오류를 26% 감소시켰습니다.

• TBD 대비 경쟁력:

  • 전통적인 TBD 방식 (SimpleTrack + CenterPoint 등) 과 비교하여 ID Switch (식별 전환) 오류가 현저히 적었습니다.
  • 검증 세트에서 TBD 대비 ID Switch 를 69.1% 감소시켰습니다. 이는 추적 일관성 (Tracking Consistency) 이 매우 우수함을 의미합니다.
  • AMOTA 와 mAP 측면에서는 최적화된 TBD 방식보다 약간 낮지만, 엔드 - 투 - 엔드 모델로서 뛰어난 추적 강건성과 낮은 오류율을 보여줍니다.

• Ablation Study (성분 분석):

  • 두 기법 (Second Chance Assignment, Track Query Dropout) 을 모두 적용했을 때 가장 좋은 성능을 보였습니다.
  • 특히 Second Chance Assignment는 False Negative 와 ID Switch 를 크게 줄이는 데 기여했습니다.
  • Track Query Dropout만 단독으로 적용할 때는 Ground Truth 할당의 모호성으로 인해 성능 향상이 제한적이었으나, 두 기법과 결합 시 시너지 효과를 발휘했습니다.
  • 비전 (Vision) 기반 모델에서도 동일한 기법이 성능을 향상시킴을 확인했습니다.

---

5. 의의 및 결론 (Significance)

• 학습 전략의 중요성 부각: 복잡한 아키텍처 변경 없이, 표적 학습 전략 (Targeted Training Strategies) 만으로도 LiDAR 기반 TBA 의 성능을 획기적으로 개선할 수 있음을 증명했습니다.
• 엔드 - 투 - 엔드 추적의 실용화: LiDAR 데이터의 시계열 정보를 완전히 활용할 수 있는 엔드 - 투 - 엔드 추적 시스템의 실현 가능성을 높였습니다.
• 미래 방향: 이 연구는 LiDAR 기반 TBA 의 새로운 벤치마크를 설정했으며, 향후 멀티모달 융합이나 복잡한 환경에서의 적응형 쿼리 관리 연구의 기초를 마련했습니다.

요약하자면, SCATR 은 LiDAR 기반 추적에서 발생하는 '새로운 객체 놓침' 문제를 해결하기 위해 Track Query Dropout과 Second Chance Assignment라는 혁신적인 학습 기법을 도입하여, 기존 TBD 방식에 버금가는 성능을 내면서 TBA 방식의 강점 (일관된 식별, 낮은 ID Switch) 을 극대화한 획기적인 연구입니다.