Rethinking Two-Stage Referring-by-Tracking in Referring Multi-Object Tracking: Make it Strong Again

이 논문은 기존 2 단계 참조 기반 객체 추적 (RBT) 프레임워크의 한계를 극복하기 위해 샘플링 기반 특징 구성과 능동적 대응 모델링을 도입한 'FlexHook'을 제안하여, 단일 단계 방법들을 포괄적으로 능가하는 새로운 성능 기준을 제시합니다.

핵심

🎬 배경: "누가 누구를 쫓고 있을까?"

비디오 속에는 수많은 사람과 차가 움직입니다. 우리는 **"왼쪽에서 빨간 옷을 입은 사람"**이나 **"우회전하는 차"**처럼 언어로 특정 대상을 지시할 수 있습니다. 컴퓨터가 이 지시를 듣고, 그 대상이 비디오 전체에서 어떻게 움직이는지 계속 따라가야 하는 것이 RMOT입니다.

지금까지 두 가지 방식이 있었어요:

1. 한 번에 해결하는 방식 (One-stage): 탐지, 추적, 언어 이해를 한 번에 다 하는 거예요. 성능은 좋지만, 훈련하는 데 돈과 시간이 너무 많이 들고, 나중에 새로운 기능을 추가하기가 어렵습니다.
2. 두 단계로 나누는 방식 (Two-stage): 먼저 "누가 어디에 있는지"를 찾는 추적기를 따로 쓰고, 그 결과만 받아와서 "언어와 매칭"을 시키는 방식입니다. 훈련 비용이 싸고, 기존 추적기에 쉽게 붙여 쓸 수 있다는 장점이 있지만, 성능이 너무 낮아 사람들이 점점 외면하고 있었습니다.

이 논문은 **"두 단계 방식도 다시 강력하게 만들 수 있다!"**라고 외치며 FlexHook을 제안합니다.

---

🪝 FlexHook 의 핵심 아이디어: "후크 (Hook) 를 꽂다"

컴퓨터 프로그래밍에서 '후크 (Hook)'는 기존 시스템의 흐름을 멈추지 않고, 특정 지점에 데이터를 가져오거나 추가하는 기능을 말합니다. FlexHook 은 마치 기존 추적기의 흐름을 방해하지 않으면서, 필요한 정보만 '후크'로 낚아채는 기술입니다.

1. 문제점 1: "너무 단순한 특징 찾기" (Overly Heuristic Feature Construction)

• 기존 방식: 추적된 대상 (예: 빨간 차) 을 잘라내어 다시 이미지 전체와 함께 분석하는 식이었습니다. 마치 이미지 전체를 한 번 보고, 또다시 잘린 조각을 따로 보는 것처럼 비효율적이고, 언어 (예: "빨간 차") 에 따라 집중해야 할 부분이 달라지는 것을 고려하지 못했습니다.
• FlexHook 의 해결책 (C-Hook):
  • 비유: 기존 방식이 "사진을 복사해서 잘라내어 다시 분석하는" 거라면, FlexHook 은 원본 사진 (비디오) 에서 필요한 부분만 실시간으로 '샘플링'해 오는 것입니다.
  • 언어 조건부 후크: "빨간 차"라고 하면 빨간색에 집중하고, "왼쪽 차"라고 하면 왼쪽에 집중하도록, 언어 정보에 따라 시선을 자동으로 조절하는 '조건부 후크'를 도입했습니다.

2. 문제점 2: "약한 연결 고리" (Fragile Correspondence Modeling)

• 기존 방식: 언어와 영상을 비교할 때, 미리 학습된 거대 모델 (CLIP) 의 '유사도 점수'만 믿었습니다. 마치 사전의 정의만 믿고 두 단어가 같은지 판단하는 것과 비슷합니다. 하지만 비디오의 복잡한 상황 (예: "왼쪽으로 도는 차") 은 사전 정의만으로는 해결하기 어렵습니다.
• FlexHook 의 해결책 (PCD):
  • 비유: 단순히 "이게 저것과 비슷한가?"라고 묻는 대신, **직접 "이 언어와 이 영상은 정말 짝이 맞나?"라고 쌍으로 심사 (Pairwise Correspondence)**하는 새로운 심사위원을 세웠습니다.
  • 결과: 사전 (CLIP) 에 의존하지 않아도 되므로, 훨씬 더 유연하고 정확한 판단이 가능해졌습니다.

---

🚀 FlexHook 이 가져온 변화

이 새로운 방식은 기존에 "두 단계 방식은 성능이 낮다"는 편견을 깨뜨렸습니다.

1. 성능 대폭 향상: 기존에 가장 성능이 좋다고 알려진 한 번에 해결하는 방식 (One-stage) 들을 능가하거나, 최소한 그 수준에 도달했습니다. 특히 Refer-KITTI 같은 자율주행 데이터셋에서 기존 두 단계 방식보다 HOTA 점수 (추적 정확도) 가 10.32 에서 42.53 으로 4 배 이상 급상승했습니다.
2. 비용 절감: 복잡한 훈련 과정이 필요 없어 훈련 시간이 훨씬 짧고, 기존에 만든 추적기에 쉽게 추가할 수 있어 실제 적용 (인프라 확장) 이 매우 빠릅니다.
3. 유연성: 어떤 카메라, 어떤 추적기를 쓰든 FlexHook 을 '후크'처럼 끼워만 넣으면 바로 작동합니다.

---

💡 한 줄 요약

"기존의 값비싼 '한 번에 해결' 방식 대신, 저렴하고 빠른 '두 단계' 방식을 똑똑하게 업그레이드해서, 언어로 지시한 대상을 더 빠르고 정확하게 쫓아내게 만든 기술입니다."

이 기술은 앞으로 자율주행차나 보안 카메라 등에서 **"저기 있는 빨간 차 멈춰!"**라고 말하면, 그 차를 정확히 찾아서 계속 따라가는 시스템을 만드는 데 큰 역할을 할 것으로 기대됩니다.

기술 요약

논문 요약: FlexHook - 2 단계 Referring-by-Tracking (RBT) 의 재구축

1. 문제 정의 (Problem)

**Referring Multi-Object Tracking (RMOT)**은 비디오 내 자연어 표현 (예: "왼쪽을 향해 운전하는 차") 으로 지정된 여러 객체를 추적하는 작업입니다. 기존 RMOT 접근법은 크게 세 가지 패러다임으로 나뉩니다:

1. Tracking-by-Referring (TBR): 탐지 상자를 기반으로 궤적을 연결 (LaMOTer 등).
2. One-Stage RBT: 탐지, 추적, 참조를 엔드 - 투 - 엔드 (End-to-End) 로 통합 최적화 (TransRMOT 등).
3. Two-Stage RBT: 기존 추적기 (Tracker) 를 재사용하고, 추적된 바운딩 박스에서 시각적 특징을 추출하여 언어와 매칭 (iKUN 등).

현재의 문제점:
최근 One-Stage 방법들의 급격한 발전으로 Two-Stage RBT 패러다임은 주류에서 밀려났습니다. 하지만 Two-Stage 방식은 낮은 학습 비용과 기존 추적 시스템에 대한 유연한 점진적 배포 (Incremental Deployment) 가능성이라는 고유한 장점이 여전히 존재합니다. 그러나 기존 Two-Stage 프레임워크 (예: iKUN) 는 다음과 같은 근본적인 한계로 인해 성능이 현저히 낮았습니다.

• 과도한 휴리스틱 특징 구성 (Overly Heuristic Feature Construction): 기존 방법은 전체 이미지와 잘라낸 타겟 패치를 이중 인코딩하거나, 사전 학습된 시각 백본의 공간적 맥락 흐름을 무시하고 불필요한 연산을 반복합니다. 또한, 언어와 무관한 특징 모델링으로 인해 복잡한 참조 표현에 대한 적응적 주의를 제공하지 못합니다.
• 취약한 대응 관계 모델링 (Fragile Correspondence Modeling): 기존 방법은 CLIP 기반의 정적 코사인 유사도 (Cosine Similarity) 에만 의존합니다. 이는 CLIP 의 사전 학습 공간에 갇히게 하여, 추가 모듈이 도입되거나 백본이 변경될 때 정합성이 깨지고 확장성이 제한되는 문제를 야기합니다.

2. 제안 방법론: FlexHook

저자들은 위 한계를 극복하기 위해 FlexHook이라는 새로운 2 단계 RBT 프레임워크를 제안합니다. 이는 프로그래밍의 '후크 (Hook)' 함수처럼 작동하여, 기존 시각 백본의 흐름을 방해하지 않으면서 특징을 재정의합니다.

핵심 구성 요소:

1. 조건부 후크 (Conditioning Hook, C-Hook):

   • 주변 그리드 샘플링 (Neighboring Grid Sampling): 기존 바운딩 박스를 기반으로 타겟 특징을 샘플링하되, 추적 오차 (위치 불확실성, ID 스위치, 타겟 손실) 를 시뮬레이션하기 위해 **주변 그리드 (Neighboring Grid)**에 잡음을 주입합니다. 이를 통해 모델이 더 넓은 맥락 정보를 학습하고 추론 단계의 불일치를 완화합니다.
   • 조건부 향상 (Conditioning Enhancement): 언어 표현에 따라 시각적 주의를 조절하기 위해, 언어 특징 (Text Features) 을 조건으로 하여 **학습 가능한 참조 포인트 (Reference Points)**를 생성합니다. 이는 "빨간 옷을 입은 사람"과 "왼쪽의 사람"처럼 서로 다른 시각적 초점이 필요한 복잡한 표현을 적응적으로 처리합니다.

2. 시간적 통합 (Temporal Integration):

   • C-Hook 에서 생성된 좌표 그리드의 프레임 간 차이 (변위) 를 계산하여 **광학 흐름 (Optical Flow)**과 유사한 특징을 추출합니다. 이를 시각 특징과 결합하여 운동 표현 (예: "왼쪽으로 회전하는 차") 을 효과적으로 처리합니다.

3. 쌍별 대응 디코더 (Pairwise Correspondence Decoder, PCD):

   • CLIP 기반의 정적 코사인 유사도 매칭을 폐기하고, **학습 가능한 쌍별 판별 (Learnable Pairwise Discrimination)**을 도입합니다.
   • 학습 가능한 쿼리 벡터를 사용하여 (언어, 시각) 쌍 간의 매칭 점수를 직접 예측합니다. 이는 패시브한 유사도 비교를 액티브한 대응 관계 모델링으로 전환하며, CLIP 에 대한 의존성을 완전히 제거합니다.

3. 주요 기여 (Key Contributions)

1. C-Hook 도입: 샘플링 기반 전략을 통해 2 단계 RBT 의 특징 구성을 재정의하고, 시각 백본의 원래 맥락 기울기 흐름 (Contextual Gradient Flow) 을 복원했습니다.
2. 언어 조건부 참조 포인트: 복잡한 참조 표현을 적응적으로 분리 (Disentanglement) 할 수 있도록 언어 인식형 특징 추출을 가능하게 했습니다.
3. PCD 개발: 정적 코사인 유사도를 학습 가능한 쌍별 판별로 대체하여 CLIP 의존성을 제거하고 더 유연하고 강력한 정합 전략을 제시했습니다.
4. 성능 혁신: FlexHook 은 기존 SOTA(최고 성능) 방법들을 압도적으로 능가하는 첫 번째 2 단계 RBT 프레임워크가 되었습니다.

4. 실험 결과 (Results)

다양한 벤치마크 (Refer-KITTI, Refer-KITTI-v2, Refer-Dance, LaMOT) 에서 실험이 수행되었습니다.

• Refer-KITTI-v2: FlexHook-best 모델은 기존 2 단계 방법인 iKUN(HOTA 10.32) 대비 HOTA 42.53으로 대폭 향상되었으며, 1 단계 방법들 (TransRMOT, TempRMOT 등) 보다도 높은 성능을 기록했습니다.
• Refer-Dance 및 LaMOT: 비자율주행 시나리오에서도 현재 SOTA 방법들 (LaMOTer 등) 을 능가하는 성능을 보여주었습니다.
• 효율성:
  • 학습 시간: 중복 인코딩 단계 제거와 병렬 처리 (PCD) 로 인해 전체 학습 및 추론 시간이 기존 방법보다 현저히 단축되었습니다.
  • 유연성: 다양한 탐지기 (Detector) 와 추적기 (Tracker) 조합 (예: YOLOX, StrongSORT 등) 에 대해 강건하게 작동하며, 기존 시스템에 쉽게 통합될 수 있음을 입증했습니다.
  • CLIP 의존성 제거: CLIP 인코더를 사용하지 않고 RoBERTa + ResNet/Swin 조합으로도 동등하거나 더 나은 성능을 내며, CLIP 의 사전 학습 공간에 갇히지 않음을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 2 단계 RBT 패러다임이 단순히 구식 기술이 아니라, 적절한 설계 (FlexHook) 를 통해 현대적인 1 단계 방법들보다도 강력해질 수 있음을 증명했습니다.

• 실용성: 기존 추적 시스템을 재학습 없이도 자연어 참조 기능을 추가할 수 있어, 실제 산업 적용 (점진적 배포) 에 매우 유리합니다.
• 기술적 진보: CLIP 에 대한 맹목적 의존을 탈피하고, 언어와 시각의 깊은 상호작용을 학습 가능한 방식으로 모델링함으로써 RMOT 분야의 새로운 기준을 제시했습니다.

결론적으로, FlexHook 은 2 단계 RBT 를 "다시 강력하게 (Make it Strong Again)" 만들었으며, 효율성과 성능을 모두 잡은 차세대 RMOT 솔루션으로 자리 잡았습니다.