기술 요약: 단일 자연어 설명을 통한 인스턴스 추적 학습 (SVLTrack)

문제 정의

본 논문은 값비싼 프레임 단위 바운딩 박스 주석에 의존하지 않는 비전 - 언어 (VL) 추적의 과제를 다룹니다. 기존의 완전 감독 VL 추적 방법은 멀티모달 융합 모델을 미세 조정하기 위해 수천 개의 주석 바운딩 박스가 필요하여 상당한 시간과 노력이 소요됩니다. 또한, 기존 방법들은 종종 융합 과정에서 모든 시각 및 언어 토큰을 동등하게 취급하여 중복 계산을 초래하고 의미론적 정렬이 최적화되지 않는 결과를 낳습니다.

저자들은 자기 감독 VL 추적 패러다임을 제안합니다. 목표는 훈련 단계에서 바운딩 박스 정답 (ground truth) 없이 오직 단일 자연어 설명 (예: "강 위에 떠 있는 흰색 보트") 만을 기반으로 비디오 시퀀스 전반에 걸쳐 특정 물체를 식별하고 추적할 수 있는 추적기를 훈련하는 것입니다.

방법론: SVLTrack

제안된 프레임워크인 SVLTrack은 약한 - 강한 일관성 자기 감독 학습 패러다임 하에 작동합니다. 이는 레이블이 없는 비디오 데이터로부터 학습하기 위해 대규모 비전 - 언어 모델 (LVLM) 과 새로운 토큰 집계 메커니즘을 활용합니다.

1. 약한 - 강한 일관성 파이프라인

정답 바운딩 박스가 없으므로, 시스템은 자연어 지시문 ($Q_{text}$) 을 기반으로 사전 훈련된 LVLM(예: APE 또는 LISA) 을 사용하여 초기 프레임 ($I_0$) 에 대한 의사 레이블 (pseudo-labels) 을 생성합니다.

• 전방향 추적: 모델은 초기 프레임에서 후속 프레임으로 타겟을 추적합니다.
• 후방향 추적: 템플릿 프레임과 검색 프레임의 역할을 교환하여 시간적 순환 일관성을 강제합니다.
• 증강: 각 레이블이 없는 프레임은 약한 증강 (예: 중심 흔들림) 과 강한 증강 (예: 색상 흔들림) 을 모두 적용하여 처리됩니다. 모델은 약하게 증강된 프레임에 대한 예측과 강하게 증강된 프레임에 대한 예측이 일관되도록 훈련됩니다.

2. 동적 토큰 집계 (DTA) 모듈

SVLTrack 의 핵심 혁신은 모든 토큰의 표준 동등 융합을 대체하는 동적 토큰 집계 모듈입니다. 이 모듈은 세 단계를 통해 시각 토큰을 불평등하게 처리합니다.

• 1 단계 (선택): 0 으로 초기화된 앵커 토큰이 참조 역할을 합니다. 모듈은 앵커와 모든 템플릿 토큰 간의 주의 점수 (attention scores) 를 계산합니다. 그리고 언어 설명과 일치하는 가장 중요한 상위 $k$ 개의 타겟 토큰을 선택하여 관련 없는 배경 노이즈를 필터링합니다.
• 2 단계 (집계): 선택된 타겟 토큰은 주의 점수에 따라 병합되어 언어 토큰으로 집계됩니다. 이는 계산적 중복을 줄이는 컴팩트하고 의미론적으로 정렬된 비전 - 언어 표현을 생성합니다.
• 3 단계 (정제): 융합된 언어 토큰은 검색 프레임에서 잠재적인 타겟 토큰을 추출하는 안내 신호로 작용합니다. 이 단계는 시간적 연관성을 위해 검색 토큰을 정제하고, 후속 프레임으로 타겟 정체성을 전파하며 시간적 프롬프트를 강화합니다.

3. 노이즈 제거 훈련 전략

LVLM 에 의해 생성된 의사 바운딩 박스에 내재된 노이즈를 해결하기 위해 저자들은 노이즈 제거 전략을 도입합니다.

• 훈련 중 모델은 분류 및 회귀 점수 맵을 생성합니다.
• 강하게 증강된 프레임의 분류 점수 맵과 약하게 증강된 프레임의 예측에서 유도된 의사 가우시안 맵 간의 유클리드 거리가 계산됩니다.
• 가장 큰 거리를 가진 샘플 (노이즈 아웃라이어로 식별됨) 은 손실 계산에서 제외됩니다. 상위 $K\%$의 신뢰할 수 있는 샘플만 분류, 회귀 및 국소화 손실을 최적화하는 데 사용됩니다.

주요 기여

1. SVLTrack 프레임워크: 대규모 바운딩 박스 주석의 필요성을 제거하고 레이블이 없는 비디오에서 자연어 설명만을 사용하여 인스턴스 추적을 학습하는 새로운 자기 감독 VL 추적 알고리즘을 도입했습니다.
2. 동적 토큰 집계 모듈: 앵커 토큰에 대한 주의 점수를 기반으로 주요 시각 토큰을 동적으로 선택하고 집계하는 메커니즘입니다. 이는 언어와 비전 간의 의미론적 정렬을 강화하면서 중복된 시각 노이즈를 제거합니다.
3. 벤치마크 성능: 이 방법은 네 가지 주요 VL 추적 벤치마크 (LaSOT, TNL2K, LaSOText, OTB99) 에서 뛰어난 성과를 거두어 기존 최첨단 (SOTA) 자기 감독 방법을 능가하고 완전 감독 방법과의 성능 격차를 줄였습니다.

실험 결과

저자들은 SVLTrack 을 LaSOT, TNL2K, LaSOText, OTB99 네 가지 벤치마크에서 평가했습니다.

• 자기 감독 성능: 자기 감독 설정 (초기화에 자연어만 사용) 에서 SVLTrack-L256은 이전 SOTA 자기 감독 방법인 ATTracker 를 다음과 같은 큰 차이로 능가했습니다: TTN2K 에서 1.9%, LaSOT 에서 3.6%, OTB99 에서 9.9% (AUC 기준).
• 비감독 방법과의 비교: SVLTrack 은 모든 비감독 추적 알고리즘을 크게 능가합니다. 예를 들어, LaSOT 에서 SVLTrack-V256은 비감독 Diff-Tracker 를 AUC 기준으로 16.5% 상회했습니다.
• 완전 감독 방법과의 비교: LaSOText 데이터셋에서 자기 감독 SVLTrack-V384는 완전 감독 추적기와 비교 가능한 성능을 달성하여 AUC **49.7%**에 도달했습니다. 이는 ARTrack (51.9%) 및 ODTrack (52.4%) 과 같은 완전 감독 기준선과 근접한 수치입니다.
• Ablation 연구:
  • 동적 토큰 집계 모듈을 제거하면 AUC 가 1.1% 하락하여 의미 이해에 대한 중요성이 확인되었습니다.
  • 노이즈 제거 전략을 제거하면 0.5% 하락하여 노이즈가 있는 의사 레이블 처리에서의 역할을 검증했습니다.
  • 추출된 검색 토큰의 최적 개수는 8개인 것으로 확인되었으며, 이를 16 개로 늘리면 노이즈가 도입되어 성능이 저하되었습니다.
  • 의사 레이블 생성을 위한 LVLM 으로 APE를 사용하는 것이 LISA 보다 더 나은 결과를 낳았으며, 이는 인스턴스 수준의 인식이 정렬에 중요함을 시사합니다.

중요성과 주장

본 논문은 SVLTrack 이 비용 효율적이고 사용자 친화적인 VL 추적을 향한 중요한 진전임을 주장합니다. 자연어의 의미론적 안내 기여도를 자기 감독 방식으로 정량화함으로써, 이 연구는 금지된 수준의 수동 바운딩 박스 주석 비용 없이도 고품질 추적 표현을 학습할 수 있음을 입증합니다.

저자들은 그들의 접근 방식이 사용자 지시문에 기반하여 동적 환경의 물체와 효과적으로 상호작용할 수 있는 추적기를 가능하게 한다고 강조합니다. 의사 레이블의 품질이 현재 기반 LVLM 의 능력에 의해 제한된다는 점을 인정하면서도, 제안된 프레임워크는 자기 감독과 완전 감독 성능 간의 격차를 성공적으로 해소하여 레이블 데이터가 부족한 시나리오에 대한 강력한 솔루션을 제공합니다.