🤖 AI

RELO: Reinforcement Learning to Localize for Visual Object Tracking

본 논문은 IoU 및 AUC 와 같은 직접적인 지표를 최적화하는 강화 학습 기반의 국소화 정책을 수동으로 설계된 공간적 사전 지식을 대체하고, 최첨단 성능을 달성하기 위해 레이어 정렬 시간 토큰 전파를 통합하는 시각적 객체 추적 방법인 RELO 를 소개합니다.

원저자: Xin Chen, Chuanyu Sun, Jiao Xu, Houwen Peng, Dong Wang, Huchuan Lu, Kede Ma

게시일 2026-05-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xin Chen, Chuanyu Sun, Jiao Xu, Houwen Peng, Dong Wang, Huchuan Lu, Kede Ma

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

혼잡하고 움직이는 퍼레이드 속에서 특정 친구를 찾으려 한다고 상상해 보세요. 몇 초마다 카메라가 군중의 새로운 구역을 확대하고, 당신은 친구가 정확히 어디에 있는지 가리켜야 합니다.

기존 방식: "추측 지도"를 따르기
오랫동안 이 작업을 수행하려던 컴퓨터 프로그램들 (시각적 추적기라고 불림) 은 미리 만들어진 "추측 지도"에 의존했습니다. 이는 인간 디자이너가 그린 열지도와 같습니다. 그 지도는 "사람은 가장 확률이 높은 정중앙에 있을 가능성이 높고, 멀어질수록 확률은 종형 곡선처럼 감소한다"고 말합니다.

컴퓨터의 역할은 단순히 그 미리 그려진 지도와 추측을 최대한 일치시키는 것이었습니다. 문제는 무엇일까요? 그 지도는 단지 인간의 추측일 뿐입니다. 컴퓨터가 사람을 찾는 데 능숙한지 여부는 상관없고, 단지 그 그림과 잘 일치하는지만 중요하게 여깁니다. 사람이 이상하게 움직이거나 다르게 보인다면 지도가 틀릴 수 있지만, 컴퓨터는 여전히 그 지도에 맞추려고 애씁니다.

새로운 방식: RELO("시행착오" 학습자)
이 논문은 미리 그려진 지도를 버리는 새로운 방법인 RELO를 소개합니다. 대신 강화 학습 (RL) 을 통해 "뜨겁고 차갑다"는 게임을 하듯 사람을 찾는 방식을 취합니다.

간단한 비유를 들어 RELO 가 어떻게 작동하는지 살펴보겠습니다:

게임 보드: 비디오 프레임을 거대한 체스판이라고 상상해 보세요. 보드의 모든 한 칸은 친구가 있을 수 있는 가능한 위치입니다.
플레이어: 컴퓨터는 비디오의 매 프레임마다 보드에서 한 칸을 선택하는 플레이어입니다.
점수 (보상): 플레이어가 "중앙" 칸을 선택했는지 확인하는 대신, 컴퓨터는 사람을 실제로 얼마나 잘 찾았는지에 따라 점수를 받습니다.
- 선택한 상자가 사람을 완벽하게 덮으면 높은 점수 (예: "금색 스타") 를 받습니다.
- 놓치면 낮은 점수를 받습니다.
- 또한 한 초뿐만 아니라 전체 비디오 동안 표적을 유지하는 것에 대한 보너스 점수도 받습니다.
행동을 통한 학습: 컴퓨터는 다양한 칸을 시도합니다. 높은 점수로 이어지는 칸을 선택하면 "이 위치가 작동한다!"라고 기억합니다. 나쁜 위치를 선택하면 "그곳은 피해야 한다"고 학습합니다. 시간이 지남에 따라 인간의 지도에 기반한 추측을 멈추고, 실제로 표적을 찾는 데 작동하는 것에 기반한 추측을 시작합니다.

비밀 재료: "레이어 정렬" 메모리
비디오가 한 프레임에서 다음 프레임으로 이동할 때 컴퓨터가 혼란을 겪지 않도록 하기 위해 RELO 는 특별한 메모리 기법을 사용합니다.

영화를 보고 있다고 상상해 보세요. 한 장면에서 다음 장면으로 메모를 전달할 때, 그 메모가 동일한 "세부 수준"에 있어야 합니다.

기존 방식: 일부 시스템은 이전 장면 끝에서 매우 상세한 메모를 가져와 새로운 장면의 아주 시작 부분에 붙이려 했습니다. 고화질 사진을 작은 스케치북에 끼워 넣으려 하는 것과 같아 세부 사항이 맞지 않았습니다.
RELO 의 방식: RELO 는 완벽하게 일치하는 메모를 전달합니다. 상세한 메모는 새로운 장면의 상세한 부분에, 간단한 메모는 간단한 부분에 전달됩니다. 이는 컴퓨터 속도를 늦추지 않으면서도 이야기의 일관성을 유지합니다.

결과
저자들은 이 새로운 "게임 플레이" 방식을 다양한 비디오 도전 과제에서 기존의 "지도 따르기" 방식과 비교하여 테스트했습니다.

더 높은 정확도: RELO 는 특히 표적이 시작했을 때와 매우 다르게 보였던 까다로운 상황 (예: 옷을 입거나 조명 변화) 에서 표적을 더 정확하게 찾았습니다.
속도: 표준 컴퓨터 칩에서 실시간으로 실행할 만큼 빨랐습니다.
템플릿 업데이트 불필요: 비디오가 진행됨에 따라 표적이 어떻게 보이는지 끊임없이 재학습해야 하는 다른 방법들과 달리, RELO 는 표적에 대한 "메모리"를 끊임없이 업데이트할 필요 없이 훌륭한 성과를 냈습니다.

요약
RELO 는 게임의 규칙을 바꿉니다. 표적이 있어야 할 위치에 대한 인간이 그린 지도를 따르도록 컴퓨터를 가르치는 대신, 게임을 플레이하고 실수를 하며 성공에 대한 보상을 받음으로써 표적이 실제로 어디에 있는지 학습하도록 가르칩니다. 이 논문은 이 "보상 기반" 접근 방식이 기존의 "사전 지식 기반" 방법들보다 비디오 내 객체 추적을 위한 더 지능적이고 유연한 방법이라고 주장합니다.

기술 요약: RELO - 시각적 객체 추적을 위한 강화 학습 기반 국소화

1. 문제 제기

시각적 객체 추적은 첫 번째 프레임에서의 초기화를 바탕으로 비디오 시퀀스 전반에 걸쳐 대상의 상태 (주로 위치) 를 추정하는 것을 목표로 합니다. 현대의 판별식 추적기, 특히 시아미즈 네트워크와 트랜스포머 기반의 추적기들은 강력한 경험적 성능을 보여주고 있지만, 국소화를 위해 **수동으로 설계된 공간적 사전 지식 (handcrafted spatial priors)**에 크게 의존하고 있습니다.

이러한 사전 지식은 일반적으로 중심 기반 히트맵이나 모서리 기반 확률 분포의 형태를 띱니다. 본 논문은 이러한 접근법에서 근본적인 개념적 한계를 지적합니다:

대리 감독 (Surrogate Supervision): 감독 신호 (예: 대상에 중심을 둔 가우시안 히트맵) 는 추적의 실제 목표와 간접적으로만 관련되어 있습니다.
지표 불일치 (Metric Misalignment): 이러한 사전 지식은 교차 유동 (IoU) 또는 성공 곡선 아래 면적 (AUC) 과 같은 표준 평가 지표를 직접 최적화하지 않습니다.
휴리스틱 가정: 이러한 사전 지식의 설계는 추적 작업에 내재적이지 않은 추가 가정 (예: 이진 마스크 또는 가우시안 평활화) 을 도입하며, 이는 휴리스틱 설계 선택에 따른 성능 의존성을 초래할 수 있습니다.

저자들이 제기한 핵심 질문은, 이러한 수동 설계된 공간적 사전 지식에 의존하지 않고 작업 지향적 피드백으로부터 대상 국소화를 직접 학습할 수 있는 추적기가 존재할 수 있는가 하는 것입니다.

2. 방법론: RELO

저자들은 RELO(REinforcement-learning-to-LOcalize) 를 소개하며, 이는 탐색 영역의 공간 특징 지도 (spatial feature map) 상에서 대상 국소화를 **마르코프 결정 과정 (MDP)**으로 재형식화한 방법입니다.

2.1. MDP 형식화

상태 (State): 시간 $t$ 에서 한 스트림 트랜스포머 인코더를 통해 탐색 프레임으로부터 추출된 공간 특징 지도 $F^{(t)} \in \mathbb{R}^{H \times W \times C}$ .
행동 공간 (Action Space): 특징 지도 위의 각 공간 위치 $(i, j)$ 는 후보 행동 $a_{ij}$ 로 간주됩니다.
정책 (Policy): 국소화 정책 $\pi$ 는 유망한 행동을 선택하도록 학습됩니다. 주어진 상태에 대해 정책은 공간 위치에 대한 범주형 분포를 출력합니다.
회귀 헤드 (Regression Head): 샘플링된 모든 행동에 대해 회귀 헤드는 해당하는 바운딩 박스를 예측합니다.
보상 (Reward): 대리 라벨에 적합시키는 대신, 정책은 추적 지표에서 직접 유도된 보상을 사용하여 최적화됩니다. 보상 $r^{(t)}$ $r^{(t)}$ 는 다음을 결합합니다:
1. 프레임 단위 IoU: 현재 프레임의 국소화 정확도에 대한 즉각적인 피드백.
2. 시퀀스 단위 AUC: 비디오 클립 전체에 대한 샘플링된 궤적을 평가하여 장기적 일관성을 장려합니다.

2.2. 최적화 전략

RELO 는 국소화 정책을 최적화하기 위해 Actor-Critic 프레임워크를 사용합니다:

Actor(정책 헤드): 행동 분포를 정의하는 로짓을 출력합니다. 이 헤드는 이점 함수 (advantage function) 를 사용하여 기대 보상을 최대화하도록 업데이트됩니다.
Critic(가치 헤드): 주어진 상태에 대한 기대 미래 보상 (가치) 을 예측하여 정책 경사 업데이트의 분산을 줄입니다.
손실 함수: 총 손실은 이점 (advantage) 으로 가중치가 부여된 정책 손실과 가치 회귀 손실을 결합합니다.

2.3. 주요 기술 구성 요소

안정성과 효과성을 보장하기 위해 RELO 는 두 가지 특정 메커니즘을 통합합니다:

회귀 워밍업 단계 (Regression Warmup Stage):
샘플링된 공간 행동이 해당 박스 예측이 유의미할 때만 유용하기 때문에, 처음부터의 직접적인 RL 최적화는 불안정합니다. 저자들은 일반화된 IoU 와 $\ell_1$ 손실을 사용하여 모델이 **진실 위치 (ground-truth location)**에서만 감독받는 워밍업 단계를 도입합니다. 이는 정책이 어디를 볼지 학습하기 전에 모델이 어떻게 지역 특징으로부터 박스를 회귀하는지 학습하도록 합니다. 여기서 학습된 가중치는 후속 RL 단계 동안 고정됩니다.
레이어 정렬 시간 토큰 전파 (Layer-Aligned Temporal Token Propagation):
최소한의 오버헤드로 프레임 간 의미론적 일관성을 유지하기 위해 RELO 는 시간 토큰을 전파합니다. 이전 프레임의 깊은 레이어 토큰을 현재 프레임의 얕은 레이어에 주입하여 의미론적 불일치를 초래하는 기존 방법과 달리, RELO 는 레이어 정렬 전략을 사용합니다. 프레임 $t-1$ 의 레이어 $l$ 에서 생성된 시간 토큰은 프레임 $t$ 의 레이어 $l$ 로 오직 전파됩니다. 이는 인코더의 계층적 구조를 보존하면서 프레임 간 정보 교환을 가능하게 합니다.

3. 주요 기여

논문은 세 가지 주요 기여를 제시합니다:

형식화: 시각적 추적에서의 대상 국소화가 마르코프 결정 과정으로 재형식화되어 RELO 에 구체화되었으며, 수동 설계된 공간적 사전 지식의 필요성이 제거되었습니다.
학습 전략: 안정성을 위한 회귀 워밍업 단계와 의미론적 일관성을 위한 레이어 정렬 시간 토큰 전파 메커니즘을 특징으로 하는 실용적인 학습 파이프라인이 소개되었습니다.
검증: 광범위한 실험을 통해 RL 을 통해 작업 지향적 보상 (IoU 및 AUC) 을 직접 최적화하는 것이 기존 사전 지식 기반 국소화에 대한 강력한 대안이 되며, 최첨단 결과를 달성함을 입증했습니다.

4. 실험 결과

RELO 는 최근 최첨단 추적기들과 비교하여 일곱 가지 표준 벤치마크 (LaSOT, LaSOText, TrackingNet, GOT-10k, TNL2K, NFS, UAV123) 에서 평가되었습니다.

성능: RELO 는 여러 벤치마크에서 우수한 결과를 달성했습니다.
- LaSOT: RELO-L256 은 75.1% AUC를 달성하여 (템플릿 업데이트 없이) 대형 크기 추적기 중에서 1 위를 차지했습니다.
- LaSOText: RELO 는 57.5% AUC를 달성하여 기존 방법보다 상당한 차이를 보였습니다. 저자들은 이 벤치마크가 교차 카테고리 일반화를 테스트한다고 지적하며, RELO 가 외관 변화와 카테고리 이동에 더 강건함을 시사합니다.
- 단기 추적: TrackingNet 과 GOT-10k 에서 RELO 변형들은 기본 크기와 대형 크기 카테고리 모두에서 1 위를 차지하여 복잡한 시간 설계가 있는 방법들을 능가했습니다.
효율성: RELO 는 GPU 에서 실시간 추론 속도를 유지합니다. 예를 들어, RELO-T256 은 NVIDIA RTX 4090 에서 91 FPS로 실행되면서 경쟁력 있는 정확도를 달성합니다.
애블레이션 연구:
- RL 목적 함수를 모서리, 중심, 또는 IoU 히트맵과 같은 사전 지식 기반 학습으로 대체하면 성능이 저하되어 보상 기반 학습의 우월성을 확인했습니다.
- 시퀀스 단위 AUC 보상을 제거하면 성능이 크게 감소하여 장기적 감독의 중요성을 강조했습니다.
- 레이어 정렬 전파 전략은 추가 계산 비용 없이 깊은 레이어에서 얕은 레이어로의 전파보다 일관된 개선을 제공했습니다.

5. 중요성과 주장

본 논문은 RELO 가 사전 지식 기반 국소화에 대한 효과적인 대안으로 보상 기반 국소화를 검증한다고 주장합니다.

학습과 평가의 정렬: IoU 와 AUC 를 직접 최적화함으로써 RELO 는 훈련 목적과 평가 지표를 정렬하여 대리 감독으로 인한 단절을 제거합니다.
일반화: LaSOText 에서의 상당한 성과는 고정된 공간적 사전 지식에 의존하는 방법들보다 학습된 정책이 분포 변화와 외관 변화에 더 강건함을 시사합니다.
패러다임 전환: 저자들은 추적의 병목 현상이 더 나은 백본이나 시간적 사전 학습뿐만 아니라 어디를 국소화할지 학습하는 데 사용되는 감독 신호에 있다고 주장합니다. RELO 는 수동 설계된 사전 지식을 제거하고 작업 지향적 탐색을 채택함으로써 장기 및 단기 추적 시나리오 전반에 걸쳐 일관된 개선을 달성함을 보여줍니다.

저자들은 현재 보상 (IoU/AUC) 이 심각한 가림이나 대상 소실과 같은 복잡한 상황을 완전히 포착하지 못하며, 현재 범위가 단일 객체 및 단일 카메라 추적에 제한됨을 인정합니다. 그러나 그들은 보상 기반 프레임워크가 다양한 추적 패러다임과 호환되며, 향후 다중 객체 설정 및 보다 광범위한 시스템 수준의 제어 결정으로 확장될 수 있다고 제시합니다.