💻 computer science

STVG-R1: Incentivizing Instance-Level Reasoning and Grounding in Videos via Reinforcement Learning

이 논문은 강화학습 기반의 STVG-R1 프레임워크를 제안하여 시각-언어 모델의 좌표 정렬 문제를 시각적 프롬프트와 객체 ID 를 활용한 인스턴스 수준 추론 문제로 전환함으로써, 기존 방법론보다 계산 비용과 주석 비용을 절감하면서도 HCSTVG-v2 와 MeViS 등 다양한 벤치마크에서 새로운 최첨단 성능을 달성했습니다.

원저자: Xiaowen Zhang, Zhi Gao, Licheng Jiao, Lingling Li, Qing Li

게시일 2026-02-13

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xiaowen Zhang, Zhi Gao, Licheng Jiao, Lingling Li, Qing Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎥 STVG-R1: 비디오 속 '누가, 언제, 어디서'를 찾아내는 똑똑한 AI 비서

이 논문은 비디오와 언어를 함께 이해하는 AI(VLM)가 자주 겪는 '환각' 문제를 해결하고, 더 정확하게 비디오 속 대상을 찾아내는 새로운 방법을 제안합니다.

기존의 AI들은 비디오를 보고 "저기 저 개가 공을 쫓아다니는 구간은 0 초부터 5 초까지야"라고 말하려 할 때, 시간은 맞는데 위치는 엉뚱하거나, 반대로 위치만 맞고 시간은 틀리는 실수를 자주 했습니다. 마치 영화를 보다가 "주인공이 저기서 커피를 마셨어"라고 말했는데, 실제로는 주인공이 커피를 마신 게 아니라 옆에 있던 사람이 마셨던 것처럼 말이죠.

이 문제를 해결하기 위해 저자들은 세 가지 핵심 아이디어를 도입했습니다.

1. 🏷️ "이름표"를 붙여주자 (객체 중심 시각 프롬프팅)

기존 방식은 AI에게 매 프레임마다 "이 개는 좌표 [x, y] 에 있어"라고 숫자 좌표를 직접 계산하게 했습니다. 이는 AI 에게 매우 어렵고 헷갈리는 일입니다.

STVG-R1 의 해결책:
비디오 속 모든 사물 (사람, 개, 공 등) 에 **빨간색 숫자 이름표 **(ID)를 붙여줍니다.

비유: 영화 세트장에 배우들이 모두 들어와 있는데, 감독이 "빨간 모자를 쓴 사람"이라고 지시하는 대신, 등에 '1 번', '2 번'이라고 번호를 붙여줍니다.
효과: AI 는 이제 복잡한 좌표 계산을 할 필요 없이, **"1 번 배우가 5 초부터 10 초까지 움직였어"**라고 말하면 됩니다. 이렇게 하면 AI 가 "누가" 움직였는지 (객체 식별) 에 집중할 수 있어 훨씬 정확해집니다.

2. 🎮 "게임 점수"로 학습시키자 (강화 학습)

기존에는 정답과 AI 의 답을 하나하나 비교해 오차를 줄이는 방식 (지도 학습) 을 썼습니다. 하지만 비디오는 한 번에 정답이 여러 개일 수 있고, 시간과 공간이 복잡하게 얽혀 있어 오차 계산이 어렵습니다.

STVG-R1 의 해결책:
AI 를 게임 플레이어처럼 훈련시킵니다.

비유: AI 가 비디오를 보고 답을 내놓으면, **심판 **(강화 학습 알고리즘)이 점수를 줍니다.
- 시간 점수: "정답 구간과 얼마나 겹쳐?" (IoU)
- 공간 점수: "1 번 배우가 맞았어? 아니면 2 번 배우를 잘못 골랐어?"
- 형식 점수: "답을 깔끔하게 정리했어?"
효과: AI 는 이 점수를 높이기 위해 스스로 "아, 1 번 배우가 아니라 2 번 배우가 움직였구나"라고 **추론 **(Reasoning)하는 과정을 거치게 됩니다. 단순히 정답을 외우는 게 아니라, 왜 그 답이 맞는지 생각하게 되는 것입니다.

3. 🚀 "제로샷"의 마법 (다른 일도 잘해냄)

이 모델은 '사람이 공을 차는 것'만 훈련받았지만, 훈련받지 않은 '새들이 둥지 안에서 뛰어노는 것'이나 '여러 사람이 대화하는 장면'에서도 놀라운 성과를 냅니다.

비유: 요리사가 오직 '스테이크'만 요리하는 법을 배웠는데, 갑자기 '초밥'을 만들어도 아주 잘 해낸다면요?
이유: STVG-R1 은 구체적인 '스테이크 요리법' (좌표 계산) 을 외운 게 아니라, **'재료 **(객체)를 배웠기 때문입니다. 그래서 새로운 상황에서도 그 원리를 적용해 잘 해낼 수 있습니다.

📊 요약: 왜 이것이 중요한가요?

정확도 대폭 향상: 기존 최고 성능 모델보다 20% 이상 더 정확하게 비디오 속 사건을 찾아냅니다. (예: HCSTVG 벤치마크에서 20.9% 향상)
비용 절감: 별도의 복잡한 추가 장치를 붙일 필요 없이, 기존 AI 모델에 '이름표'와 '게임 점수' 시스템만 적용하면 됩니다.
유연성: 훈련받지 않은 새로운 종류의 비디오나, 여러 대상이 나오는 복잡한 장면에서도 잘 작동합니다.

결론적으로, STVG-R1 은 AI 에게 "좌표 계산기"가 아니라 **"비디오 속 사물의 이름을 기억하고, 그 사물의 행동을 논리적으로 추적하는 탐정"**이 되게 한 혁신적인 연구입니다. 이제 AI 는 영화나 뉴스 영상을 볼 때, "누가, 언제, 어디서"를 훨씬 더 똑똑하게 이해할 수 있게 되었습니다.

1. 문제 정의 (Problem)

시각 - 언어 모델 (VLM) 은 비디오 내의 객체 위치와 시간적 범위를 예측하는 시공간 비디오 그라운딩 (Spatio-Temporal Video Grounding, STVG) 작업에서 자주 할루시네이션 (Hallucination) 을 발생시킵니다.

주요 원인: 텍스트 설명과 시각적 좌표 간의 불일치 (Misalignment). 모델이 프레임 해상도를 벗어나거나 비디오 길이보다 긴 시간을 예측하는 등 물리적으로 불가능한 좌표를 생성합니다.
기존 방법의 한계:
- 정렬 기반 접근법: 텍스트와 시각 좌표를 직접 정렬시키려 하지만, 다중 객체 장면에서 일관성이 떨어지거나 의미 없는 좌표 (예: [0.00, 0.00, 0.27, 0.00]) 를 출력합니다.
- 디코더 기반 접근법: 세그멘테이션 토큰을 생성하여 간접적으로 예측하지만, 추가적인 학습 가능한 모듈 (Decoder) 이 필요하여 계산 비용과 주석 비용이 증가하고 일반화 능력이 제한적입니다.

2. 제안 방법론 (Methodology)

저자들은 좌표 예측의 복잡성을 해결하기 위해 객체 중심의 시각 프롬프트 (Object-Centric Visual Prompting) 패러다임과 강화 학습 (Reinforcement Learning, RL) 을 결합한 STVG-R1을 제안합니다.

A. 객체 중심 시각 프롬프트 (Object-Centric Visual Prompting)

개념: 프레임별 밀집된 좌표 예측을 간결한 인스턴스 식별 (Instance-level Identification) 문제로 재구성합니다.
구현 방식:
1. 비디오의 각 프레임에 객체 검출기 (YOLOv12) 와 SAM2 를 사용하여 객체를 탐지하고 추적합니다.
2. 각 객체에 고유하고 시간적으로 일관된 ID(숫자) 를 부여합니다.
3. 해당 ID 를 객체 중심에 시각적 프롬프트 (빨간색 숫자 마커) 로 오버레이하여 비디오에 삽입합니다.
4. VLM 은 이제 좌표를 직접 예측하는 대신, 질문에 해당하는 객체의 ID 와 시간 범위를 텍스트로 출력하도록 학습됩니다.
장점: 모달리티 간 좌표 정렬 문제를 회피하고, 모델이 객체 단위 추론을 수행하도록 유도하여 해석 가능성과 일반화 능력을 향상시킵니다.

B. STVG-R1 (강화 학습 프레임워크)

알고리즘: GRPO (Group Relative Policy Optimization) 를 기반으로 합니다.
보상 함수 (Reward Function): 작업 수행을 최적화하기 위해 세 가지 보상을 결합합니다.
1. 시간적 IoU 보상 ( $r_t$ ): 예측된 시간 구간과 정답 시간 구간의 겹침 정도 (IoU) 를 측정.
2. 공간적 일관성 보상 ( $r_s$ ): 예측된 객체 ID 가 정답과 일치하고, 해당 시간 구간 내에서 객체가 존재하는지 확인 (0 또는 1 의 희소 보상).
3. 형식 준수 보상 ( $r_f$ ): 모델이 <thought>...</thought>와 <answer>...</answer> 태그를 사용하여 추론 과정을 명시적으로 생성하도록 유도.
학습 전략: 주어진 비디오 - 텍스트 쌍에 대해 여러 개의 응답을 생성하고, 그룹 내 상대적 이득 (Advantage) 을 계산하여 정책을 업데이트합니다.

3. 주요 기여 (Key Contributions)

새로운 프롬프팅 패러다임: 복잡한 프레임별 좌표 회귀를 간결한 객체 ID 식별 작업으로 전환하는 객체 중심 시각 프롬프트를 도입했습니다. 이는 추가적인 학습 가능한 디코더 없이도 적용 가능합니다.
STVG-R1 프레임워크: STVG 작업에 특화된 첫 번째 강화 학습 프레임워크를 제안했습니다. GRPO 알고리즘을 활용하여 시간적 정확도, 공간적 일관성, 구조적 형식을 동시에 최적화합니다.
압도적인 성능 및 일반화: 6 개의 벤치마크에서 SOTA 를 달성했으며, 특히 훈련 데이터에 포함되지 않은 다중 객체 참조 비디오 객체 분할 (Multi-Object Referring Video Object Segmentation) 작업에서도 뛰어난 제로샷 (Zero-shot) 성능을 보여주었습니다.

4. 실험 결과 (Results)

HCSTVG-v2 벤치마크:
- 기존 SOTA 모델인 Qwen2.5-VL-7B 대비 m IoU 에서 20.9% 향상을 기록했습니다.
- SpaceVLLM 과 같은 기존 VLM 기반 모델 대비 시간적 및 공간적 정확도 모두에서 유의미한 개선을 보였습니다.
ST-Align 벤치마크:
- 공간 - 시간 비디오 그라운딩 및 공간 비디오 그라운딩 작업에서 LLaVA-ST 를 능가하는 성능을 달성했습니다.
MeViS (다중 객체 분할):
- 단일 객체 STVG 데이터로만 훈련되었음에도 불구하고, 다중 객체 참조 비디오 객체 분할 작업에서 J & F 점수 47.3% 를 기록하여 SOTA를 달성했습니다. 이는 제안된 방법론이 복잡한 다중 객체 시나리오로 강력하게 일반화됨을 의미합니다.
제로샷 성능:
- 추가 학습 없이도 InternVL3, Qwen2.5-VL, Qwen3-VL 등 다양한 VLM 백본에서 시각 프롬프트를 적용했을 때 성능이 크게 향상되었습니다.

5. 의의 및 결론 (Significance)

할루시네이션 해결: 시각적 좌표와 텍스트 간의 직접적인 정렬 실패로 인한 할루시네이션을 시각 프롬프트를 통한 객체 식별 문제로 변환함으로써 효과적으로 해결했습니다.
효율성: 추가적인 어댑터나 복잡한 디코더를 도입하지 않고, 기존 VLM 에 시각적 마커와 강화 학습을 적용하여 높은 성능을 달성했습니다.
범용성: 단순한 객체 식별 (ID) 로 추론을 단순화함으로써, 훈련되지 않은 다중 객체 분할 작업이나 시간적 그라운딩 작업 등 다양한 다운스트림 작업으로의 전이 학습 (Transfer Learning) 능력이 탁월함을 입증했습니다.

이 논문은 비디오 이해 분야에서 강화 학습과 시각적 프롬프팅의 결합이 기존 좌표 예측 기반 방법론의 한계를 극복하고 새로운 SOTA 를 설정할 수 있음을 보여줍니다.