💻 computer science

STRIVE: Structured Spatiotemporal Exploration for Reinforcement Learning in Video Question Answering

이 논문은 비디오 질문 응답 (Video QA) 작업에서 그룹 기반 정책 최적화의 한계를 극복하기 위해, 시공간적 변형을 활용한 구조화된 탐색과 중요도 인식 샘플링을 도입한 강화 학습 프레임워크인 STRIVE 를 제안하고 다양한 벤치마크에서 우수한 성능을 입증합니다.

원저자: Emad Bahrami, Olga Zatsarynna, Parth Pathak, Sunando Sengupta, Juergen Gall, Mohsen Fayyaz

게시일 2026-04-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Emad Bahrami, Olga Zatsarynna, Parth Pathak, Sunando Sengupta, Juergen Gall, Mohsen Fayyaz

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🍳 문제: "같은 재료로만 요리하면 맛이 안 변해요!"

기존의 AI 학습 방법 (GRPO 라고 부름) 은 다음과 같은 문제를 겪고 있었습니다.

상황: AI 요리사에게 "이 비디오를 보고 질문에 답해라"라고 시켰습니다.
기존 방식: AI 는 동일한 비디오를 한 번만 보고, 그걸 바탕으로 여러 가지 답변 (예: "A", "B", "C") 을 만들어냅니다.
문제점: 만약 AI 가 만든 모든 답변이 다 비슷하게 맞거나, 다 비슷하게 틀렸다면?
- AI 는 "어떤 답변이 더 나은지" 구분할 수 없게 됩니다. (모두 점수가 비슷하니까요.)
- 마치 같은 재료를 가지고 8 번이나 같은 요리를 해본 것과 같습니다. "어떤 요리가 더 맛있는지" 알 수 없으니, 요리사 (AI) 는 더 이상 발전할 수 없게 됩니다. 이를 논문에서는 **'보상 붕괴 (Reward Collapse)'**라고 부릅니다.

🚀 해결책: STRIVE (스트라이브)

STRIVE 는 이 문제를 해결하기 위해 **"비디오의 시점 (관점) 을 바꿔보자!"**라고 제안합니다.

1. "비디오를 여러 각도로 잘라보세요" (시공간적 변형)

STRIVE 는 AI 에게 동일한 비디오를 그대로 보는 게 아니라, 같은 비디오를 여러 가지 방식으로 잘라내어 보여줍니다.

예시:
- 버전 A: 비디오의 앞부분을 강조해서 보여줌.
- 버전 B: 비디오의 뒷부분을 강조해서 보여줌.
- 버전 C: 중요한 장면만 뽑아서 보여줌.
효과: 이제 AI 는 같은 질문에 대해 서로 다른 비디오 버전을 보고 답변을 만들어냅니다.
- "아, 이 버전에서는 이 부분이 중요했구나!"
- "저 버전에서는 저 부분이 핵심이었구나!"
- 이렇게 되면 AI 는 어떤 답변이 진짜 비디오의 핵심을 잘 파악했는지 훨씬 더 명확하게 구분할 수 있게 됩니다.

2. "중요한 장면을 찾아서 집중하세요" (중요도 인식 샘플링)

그런데 비디오를 무작위로 자르면 중요한 장면을 놓칠 수도 있습니다. STRIVE 는 질문과 가장 관련 깊은 장면을 찾아내어 집중적으로 보여줍니다.

비유: 여행 가이드가 "이 여행에서 가장 중요한 명소 3 곳만 보여드릴게요"라고 말하며, irrelevant(무관한) 풍경은 과감히 잘라냅니다.
방법: AI 가 "이 질문을 답하려면 이 장면이 가장 중요해!"라고 판단하면, 그 장면을 확실히 포함시켜서 비디오 버전을 만듭니다. 하지만 동시에 우연히 놓칠 수도 있는 다른 장면들도 조금씩 섞어서 보여줍니다. (너무 한곳만 보지 않도록요.)

🎓 왜 이것이 중요한가요? (핵심 메커니즘)

STRIVE 는 두 가지 차원에서 AI 를 훈련시킵니다.

답변의 다양성: 같은 비디오를 보고 여러 가지 답을 내게 함.
비디오의 다양성: 같은 질문을 다른 버전의 비디오로 보고 답을 내게 함.

이 두 가지를 섞어서 (2 차원 그리드처럼) 학습시키면, AI 는 **"단순히 말만 잘하는 게 아니라, 실제로 비디오를 잘 보고 있는가?"**를 엄격하게 테스트받게 됩니다.

기존 AI: "아, 이 단어는 보통 이렇게 쓰이지." (기억에 의존)
STRIVE AI: "아, 이 비디오의 이 부분에서 그 사람이 차를 탔구나! 그래서 이 답이 맞아." (시각적 증거에 의존)

이렇게 하면 AI 가 비디오를 볼 때 실제 내용을 더 잘 이해하게 되고, 학습이 훨씬 안정적으로 이루어집니다.

📊 결과: 실제로 효과가 있을까요?

논문의 실험 결과, STRIVE 는 기존 방법들보다 6 가지의 어려운 비디오 퀴즈에서 모두 더 좋은 성적을 거두었습니다.

비유: 기존 AI 가 "시험 문제를 외워서 맞힌" 학생이라면, STRIVE AI 는 "문제를 읽고 논리적으로 추론해서 맞힌" 학생입니다.
특히, 비디오의 시간 흐름 (누가 먼저 왔고, 누가 나중에 왔는지) 이나 공간적 위치 (무엇이 어디에 있는지) 를 파악하는 데 매우 강력했습니다.

💡 한 줄 요약

**STRIVE 는 AI 에게 "같은 비디오를 똑같이 보는 게 아니라, 다양한 각도와 중요한 순간을 골라보며 학습하게 함으로써, AI 가 비디오 내용을 진짜로 이해하도록 만드는 새로운 학습법"**입니다.

1. 문제 정의 (Problem)

비디오 질문 답변 (Video QA) 분야에서 대규모 멀티모달 모델 (LMMs) 의 성능을 향상시키기 위해 강화 학습 (RL) 이 도입되고 있습니다. 특히 그룹 기반 정책 최적화 (Group-based Policy Optimization, 예: GRPO) 는 여러 후보 응답을 샘플링하여 상대적 이득 (Advantage) 을 계산함으로써 학습을 유도합니다.

그러나 비디오 기반 추론에 기존 GRPO 를 적용할 때 다음과 같은 핵심 한계가 존재합니다:

이득 붕괴 (Advantage Collapse): 비디오 입력은 고정된 채 텍스트 응답만 다양화될 때, 생성된 응답들이 모두 정답이거나 모두 오답인 경우가 빈번합니다. 이 경우 그룹 내 보상 (Reward) 분산이 0 에 수렴하게 되어 이득 (Advantage) 계산 시 분모가 0 이 되거나 매우 작아져서 학습 신호가 불안정해지거나 사라집니다.
시각적 다양성 부재: 기존 방법은 텍스트 생성의 다양성만 고려할 뿐, 비디오 고유의 풍부한 시공간 (Spatiotemporal) 구조를 활용하지 못합니다. 이로 인해 모델이 특정 시공간 구성에 과적합되거나, 시각적 증거에 기반하지 않은 언어적 편향 (Language Priors) 에 의존하게 됩니다.

2. 방법론 (Methodology)

저자들은 STRIVE (SpatioTemporal Reinforcement with Importance-aware Variant Exploration) 라는 새로운 프레임워크를 제안합니다. 이는 텍스트 생성뿐만 아니라 입력 비디오의 시공간 변형 (Variants) 을 그룹 최적화 과정에 통합하는 구조입니다.

2.1 듀얼 그룹화 패러다임 (Dual-Grouping Paradigm)

기존 방식: 하나의 고정된 비디오 입력 ( $v$ ) 에 대해 $G$ 개의 텍스트 응답 ( $o_i$ ) 을 생성하여 1 차원 배열로 그룹화합니다.
STRIVE 방식: 하나의 비디오 입력에 대해 $M$ 개의 서로 다른 시공간 변형 (Visual Variants) 을 생성합니다. 각 변형마다 $G$ 개의 텍스트 응답을 생성하여 $G \times M$ 크기의 2 차원 응답 행렬을 구성합니다.
공동 정규화 (Joint Normalization): 모든 $G \times M$ $G \times M$ 개의 응답에 대해 보상을 계산하고, 이를 전체 풀 (Pool) 에서 평균과 표준편차를 기준으로 정규화하여 이득을 산출합니다.
- 이를 통해 텍스트 다양성뿐만 아니라 시각적 다양성도 보상 분산을 증가시켜 이득 붕괴를 방지합니다.
- 암시적 일관성 정규화 (Implicit Consistency Regularization): 서로 다른 시각적 변형 (예: 다른 프레임 조합) 에 대해 일관된 정답을 도출해야 하므로, 모델이 허위 언어적 편향에 의존하는 것을 억제하고 시각적 증거에 기반한 추론을 강제합니다.

2.2 중요도 인식 변형 구성 (Importance-Aware Variant Construction)

무작위적인 시각적 변형은 의미 없는 노이즈를 생성할 수 있으므로, 질문과 관련된 중요한 프레임을 선별하는 Importance-Aware Sampling 전략을 도입합니다.

프레임 관련성 점수 산출: 입력 질문 ( $q$ ) 과 각 프레임 ( $v_f$ ) 간의 교차 모달 임베딩 (Cross-modal embedding) 유사도를 계산하여 프레임별 관련성 점수 ( $s_f$ ) 를 매깁니다.
온도 스케일링 샘플링: 비디오를 시간적 세그먼트로 나누고, 각 세그먼트 내에서 관련성 점수에 비례하여 확률적으로 대표 프레임을 샘플링합니다 (Softmax sampling with temperature $\tau$ $τ$ ).
- 낮은 $\tau$ : 질문과 가장 관련 높은 프레임 집중 (탐색 - 활용 균형에서 활용 강조).
- 높은 $\tau$ : 더 넓은 시간적 범위 탐색.
이 방식은 중요한 시각적 단서를 유지하면서도 그룹 내 다양성을 확보하여 의미 있는 상대적 이득 추정을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

시공간 변형 통합 RL 프레임워크: 비디오 QA 를 위한 강화 학습에서 텍스트 생성뿐만 아니라 입력 비디오의 시공간 변형을 그룹 최적화에 통합한 최초의 체계적인 접근법 중 하나입니다.
이득 붕괴 해결: 텍스트 응답의 동질성으로 인한 보상 분산 감소 문제를 시각적 변형을 통해 해결하여, 안정적인 학습 신호를 제공합니다.
의미 기반 탐색 전략: 무작위 변형이 아닌, 질문 기반 중요도 (Importance-aware) 샘플링을 통해 모델이 관련 없는 프레임에 집중하는 것을 방지하고 핵심 시각적 증거에 기반한 추론을 유도합니다.
광범위한 벤치마크 검증: VideoMME, TempCompass, VideoMMMU 등 6 개의 난이도 높은 비디오 추론 벤치마크에서 기존 RL 기반 방법론 (GRPO, Video-R1 등) 보다 일관된 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

벤치마크 성능: 6 개의 벤치마크 (VideoMME, VSI-Bench, PerceptionTest, TempCompass, VideoMMMU, MMVU) 에서 STRIVE 는 Qwen2.5-VL-7B 및 Qwen3-VL-8B 기반 모델 모두에서 기존 GRPO 및 다른 RL 기법 (ArrowRL, Video-R1) 보다 평균 성능이 향상되었습니다.
- 예: Qwen2.5-VL-7B 기준 평균 점수가 GRPO(59.0) 대비 STRIVE(59.8) 로 상승.
- Qwen3-VL-8B 기준에서는 GRPO 가 일부 벤치마크에서 성능 저하를 보인 반면, STRIVE 는 모든 벤치마크에서 성능을 유지하거나 향상시켜 확장성 (Scalability) 을 입증했습니다.
학습 동역학 분석:
- 보상 분산: STRIVE 는 학습 전 과정에 걸쳐 GRPO 보다 높고 안정적인 보상 분산을 유지합니다.
- 제로 이득 (Zero-Advantage) 방지: GRPO 는 학습 중 그룹 내 보상이 동일해져 이득이 0 이 되는 경우가 빈번했으나, STRIVE 는 이를 효과적으로 억제하여 학습 신호의 공백을 방지했습니다.
- 그래디언트 안정성: GRPO 는 분산이 0 에 가까워질 때 그래디언트 노름이 급격히 변동 (Spikes) 하는 불안정성을 보였으나, STRIVE 는 매끄럽고 안정적인 그래디언트 경로를 유지했습니다.
Ablation Study:
- 변형 전략: 결정론적 (Deterministic) 변형보다는 확률적 (Stochastic) 및 중요도 기반 (Importance-based) 변형이 더 우수한 성능을 보였습니다. 특히 질문 기반의 중요도 샘플링 (Similarity-based) 이 가장 균형 잡힌 결과를 제공했습니다.
- 리소스 배분: 계산 예산 ( $M \times G = 8$ ) 을 고정했을 때, 시각적 변형 수 ( $M$ ) 와 텍스트 생성 수 ( $G$ ) 의 균형 ( $M=2, G=4$ ) 이 단일 비디오에 8 개 텍스트를 생성하는 것 ( $M=1, G=8$ ) 보다 더 좋은 성능을 냈습니다.

5. 의의 및 결론 (Significance)

STRIVE 는 비디오 멀티모달 강화 학습의 핵심 병목 현상인 보상 분산 부족과 이득 붕괴 문제를 해결하기 위해, 텍스트 생성의 다양성뿐만 아니라 입력 데이터 자체의 시공간적 구조를 활용한다는 점을 강조합니다.

원칙적 접근: 단순히 보상을 수정하거나 노이즈를 추가하는 것이 아니라, 최적화 공간 자체를 재구성하여 학습 신호의 질을 높였습니다.
강건한 추론: 모델이 특정 프레임이나 시나리오에 과적합되지 않고, 질문과 관련된 핵심 시각적 증거를 포착하여 일관된 추론을 수행하도록 유도합니다.
범용성: 제안된 변형 구성 전략은 GRPO 뿐만 아니라 Dr.GRPO 등 다른 그룹 기반 RL 알고리즘에도 플러그 앤 플레이 (Plug-and-play) 방식으로 적용 가능하여, 다양한 비디오 이해 작업에서 성능 향상을 기대할 수 있습니다.

결론적으로, STRIVE 는 비디오 QA 작업에서 구조화된 시공간 탐색 (Structured Spatiotemporal Exploration) 이 강화 학습의 안정성과 성능을 동시에 개선하는 필수적인 메커니즘임을 입증했습니다.