기술 요약: 반사실적 강화 학습을 통한 비디오 LLM 의 시공간 민감도 학습

1. 문제 제기

비디오 대규모 언어 모델 (Video LLM) 은 표준 벤치마크에서 강력한 성능을 달성했으나, 최근 연구들은 높은 정확도가 진정한 시공간 이해가 아닌 "단순화 (shortcuts)"에서 비롯된 경우가 많음을 시사합니다. 모델들은 종종 정적 단서 (예: 단일 프레임 특징) 나 언어적 사전 지식을 의존하여 질문에 답변하며, 시간이 지남에 따라 사건이 어떻게 전개되는지 추적하는 데 실패합니다. 이러한 문제는 강화 학습 (RL) 후 학습 (post-training) 과정에서 더욱 악화됩니다. GRPO 와 같은 표준 RL 방법은 일반적으로 정답 여부만을 보상하는 방식을 사용합니다. 만약 모델이 정적 단서를 사용하여 질문에 정확하게 답변할 수 있다면, 동적인 비디오 콘텐츠를 처리하는 법을 배우지 않은 채도 높은 보상을 받게 됩니다. 결과적으로 정답 여부만을 기준으로 하는 RL 은 이러한 단순화 정책을 강화하여 벤치마크 점수는 높이는 반면, 모델의 동적 증거에 대한 민감도는 약화시킬 수 있습니다.

이 문제를 해결하려는 기존 시도들 (예: 보상 형성을 위해 교란된 비디오 (예: 셔플된 프레임 또는 시간 역전) 를 사용하는 방법) 은 종종 교란된 비디오를 원래 분기에 대한 진단 신호로만 취급합니다. 이는 반사실적 입력 자체를 정책 학습에 적극적으로 활용하지 않아 일관된 시공간 추론을 강제하는 능력을 제한합니다.

2. 방법론: 반사실적 관계 정책 최적화 (CRPO)

저자들은 시공간 민감도를 향상시키기 위해 설계된 이중 분기 RL 프레임워크인 **반사실적 관계 정책 최적화 (Counterfactual Relational Policy Optimization, CRPO)**를 제안합니다. 핵심 통찰력은 모델이 통제된 반사실적 시각 세계에 대해 예측 가능하게 반응해야 한다는 점입니다. 즉, 질문은 고정된 채 시각적 증거가 변경될 때, 동적 질문의 경우 답변이 변경되어야 하고 (등변성), 정적 질문의 경우 답변이 동일하게 유지되어야 합니다 (불변성).

2.1 이중 분기 아키텍처

CRPO 는 각 학습 프롬프트에 대해 두 개의 병렬 분기를 유지함으로써 표준 GRPO 프레임워크를 확장합니다:

1. 원래 분기 (Original Branch): 원래 비디오 $X$와 질문 $Q$를 처리합니다.
2. 반사실적 분기 (Counterfactual Branch): 변환된 비디오 $X_T$와 동일한 질문 $Q$를 처리합니다.

태스크 라우터(텍스트 전용 추론 모델로 구현됨) 는 가상의 변환 테스트 (예: "우리가 세계를 수평으로 뒤집으면 답변이 변경될까요?") 를 기반으로 질문을 공간적, 시간적, 시공간적, 또는 정적 중 하나로 분류합니다. 이 분류에 따라 특정 변환 $T$가 적용됩니다:

• 공간적/시간적/시공간적: 수평 뒤집기 또는 시간 역전.
• 정적: 변환이 적용되지만, 보상 신호는 답변의 불변성을 장려합니다.

2.2 반사실적 관계 보상 (CRR)

핵심 혁신은 두 분기를 연결하는 **반사실적 관계 보상 (Counterfactual Relation Reward, CRR)**입니다. 기존 방법들이 교란을 원래 분기의 보상 형성을 위해만 사용한 것과 달리, CRPO 는 두 분기 모두의 기울기를 사용하여 정책을 업데이트합니다.

보상 함수는 다음을 결합합니다:

• 정확도 보상 ($R_{correct}$): 원래 분기에 대한 표준 정확도 보상.
• 행동 보상 ($R_{behave}$): 반사실적 분기에 적용됩니다. 동적 작업의 경우 답변이 변경될 때 ($o^T \neq o^*$) 그리고 정적 작업의 경우 답변이 정확히 유지될 때 ($o^T = o^*$) 모델을 보상합니다.
• 교차 분기 관계 항 ($R_{CRR}$):
  • 원래 분기의 경우, 원래 답변이 정확하다는 전제 하에 반사실적 분기의 답변이 기대되는 행동을 보일 때 (동적일 경우 변경, 정적일 경우 동일 유지) 정책을 보상합니다.
  • 반사실적 분기의 경우, 반사실적 답변이 기대되는 행동을 보일 때 원래 분기가 정확하면 정책을 보상합니다.

이는 대칭적인 상호 보상 구조를 생성합니다. 모델이 원래 비디오에 대해 정확하게 답변하고 동시에 반사실적 비디오에서 올바른 관계 행동을 보여줄 때만 가장 높은 보상을 받습니다. 이는 비디오 변환 Regardless 로 동일한 답변을 주는 단순화 정책이 두 분기 모두에서 일관되게 보상을 극대화하는 것을 어렵게 만듭니다.

2.3 최적화 및 널 옵션 (Null Option)

CRPO 는 안정된 학습을 보장하기 위해 두 분기 (2G 개 값) 에 걸쳐 표준 편차를 공동으로 계산하는 하이브리드 정규화 전략을 사용하여 이득 (advantages) 을 처리합니다. 반사실적 비디오의 정답이 원래 객관식 옵션에 존재하지 않는 경우 (예: 역전된 비디오가 다른 방향을 시사함) 를 처리하기 위해 "위험 없음 (None of the above)"(널 옵션) 이 추가됩니다. 동적 작업에서 이 옵션을 선택하는 것은 유효한 답변 변경으로 간주되어 명시적인 반사실적 정답 레이블 없이도 등변성 보상을 유발합니다.

3. 주요 기여

1. CRPO 프레임워크: 반사실적 관계 보상을 사용하여 시공간 민감도를 강제하는 간단한 이중 분기 RL 확장입니다. 이는 비용이 많이 드는 시공간 주석이나 반사실적 레이블 없이도 원래 및 반사실적 분기 모두에서 학습하여 단순화 의존을 억제합니다.
2. DyBench: 가역적 동역학(예: 피는 대 닫는), 이동 방향, 사건 순서의 세 가지 하위 작업을 다루는 3,014 개의 비디오 (1,507 쌍) 로 구성된 새로운 쌍을 이루는 반사실적 벤치마크입니다.
3. 엄격한 평가 지표: 원래 및 반사실적 비디오 모두 정확하게 답변된 경우에만 쌍을 정답으로 간주하는 **쌍 정확도 (Pair Accuracy, P-Acc)**의 도입입니다. 이 지표는 모델이 고정된 답변 단순화를 사용하여 점수를 인플레이션하는 것을 방지합니다.

4. 실험 결과

실험은 Qwen3-VL-4B 및 Qwen3-VL-8B 백본을 사용하여 CRPO 를 표준 GRPO, T-GRPO, ArrowRL 과 비교했습니다.

• 시공간 민감도: CRPO 는 시공간 민감도 벤치마크에서 모든 베이스라인을 크게 능가합니다. Qwen3-VL-8B 에서 CRPO 는 기본 모델 대비 DyBench P-Acc 를 +7.7, TimeBlind I-Acc 를 +8.2만큼 향상시켰습니다. 쌍을 이루는 지표 (P-Acc) 에 대한 향상은 표준 정확도보다 불균형적으로 커서 단순화 의존의 진정한 감소를 나타냅니다.
• 일반 성능: CRPO 는 일반 비디오 이해 벤치마크 (VideoMME, MVBench) 에서 경쟁력 있는 성능을 유지하여 시공간 민감도 강제가 일반 능력을 저하시키지 않음을 보여줍니다.
• 절대 연구 (Ablation Studies):
  • 교차 분기 CRR 보상 또는 반사실적 분기 자체를 제거하면 P-Acc 가 크게 감소하여 관계 신호와 이중 분기 최적화가 필수적임을 확인했습니다.
  • CRPO 의 향상은 단순히 증가된 데이터 또는 계산량 (롤아웃 두 배) 으로 설명될 수 없으며, 데이터/롤아웃을 두 배로 늘린 제어 실험은 쌍을 이루는 지표에서 CRPO 의 성능을 따라가지 못했습니다.
• 학습 역학: CRPO 는 베이스라인에 비해 정답 보상에서 초기 수렴이 느린 것을 보여주어 초기 단순화 학습을 억제함을 시사합니다. 그러나 더 풍부한 학습 신호를 나타내는 제로 이득 그룹의 비율을 낮게 유지하면서 유사한 최종 정확도로 수렴합니다.

5. 의미 및 주장

이 논문은 CRPO 가 정적 단순화들이 충족하기 어려운 시공간 민감도에 대한 직접적인 학습 신호를 제공한다고 주장합니다. 사실적 및 반사실적 비디오에 대한 답변 간의 관계를 명시적으로 보상함으로써 CRPO 는 모델이 정적 사전 지식이 아닌 비디오의 동적 콘텐츠에 추론을 근거로 하도록 강제합니다.

저자들은 DyBench 와 쌍 정확도 지표를 진정한 시공간 이해와 단순화 기반 성공을 구별하는 필수 진단 도구로 위치시킵니다. 그들은 CRPO 가 동적 작업의 성능을 향상시키지만 일반 비디오 이해를 희생하지는 않는다고 결론지으며, 이는 시각적 상태가 시간에 따라 어떻게 변화하는지에 더 민감한 비디오 LLM 을 향한 한 걸음을 제공합니다. 이 작업은 단순한 기하학적/시간적 변환으로의 제한과 짧은 비디오에 대한 초점과 같은 한계를 인정하며, 더 복잡한 의미론적 반사실적 요소는 향후 연구 과제로 남깁니다.