SCOUT: Self-Checking and Recovery-Aware Tool-Thought Agents for Ultra-Long Egocentric Video Reasoning

기술 요약: 초장기 에고센트릭 비디오 추론을 위한 SCOUT

문제 정의

초장기 에고센트릭 비디오 이해는 독특한 과제를 제시합니다: 추론은 몇 시간 또는 며칠에 걸친 시간적 지평(temporal horizons)에 대해 이루어져야 하며, 여기서 관련 증거는 시간적으로 희소하고 긴 간격에 걸쳐 분산되어 있습니다. 현재의 멀티모달 거대 언어 모델(MLLM)은 제한된 컨텍스트 윈도우와 손실이 있는 시각적 압축으로 인해 이러한 과제를 해결하는 데 어려움을 겪으며, 시간적 범위(temporal coverage)와 증거의 충실도(evidence fidelity) 사이에서 절충안을 선택해야 하는 상황에 직면해 있습니다.

Chain-of-Tool-Thought (CoTT) 프레임워크가 추론을 반복적인 도구 호출(검색, 검사, 검증)로 분해하여 이를 해결하려고 시도하지만, 기존 에이전트들은 되돌릴 수 없는 조기 확정(irreversible early commitment) 문제를 겪습니다. 이들은 일반적으로 경직되고 단조로운 "조대-정밀(coarse-to-fine)" 줌인 전략을 채택합니다. 일단 초기 시간 영역이 선택되면 에이전트는 해당 근방 내에서 정밀화 작업을 수행하며, 초기 가설이 틀렸을 경우 이를 회복할 메커니즘이 부족합니다. 초장기 비디오에서 초기 시간 영역을 놓치면 관련 증거가 영구적으로 배제되어 오류가 전파됩니다. 나아가, 이러한 에이전트를 학습시키는 것은 어렵습니다. 표준 강화 학습(RL) 방법은 희소한 결과 수준의 보상에 의존하기 때문에, 중간 검색 결정에 대한 세밀한 크레딧 할당(credit assignment)을 제공하지 못하거나 외부 도구 관찰로 인해 발생하는 높은 불확실성을 처리하지 못하기 때문입니다.

방법론

저자들은 회복 가능성을 고려한 에이전트 프레임워크인 SCOUT(Self-Checking Chain-Of-Tool-thought)와 새로운 학습 전략인 UPS-GRPO를 제안합니다.

1. SCOUT: 회복 인식 추론 정책 (Recovery-Aware Reasoning Policy)

SCOUT는 단조로운 정밀화 제약을 깨뜨리는 명시적인 자기 점검(self-checking) 메커니즘을 통해 표준 CoTT를 확장합니다.

• 비단조적 탐색 공간 (Non-Monotonic Search Space): $S_{t+1} \subseteq S_t$(엄격한 줌인)를 강제하는 대신, SCOUT는 에이전트가 현재 영역을 정밀화($S' \subseteq S_t$)하거나 다른 시간 영역으로 전환($S' \sim S_t$)할 수 있는 통합된 전이 집합을 정의합니다.
• 자기 점검 메커니즘 (Self-Checking Mechanism): 에이전트는 도구 관찰의 정보성과 일관성을 평가합니다. 만약 증거가 모호하거나, 약하거나, 쿼리와 일치하지 않는 경우, 정책은 잘못된 경로를 맹목적으로 정밀화하는 대신 대안적인 시간적 가설을 탐색하도록 전략을 동적으로 전환합니다.
• 도구 세트 (Toolset): 에이전트는 세 가지 비디오 지향 도구를 활용합니다:
  • RAG: 텍스트 기반 시간적 검색.
  • VideoSeg: 국소화된 비디오 세그먼트 분석.
  • FrameProbe: 특정 프레임에 대한 미세한 시각적 검사.

2. UPS-GRPO: 불확실성 우선순위 정책 최적화 (Uncertainty-Prioritized Policy Optimization)

이러한 멀티 턴 에이전트를 효과적으로 학습시키기 위해, 저자들은 도구 증강 추론을 위해 설계된 GRPO의 변형인 UPS-GRPO를 도입합니다.

• 불확실성 우선순위 선택 (Uncertainty-Prioritized Selection): 도구 사용 후의 상태가 분포 변화와 높은 불확실성을 유발한다는 점을 인식하여, UPS-GRPO는 탐색 예산을 재할당합니다. 모든 궤적을 균등하게 확장하는 대신, 불확실성이 높은 상태에서 여러 후보 연속성을 샘플링하고 가장 불확실한 브랜치만을 다음 롤아웃(rollout)을 위해 유지합니다. 이는 정책이 가장 확신이 없는 결정적 지점에 계산 자원을 집중시킵니다.
• 턴 단위 어드밴티지 반-분리 (Turn-Based Advantage Semi-Decoupling): 희소한 보상 문제를 해결하기 위해, 시간적 정렬(예: ground-truth 구간과의 IoU) 및 의미론적 일관성에 기반한 턴 단위 보상을 계산하는 턴 단위 어드밴티지 분해를 도입합니다. 이 턴 단위 신호는 전역 궤적 수준의 어드밴티지에 대한 **곱셈 변조 인자(multiplicative modulation factor)**로 사용되며, 단순한 가산 보상이 아닙니다. 이는 전역 최적화 방향(최종 답변의 정확성)을 보존하면서도, 중간 단계에 대한 더 세밀한 도구 기반 신호를 주입하여 크레딧 할당을 개선합니다.

3. 데이터 구축 파이프라인

저자들은 3단계 파이프라인을 통해 약 8k의 궤적으로 구성된 RA-CoTT(Recovery-Aware Chain-of-Tool-Thought) 데이터셋을 구축했습니다.

1. 조대-정밀 생성 (Coarse-to-Fine Generation): 고품질의 올바른 추론 궤적을 생성하고 검증합니다.
2. 오류 주입 (Error Injection): 현실적인 검색 실패를 시뮬레이션하기 위해 궤적에 합성된 오류(잘못된 검색 세그먼트)를 삽입합니다.
3. 회복 정교화 (Recovery Refinement): 추론 흔적을 명시적으로 수정하여 자기 수정 행동을 포함하도록 함으로써, 모델이 이전의 실수를 인식하고 회복하는 법을 배우게 합니다.

주요 기여

1. SCOUT 프레임워크: 탐색 불확실성을 명시적으로 모델링하여 로컬 정밀화와 시간적 재탐색 사이의 동적 전환을 가능하게 함으로써, 조기 확정 실패 모드를 완화하는 회복 인식 추론 정책을 제공합니다.
2. UPS-GRPO: 불확실성이 높은 도구 후 상태에 집중함으로써 탐색 효율을 높이고, 장기 과제에 대한 더 나은 크레딧 할당을 위해 턴 단위 반-분리 어드밴티지 공식을 도입한 불확실성 우선순위 RL 전략입니다.
3. RA-CoTT 데이터셋 및 학습 패러다임: 회복 인식 궤적을 생성하는 확장 가능한 데이터 합성 파이프라인과, 확장 가능한 롱 비디오 에이전트를 위한 입증된 2단계 SFT+RL 학습 레시피를 제공합니다.

실험 결과

본 방법론은 네 가지 벤치마크(Video-MME (long), EgoLifeQA, Ego-R1 Bench, HourVideo)에서 평가되었습니다.

• 성능: SCOUT-7B는 초장기 에고센트릭 벤치마크(EgoLifeQA 및 Ego-R1 Bench)에서 최첨단(SOTA) 결과를 달성하였으며, 기존 에이전트 기반 시스템(예: Ego-R1, VideoAgent)을 크게 앞지르고 오픈 소스 모델들과 경쟁할 만한 성능을 보였습니다.
  • EgoLifeQA (44.3시간의 비디오)에서 SCOUT는 **47.6%**의 정확도를 달성하여, 이전 최고 오픈 소스 에이전트(Ego-R1, 38.5%)보다 9.1포인트 높은 성능을 기록했습니다.
  • Ego-R1 Bench에서 **49.0%**를 달성하여, Ego-R1 대비 6.0포인트 향상되었습니다.
  • Video-MME (long)과 같은 짧은 호흡의 벤치마크에서도 **63.0%**의 정확도로 경쟁력을 유지했습니다.
• 절제 연구 (Ablation Studies):
  • SFT vs. RL: SFT는 도구 사용을 위한 필요한 구문적 구조(syntactic scaffold)를 제공하는 반면, RL은 일반화와 회복 전략 학습에 필수적입니다. 전체 SFT+RL 파이프라인이 최상의 결과를 냈습니다.
  • UPS-GRPO: 불확실성 우선순위 선택을 제거하면 장기 호흡 과제에서의 성능이 저하되고 추론 체인이 덜 효율적(더 많은 턴 발생)이 됩니다.
  • 크레딧 할당: 곱셈 방식의 턴 단위 변조를 가산 보상 형성(additive reward shaping)으로 대체하면 성능이 저하되어, 전역 최적화 방향을 유지하면서 로컬 크레딧을 정교화하는 것의 중요성을 확인시켜 주었습니다.
  • 학습 역학 (Training Dynamics): 턴 단위 보상과 UPS의 포함은 더 안정적인 그래디언트 노름(gradient norms)과 학습 단계에 따른 추론 복잡도(적은 턴 수)의 빠른 수렴을 이끌어냈습니다.

의의

본 논문은 효과적인 초장기 비디오 추론이 단순히 계층적 도구 사용이 아니라, **회복 인식 탐색(recovery-aware exploration)**과 **도구 기반의 중간 감독(tool-grounded intermediate supervision)**에 근본적으로 달려 있다고 주장합니다. 탐색 과정을 단조로운 줌인에서 적응적이고 자기 점검적인 증거 추구 과정으로 전환함으로써, SCOUT는 장기 설정에서의 핵심 실패 모드인 조기 확정을 해결합니다. 제안된 UPS-GRPO와 데이터 파이프라인은 초장기 에고센트릭 비디오 이해에 내재된 희소한 증거와 높은 불확실성을 탐색할 수 있는 에이전트를 학습시키기 위한 강력한 솔루션을 제공합니다.