기술 요약: FeVOS - 미래 예측 표현 비디오 객체 분할 (Foresight Expression Video Object Segmentation)

문제 정의

기존의 참조 비디오 객체 분할(Referring Video Object Segmentation, RVOS) 작업은 관찰된 프레임 내의 언어 표현을 근거로 찾는 데 국한되어 있으며, 이미 발생한 정적 속성, 외형 또는 사건에 집중합니다. 이러한 패러다임은 자율 주행이나 로봇 계획과 같은 실제 응용 분야에서 필수적인 사전 결정적 시공간 추론(pre-decisive spatio-temporal reasoning) 능력이 부족합니다.

저자들은 새로운 작업인 **미래 예측 표현 비디오 객체 분할(Foresight Expression Video Object Segmentation, FeVOS)**을 제안합니다. 이 작업에서 모델은 비디오 클립과 "미래 예측 표현"(예: "어떤 도구가 사용될 것인가?")을 부여받습니다. 모델은 관찰된 프레임(이벤트 발생 전)을 바탕으로 추론하여, 다가올 행동에 관여할 객체(들)를 예측하고, 관찰된 프레임 내 해당 객체들에 대한 픽셀 수준의 분할 마스크를 출력해야 합니다. 이는 세계 지식(world knowledge)과 인과적 추론을 사용하여 현재의 시각적 단서와 미래의 결과 사이의 간극을 메우는 것을 요구합니다.

방법론

1. FeVOS 데이터셋

이 작업을 지원하기 위해 저자들은 엄격한 5단계 파이프라인을 통해 FeVOS 데이터셋을 구축했습니다:

• 비디오 수집: 에고센트릭 활동 및 교육용 영상을 포함하는 다양한 벤치마크(COIN, STAR, CLEVR, OOPS, EPIC-KITCHENS-VISOR)에서 소스를 확보했습니다.
• 자동 필터링: Qwen2.5-VL을 사용하여 명확한 인과 관계 서사, 다수의 상호작용하는 객체, 그리고 관찰 가능한 실행 가능한 단서가 있는 영상을 필터링했습니다.
• 수동 분할: 전문가 검수자가 영상을 "관찰된 부분"과 "미래 부분"으로 나누어, 관찰된 부분이 미래의 이벤트에 대한 암시적 단서를 포함하도록 보장했습니다.
• 표현 주석 생성: 검수자가 미래 예측 표현(예: "집어 들릴 객체")을 설계하고, 검증자가 미래 프레임을 보지 않고도 예측적 추론을 통해 타겟을 식별할 수 있는지 확인하는 2단계 과정을 거쳤습니다.
• 마스크 및 CoT 주석: SAM2를 사용하여 픽셀 수준의 마스크를 생성하고, 2,904개의 합성 사고 사슬(Chain-of-Thought, CoT) 주석을 생성했습니다. 이 CoT 주석은 예측에 도달하기 위해 필요한 추론 단계(시간적 맥락, 공간적 단서, 인과 관계 분석)를 명시적으로 상세히 설명합니다.

최종 데이터셋은 968개의 비디오 클립, 14,525개의 미래 예측 표현, 2,904개의 CoT 주석으로 구성됩니다.

2. FeVOS-R1 모델 아키텍처

저자들은 Sa2VA(InternVL2.5와 SAM2를 통합) 프레임워크를 기반으로 한 멀티모달 대규모 언어 모델(MLLM)인 FeVOS-R1을 개발했습니다. 이 모델은 2단계 파이프라인을 통해 학습됩니다:

• 1단계: CoT를 활용한 지도 미세 조정 (SFT)

  • 모델은 합성된 CoT 데이터셋으로 미세 조정됩니다.
  • 모델은 특수 토큰인 [SEG]를 출력하기 전에 (시각적 단서와 인과 관계를 분석하는) 단계별 추론 과정을 생성하는 법을 배웁니다.
  • 손실 함수에는 픽셀 단위 교차 엔트로피(cross-entropy), Dice 손실, 그리고 텍스트 생성 손실이 포함됩니다.
  • 이 단계는 추론 패턴과 출력 형식을 확립합니다.

• 2단계: GRPO를 활용한 강화 학습 (RL)

  • 모델은 **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**를 거칩니다.
  • 보상 설계: 복잡한 형식 보상(예: JSON 구조)에 의존하는 기존 연구와 달리, FeVOS-R1은 예측된 마스크와 실제 마스크 사이의 교집합/합집합 비율인 IoU 기반 정확도 보상($R_{IoU}$) 하나만을 사용합니다.
  • 저자들은 SFT 이후에 형식 제약이 불필요하며, IoU를 통한 분할 정확도에만 집중하는 것이 더 나은 성능을 낸다는 것을 발견했습니다.
  • 이 단계는 분할 품질을 직접적으로 최대화하도록 추론 사슬을 최적화합니다.

주요 기여

1. 작업 공식화: 관찰된 이벤트를 근거로 하는 RVOS를 암시적 시각적 단서를 바탕으로 미래 이벤트를 예측하는 것으로 전환하는 미래 예측 표현 비디오 객체 분할을 도입했습니다.
2. 데이터셋 (FeVOS): 968개의 영상, 14,525개의 미래 예측 표현, 2,904개의 CoT 주석이 포함된 큐레이션된 데이터셋을 구축하여, 비디오 객체 분할에서의 예측적 추론을 위한 첫 번째 벤치마크를 제공합니다.
3. 모델 (FeVOS-R1): CoT 가이드 SFT와 엔드 투 엔드 보상을 결과로 하는 RL을 결합한 2단계 학습 프레임워크를 통해 새로운 작업에서 최첨단(SOTA) 성능을 달면합니다.

실험 결과

FeVOS에서의 성능

• 제로샷 베이스라인: 기존 RVOS 모델(예: ReferFormer, LMPM) 및 비디오 기반 MLLM(예: VideoLISA, VRS-HQ)은 J&F 점수가 31.0 미만으로 나타나 매우 고전하며, 이는 예측적 추론 능력의 부재를 나타냅니다.
• 미세 조정된 베이스라인: (CoT/RL 없이) Sa2VA를 표준 미세 조정했을 때 성능은 35.8 J&F로 향상됩니다.
• FeVOS-R1: 제안된 방법은 42.3 J&F를 달성하여, SFT 전용 베이스라인 대비 +6.5의 향상을 보였습니다. 이는 명시적인 추론 사슬과 보상 유도 최적화의 필요성을 입증합니다.

일반화 성능

• ReVOS & MeViS: FeVOS-R1은 전통적인 RVOS 벤치마크에서도 잘 일반화됩니다. ReVOS에서 60.3 J&F를 달성하여 미세 조정된 Sa2VA 베이스라인(58.1)과 제로샷 모델들을 능가했으며, 특히 추론 서브셋에서 두드_러졌습니다. MeViS에서는 49.5 J&F에 도달하여 유사한 규모의 모델들을 앞질렀습니다.
• 절제 연구 (Ablation Studies):
  • 2단계 파이프라인(SFT + RL)이 SFT 전용 또는 RL 전용 학습보다 우수합니다.
  • RL 단계에서 IoU 보상만을 사용하는 것이 형식 보상과 결합했을 때보다 성능이 좋았는데, 이는 SFT에서 형식이 한 번 학습되면 모델이 순수하게 작업 정확도에 집중할 때 더 큰 이득을 얻음을 시사합니다.

정성적 분석

정성적 비교를 통해 FeVos-R1이 시간적 맥락과 인과 관계(예: 압력 때문에 코르크가 튀어나올 것을 예측하거나, 진행 중인 동작을 바탕으로 세탁 봉투가 채워질 것을 예측함)를 성공적으로 분석하는 반면, 베이스라인 모델들은 관찰된 객체와 미래 타겟을 구분하지 못하는 경우가 많음을 보여줍니다.

의의 및 주장

본 논문은 FeVOS가 픽셀 수준의 비디오 이해를 **관찰에서 예측(anticipation)**으로 진전시킨다고 주장합니다. FeVOS에서의 절대적인 성능(42.3 J&F)이 전통적인 RVOS 벤치마크(예: ReVOS의 60.3)보다 낮다는 점은 예측적 추론의 본질적인 어려움을 강조합니다. 이 연구는 현재의 모델들이 능동적인 의사결정에 필요한 시공간적 추론과 세계 지식이 부족함을 부각합니다.

저자들은 이 연구를 예측적 시각 이해(anticipatory visual understanding) 연구를 위한 토대로 설정하며, FeVOS-R1이 강력한 잠재력을 보여주었지만 컨텍스트 스케일링, 일시적 단서 모델링, 불확실성 처리, 실시간 추론 구현 등의 과제가 남아있다고 언급했습니다.