Deforming Videos to Masks: Flow Matching for Referring Video Segmentation

이 논문은 자연어 설명에 기반한 비디오 내 특정 객체 분할 (RVOS) 과제를 기존 파이프라인 방식의 한계를 극복하고 사전 학습된 텍스트 - 비디오 생성 모델의 강점을 활용하여, 비디오의 전체적 표현을 언어에 따라 직접 변형하여 마스크를 생성하는 새로운 생성형 프레임워크 'FlowRVS'로 재정의하고 모든 주요 벤치마크에서 최첨단 성능을 달성했다고 요약할 수 있습니다.

핵심

1. 기존 방식: "먼저 위치를 찍고, 그다음 자르세요" (Locate-then-Segment)

기존의 인공지능들은 이 작업을 두 단계로 나눴습니다.

• 1 단계 (위치 찾기): "흰 토끼"라는 말을 듣고 화면 어딘가에 '점'이나 '상자'를 찍어 위치를 대략적으로 파악합니다.
• 2 단계 (자르기): 그 점이나 상자 주변을 잘라내서 토끼 모양을 만듭니다.

문제점:
이 방식은 정보의 손실이 큽니다. 마치 "저기 있는 흰 토끼"라는 풍부한 설명을 "화면 중앙의 점"이라는 단순한 기호로 줄여버리는 것과 같습니다. 또한, 토끼가 움직일 때 처음 찍은 점과 실제 토끼의 움직임이 어긋나면, 인공지능은 혼란을 겪어 토끼를 놓치거나 엉뚱한 것을 잘라낼 수 있습니다.

2. FlowRVS 의 방식: "비디오를 점토처럼 변형시키기" (Flow Matching)

FlowRVS 는 이 두 단계를 하나로 합쳐서 한 번에 끝내버립니다.

비유: "점토 공예"

• 기존 방식: 토끼를 찾으려면 먼저 "토끼가 어디 있지?"라고 눈으로 찾아본 뒤 (위치 찾기), 그 자리에서 토끼 모양을 오려냅니다.
• FlowRVS 방식: 처음부터 전체 비디오를 하나의 거대한 '점토' 덩어리라고 상상해 보세요.
  • 사용자가 "흰 토끼"라고 말하면, 인공지능은 그 점토 덩어리를 직접 손으로 빚어 토끼 모양으로 변형시킵니다.
  • 비디오의 모든 장면 (시간) 과 텍스트 (흰 토끼) 가 섞여 있는 상태에서, 인공지능은 점토를 밀고 당기며 (변형) 서서히 토끼 모양을 만들어냅니다.
  • 이 과정에서 "흰 토끼"라는 말은 점토를 어떤 모양으로 빚을지 결정하는 나침반 역할을 합니다.

3. 왜 이 방식이 더 잘할까요? (핵심 기술)

FlowRVS 는 단순히 비디오를 변형시키는 게 아니라, 가장 중요한 '시작점'을 집중적으로 훈련합니다.

• 비유: "첫 발걸음의 중요성"
  • 점토를 토끼 모양으로 빚을 때, 처음 한 번의 손놀림이 가장 중요합니다. 만약 처음에 "흰 토끼"를 "검은 원숭이"로 잘못 빚기 시작하면, 그 뒤로 아무리 노력해도 원래 모양을 되돌릴 수 없습니다.
  • FlowRVS 는 이 **첫 발걸음 (시작점)**에 가장 많은 에너지를 쏟습니다. "흰 토끼"라는 말과 비디오의 시작 장면을 가장 정확하게 연결하는 법을 집중적으로 학습합니다.
  • 이렇게 시작을 잘 잡으면, 그 뒤로 이어지는 모든 장면 (시간) 에서 토끼가 움직여도 자연스럽게 따라가며 모양을 유지할 수 있습니다.

4. 실제 성과

이 새로운 방식을 도입한 결과, FlowRVS 는 다음과 같은 놀라운 성과를 냈습니다.

• 복잡한 움직임 처리: 여러 동물이 뛰어다니거나 서로 섞이는 복잡한 장면에서도 "작은 원숭이"와 "큰 원숭이"를 정확히 구분해냅니다.
• 새로운 데이터도 잘 처리: 학습하지 않은 새로운 비디오를 보고도 (Zero-shot), 마치 처음부터 그 비디오를 본 것처럼 정확하게 토끼를 찾아냅니다.

요약

이 논문은 "동영상을 자르는 작업"을 "점토를 빚는 작업"처럼 생각하자고 제안합니다.
기존에는 "먼저 위치를 찍고 자르는" 번거로운 과정을 거쳤다면, FlowRVS 는 "말을 듣고 비디오라는 점토를 직접 변형시켜 원하는 모양을 만들어내는" 한 번의 멋진 마법 같은 과정을 통해, 훨씬 더 정확하고 자연스럽게 동영상을 이해하고 자릅니다.

이 기술은 인공지능이 인간의 언어와 비디오의 움직임을 더 깊이 이해하는 데 큰 발걸음이 될 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

**참조 비디오 객체 분할 (Referring Video Object Segmentation, RVOS)**은 자연어 설명 (예: "오른쪽으로 움직이는 검은색 개") 을 통해 비디오 내의 특정 객체를 식별하고, 프레임 전체에 걸쳐 그 객체의 마스크를 생성하는 작업입니다.

• 핵심 난제: 추상적인 언어 개념을 동적이고 미세한 픽셀 공간에 고정 (Anchoring) 하고, 비디오의 복잡한 동역학 (움직임, 외형 변화) 을 통해 일관되게 분할하는 것입니다.
• 기존 접근법의 한계: 대부분의 기존 연구는 **'찾기 (Locate) 후 분할 (Segment)'**이라는 2 단계 파이프라인을 사용합니다.
  • 먼저 언어를 기반으로 객체의 위치 (점, 박스 등) 를 찾은 뒤, 이를 기반으로 분할 마스크를 생성합니다.
  • 정보 병목 현상 (Information Bottleneck): 풍부한 언어적 의미 (Semantic) 를 단순한 기하학적 프롬프트 (coarse geometric prompts) 로 축소하는 과정에서 정보가 손실됩니다.
  • 시간적 불일치: 분할 과정이 초기 언어 고정 (Grounding) 과 분리되어 있어, 프레임 간 일관성 (Temporal Consistency) 을 유지하기 어렵습니다.

2. 제안 방법론: FlowRVS (Methodology)

저자들은 RVOS 를 기존의 분류/분할 문제가 아닌, 조건부 연속 흐름 (Conditional Continuous Flow) 문제로 재정의했습니다. 이는 사전 학습된 텍스트 - 비디오 (T2V) 생성 모델의 역량을 활용하여, 비디오의 전체적 표현을 목표 마스크로 직접 변형 (Deformation) 하는 단일 단계 (One-stage) 생성적 접근법을 채택합니다.

2.1 기본 원리: 흐름 매칭 (Flow Matching)

• 문제 재정의: RVOS 를 비디오 잠재 공간 ($z_0$) 에서 마스크 잠재 공간 ($z_1$) 으로 가는 결정론적인 변형 과정으로 모델링합니다.
• ODE (상미분 방정식): $dz_t/dt = v(z_t, c, t)$ 형태의 속도장 (Velocity Field) 을 학습합니다. 여기서 $c$는 텍스트 쿼리입니다.
• 수렴적 흐름 (Convergent Flow): 일반적인 T2V 생성이 노이즈에서 다양한 비디오로 발산 (Divergent) 하는 과정이라면, FlowRVS 는 복잡한 비디오에서 하나의 정확한 마스크로 수렴 (Convergent) 하는 과정입니다. 텍스트 쿼리는 이 수렴 경로를 결정하는 핵심 선택기 역할을 합니다.

2.2 핵심 기술적 기여 (Key Adaptations)

T2V 모델을 RVOS 과 같은 판별적 (Discriminative) 작업에 적용하기 위해 세 가지 주요 전략을 도입했습니다:

1. 경계 편향 샘플링 (Boundary-Biased Sampling, BBS):
   • 동기: 흐름의 시작점 ($t=0$, 비디오 입력) 에서 텍스트 쿼리에 기반한 초기 '밀어내기 (Push)'가 가장 중요합니다. 초기 단계의 오차는 전체 경로를 망가뜨립니다.
   • 방식: 학습 시 $t=0$ 부근의 타임스텝을 과대표집 (Oversampling) 하여, 모델이 텍스트에 guided 된 초기 속도 계산을 먼저 마스터하도록 유도합니다.
2. 시작점 증강 (Start-Point Augmentation, SPA):
   • 동기: 데이터 매니폴드의 이산적인 점에만 과적합되는 것을 방지하고 더 매끄러운 흐름을 학습하기 위함입니다.
   • 방식: 초기 비디오 잠재 ($z_0$) 에 확률적 인코딩 및 정규화를 적용하여, 원본을 중심으로 한 더 풍부하고 연속적인 시작점 분포를 학습 데이터로 제공합니다.
3. 직접 비디오 주입 (Direct Video Injection, DVI):
   • 동기: 흐름 과정 전반에 걸쳐 원본 비디오의 풍부한 맥락이 유지되어야 합니다.
   • 방식: 각 ODE 단계에서 현재 상태 ($z_t$) 와 원본 비디오 잠재 ($z_0$) 를 채널 차원에서 직접 연결 (Concatenation) 합니다. 이는 속도 예측이 항상 원본 비디오를 참조하도록 하여 궤적 이탈 (Drift) 을 방지하고 미세한 정확도를 높입니다.

3. 주요 결과 (Results)

FlowRVS 는 MeViS, Ref-YouTube-VOS, Ref-DAVIS17 등 주요 RVOS 벤치마크에서 기존 최첨단 (SOTA) 방법들을 압도하는 성능을 기록했습니다.

• MeViS 데이터셋: J&F 점수 51.1 달성 (이전 SOTA 대비 +1.6 향상). 복잡한 동역학과 긴 비디오를 다루는 데서 특히 강력한 성능을 보였습니다.
• Ref-DAVIS17 (Zero-shot): 파인튜닝 없이 73.3의 J&F 점수를 기록하여 (이전 SOTA 대비 +2.7 향상), 모델의 뛰어난 일반화 능력을 입증했습니다.
• 비교 분석:
  • '찾기 후 분할' 방식 (ReferDINO, VISA 등) 보다 언어 - 시각 정합성 (Grounding) 과 시간적 일관성에서 월등히 우수합니다.
  • 단일 단계 예측 (One-step) 이나 노이즈 기반 흐름 (Noise-to-Mask) 보다 비디오 - 마스크 흐름 (Video-to-Mask) 이 정보 손실을 최소화하여 더 나은 성능을 냄을 증명했습니다.

4. 의의 및 결론 (Significance & Conclusion)

• 패러다임의 전환: RVOS 를 단순한 분할 작업이 아닌, 언어로 유도된 연속적인 변형 (Deformation) 과정으로 재해석했습니다. 이는 생성 모델 (Generative Models) 의 강점을 판별적 작업에 성공적으로 적용한 사례입니다.
• 정보 병목 해소: 중간 표현 (Intermediate representation) 을 거치지 않고 비디오와 텍스트를 직접 연결함으로써, 의미 정보의 손실을 방지하고 복잡한 언어적 지시를 정밀하게 처리할 수 있게 되었습니다.
• 미래 전망: 이 연구는 비디오 이해 작업을 조건부 변형 과정으로 모델링하는 새로운 패러다임을 제시하며, 더 큰 규모의 기초 모델 (Foundation Models) 을 다양한 비디오 태스크에 적용하기 위한 중요한 청사진을 제공합니다.

요약하자면, FlowRVS 는 T2V 생성 모델의 역량을 활용하여 비디오를 마스크로 직접 변형하는 단일 단계 흐름 매칭 프레임워크를 제안함으로써, 기존 2 단계 방식의 한계를 극복하고 RVOS 분야에서 새로운 최첨단 성능을 달성했습니다.