Weakly-Supervised Referring Video Object Segmentation through Text Supervision

1. 문제 정의 (Problem)

**참조 비디오 객체 분할 (Referring Video Object Segmentation, RVOS)**은 비디오 내의 특정 텍스트 표현 (예: "빨간 셔츠를 입고 걷는 사람") 에 해당하는 대상 인스턴스를 프레임 단위로 분할 (마스크 생성) 하는 작업입니다.

• 기존의 한계: 기존 RVOS 방법론들은 대부분 픽셀 수준의 마스크 (pixel-level mask) 주석이 필요한 지도 학습에 의존합니다. 비디오의 모든 프레임에 대해 정밀한 마스크를 수동으로 라벨링하는 것은 비용이 매우 많이 들고 노동 집약적입니다.
• 기존 약지도 학습의 한계: 최근 제안된 약지도 학습 방법들은 마스크 대신 **바운딩 박스 (bounding box)**나 점 (point) 주석을 사용하지만, 여전히 프레임 간 반복적인 수동 라벨링이 필요하여 비용과 노력이 적지 않습니다.
• 목표: 본 논문은 텍스트 표현 (text expression) 만을 유일한 감독 신호로 사용하여 모델을 학습시키는 새로운 약지도 RVOS 프레임워크 (WSRVOS) 를 제안합니다.

2. 방법론 (Methodology)

제안된 WSRVOS 프레임워크는 크게 5 가지 핵심 구성 요소로 이루어져 있으며, 멀티모달 대형 언어 모델 (MLLM) 의 능력을 활용하여 텍스트 기반의 강력한 감독 신호를 생성하고 이를 효과적으로 학습합니다.

가. 대비적 참조 표현 증강 (Contrastive Referring Expression Augmentation, CREA)

• 목적: 원본 텍스트 표현의 부족함을 보완하고, 모델이 긍정적 (Positive) 과 부정적 (Negative) 표현을 명확히 구분하도록 학습 데이터를 풍부하게 만듭니다.
• 구현:
  • MLLM 활용: Qwen3-VL 과 같은 MLLM 을 사용하여 원본 텍스트를 기반으로 시각적 외형, 행동, 인스턴스 간 관계 등을 상세히 묘사한 긍정적 표현을 생성합니다.
  • 부정적 표현 생성: 대상 인스턴스의 속성 (색상, 모양 등) 이나 행동, 공간적 관계를 의도적으로 왜곡하여 부정적 (Hard Negative) 표현을 생성합니다.
  • 검증: 생성된 텍스트가 비디오 내용과 일치하는지 InternVideo2 를 통해 시각 - 언어 유사도를 계산하여 신뢰도 점수가 높은 텍스트만 선별합니다.

나. 양방향 비전 - 언어 특징 선택 및 상호작용 (Bi-directional Vision-Language Feature Selection & Interaction)

• 문제 해결: 비디오는 시간적 역동성과 불필요한 시각적 노이즈를 포함하며, 텍스트에는 비디오와 무관한 부사구 등이 포함될 수 있어 정밀한 정렬 (Alignment) 이 어렵습니다.
• 해결책:
  • 특징 선택: 시각 특징과 언어 특징 간의 코사인 유사도를 계산하여 서로 가장 관련성이 높은 토큰 (Token) 만을 선택하고, 관련 없는 토큰은 0 벡터로 대체하여 정제된 특징을 추출합니다.
  • 상호작용: 선택된 특징을 기반으로 양방향 어텐션 (Vision-to-Language, Language-to-Vision) 을 수행하여 각 모달리티가 서로의 정보를 풍부하게 반영하도록 합니다.

다. 인스턴스 인식 표현 분류 (Instance-aware Expression Classification, IEC)

• 목적: 생성된 긍정적/부정적 표현 중 비디오 프레임과 일치하는 표현을 식별합니다.
• 구현:
  • 프로포절 집계 (Proposal Aggregation): 다중 인스턴스 학습 (MIL) 구조를 차용하여, 각 프레임의 시각적 영역 (Patch) 이 어떤 텍스트 표현과 매칭되는지 확률을 계산합니다.
  • 이중 흐름 (Dual Flow): 분류 흐름 (어떤 표현이 해당되는지) 과 분할 흐름 (어떤 영역이 정보 있는지) 을 동시에 학습하여 모델이 긍정/부정 표현을 구별하는 능력을 강화합니다.

라. 긍정 예측 융합 전략 (Positive-Prediction Fusion, PPF)

• 목적: 텍스트 감독만으로 직접적인 마스크를 얻기 어렵기 때문에, 생성된 여러 긍정적 표현들의 예측 결과를 융합하여 **고품질의 가짜 마스크 (Pseudo-masks)**를 생성합니다.
• 구현: 각 긍정적 표현의 예측 신뢰도 (Confidence Score) 를 가중치로 사용하여 유사도 맵을 가중 평균하고, 이를 이진화하여 추가적인 감독 신호 (Supervision Signal) 로 활용합니다.

마. 시간적 세그먼트 순위 제약 (Temporal Segment Ranking, TSR)

• 목적: 비디오의 시간적 일관성을 보장합니다.
• 구현: 인접한 프레임 간의 마스크 예측 겹침 (IoU) 이 먼 프레임 간의 겹침보다 높도록 제약을 부과합니다. 즉, $IoU(m_t, m_l) \ge IoU(m_t, m_n)$ ($t < l < n$) 관계를 만족하도록 손실 함수를 설계하여 시간적 연속성을 유지합니다.

3. 주요 기여 (Key Contributions)

1. 텍스트 전용 약지도 학습: 기존 RVOS 에서 필요로 했던 바운딩 박스나 점 주석 없이 텍스트 표현만으로 학습 가능한 최초의 효과적인 프레임워크 (WSRVOS) 를 제안했습니다.
2. MLLM 기반 데이터 증강: MLLM 의 캡션 생성 능력을 활용하여 시각적 세부 사항을 포함한 긍정적 표현과 헷갈리게 만드는 부정적 표현을 자동으로 생성하는 CREA 방식을 도입했습니다.
3. 정밀한 멀티모달 정렬: 비디오의 시간적 역동성과 텍스트의 노이즈를 해결하기 위한 양방향 특징 선택 및 상호작용 모듈을 설계하여 미세한 정렬을 가능하게 했습니다.
4. 강력한 가짜 마스크 생성: 여러 긍정적 표현의 예측을 융합하여 신뢰할 수 있는 가짜 마스크를 생성하고, 이를 통해 모델의 분할 정확도를 높였습니다.

4. 실험 결과 (Results)

• 데이터셋: A2D-Sentences, J-HMDB Sentences, Ref-YouTube-VOS, Ref-DAVIS17 등 4 가지 공개 RVOS 벤치마크에서 평가되었습니다.
• 성능:
  • 약지도 학습 내 비교: 텍스트 + 바운딩 박스/점 주석을 사용하는 기존 약지도 방법 (OCPG, SEVOS 등) 보다 모든 지표에서 우수한 성능을 보였습니다. 특히 Ref-YouTube-VOS 와 Ref-DAVIS17 에서 J &F 점수가 기존 최첨단 (SOTA) 약지도 방법 대비 7% 이상 향상되었습니다.
  • 전체 지도 학습 대비: 바운딩 박스나 점 주석이 전혀 없는 조건에서도, 일부 점 주석 기반 방법 (OCPG) 과 비슷하거나 더 나은 성능을 달성했습니다.
  • MLLM 직접 활용 대비: 학습된 WSRVOS 는 사전 학습된 MLLM 을 직접 RVOS 태스크에 적용했을 때보다 훨씬 높은 성능 (A2D-Sentences 에서 O-IoU 24.5% vs 48.2%) 을 보여주어, **작업 특화 미세 조정 (Fine-tuning)**의 중요성을 입증했습니다.
• 효율성: 학습 파라미터 수가 31M 로 기존 SOTA 방법들보다 적으며, 추론 속도는 58 FPS 로 실시간 처리가 가능합니다.

5. 의의 및 결론 (Significance)

이 논문은 텍스트라는 자연스러운 감독 신호만으로 비디오 내 객체를 정밀하게 분할할 수 있는 새로운 패러다임을 제시했습니다.

• 비용 절감: 고비용의 픽셀 단위 마스크나 바운딩 박스 라벨링 없이도 고품질 분할 모델을 학습할 수 있어, 대규모 비디오 데이터셋에 대한 적용 가능성을 크게 높였습니다.
• MLLM 활용의 확장: 생성형 AI(MLLM) 를 단순히 텍스트 생성 도구가 아닌, 시각 - 언어 정렬을 위한 강력한 데이터 증강 도구로 활용하는 새로운 방향성을 제시했습니다.
• 실용성: 텍스트 기반 비디오 편집, 감시 시스템, 인간 - 컴퓨터 상호작용 등 다양한 실제 응용 분야에서 텍스트 명령으로 특정 객체를 자동으로 추적하고 분할하는 기술의 기반을 마련했습니다.

결론적으로, WSROS 는 약지도 학습의 한계를 극복하고 텍스트 기반 비디오 이해 기술의 새로운 기준을 제시한 의미 있는 연구입니다.