AgentRVOS: Zero-Shot Referring Video Object Segmentation을 위한 추론 기반 객체 트랙 분석

이 논문은 AgentRVOS라는 새로운 프레임워크를 제안하며, 이는 자연어 쿼리를 기반으로 비디오 내의 특정 객체를 분할하는 참조 비디오 객체 분할 (Referring Video Object Segmentation, RVOS) 작업을 수행하는 학습 불필요 (Training-free) 방법론입니다.

1. 문제 정의 및 배경 (Problem & Background)

RVOS 는 비디오 전체에 걸쳐 자연어 쿼리에 해당하는 객체의 분할 마스크 (Segmentation Mask) 를 생성하는 작업입니다. 최근 멀티모달 대규모 언어 모델 (MLLM) 의 발전으로 복잡한 쿼리 이해 능력이 향상되었으나, 기존 학습 불필요 방법론들은 다음과 같은 한계를 가지고 있습니다.

• 희소 프레임 처리의 한계: MLLM 은 토큰 제한으로 인해 비디오의 일부 프레임만 샘플링하여 처리합니다. 이로 인해 짧은 시간 동안만 나타나거나 간헐적으로 등장하는 객체를 놓치기 쉽습니다.
• 순서적 오류: 기존 파이프라인은 MLLM 이 먼저 핵심 프레임 (Keyframes) 을 선택하고 객체를 위치시킨 후, 비디오 분할 모델이 이를 전파하는 방식을 사용합니다. 이는 객체 수준의 증거 (Evidence) 가 확보되기 전에 MLLM 이 시간적 결정을 내려야 하므로, 추론의 질과 시공간적 커버리지가 제한됩니다.
• 복잡한 쿼리 이해: MLLM 은 추론 능력이 뛰어나지만, SAM(Segment Anything) 과 같은 분할 모델은 복잡한 시간적/관계적 쿼리 (예: "앉았다가 일어서는 사람") 를 직접 처리하기 어렵고, 단순한 명사구 (Noun phrase) 만 인식합니다.

2. 제안 방법: AgentRVOS (Methodology)

AgentRVOS 는 SAM3 (강력한 시공간적 지각 능력) 과 MLLM (강력한 추론 능력) 의 상호 보완적 강점을 결합한 에이전트 기반 파이프라인입니다. 전체 프로세스는 두 단계로 나뉩니다.

2.1. 후보 마스크 트랙 생성 (Candidate Mask Track Generation)

• 개념 추출 (Concept Extraction): MLLM 이 입력된 자연어 쿼리를 분석하여 SAM3 가 처리할 수 있는 핵심 개념 (Core Concept, 예: "사람") 과 더 넓은 범위의 개념 (Broader Concept, 예: "인간") 으로 변환합니다.
  • 쿼리 유형에 따라 참조 (Referring) 쿼리는 텍스트만으로 객체 클래스를 추출하고, 추론 (Reasoning) 쿼리는 비디오 프레임을 함께 분석하여 잠재적 객체 클래스를 유추합니다.
• 마스크 트랙 생성: 추출된 개념을 SAM3 에 입력하여 비디오의 모든 프레임에 대해 일관된 객체 마스크 트랙을 생성합니다. SAM3 는 전체 비디오를 처리하므로 희소하게 등장하는 객체도 놓치지 않고 탐지합니다.
• 재시도 메커니즘: 초기 개념으로 객체가 탐지되지 않을 경우, 더 일반적이거나 대안적인 개념으로 추출을 반복하여 후보 풀의 누락을 방지합니다.

2.2. 반복적 시공간 가지치기 (Iterative Spatio-temporal Pruning)

생성된 수많은 후보 객체 트랙 중 정답을 찾기 위해 MLLM 이 반복적으로 추론을 수행합니다.

• 후보 분류: MLLM 은 현재 후보 집합을 분석하여 각 객체를 수락 (Accept), 거부 (Reject), 불확실 (Uncertain) 로 분류합니다.
• 시공간 범위 축소:
  • 후보 축소: 명확히 정답이거나 오답인 객체는 제외하고, '불확실'한 객체만 다음 반복으로 전달합니다.
  • 시간 범위 축소: SAM3 가 제공하는 객체의 존재 시간 정보 (Temporal Existence) 를 활용하여, 불확실한 객체가 실제로 등장하는 프레임들만 남기고 시간적 범위를 좁힙니다.
• 수렴: 불확실한 객체가 남지 않을 때까지 이 과정을 반복하여 최종 정답 마스크 트랙을 도출합니다. 이 과정에서 MLLM 은 전체 비디오가 아닌, 좁혀진 시공간 범위 내의 객체 증거에 집중하여 추론의 정확도를 높입니다.

2.3. 외관 정보 도구 (Appearance Tool)

마스크 오버레이가 객체의 색상이나 질감을 가릴 수 있는 경우, MLLM 이 외관 정보가 필요하다고 판단하면 별도의 도구를 통해 각 후보 객체의 외관 (색상, 패턴 등) 을 텍스트로 추출하여 추론에 활용합니다.

3. 주요 기여 (Key Contributions)

1. 학습 불필요 에이전트 파이프라인 제안: SAM3 의 밀도 높은 시공간적 지각과 MLLM 의 복잡한 쿼리 추론 능력을 결합하여, 별도의 미세 조정 (Fine-tuning) 없이 SOTA 성능을 달성했습니다.
2. 반복적 시공간 가지치기 전략: MLLM 이 모든 후보를 한 번에 처리하는 대신, 불확실한 경우를 중심으로 후보와 시간 범위를 점진적으로 좁히는 전략을 도입하여 추론 효율성과 정확도를 극대화했습니다.
3. 범용성 입증: 다양한 오픈소스 (Qwen3-VL 등) 및 폐쇄형 (GPT-5 등) MLLM 백본에서 일관된 성능 향상을 보이며, 모델에 구애받지 않는 확장성을 입증했습니다.

4. 실험 결과 (Results)

저자들은 MeViS, ReVOS, ReasonVOS 등 주요 RVOS 벤치마크에서 실험을 수행했습니다.

• 성능: AgentRVOS 는 기존 학습 불필요 방법론들 (CoT-RVS, AL-Ref-SAM2 등) 을 압도적으로 능가했습니다. 특히 MeViS 에서 J&F 점수가 기존 최상위 방법 대비 약 40% 이상 향상되었습니다.
• 비교: 동일한 MLLM 백본을 사용하더라도 AgentRVOS 가 기존 방법보다 월등히 좋은 성능을 보였으며, 강력한 MLLM (Qwen3-VL-32B, GPT-5) 을 적용할 경우 학습 기반 방법론 (Training-based methods) 과도 경쟁하거나 능가하는 결과를 기록했습니다.
• 정성적 분석: 복잡한 시간적 추론 (예: "가장 먼저 사라지는 차"), 객체 간 관계 추론 (예: "싸움에서 진 호랑이"), 그리고 희소하게 등장하는 객체 탐지 등에서 뛰어난 성능을 보여주었습니다.

5. 의의 및 결론 (Significance)

AgentRVOS 는 RVOS 작업에서 지각 (Perception) 과 추론 (Reasoning) 의 역할을 명확히 분리하고 협력하게 함으로써, MLLM 의 한계 (희소 프레임 처리, 작은 객체 탐지 실패) 를 보완하고 SAM 의 한계 (복잡한 쿼리 이해 부족) 를 극복했습니다.

이 연구는 학습 불필요 (Zero-shot) 접근법이 단순한 프레임 선택을 넘어, 객체 수준의 구조화된 증거를 기반으로 한 반복적 에이전트 추론을 통해 복잡한 비디오 이해 작업에서도 최첨단 성능을 달성할 수 있음을 증명했습니다. 이는 향후 멀티모달 에이전트 시스템 설계에 중요한 방향성을 제시합니다.