💻 computer science

AgentRVOS for MeViS-Text Track of 5th PVUW Challenge: 3rd Method

이 논문은 Sa2VA의 밀집 의미론적 가설 생성 능력과 다양한 역할을 가진 에이전트 루프(검증, 수정, 정제 등)를 결합하여, 참조 객체의 존재 여부 판단부터 정교한 마스크 추적까지 수행하는 에이전트 기반의 Ref-VOS 파이프라인인 AgentRVOS를 제안합니다.

원저자: Deshui Miao, Chao Yang, Chao Tian, Guoqing Zhu, Kai Yang, Zhifan Mo, Xin Li

게시일 2026-04-28

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Deshui Miao, Chao Yang, Chao Tian, Guoqing Zhu, Kai Yang, Zhifan Mo, Xin Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎭 비유: "천재 화가"와 "꼼꼼한 감독님"의 협업

이 시스템은 마치 **'상상력은 풍부하지만 가끔 덤벙대는 천재 화가'**와 **'그 화가를 옆에서 지켜보며 지시하는 꼼꼼한 감독님'**이 한 팀이 되어 영화를 만드는 과정과 같습니다.

1. 등장인물 소개

Sa2VA (천재 화가): "저기 자전거 타는 남자 보여?"라고 물으면, 일단 비디오 전체를 쓱 보고 "아, 저 사람인 것 같아요!"라며 대략적인 모양을 그려냅니다. 상상력(언어 이해력)은 엄청나지만, 선이 삐뚤빼뚤하거나 없는 물체를 있다고 우길 때도 있습니다.
Agent (꼼꼼한 감독님): 화가가 그린 그림을 그대로 쓰지 않습니다. "잠깐, 아까 물어본 물체가 진짜 영상에 있긴 해?", "그림 선이 너무 뭉툭한데?", "이 부분은 좀 더 정교하게 그려야겠어!"라고 끊임없이 판단하고 지시합니다.
SAM3 (정밀 채색 전문가): 감독님이 "이 부분은 선이 너무 흐릿해, 다시 그려!"라고 하면 투입되는 전문가입니다. 아주 날카로운 붓을 들고 물체의 테두리를 칼같이 따냅니다.

🎬 작업 과정 (5단계)

1단계: "진짜 있어?" (존재 확인 단계)
감독님이 먼저 확인합니다. "야, 아까 말한 '빨간 모자 쓴 강아지'가 이 영상에 있긴 하니?" 만약 영상에 강아지가 없다면, 화가가 헛것을 보고 그리기 전에 바로 **"없음!"**이라고 결론 내리고 작업을 종료합니다. (엉뚱한 오답을 방지하는 아주 중요한 단계죠!)

2단계: "대충 그려봐" (거친 밑그림 단계)
강아지가 있는 게 확인되면, 천재 화가(Sa2VA)에게 시킵니다. 화가는 영상 전체를 훑으며 강아지가 지나가는 길을 따라 대략적인 모양을 슥슥 그려냅니다.

3단계: "중요한 장면 포착!" (기준점 잡기 단계)
감독님은 화가가 그린 그림 중 가장 잘 그려진 장면(앵커 프레임)을 골라냅니다. "이 장면은 강아지 모양이 아주 잘 나왔네! 이걸 기준으로 삼자!"

4단계: "칼같이 다듬기" (정밀 추적 단계)
이제 정밀 채색 전문가(SAM3)가 등장합니다. 감독님이 골라낸 장면을 바탕으로, 강아지가 움직이는 모든 순간을 아주 정교하고 매끄럽게 색칠합니다. 테두리가 흔들리지 않게 잡아주는 역할이죠.

5단계: "최종 결정" (감독의 편집 단계)
마지막으로 감독님이 화가의 그림과 전문가의 그림을 비교합니다.

"이 장면은 화가가 그린 게 색깔이 더 정확하네, 이걸 쓰자."
"아니, 이 장면은 전문가가 그린 게 모양이 더 깔끔해, 이걸로 가자."
이렇게 장면마다 가장 좋은 결과물을 골라 하나의 완벽한 영상을 완성합니다.

💡 요약하자면?

기존의 AI는 "물체 찾아줘!"라고 하면 한 번에 답을 내놓으려다 실수(없는 걸 있다고 하거나, 모양을 뭉개뜨리는 등)를 많이 했습니다.

하지만 이 논문의 'AgentRVOS' 방식은 **[판단(감독) $\rightarrow$ 초안(화가) $\rightarrow$ 정밀 수정(전문가) $\rightarrow$ 최종 선택(감독)]**이라는 체계적인 시스템을 도입했습니다. 덕분에 훨씬 더 똑똑하고, 정확하며, 실수 없는 '물체 추적'이 가능해진 것입니다.

[기술 요약] AgentRVOS: 에이전트 기반의 참조 비디오 객체 분할(Ref-VOS) 프레임워크

1. 문제 정의 (Problem Statement)

**참조 비디오 객체 분할(Referring Video Object Segmentation, Ref-VOS)**은 자연어 설명(text prompt)을 바탕으로 비디오 내 특정 객체의 프레임별 마스크를 예측하는 작업입니다. 기존의 엔드투엔드(End-to-End) 모델(예: Sa2VA)은 다음과 같은 두 가지 주요 한계점을 가집니다:

존재 여부 판단 오류 (Hallucination): 비디오에 존재하지 않는 객체에 대해서도 마스크를 생성하려는 경향이 있음.
정밀도 및 안정성 부족: 객체가 작거나, 가려지거나, 시각적으로 모호할 경우 마스크의 경계가 부정확하거나 시간적 연속성(Temporal Stability)이 떨어짐.

2. 핵심 방법론 (Methodology)

본 논문은 Sa2VA를 **'의미론적 백본(Semantic Backbone)'**으로 사용하되, 전체 프로세스를 **'에이전트 제어 루프(Agentic Control Loop)'**로 관리하는 Ref-VOS 파이프라인을 제안합니다. 시스템은 "거친 예측에서 정밀한 예측으로(Coarse-to-Fine)" 진행되는 5단계 구조를 가집니다.

존재 확인 단계 (Presence Agent):
- 가장 먼저 수행되는 단계로, 입력된 텍스트 설명이 비디오 내 객체와 일치하는지 판단합니다.
- 만약 객체가 존재하지 않는다고 판단되면( $e=0$ ), 즉시 빈 마스크(Zero masks)를 출력하여 잘못된 예측(Hallucination)을 방지합니다.
거친 분할 단계 (Coarse Segmentation):
- Sa2VA 모델을 사용하여 비디오 전체에 대해 초기적이고 거친(Coarse) 마스크 궤적을 생성합니다. 이는 최종 답안이 아닌 '의미론적 가이드(Semantic Prior)' 역할을 합니다.
앵커 선택 단계 (Anchor Selection):
- Sa2VA가 생성한 마스크 중 신뢰할 수 있는 프레임을 '앵커(Anchor)'로 추출합니다.
- 추출된 마스크로부터 바운딩 박스(BBox)와 포인트 프롬프트를 생성하여 다음 단계의 입력값으로 준비합니다.
SAM3 기반 전파 단계 (SAM3 Propagation):
- 추출된 앵커를 바탕으로 SAM3 모델을 사용하여 마스크를 시간적으로 전파(Propagation)합니다.
- 이 단계는 Sa2VA의 의미론적 이해력에 SAM3의 강력한 기하학적 정밀도와 시간적 일관성을 결합하여 마스크의 경계를 날카롭게 다듬습니다.
플래너 기반 선택 단계 (Planner-Based Selection):
- 모호한 프레임에서 Planner 에이전트가 개입합니다.
- 'Sa2VA의 원본 예측'과 'SAM3의 전파된 예측' 중 어느 것이 더 신뢰할 수 있는지 비교하여, 각 프레임별로 최적의 마스크를 선택( $m^*_t$ )합니다.

3. 주요 기여 (Key Contributions)

역할 분담 설계 (Division of Labor): Sa2VA는 '무엇(What)'을 찾을지 결정하는 의미론적 역할을, SAM3는 '어떻게(How)' 정밀하게 표현할지 결정하는 기하학적 역할을 수행하도록 분리했습니다.
에이전트 기반 의사결정: 단순한 모델 호출을 넘어, 존재 여부 확인, 앵커 추출, 충돌 해결(Conflict Resolution) 등을 에이전트 계층에서 관리함으로써 시스템의 견고함(Robustness)을 높였습니다.
모듈형 구조: 의미론적 그라운딩(Semantic Grounding)과 의사결정(Decision-making)을 결합하여 복잡한 비디오 환경에서도 안정적인 성능을 내도록 설계되었습니다.

4. 실험 결과 (Results)

챌린지 성적: 제5회 PVUW 챌린지의 MeViS-Text 트랙에서 전체 3위를 기록하였습니다.
성능 지표: J&F 점수 기준 0.7130을 달성하였으며, 특히 시간적 정확도(T-acc) 측면에서 0.9893이라는 매우 높은 수치를 보여주어 시간적 일관성 확보 능력을 입증했습니다.

5. 의의 (Significance)

본 연구는 단일 모델의 한계를 극복하기 위해 **'언어-시각 이해 모델(Sa2VA)'**과 '기하학적 정밀 모델(SAM3)', 그리고 이를 조율하는 **'에이전트(Agent)'**를 결합한 새로운 패러다임을 제시했습니다. 이는 향후 고도로 복잡하고 모호한 비디오 이해 작업에서 모델이 단순히 예측하는 것을 넘어, 스스로 판단하고 수정하는 '추론형 비디오 분할'로 나아가는 중요한 방향성을 보여줍니다.