기술 요약: 오픈 어도비 분할을 위한 비전 활용 에이전트 (VASA)

문제 정의: 오픈 어도비 분할

현재의 분할 기초 모델 (예: SAM, SAM3) 은 훈련 데이터에 잘 표현되어 있는 알려진 시각적 일관성 개념 (예: "고양이", "자동차") 을 검색하는 데 뛰어납니다. 그러나 오픈 어도비 개념의 경우 분할이 여전히 어렵습니다. 이는 즉석에서 구성되는 임의적이고 작업에 종속적인 시각적 정의로, 부분, 관계, 배제, 집합을 포함합니다 (예: "고양이의 오른쪽 발과 그녀가 잡으려 하는 막대기", 또는 "귀와 눈을 제외한 고양이의 머리").

추론 기반 분할 (예: LISA, Seg-Zero) 및 에이전트 방법 (예: SAM3 에이전트) 을 포함한 기존 접근 방식은 일반적으로 텍스트 프롬프트를 정제하거나 중간 토큰을 예측하는 데 의존합니다. 이러한 방법들은 다음과 같은 이유로 오픈 어도비 환경에서 실패하는 경우가 많습니다:

1. 시각적 지속성 부재: 각 프롬프트 수정을 새로운 검색 시도로 간주하여 중간 시각적 증거를 폐기합니다.
2. 얕은 추론: 텍스트 쿼리를 검색하는 대신 구성 연산 (예: "귀 빼기, 눈 빼기"를 통한 "머리") 을 통해 시각적 해결책을 구성하지 못합니다.
3. 배제/구성 처리 불가: 상세한 장문의 지시에 따라 특정 부분을 결합하거나 특정 영역을 배제하는 데 어려움을 겪습니다.

핵심적인 과제는 필요한 시각적 근거가 단일 학습된 마스크로 존재하지 않으며, 추론 중에 이미지 증거로부터 구성되어야 한다는 점입니다.

방법론: VASA 프레임워크

저자들은 **VASA(비전 유도 어도비 분할 에이전트)**를 제안합니다. 이는 훈련이 필요 없는 프레임워크로 "비전 활용 에이전트"로서 기능합니다. VASA 는 새로운 분할기를 훈련시키는 대신, 구조화된 지속적 시각 워크플로우를 통해 비전 - 언어 모델 (VLM) 에이전트와 분할 기초 모델 (SAM3) 을 조정합니다.

핵심 구성 요소

1. 지속적 작업 마스크: 텍스트 변경이 있을 때마다 다시 시작하는 프롬프트 정제 에이전트와 달리, VASA 는 상호작용 내내 지속되는 작업 마스크를 유지합니다. 이 마스크는 시각적 진행 상황을 기록하여 에이전트가 이전 단계에 기반하여 영역을 추가, 제거 또는 교체할 수 있게 합니다.
2. 시각 활용 워크플로우: 이 프레임워크는 VLM 에이전트와 SAM3 를 연결하는 하네스를 통해 결합하며, 이는 다음을 관리합니다:
   • 상태 관리: 입력 이미지, 쿼리, 현재 전략, 작업 마스크, 행동 이력을 추적합니다.
   • 도구 호출: 구조화된 도구를 사용합니다: segment_phrase(텍스트 프롬프트로 SAM3 호출), examine_each_mask(후보들을 시각적 오버레이로 제시하여 검사), update_working_mask(부울 연산: ADD, REMOVE, REPLACE 적용).
   • 장기 계획: VLM 은 최종 마스크를 직접 예측하는 대신 쿼리 구조를 분석하여 전략 (예: "과분할 후 제거", "과소분할 후 추가") 을 선택합니다.
   • 시각적 심사 및 오류 복구: 에이전트는 쿼리의 포함/배제 제약 조건에 대해 중간 마스크를 검사합니다. 진행이 멈추거나 오류가 발생하면 에이전트는 다른 프롬프트로 재시도하거나 로컬 단계를 재개하되 글로벌 이력은 유지할 수 있습니다.

추론 과정

이미지와 쿼리가 주어지면 VASA 는 다음을 수행합니다:

1. 초기 분할 전략을 선택합니다.
2. 현재 전략에 기반하여 후보 마스크를 생성하기 위해 SAM3 를 반복적으로 호출합니다.
3. 쿼리와 현재 작업 마스크에 대해 후보들을 시각적으로 검사합니다.
4. 부울 연산 (ADD/REMOVE/REPLACE) 을 사용하여 작업 마스크를 업데이트하여 대상을 점진적으로 구성합니다.
5. 마스크가 쿼리를 만족하거나 진행이 멈추거나 상호작용 예산이 소진될 때까지 정확성을 검증하고 종료합니다.

주요 기여

1. 오픈 어도비 분할: 이 논문은 검색이 아닌 구성이 필요한 개방형, 작업 종속적 시각 개념을 위한 새로운 분할 설정을 정의하고 형식화합니다.
2. VASA 에이전트: 이 설정을 위한 최초의 비전 활용 에이전트로, 지속적 시각 상태, 장기 계획, 작업별 훈련 없이 반복적 마스크 편집 기능을 제공합니다.
3. PARS 벤치마크: PartImageNet 에서 파생된 새로운 벤치마크 (PartImageNet Ad-hoc Referring Segmentation) 입니다. 이는 포함, 배제, 구조적 맥락을 지정하는 상세한 장문의 정의 쿼리를 사용하여 부분 수준 레이블을 오픈 어도비 개념으로 변환합니다.
4. 비전 활용 엔지니어링: 이 연구는 작업 지식, 시각적 루틴, 작업 기억, 실패 인식 워크플로우를 가진 에이전트를 프로그래밍하는 것이 기초 모델을 단순히 도구로 감싸는 것보다 훨씬 큰 개선을 가져온다는 것을 보여줍니다.

실험 결과

저자들은 VASA 를 PARS 와 표준 다중 세분화 참조 분할 벤치마크인 RefCOCOm 에서 평가했습니다.

• PARS 성능: VASA 는 오픈 - 어휘, 추론 기반, 에이전트 베이스라인을 크게 능가합니다.
  • 어도비 개념에서 gIoU/cIoU 기준으로 SAM3 에이전트보다 13.5%–25.3% 더 높은 성능을 보입니다.
  • SAM3 에이전트 대비 교차 개념 혼동 (xIoU) 을 25.3% 줄입니다.
  • 주목할 점은 VASA 가 PartImageNet 에서 특별히 훈련된 완전 지도 학습 방법인 VLPart와 유사한 성능을 달성한다는 것입니다. 이는 훈련이 필요 없는 방법임에도 불구하고 가능합니다.
• RefCOCOm 성능: VASA 는 gIoU 기준으로 SAM3 에이전트보다 4.8%–8.8% 향상되었으며, 다른 에이전트 베이스라인보다 최대 20% 더 우수한 성능을 보여 미세 세분화 참조 분할에 대한 일반화를 입증합니다.
• 장문 쿼리의 영향: 상세한 쿼리는 VASA 의 성능을 향상시킵니다 (+5.9% gIoU) 하지만 SAM3 에이전트의 성능은 저하시킵니다 (-22.1% gIoU). 이는 VASA 가 상세한 설명을 단순 검색 프롬프트가 아닌 단계별 구성 지침으로 활용하는 능력을 보여줍니다.
• 추론 단계: 분석 결과, SAM3 에이전트 대비 VASA 가 취한 추가 추론 단계 수와 성능 향상 사이에 양의 상관관계가 있음을 보여주어, 장기 시각 구성의 유용성을 검증합니다.

중요성과 주장

이 논문은 VASA 가 오픈 어도비 분할을 위한 에이전트 시각 구성 개념을 검증한다고 주장합니다. 주요 중요성은 "확립된 개념을 검색"하는 패러다임에서 "지속적 시각 상태와 반복적 정제를 통해 임의의 개념을 구성"하는 패러다임으로의 전환에 있습니다.

저자들은 이 작업을 기초 모델을 단순히 도구로 감싸는 것을 넘어선 AI 에이전트의 발전 경로로 위치시킵니다. 그들은 효과적인 에이전트는 다음을 필요로 한다고 주장합니다:

• 작업 지식을 통한 프로그래밍.
• 시각적 추론에 맞춤화된 VLM 행동.
• 시각적 루틴과 작업 기억 (지속적 마스크).
• 실패 인식 워크플로우.

결과들은 오픈 어도비 분할의 병목 현상이 기초 분할 모델의 능력에 있는 것이 아니라, 이를 구성적, 배제 기반, 장기 시각 추론을 수행하도록 활용하는 방식에 있음을 시사합니다.