기술 요약: 웹에서 픽셀로: 에이전트 검색을 시각 지각에 접목하기

1. 문제 정의: 지각 심층 연구 (Perception Deep Research)

이 논문은 현재 시각 지각 시스템에 존재하는 중요한 격차를 지적합니다. 기존 멀티모달 대규모 언어 모델 (MLLM) 은 가시적인 범주를 인식하는 수준에서 내부 지식을 기반으로 암묵적인 목표를 위치 지정하는 단계로 발전했으나, 개방형 세계 (open-world) 환경에서는 어려움을 겪습니다. 이러한 시나리오에서 목표 객체는 이미지 내에 가시적이지만, 이를 식별하는 데 필요한 결정적 증거는 이미지 외부에 있으며 모델의 고정된 파라미터 지식 너머에 존재합니다.

저자들은 이러한 과제를 **지각 심층 연구 (Perception Deep Research)**로 공식화했습니다. 단서들이 시각적이거나 내부적인 표준 참조 표현 이해 (referring expression comprehension) 나 추론 분할 (reasoning segmentation) 과는 달리, 이 설정에서는 모델이 다음을 수행해야 합니다:

1. 외부 사실 (예: 최근 사건, 롱테일 엔티티, 다중 홉 관계, 제작자 소속) 로부터 목표 정체성을 해결합니다.
2. 이 해결된 정체성을 이미지 내의 구체적인 시각적 인스턴스 (바운딩 박스, 마스크, 또는 영역 수준의 답변) 에 바인딩합니다.

핵심적인 어려움은 두 단계의 결합에 있습니다: 간접적인 사실적 단서를 명시적인 목표 가설로 변환한 후, 이 가설이 관찰된 시각적 영역과 호환되는지 확인하여 방해 요소나 시각적으로 유사한 객체와 구별하는 것입니다.

2. 방법론

2.1 WebEyes 벤치마크

이 분야의 진전을 측정하기 위해 저자들은 검증 가능한 증거와 정밀한 주석이 포함된 객체 기반 벤치마크인 WebEyes를 소개합니다.

• 구축: 데이터셋은 "객체 우선 (object-first)" 워크플로우를 따릅니다. 주석가는 다중 인스턴스 이미지를 선택하고 전경 객체를 표시한 후, 에이전트를 사용하여 연쇄 웹 검색을 수행하여 증거 (역할, 출시일, 브랜드 소속 등) 를 수집한 다음 지식 집약적 쿼리를 생성합니다.
• 규모: 120 개의 이미지, 473 개의 주석된 객체 인스턴스, 645 개의 고유한 QA 쌍으로 구성되어 총 1,927 개의 작업 샘플을 생성합니다.
• 작업 뷰: WebEyes 는 세 가지 상호 보완적인 작업을 평가합니다:
  1. 검색 기반 위치 지정 (Search-based Grounding): 외부 지식이 필요한 쿼리에서 바운딩 박스를 예측합니다.
  2. 검색 기반 분할 (Search-based Segmentation): 픽셀 수준의 마스크를 예측합니다.
  3. 검색 기반 VQA: 강조된 영역에 대한 지식 풍부한 설명 중 올바른 것을 선택합니다.
• 품질 관리: 파이프라인에는 "단순화 (shortcuts)" (폐쇄형 책 지식이나 시각만으로는 해결 가능한 질문) 를 제거하는 자동 필터링과 증거의 정확성과 목표의 고유성을 보장하는 수동 검증을 포함합니다.

2.2 Pixel-Searcher: 에이전트 검색 - 픽셀 워크플로우

저자들은 작업을 직접적인 엔드 - 투 - 엔드 예측이 아닌 에이전트 루프로 분해하는 참조 워크플로우인 Pixel-Searcher를 제안합니다. 이는 두 단계로 운영됩니다:

1. 에이전트 검색 및 목표 해결:

   • 에이전트는 쿼리를 분석하고 검색 가능한 하위 목표로 분해합니다.
   • **검색 - 추론 루프 (Search-Reason loop)**에 진입하여 외부 증거를 검색 도구 (검색 도구) 를 통해 검색하고, 축적된 사실에 대해 추론하며, 구조화된 가설 $h = \{e, c, K\}$를 해결합니다. 여기서 $e$는 엔티티 이름, $c$는 시각적 범주, $K$는 이미지 확인 가능 단서를 나타냅니다.
   • 에이전트는 해결된 엔티티가 중간 단서가 아닌 최종 가시적 목표가 아님을 검증합니다.

2. 에이전트 위치 지정 및 도구 사용:

   • 해결된 가설 $h$를 사용하여 에이전트는 시각적 위치 지정 도구를 안내합니다.
   • 위치 지정/분할의 경우: 후보 영역을 식별하고 해결된 증거와 대조하여 검증한 후, 마스크 정제를 위해 프롬프트 가능 분할 도구 (SAM3) 를 호출합니다.
   • VQA 의 경우: 과정을 반대로 수행하여 각 답변 옵션을 증거 인식 단서로 해결하고, 위치 지정된 시각적 영역과 가장 잘 일치하는 것을 선택합니다.

3. 주요 기여

이 논문은 세 가지 주요 기여를 합니다:

1. 지각 심층 연구: 모델이 위치 지정하기 전에 숨겨진 정체성을 해결하기 위해 외부 증거를 적극적으로 찾아야 하는 개방형 세계 시각 지각을 위한 새로운 공식화.
2. WebEyes 벤치마크: 위치 지정, 분할, VQA 뷰 전반에 걸쳐 검증 가능한 외부 증거, 지식 집약적 쿼리, 정밀한 주석을 특징으로 하는 데이터셋으로, 웹 지식을 픽셀 수준 출력으로 변환하는 능력을 테스트하도록 특별히 설계됨.
3. Pixel-Searcher: 검색 - 픽셀 추론의 유효성을 보여주는 에이전트 워크플로우. 저자들은 진단 실험을 통해 성능 병목 현상이 최종 마스크 정제 단계가 아니라 주로 증거 획득, 정체성 해결, 시각적 인스턴스 바인딩에 있음을 밝힘.

4. 실험 결과

WebEyes 에서 다양한 오픈소스 및 폐쇄소스 모델을 작업별 미세 조정 없이 사용하여 실험을 수행했습니다.

• 성능: Pixel-Searcher는 세 가지 작업 뷰 전반에 걸쳐 모든 오픈소스 방법 중 가장 강력한 성능을 달성합니다.
  • 검색 기반 위치 지정에서, 기준선 Qwen3-VL-8B 의 IoU 를 26.81% 에서 34.17% 로, Recall@0.5 를 32.61% 에서 41.30% 로 개선합니다.
  • 검색 기반 분할에서, gIoU 를 35.78% 에서 39.17% 로, cIoU 를 25.94% 에서 32.41% 로 개선합니다.
  • 검색 기반 VQA에서 42.24% 의 정확도를 달성하여 다른 오픈소스 모델을 능가합니다.
• 비교: Pixel-Searcher 가 오픈소스 방법을 선도하지만, 최상위 폐쇄소스 모델 (예: Doubao-Seed, Gemini) 에 비해 여전히 성능 격차가 존재하며, 이는 증거 선택과 엔티티 해결이 고급 에이전트에게도 여전히 어렵다는 것을 시사합니다.
• 애블레이션 및 실패 분석:
  • 직접적인 위치 지정 단서를 제거하면 가장 큰 성능 저하가 발생합니다.
  • 실패 모드: 실패의 약 78%(389 개 중 304 개) 가 검색/엔티티 해결 단계 (잘못된 엔티티 식별 또는 검색 계획) 에서 발생합니다. 바운딩 박스에서 마스크로의 전이 오류로 인한 경우는 소수 (10 건) 에 불과합니다. 이는 주요 병목 현상이 시각적 경계를 정제하는 것이 아니라 올바른 엔티티를 식별하는 것임을 확인시켜 줍니다.

5. 중요성 및 주장

이 논문은 WebEyes가 정적 이미지 분석을 넘어 동적이고 지식 기반 상호작용으로 시각 지각을 발전시키기 위한 "지각 심층 연구"를 벤치마킹하고 진전시키는 데 필요한 인프라를 제공한다고 주장합니다.

Pixel-Searcher의 중요성은 에이전트 검색이 개방형 세계 시각 지각을 위한 실현 가능하고 필수적인 메커니즘임을 입증하는 데 있습니다. 저자들은 외부 사실 뒤에 숨겨진 목표 정체성이 있는 작업의 경우, 단순히 시각적 속성이나 고정된 모델 지식에 의존하는 것만으로는 부족하다고 주장합니다. 이 워크플로우는 "어디 (위치)"를 결정하기 전에 "누구 (정체성)"를 해결하는 것이 중요하며, 이 분야의 실패는 주로 기하학적 (마스크 정제 오류) 이 아닌 의미론적 (검색/추론 오류) 이라는 것을 입증합니다.

이 논문은 이 방향이 모델이 외부 증거를 적극적으로 찾고 시각적 인스턴스에 대해 정체성을 검증해야 함을 요구하며, 에이전트 검색이 웹 지식과 픽셀 수준 지각 사이의 격차를 어떻게 메울 수 있는지 연구하기 위한 간단하지만 효과적인 시작점을 제공한다고 결론지었습니다.