기술 요약: CVSearch

문제 정의

멀티모달 대규모 언어 모델 (MLLM) 은 고해상도 (HR) 이미지 인식에서 치명적인 병목 현상에 직면해 있습니다. 현재 모델들은 일반적으로 고정 해상도 처리 방식에 의존하여 입력 이미지를 공격적으로 다운샘플링하므로, 실제 세계 작업에 필수적인 작은 객체와 세밀한 디테일을 인식하지 못하는 '맹점'을 보입니다. 최근 연구들이 크로핑 기반 패러다임, 고해상도 시각 인코더, 그리고 시각적 검색을 통해 이 문제를 해결하려 시도했으나, 기존 솔루션들은 커버리지와 효율성 사이의 근본적인 트레이드오프에 시달리고 있습니다:

• 크로핑 기반 방법은 국소적 디테일을 보존하지만 공간적 일관성을 끊어, 크로프 경계를 가로지르는 객체들을 분리된 토큰으로 분할하는 '의미적 분열 (semantic fragmentation)'을 초래합니다.
• 고해상도 시각 인코더는 고주파수 특징을 주입하지만 다양한 종횡비를 처리하는 유연성이 부족하며 여전히 전역 처리에 의존합니다.
• 시각적 검색 패러다임은 능동적 인식을 제공하지만 두 가지 하위 범주로 나뉘며 각각 고유한 한계를 가집니다:
  • 시각 전문가 보조 검색 (Visual Expert-Assisted Search, 예: SEAL, DyFo) 은 효율적이지만 취약합니다. 외부 전문가가 작은 객체나 가려진 객체와 같이 정확한 제안 (proposals) 을 생성하지 못하는 경우 (흔히 발생함), 시스템은 되돌릴 수 없는 맹점에 빠집니다.
  • 스캔 기반 검색 (Scan-based Search, 예: RAP, ZoomEye) 은 경직된 그리드 스캔을 통해 포괄적인 커버리지를 보장하지만 의미론적으로 무관합니다. 이는 배경 영역에서의 계산적 중복과 경직된 분할로 인한 객체 의미의 분열을 초래합니다.

핵심적인 과제는 의미 무결성을 훼손하지 않으면서 전문가 가이드의 효율성과 포괄적 검색의 견고성 사이의 간극을 메우는 것입니다.

방법론: CVSearch

CVSearch 는 MLLM 에 인지적, 인간과 유사한 시각적 검색 능력을 부여하는 학습 불필요 (training-free), 적응형 프레임워크입니다. 이는 평가 후 검색 (Assess-then-Search) 워크플로우를 기반으로 작동하며, 작업 난이도에 따라 비선택적 전역 인식과 선택적 순차적 주의를 동적으로 교차합니다. 이 프레임워크는 세 가지 주요 혁신에 기반합니다:

1. 인지 기반 적응형 스위칭 메커니즘

인간 인지 제어에서 영감을 받아, CVSearch 는 먼저 정보 충분성 ($c_q$) 을 정량화하기 위해 전역 평가 (Global Assessment) 를 수행합니다.

• 전역 정보가 충분하면 모델은 직접 답변을 제공합니다.
• 정보가 부족하면 시각 전문가 보조 검색 (SAM 3 사용) 을 통해 신속한 위치 파악을 트리거합니다.
• 결정적으로, 전문가가 실패하는 경우 (즉, 유효한 제안을 생성하지 못하는 경우), 시스템은 종료되지 않습니다. 대신 이 실패를 상황 인식 스캐닝 (Scene-aware Scanning) 을 활성화하는 신호로 해석하여, 신속한 위치 파악에서 포괄적 탐색으로의 원활한 전환을 보장합니다.

2. 의미 유도 적응형 패칭 (SGAP)

경직된 그리드 스캔에 내재된 의미적 분열을 해결하기 위해, CVSearch 는 상황 인식 스캐닝 단계 내에서 SGAP 를 도입합니다.

• 메커니즘: 고정된 그리드 대신, SGAP 는 전문가 (로컬라이제이션 실패 시에도) 로부터 추출된 시각적 특징을 활용하여 적응형 클러스터링을 수행합니다. 이는 SLIC 을 통해 이미지를 원자적 초픽셀 (superpixels) 로 과분할한 후, 영역 인접 그래프에 의해 제약된 응집형 클러스터링 (Agglomerative Clustering) 을 사용하여 의미론적으로 일관된 영역으로 클러스터링합니다.
• 최적화: 클러스터 수 ($k$) 는 공간적 중첩을 패널티로 부과하면서 클러스터링 품질 (실루엣 점수) 을 최대화하는 비용 함수를 최소화하도록 동적으로 최적화됩니다.
• 효과: 이는 이미지 패치가 객체 윤곽을 가로지르는 것이 아니라 객체 윤곽에 정렬되도록 보장하여 의미 무결성을 보존합니다.

3. 동적 하향식 (Bottom-Up) 검색 전략

상향식 (Top-down) 검색 방법 고유의 오류 전파를 극복하기 위해, CVSearch 는 시각적 복잡도 사전 지식 (Visual Complexity Prior) 에 의해 구동되는 동적 하향식 검색 전략을 사용합니다.

• 시각적 복잡도 ($c_v$): 원자적 특징의 분산에 기반하여 패치의 탐색 가치를 정량화합니다. 높은 복잡도는 의미론적으로 풍부한 전경을 나타내고, 낮은 복잡도는 중복된 배경을 나타냅니다.
• 검색 흐름: 검색은 상세한 국소 정보를 사용할 수 있는 가장 깊은 계층 (리프 노드) 에서 시작하여 증거를 위로 집계합니다.
• 가지치기 및 우선순위 지정: 시각적 복잡도가 낮은 노드는 가지치기됩니다. 각 계층 내에서 노드는 시각적 복잡도, 존재 확신도, 그리고 집계된 자식 우선순위를 가중치로 하는 우선순위 값 ($c_x$) 으로 정렬됩니다.
• 반복적 정제: 전체 검색 후에도 목표가 확인되지 않으면, 첫 번째 계층의 최상위 후보가 반복적 정제를 위해 파이프라인으로 다시 피드백되어 모델이 초기 실패에서 회복할 수 있게 합니다.

주요 기여

1. 인지 계층적 프레임워크: CVSearch 는 실패 인식 스위칭 메커니즘을 통해 시각 전문가 보조 검색의 효율성과 의미 인식 스캐닝의 견고성을 통합한 최초의 학습 불필요 프레임워크입니다.
2. 의미 보존 세분화: 제안된 SGAP 는 시각적 전문가 특징을 재사용하여 의미론적으로 일관된 이미지 패치를 구축함으로써 경직된 그리드로 인한 분열을 효과적으로 극복합니다.
3. 견고한 하향식 탐색: 동적 하향식 검색 전략은 상향식 방법의 전형적인 오류 전파를 방지하여 작은 객체 인식을 크게 개선합니다.
4. 최첨단 (SOTA) 성능: 광범위한 실험을 통해 CVSearch 가 HR 벤치마크에서 SOTA 정확도를 달성하면서 스�캔 기반 베이스라인에 비해 검색 효율성을 크게 향상시켰음을 입증했습니다.

실험 결과

저자들은 V Bench*, HR-Bench (4K/8K), MME-RealWorld-Lite, TreeBench, FineRS-4K를 포함한 포괄적인 고해상도 벤치마크 세트에서 CVSearch 를 평가했습니다.

• 성능 향상: 오픈소스 MLLM(예: LLaVA-OV-7B, Qwen2.5-VL-7B, InternVL2.5-8B) 에 CVSearch 를 통합하여 상당한 개선을 이루었습니다. 예를 들어, InternVL2.5-8B 에 CVSearch 를 적용한 결과, HR-Bench 8K 의 전체 정확도가 +20.2% 상승했고, V* Bench 에서는 +16.2% 상승하여 91.6 에 도달했습니다.
• 최첨단 기술과의 비교: CVSearch 는 모든 벤치마크에서 전문가 보조 방법 (예: DyFo) 과 스펙 기반 방법 (예: ZoomEye, RAP) 모두를 능가했습니다. V* Bench 에서 강력한 전문가 보조인 DyFo(81.2) 를 91.6 점으로 능가했습니다.
• 효율성: 단일 패스 (single-pass) 모델에 비해 일부 오버헤드가 발생하지만, CVSearch 는 정확도와 처리량 (throughput) 모두에서 기존 스펙 기반 프레임워크를 크게 능가했습니다. HR-Bench 4K 에서 3.77 샘플/분의 처리량을 달성하여 ZoomEye 와 RAP 보다 거의 3 배 빠르면서도 더 높은 정확도를 유지했습니다.
• 확장성: 이 프레임워크는 다양한 크기 (2B32B) 와 세대 (Qwen2.5-VLQwen3-VL) 의 모델에서 일관된 성능 향상을 보여주어, 매우 고급스러운 백본에서도 효과적임을 입증했습니다.

중요성과 주장

이 논문은 CVSearch 가 시각적 검색을 인지적, 계층적 의사결정 과정으로 재형식화함으로써 고해상도 시각 인식에서의 치명적인 효율성 - 견고성 딜레마를 해결한다고 주장합니다. 비선택적 전역 개요 추출과 선택적 순차적 주의 사이의 상호작용을 모방하는 인간 시각 검색 메커니즘을 따라함으로써, 이 프레임워크는 MLLM 이 최소한의 계산적 중복으로 세밀한 디테일을 포착할 수 있게 합니다.

저자들은 이 작업이 더 효율적이고, 확장 가능하며, 접근하기 쉬운 고해상도 멀티모달 이해를 향해 분야를 이끌고 있다고 강조합니다. 적응형 자원 할당을 우선시하고 의미 인식 가지치기 및 하향식 탐색을 통해 계산적 중복을 완화함으로써, CVSearch 는 기존 MLLM 이 광범위한 재학습이나 강화 학습 파이프라인 없이도 복잡한 시각 추론 작업을 수행할 수 있게 합니다.

인정된 한계:
이 논문은 겸손하게 두 가지 주요 한계를 지적합니다:

1. 계산 지연: 스펙 기반 방법보다 빠르지만, 반복적 검색 과정은 본질적으로 단일 패스 추론이나 경량 전문가 보조 베이스라인보다 느립니다.
2. 시각 전문가 의존성: 현재 구현은 영역 제안을 위해 SAM 3 에만 의존하며, 다양한 유형의 시각 전문가에 대한 일반화 능력은 아직 탐구되지 않았습니다.