DeepScan: A Training-Free Framework for Visually Grounded Reasoning in Large Vision-Language Models

이 논문은 인간이 노이즈 환경에서 시각적 근거를 효과적으로 식별하고 추론하는 방식을 모방하여, 추가적인 학습 없이 계층적 스캐닝, 리포커싱, 증거 강화 추론을 결합한 'DeepScan' 프레임워크를 제안함으로써 대규모 시각 - 언어 모델의 시각적 근거 기반 추론 능력을 획기적으로 향상시킵니다.

핵심

DeepScan: 눈이 나쁜 AI 를 위한 '확대경'과 '검색 전문가'

이 논문은 **대규모 시각-언어 모델 **(LVLM)이 복잡한 이미지를 볼 때, 마치 우리가 "눈이 나빠서" 중요한 부분을 놓치거나 헷갈리는 문제를 해결하는 새로운 방법인 DeepScan을 소개합니다.

기존의 AI 는 이미지를 한 번에 훑어보고 바로 답을 말하려다 보니, 중요한 디테일을 놓치거나 엉뚱한 곳에 집중하는 실수를 자주 했습니다. DeepScan 은 이를 해결하기 위해 **훈련 **(학습)입니다.

이걸 이해하기 쉽게 3 단계 과정으로 비유해 볼까요?

---

🕵️‍♂️ 1 단계: "조금씩 훑어보기" (Hierarchical Scanning)

비유: 거대한 도서관에서 책 한 권을 찾는 일

• **기존 방식 **(상향식) 도서관 전체를 한 번에 훑어보며 "아마도 저기 있을 거야"라고 대충 짐작해서 책장을 한 번에 다 뒤집어봅니다. (Coarse-to-fine)
  • 문제점: 책이 너무 많으면 (노이즈), 중요한 책이 어디 있는지 헷갈려서 엉뚱한 책장을 찾거나, 아예 못 찾습니다.
• **DeepScan 방식 **(하향식) 도서관을 아주 작은 구역 (패치) 으로 나눕니다. 그리고 각 구역마다 **"검색 전문가 **(Search Expert)를 보내 "여기 중요한 단서가 있나?"라고 물어봅니다.
  • 핵심: "눈에 띄는 작은 단서 (Cue)"를 먼저 찾아낸 뒤, 그 단서를 바탕으로 확대경을 대고 정확한 증거 (Evidence) 를 찾아냅니다.
  • 효과: 마치 "이 책장 구석에 뭔가 반짝이는 게 있네?"라고 발견한 뒤, 그 부분만 확대해서 자세히 보는 것과 같습니다.

🔍 2 단계: "초점 다시 맞추기" (Refocusing)

비유: 사진 찍을 때 줌인/줌아웃 조절하기

• 상황: 1 단계에서 증거를 찾았지만, 주변이 너무 복잡하거나 (너무 넓게 찍음), 너무 잘려서 (너무 좁게 찍음) 답을 내기 애매할 때가 있습니다.
• DeepScan 의 해결책: AI 와 시각 전문가가 협력해서 "가장 적절한 화면 구성을 찾습니다.
  • "조금 더 확대해서 (Zoom-in) 디테일을 보자"
  • "조금 더 넓게 (Zoom-out) 주변 상황도 보자"
  • 이 과정을 반복하며 정답을 말하기에 가장 완벽한 프레임을 찾아냅니다.

🧠 3 단계: "모든 정보를 합쳐서 답하기" (Evidence-Enhanced Reasoning)

비유: 수사관들이 증거를 모아 사건을 해결하는 일

• 이제 AI 는 찾은 **작은 증거들 **(디테일)과 **적절한 화면 **(맥락)을 모두 기억해 둡니다.
• 이 모든 정보를 바탕으로 "이게 무슨 일이야?"라고 질문하면, AI 는 단순히 추측하는 게 아니라 찾아낸 확실한 증거를 바탕으로 정확한 답을 내놓습니다.

---

🌟 왜 이것이 특별한가요?

1. **훈련이 필요 없습니다 **(Training-Free)
   • 기존 방법들은 AI 를 다시 가르치거나 (학습), 복잡한 보상을 주면서 훈련시켰습니다. DeepScan 은 이미 잘 만들어진 AI에 '검색 도구'만 추가해 주는 방식이라, 어떤 AI 모델이든 바로 적용할 수 있습니다.
2. 작은 것까지 찾아냅니다:
   • 이미지 속 아주 작은 물체 (예: 셔츠에 적힌 작은 숫자, 멀리 있는 표지판) 를 찾는 데 탁월합니다. 기존 AI 는 이런 작은 것들을 '노이즈'로 치부하고 무시했지만, DeepScan 은 작은 단서부터 찾아내므로 정답률이 매우 높습니다.
3. 어떤 모델이든 잘 작동합니다:
   • 작은 모델이든, 거대한 모델이든 DeepScan 을 적용하면 성능이 크게 향상됩니다.

💡 요약: DeepScan 이란?

**"AI 가 복잡한 이미지를 볼 때, 한 번에 다 보려고 하지 말고, 작은 단서부터 찾아내서 **(하향식)

이 방법은 AI 가 **환각 **(Hallucination, 없는 것을 있는 것처럼 말함)을 줄이고, 정확한 근거를 바탕으로 답할 수 있게 만들어줍니다. 마치 우리가 퍼즐을 풀 때, 전체 그림을 한 번에 보지 않고 조각 하나하나를 찾아서 맞춰가는 것과 같은 원리입니다.

기술 요약

DeepScan: 대규모 비전-언어 모델 (LVLM) 을 위한 학습 불필요 시각적 근거 추론 프레임워크

이 논문은 DeepScan이라는 새로운 프레임워크를 제안합니다. 이는 대규모 비전-언어 모델 (Large Vision-Language Models, LVLMs) 이 복잡한 시각적 환경에서도 인간과 유사하게 중요한 시각적 단서 (cues) 를 식별하고 이를 바탕으로 정확한 추론을 수행할 수 있도록 돕는 학습 불필요 (Training-Free) 솔루션입니다.

1. 문제 정의 (Problem)

기존 LVLM 들은 복잡한 시각적 작업, 특히 고해상도 이미지나 노이즈가 많은 환경에서 시각적 증거 (evidence) 를 정확하게 위치시키고 (localization) 이를 바탕으로 추론하는 데 어려움을 겪습니다.

• 기존 방법의 한계: 대부분의 기존 방법들은 'Top-down' 접근 방식을 따릅니다. 즉, 이미지 전체에서 coarse-grained(대략적인) 영역을 먼저 찾은 후 이를 세밀하게 조정하는 방식입니다. 이는 'Attention Sink(주의 집중 실패)'나 'Attention Drift(주의 이탈)'와 같은 현상으로 인해 노이즈가 많은 맥락에서 잘못된 영역을 선택하거나, 유사한 객체들에 의해 혼란을 겪기 쉽습니다.
• 인간의 인지 방식: 인간은 어려운 시각적 퍼즐 (예: 차이 찾기) 을 풀 때, 전체 이미지를 한 번에 보는 대신 국소적인 패치 (patch) 를 스캔하여 미세한 차이를 발견하고, 이를 바탕으로 증거를 하향식 (Bottom-up) 으로 재구성합니다.

2. 방법론 (Methodology)

DeepScan 은 인간의 하향식 (Bottom-up) 인지 방식을 모방하여 세 가지 핵심 단계로 구성됩니다. 이 프레임워크는 LVLM 을 외부의 시각적 전문가 (Visual Experts) 와 결합하여 추가적인 학습 없이 작동합니다.

2.1. 계층적 스캐닝 (Hierarchical Scanning)

기존의 일회성 (One-shot) 증거 위치 찾기를 대체하는 핵심 단계입니다.

• 로컬 큐 탐색 (Local Cue Exploration): 이미지를 작은 패치로 나누고, 각 패치 내에서 질문과 관련된 잠재적인 '큐 (cues)'를 탐색합니다. 이를 위해 GradCAM 기반의 어텐션 맵을 사용하여 패치 내의 중요한 영역을 식별합니다.
• 점 기반 프록시 (Point-based Proxies): 식별된 큐를 이미지 전체 좌표계로 변환하는 '점 (point)'으로 표현합니다. 이는 U 자형이나 복잡한 형태의 객체에서도 중심점을 효과적으로 잡을 수 있도록 설계되었습니다.
• 다중 스케일 증거 추출 (Multi-scale Evidence Extraction): 추출된 점 프록시를 기반으로 시각적 전문가 (예: LangSAM) 를 사용하여 해당 영역의 정확한 마스크 (segmentation mask) 를 생성합니다.
• 형태학적 후처리: 생성된 마스크의 내부 구멍을 메우고 주변 맥락을 확장하여 증거의 완전성을 보장합니다.

2.2. 리포커싱 (Refocusing)

계층적 스캐닝으로 추출된 증거 주변의 맥락을 최적화하는 단계입니다.

• 협력적 검색: LVLM 과 시각적 전문가가 협력하여 증거에 가장 적합한 주변 맥락 윈도우를 찾습니다.
• 작동 방식:
  • Zoom-In: 질문의 답을 위해 필요한 최소한의 증거 영역으로 확대합니다.
  • Zoom-Out: 누락된 맥락을 포함하기 위해 영역을 확장합니다.
• 선택 정책: LVLM 이 주어진 뷰가 질문에 답할 충분한 증거를 포함하는지 판단하고, 가장 효율적인 뷰 (가장 작은 영역이지만 모든 증거를 포함하는 것) 를 선택합니다.

2.3. 증거 강화 추론 (Evidence-Enhanced Reasoning)

최종 답변을 생성하는 단계입니다.

• 하이브리드 증거 메모리 (Hybrid Evidence Memory): 계층적 스캐닝에서 얻은 '세밀한 증거 (fine-grained evidence)'와 리포커싱에서 얻은 '거시적 뷰 (coarse-grained views)'를 결합합니다.
• 추론: LVLM 은 이 다중 그레인 (multi-granular) 정보를 바탕으로 객체의 속성을 식별하고 객체 간의 관계를 추론하여 정확하고 해석 가능한 답변을 생성합니다.

3. 주요 기여 (Key Contributions)

1. DeepScan 프레임워크: LVLM 의 성능을 향상시키기 위해 증거를 명시적으로 위치시키고, 재조정 (recalibrate) 하며, 통합하는 학습 불필요 프레임워크를 제안했습니다.
2. 계층적 스캐닝: 노이즈가 많은 맥락을 완화하기 위해 국소적 큐 탐색과 다중 스케일 증거 추출을 통해 하향식 시각적 grounding 패러다임을 도입했습니다.
3. 리포커싱: LVLM 과 외부 시각적 전문가 간의 상호작용을 통해 증거 뷰를 재조정하는 협력적 검색 패러다임을 제시했습니다.
4. 광범위한 실험 검증: 다양한 아키텍처와 모델 규모 (Qwen2.5-VL-7B ~ 72B 등) 에서 DeepScan 이 일관된 성능 향상을 제공함을 입증했습니다.

4. 실험 결과 (Results)

DeepScan 은 V* Bench, HR-Bench, TreeBench 등 다양한 벤치마크에서 기존 방법들을 능가하는 성능을 보였습니다.

• V Bench 성능:* Qwen2.5-VL-7B 모델에 DeepScan 을 적용했을 때, 전체 정확도가 **90.6%**로 상승했습니다. 이는 기존 Qwen2.5-VL-7B 대비 **16.3%**의 향상이며, 70B 규모의 일반 모델들보다도 우수한 성능을 보였습니다.
• TreeBench 성능: 미세한 시각적 이해 (Fine-grained visual understanding) 및 2 차 추론 (Second-order reasoning) 작업에서 기존 RL 기반 방법 (DeepEyes, PixelReasoner 등) 과 경쟁하거나 능가하는 결과를 달성했습니다. 특히 mIoU(위치 정확도) 에서 기존 방법들보다 우위를 점했습니다.
• 확장성: 추가적인 미세 조정 (Fine-tuning) 없이도 더 큰 모델 (예: Qwen2.5-VL-72B) 에 적용 시 성능이 지속적으로 향상되었습니다.
• 효율성: 학습 불필요 (Training-free) 이며, Top-k 선택 전략을 통해 불필요한 계산을 줄여 추론 속도를 최적화했습니다.

5. 의의 및 결론 (Significance)

• 패러다임의 전환: 기존의 'Coarse-to-Fine(대략에서 세밀하게)' 접근 방식에서 벗어나, 인간의 인지 과정을 모방한 'Bottom-up(세밀한 단서에서 전체로)' 접근 방식을 성공적으로 LVLM 에 적용했습니다.
• 노이즈 내성: 복잡한 배경이나 유사 객체가 존재하는 환경에서도 정확한 시각적 증거를 위치시킬 수 있어, 할루시네이션 (Hallucination) 을 크게 줄였습니다.
• 실용성: 별도의 학습 비용 없이 기존 LVLM 에 플러그인 (Plug-and-play) 방식으로 적용 가능하여, 고해상도 이미지 처리 및 정밀한 시각적 추론이 필요한 실제 응용 분야 (예: 자율주행, 의료 영상, GUI 에이전트 등) 에 큰 잠재력을 가집니다.

결론적으로 DeepScan 은 LVLM 이 시각적 증거에 기반한 신뢰할 수 있는 추론을 수행할 수 있도록 하는 강력한 프레임워크로, 학습 비용 없이도 모델의 시각적 이해 능력을 획기적으로 향상시킵니다.