1. 문제 정의 (Problem Statement)

멀티모달 대규모 언어 모델 (MLLM) 은 문서 이해, 밀집된 장면 인식 (dense scene perception) 등 세밀한 작업을 수행하기 위해 고해상도 시각 입력이 필요합니다. 그러나 기존 접근 방식들은 다음과 같은 한계를 가지고 있습니다.

• 비효율적인 전역 해상도 확장 (Global Resolution Scaling): 현재 대부분의 SOTA 모델은 입력 이미지의 해상도를 무조건 높여 처리합니다. 이는 시각적으로 불필요한 배경 토큰 (redundant tokens) 을 이차적 (quadratic) 복잡도를 가진 자기 주의 (self-attention) 메커니즘에 폭주시켜 추론 속도를 심각하게 저하시킵니다.
• 쿼리 무관성 (Query-Agnostic): 모든 질문이 고해상도 세밀한 정보를 필요로 하는 것은 아닙니다. 간단한 질문에도 고해상도 처리를 수행함으로써 계산 자원을 낭비합니다.
• 기존 대안들의 한계:
  • 학습 없는 (Training-free) 방법: 주의를 기반으로 관심 영역 (RoI) 을 찾지만, 추가적인 전치 (prefilling) 패스나 비용이 큰 자동 회귀적 디코딩이 필요해 추론 효율이 낮습니다.
  • 강화 학습 (RL) 기반 방법: "Think-with-Image" 패러다임을 사용하지만, 긴 Chain-of-Thought (CoT) 추론으로 인해 지연 시간이 길어지고, 학습 비용이 매우 높으며 불안정합니다.

2. 제안 방법론: Q-Zoom (Methodology)

Q-Zoom 는 쿼리 인식형 적응적 고해상도 인식 (Query-Aware Adaptive High-Resolution Perception) 프레임워크로, 단일 전치 (prefilling) 패스 내에서 ** coarse-to-fine(대략적에서 정밀하게)** 방식으로 작동합니다. 핵심은 중간 특징 공간 (intermediate feature space) 에서 두 개의 경량 모듈을 활용하는 것입니다.

가. 동적 게이팅 네트워크 (Dynamic Gating Network)

• 목적: 쿼리가 고해상도 세밀한 처리를 필요로 하는지 여부를 판단하여 불필요한 고해상도 처리를 생략합니다.
• 작동 원리: MLLM 의 중간 레이어에서 추출된 시각 및 텍스트 토큰의 숨겨진 상태를 기반으로, 사용자의 질문이 고해상도 정제 (refinement) 가 필요한지 이진 분류 (Need-Refine vs. No-Refine) 를 수행합니다.
• 학습 전략 (Consistency-aware Sample Generation): 인간의 주석 없이, 다양한 해상도 트래젝토리에서 모델의 응답 일관성을 평가하여 결정론적인 라벨을 생성합니다. 낮은 해상도에서는 실패하고 높은 해상도에서만 성공하는 경우에만 '정제 필요' 라벨을 부여하여 노이즈를 제거합니다.

나. 자기 증류 영역 제안 네트워크 (Self-Distilled Region Proposal Network, SD-RPN)

• 목적: 게이트가 고해상도 처리를 필요로 한다고 판단할 때, 이미지 전체를 재인코딩하는 대신 작업 관련 관심 영역 (RoI) 만을 정밀하게 추출합니다.
• 작동 원리:
  • MLLM 의 중간 레이어 특징을 활용하여 밀도 높은 히트맵 (heatmap) 을 예측합니다.
  • 예측된 RoI 를 원본 고해상도 이미지에서 잘라내어 (crop) 다시 인코딩하고, 이를 전체 컨텍스트와 결합합니다.
  • KV Cache 재사용: 전체 이미지의 인코딩을 다시 수행하지 않고, 기존 시스템 프롬프트와 coarse 시각 특징의 KV 캐시를 재사용하여 두 번째 전치 (secondary prefilling) 단계를 가속화합니다.
• 학습 전략 (Self-Distillation): 외부 데이터나 주석이 필요 없습니다. MLLM 의 내부 교차 주의 (cross-attention) 맵을 추출하고, '싱크 토큰 (sink tokens)'을 필터링하며, 3 상태 (Foreground, Background, Ignore) 라벨 할당 전략을 통해 고품질의 의사 레이블 (pseudo-labels) 을 생성하여 SD-RPN 을 학습시킵니다.

다. 공간 - 시간 정렬 및 타겟 미세 조정 (Spatio-Temporal Alignment & Post-SFT)

• 문제: 잘라낸 RoI 를 전체 이미지와 결합할 때 공간적 위치 정보가 손실되어 모델이 RoI 의 원래 위치를 이해하지 못하게 됩니다.
• 해결책:
  • 연속적 공간 - 시간 위치 인코딩: RoI 토큰에 원본 이미지의 좌표를 기반으로 한 보간된 위치 임베딩을 주입하여 전역 컨텍스트와의 정렬을 유지합니다.
  • 타겟 사후 지도 미세 조정 (Targeted Post-SFT): RoI 기반 모델이 실패하지만 베이스 모델이 성공하는 '어려운 샘플 (hard samples)'을 선별하여 LLM 백본만 미세 조정합니다. 이를 통해 모델이 국소적 세부 사항과 전역 컨텍스트를 자연스럽게 융합하도록 학습시킵니다.

3. 주요 기여 (Key Contributions)

1. Q-Zoom 프레임워크: 쿼리 수준과 공간적 중복성을 동시에 제거하는 적응형 프레임워크를 제안하여, 이차적 계산 비용 없이 고해상도 인식을 가능하게 합니다.
2. 데이터 효율적인 최적화 전략:
   • 게이트 학습을 위한 일관성 인식 샘플 생성 전략.
   • SD-RPN 학습을 위한 완전 자기 증류 (Self-Distillation) 패러다임 (인간 주석 및 RL 불필요).
3. 공간적 정렬 및 융합: 연속적 공간 - 시간 위치 인코딩과 타겟 Post-SFT 를 통해 국소적 RoI 와 전역 레이아웃의 융합 문제를 해결하여 공간 추론 능력을 복원합니다.

4. 실험 결과 (Results)

Qwen2.5-VL-7B 를 주된 테스트베드로 하여 다양한 벤치마크에서 평가되었습니다.

• 성능과 효율성의 Pareto 최적화:
  • 문서 및 OCR 벤치마크: Qwen2.5-VL-7B 기준, 2.52 배의 추론 속도 향상과 53.0% 의 시각 토큰 비용 절감을 달성하면서도 베이스라인의 최고 정확도를 유지했습니다.
  • 고해상도 시나리오: 4.39 배의 속도 향상과 73.2% 의 토큰 비용 절감을 달성했습니다.
  • 정확도 향상: 최대 지각 충실도 (perceptual fidelity) 설정 시, 문서/OCR 벤치마크에서 1.1%, 고해상도 벤치마크에서 8.1% 만큼 베이스라인의 최고 성능을 초과했습니다.
• 범용성: Qwen3-VL, LLaVA, 그리고 최신 RL 기반 "Think-with-Image" 모델 (ZwZ-Qwen 등) 에도 적용 가능하여, RL 모델의 추론 지연 문제를 해결하고 추가적인 성능 향상을 제공했습니다.
• 비교 우위: 학습 없는 방법 (ViCrop 등) 이나 RL 기반 방법 (Thyme 등) 보다 훨씬 높은 처리량 (throughput) 과 정확도를 동시에 달성했습니다.

5. 의의 및 결론 (Significance)

Q-Zoom 은 MLLM 의 고해상도 인식 문제를 해결하기 위해 전역적 해상도 확장에서 적응적 쿼리 기반 인식으로의 패러다임 전환을 제시합니다.

• 효율성: 불필요한 계산 자원을 낭비하지 않고, 필요한 곳에만 고해상도 처리를 집중시킴으로써 추론 속도를 획기적으로 개선했습니다.
• 접근성: 고비용의 강화 학습이나 방대한 주석 데이터 없이도, 자기 증류 기법을 통해 고품질의 RoI 추출을 가능하게 하여 실용적인 배포를 용이하게 합니다.
• 미래 지향성: 이 프레임워크는 계산 비용과 지각 정확도 간의 트레이드오프를 근본적으로 해결하여, 차세대 효율적이고 정밀한 멀티모달 AI 시스템의 새로운 표준 (State-of-the-Art) 을 제시합니다.