1. 문제 정의 (Problem)

현대 컴퓨터 비전의 핵심인 비전 기반 모델 (VFMs, 예: DINOv2, CLIP 등) 은 대규모 데이터로 사전 학습되어 다양한 작업에 강력한 표현력을 제공합니다. 최근 연구들은 훈련 시 다양한 입력 크기를 처리할 수 있도록 모델의 유연성을 높였으나, 추론 (Inference) 단계에서는 여전히 단일 고정 해상도 (Single-scale) 로 이미지를 리사이즈하여 처리하는 관행이 지배적입니다.

이러한 단일 스케일 접근법의 근본적인 문제는 다음과 같습니다:

• 정보의 손실: 시각적 인식에는 "분업 (Division of Labor)"이 존재합니다.
  • 저해상도 (Low-resolution): 상대적으로 큰 패치 크기로 인해 전역적인 의미적 맥락 (Global semantic context) 을 포착하고 객체 인식을 잘 수행합니다.
  • 고해상도 (High-resolution): 세밀한 고주파수 디테일과 정밀한 경계 (Fine-grained details & boundaries) 를 파악하는 데 필수적입니다.
• 상충 관계 (Trade-off): 단일 해상도로만 추론을 수행하면 전역적 일관성이나 국부적 정밀도 중 하나를 희생하게 되어, 세그멘테이션의 불완전성이나 경계 흐림 등의 문제가 발생합니다.

2. 방법론 (Methodology)

MuRF 는 VFM 의 백본 (Backbone) 을 재학습시키지 않고, 추론 시점에 다중 해상도 뷰를 통합하여 단일 통일된 표현을 생성하는 전략입니다.

핵심 프로세스

1. 입력 피라미드 생성: 입력 이미지 $x$를 $k$개의 서로 다른 스케일 팩터 ($S_{res}$) 로 리사이즈하여 이미지 집합 $\{x_s\}$를 생성합니다.
2. 고정된 VFM 인코딩: 각 리사이즈된 이미지를 동결 (Frozen) 된 VFM 인코더 ($\Phi$) 에 통과시켜 특징 맵 ($\mathcal{F}_s$) 을 추출합니다.
3. 공간 정렬 및 채널 병합 (Fusion):
   • 각 스케일의 특징 맵을 공통된 목표 공간 해상도 (일반적으로 원본 입력 크기) 로 바이리니어 보간 (Bilinear Interpolation) 을 통해 업샘플링합니다.
   • 공간적으로 정렬된 특징 맵들을 채널 차원 (Channel dimension) 에서 연결 (Concatenation) 합니다.
   • 최종 MuRF 표현 $\mathcal{F}_{MuRF}$는 모든 스케일의 특징을 포함하는 고차원 텐서가 됩니다.

병합 전략의 선택 (Why Concatenation?)

• 요소별 덧셈 (Element-wise addition) 이나 평균 풀링은 서로 다른 스케일의 직교적인 신호 (예: 전역 의미 vs 국부 에지) 를 섞어 모호한 표현을 만들 수 있습니다.
• 채널 연결 (Concatenation) 은 "인식 (Recognition)"과 "정제 (Refinement)" 신호의 독립성을 유지하면서, 경량화된 하위 작업 헤드가 필요한 스케일 정보를 적응적으로 선택할 수 있도록 고차원 공간으로 투영합니다.

하위 작업 적응 (Task-Specific Adaptation)

• 밀집 예측 (Semantic Segmentation, Depth Estimation): MuRF 특징에 경량 컨볼루션 헤드를 연결하여 픽셀 단위 예측을 수행합니다.
• 비정상 탐지 (Anomaly Detection): 각 해상도별 특징에 대해 별도의 메모리 뱅크를 구축하고, 각 스케일의 이상 점수 맵을 업샘플링 후 평균화하여 최종 점수 맵을 생성합니다 (훈련 불필요).
• 멀티모달 언어 모델 (MLLMs): MuRF 특징을 비전 토큰으로 변환하여 LLM 에 입력합니다. 토큰 수를 증가시키지 않기 위해 저해상도 특징을 업샘플링하여 고해상도 특징의 채널에 병합한 후, 프로젝션 레이어를 통해 LLM 은입력 차원으로 매핑합니다.

3. 주요 기여 (Key Contributions)

1. 보편성 (Universality): 특정 아키텍처나 작업에 종속되지 않으며, DINOv2 와 같은 자기지도 학습 모델뿐만 아니라 SigLIP2 와 같은 대비 학습 모델에서도 효과적으로 작동합니다.
2. 훈련 불필요 (Training-Free): VFM 백본을 재학습하지 않고, 오직 추론 시의 특징 융합만으로 성능을 향상시킵니다.
3. 상호 보완적 시너지: 저해상도의 전역적 맥락과 고해상도의 국부적 디테일을 동시에 활용하여 단일 스케일 접근법의 한계를 극복합니다.
4. 광범위한 검증: 밀집 예측, 멀티모달 이해, 비지도 이상 탐지 등 다양한 핵심 컴퓨터 비전 작업에서 일관된 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

연구팀은 DINOv2-ViT-B/14 를 기반으로 다양한 벤치마크에서 MuRF 를 평가했습니다.

• 시맨틱 세그멘테이션 (ADE20K, PASCAL VOC):
  • 단일 스케일 베이스라인 대비 ADE20K 에서 4.2%, PASCAL VOC 에서 5.9% 의 mIoU 향상.
  • 저해상도의 전역적 인식 능력과 고해상도의 경계 정밀도를 모두 반영한 결과로, 객체 내부의 불연속성 (holes) 이 줄어듭니다.
• 깊이 추정 (Depth Estimation, NYU Depth V2, SUN RGB-D):
  • RMSE 기준 성능이 크게 개선되었습니다 (NYU Depth V2 에서 0.394 $\to$ 0.368).
  • 전역적인 장면 구조와 국부적인 기하학적 경계를 동시에 추론하여 더 정확한 깊이 맵을 생성합니다.
• 시각 질문 답변 (VQA, MLLM):
  • LLaVA 프레임워크에 적용 시, MME, VQA 등 다양한 벤치마크에서 성능이 향상되었습니다.
  • LLM 에 전역적 장면 이해와 미세한 디테일을 모두 제공하는 풍부한 시각적 컨텍스트를 제공하여 추론 능력을 높였습니다.
• 비지도 이상 탐지 (Unsupervised Anomaly Detection, MVTec AD 2):
  • 훈련 불필요 (Training-free) 환경에서 SOTA 수준인 62.3% (TESTpriv,mix) 의 AU-PRO 점수를 기록했습니다.
  • 미세한 스크래치 (고해상도) 와 큰 구조적 결함 (저해상도) 을 모두 탐지하여 단일 스케일 방법보다 더 완전한 마스킹을 달성했습니다.

5. 의의 및 결론 (Significance)

MuRF 는 비전 기반 모델의 추론 프로토콜에 대한 근본적인 재고를 제안합니다.

• 새로운 추론 패러다임: 단순히 입력 크기를 최적화하는 것을 넘어, 다중 해상도 뷰의 능동적 집계가 비전 표현의 완전한 잠재력을 unlocking 하는 보편적 원리임을 입증했습니다.
• 실용성: 복잡한 모델 재학습 없이, 기존 Frozen VFM 을 사용하는 모든 시스템에 즉시 적용 가능한 효율적인 부스팅 전략을 제공합니다.
• 미래 지향성: 이 연구는 단일 스케일 추론의 한계를 극복하고, 더 강건하고 정밀한 비전 시스템 구축을 위한 새로운 표준을 제시합니다.

결론적으로, MuRF 는 "인식 (Recognition)"과 "정제 (Refinement)"라는 시각적 인식의 두 가지 핵심 요소를 다중 스케일 융합을 통해 시너지 있게 결합함으로써, 다양한 비전 작업에서 일관된 성능 향상을 이끌어내는 획기적인 방법론입니다.